Искусственный интеллект в медицине: между инновацией и безопасностью

Авторы: Сейітжан Сыпабек, MD, DBА - эксперт Medtech, Али Нургожаев - эксперт политики и экономики здравоохранения; Марат Мамаев - эксперт финансирования здравоохранения

После Послания главы государства во множестве отраслей широко разворачивается внедрение ИИ-решений. С общим заявленным курсом трудно не согласиться, но в то же время на уровне реализации возникают вполне конкретные конфликты, в первую очередь в области безопасности.

Действительно, в мире ИИ-платформы уже преобразуют диагностику и лечение: например, по оценкам Silicon Valley Bank, венчурные фонды США инвестировали в стартапы AI для здравоохранения 7,2 млрд долларов в 2023 году, а в 2024 эта сумма, вероятно, превысила 11,1 млрд долларов. Однако высокотехнологичный энтузиазм сталкивается с принципами доказательной медицины: клинические решения всегда должны основываться на проверенных данных. Без надежной валидации новые алгоритмы могут выдавать неверные диагнозы и подорвать доверие к системе. Например, исследование JAMA показало, что лишь малое число ИИ-моделей основываются на результатах клинических испытаний – и в итоге 60 из 950 разрешенных FDA (US Food and Drug Administration) устройств (6,3%) дали 182 случая отзыва (партий), причем около 43% отзывов случились уже в первый год после регистрации. Иными словами, широкий допуск технологий без испытаний приводит к массовым отзывам и угрожает безопасности пациентов.

Почему происходит так

Во многих командах медтех-стартапов недооценивают медицинскую экспертизу. Алгоритмы нередко разрабатывают «на глазок», без участия врачей или ученых, без учета протоколов лечения. При этом у разработчиков нет полного понимания медицинских и регуляторных требований. Например, в США к большинству AI-диагностических систем применяется FDA 510(k) – способ сертификации, для которого клинические исследования не обязательны. Под давлением инвесторов компании спешат продемонстрировать инновационность и после «ускоренного» тестирования вывести продукт на рынок, иногда жертвуя длительной проверкой.

Как показывает опыт, большинство ИИ-моделей демонстрируют выдающуюся точность лишь на «чистых» учебных данных, но менее надежны в «боевой» эксплуатации. Алгоритмы могут не справляться с «грязными» или редкими случаями: потерянные данные, артефакты или нестандартная техника фиксации превращают диагностику в лотерею. Словом, без врачебной верификации и «заземления» в клинике ИИ-системы порой действуют как черный ящик. Как показало исследование, лучшее применение – поддержка врача: система выявляет мелкие очаги и тяжелые патологии, но окончательное решение остается за человеком, и в действующем законодательном поле ответственность за диагноз лежит на враче.

Кейс: ИИ для диагностики инсульта

Среди примеров ответственного подхода – ИИ-алгоритм быстрой диагностики ишемического инсульта по КТ головного мозга отечественного стартапа CerebraAI. Команда под руководством Бексултана Шакимова тщательно провела полевое тестирование: в пилоте приняли участие 49 инсультных центров Казахстана (это примерно 63% таких центров), и алгоритм проанализировал свыше 150 000 КТ-снимков. Как сообщалось, после внедрения CerebraAI скорость срочной помощи при инсульте выросла почти на 146%, а смертность снизилась на 43%. Несмотря на такие впечатляющие результаты, коммерциализация в Казахстане идет медленно: система прошла оценку технологий здравоохранения и одобрена Минздравом после пилотного запуска. Как подчеркивает Бексултан Шакимов, «ИИ не заменяет врача, но становится эффективным инструментом поддержки при диагностике и принятии клинических решений».

Решение: обязательный медицинский эксперт

Чтобы сочетать инновации и доказательность, каждой ИИ-команде стоит иметь в штате медицинского эксперта. Такой специалист хорошо понимает принципы доказательной медицины и клинических протоколов, умеет спланировать и провести клиническое исследование, критически оценить риски ИИ и адаптировать алгоритм под реальные рабочие процессы. Медицинский адвайзер следит за тем, чтобы продукт тестировался на реальных данных и соблюдал стандарты безопасности. Он помогает вовлекать врачей в верификацию результатов, выявлять пограничные сценарии и не терять «человеческий фактор» при принятии решений. Проще говоря: врач должен быть «последней инстанцией».

Казахстан: качество против скорости

Государство активно продвигает ИИ: создано Министерство ИИ и цифрового развития Казахстана, разрабатываются Цифровой кодекс и Закон об ИИ с классификацией по рискам (низкий / средний / высокий) по аналогии с ЕС. Утверждена Концепция развития ИИ до 2029 года. Уже к концу 2025 года планируется внедрить отечественные AI-решения в медицину: по указанию вице-премьера к 15 ноября должны быть интегрированы «ИИ-ассистенты врачей» и системы раннего онкоскрининга, а к 20 декабря – 7 разрозненных медицинских информационных систем будут объединены в две, интегрированные на платформе Qaztech. Разрабатываются национальные стандарты ИИ на базе ISO, включая терминологию и управление рисками. Минздрав обновил требования к медицинским информационным системам: наконец-то обязательными стали криптографическое шифрование баз данных и многофакторная аутентификация.

Однако эксперты призывают не гнаться лишь за количеством проектов: ускоренное масштабирование может подорвать систему. Так, требование об обязательных испытаниях на каждую новую модель пока не закреплено – закон лишь вводит классификацию по уровням риска, но не прописывает конкретных обязательств для разработчика. При этом независимых проверок не хватает: большинство местных стартапов опираются на данные зарубежных баз, что ведет к смещению моделей. Как подчеркивают казахстанские ученые, многие современные модели обучены на «европейских» данных, и без локальной статистики их точность падает. Важно создавать и пополнять национальные медицинские базы – тогда качество диагностики вырастет, а риск предвзятости снизится.

Кроме того, инфраструктура отечественного здравоохранения пока не готова к телемедицине и ИИ. По данным «Атамекена», телемедицинские услуги сегодня охватывают лишь около 10% сельских населенных пунктов в Казахстане – во многих деревнях нет нормального интернета. Без связности все цифровые решения бесполезны. Есть и регуляторные пробелы: как отмечают эксперты, если врач проводит УЗИ на мобильном аппарате в селе без лицензии на этот метод, формально ему грозит уголовная ответственность. В итоге некоторые медики вынуждены консультировать через незашифрованные мессенджеры (WhatsApp, Facebook и др.), перекладывая риски на пациентов. При этом стандарты информационной безопасности в больницах слабы: опрос Лаборатории Касперского показал, что более 70% телемедицинских провайдеров используют устаревшие ОС (операционные системы) на медоборудовании, что часто приводит к утечкам и атакам. Пациенты это заметили: больше половины опрошенных отказались от видеоконсультации из-за опасений за приватность. Наконец, нет четких правил ответственности за ошибки при удаленной диагностике. В Казахстане «последняя инстанция» по диагнозу по-прежнему – врач, но формально при использовании телемедицинских решений это не оговорено.

Текущие риски и решения

Таким образом, казахстанское здравоохранение стоит на пороге революции ИИ: проекты CerebraAI, Metaclinic, ForusData и другие доказали высокую эффективность ИИ-ассистентов. Но для того, чтобы инновации не ударили по качеству медицины, нужны надежные клинические испытания, прозрачное регулирование и серьезное внимание к безопасности. Прослеживаются основные риски текущего этапа:

• Недостаток клинической валидации. Большинство локальных ИИ-систем еще не опробовано на репрезентативных данных пациентов. Чтобы убедиться в надежности алгоритмов, требуются пилотные испытания и «песочницы».

• Инфраструктурные уязвимости. Многие системы работают на устаревшем ПО: 33% провайдеров телемедицины уже фиксировали утечки данных из-за уязвимостей. И пациенты это видят: 52% опасаются за конфиденциальность в онлайн-связи. Только усилия в области кибербезопасности могут укрепить доверие к телемедицине.

• Данные и смещение. Алгоритмы недостаточно обучены в казахстанских реалиях. Необходимо собирать национальные медицинские базы данных – это повысит точность диагностики и сведет на нет предвзятость моделей.

• Этические и юридические вопросы. Пока нет ясности, кто отвечает за ошибку ИИ. Врач формально остается «последней инстанцией» по диагнозу, хотя технологию могли разработать иные лица. Регуляторам важно четче определить правила: требуется ли сертификация ИИ-систем как медизделий, и кто несет ответственность при сбое.

• Доверие пациентов. Ключ к успеху цифровой медицины – информирование и подготовка врачей и пациентов. Доктора должны уметь объяснять возможности и ограничения ИИ, а люди – чувствовать, что их здоровье остается под контролем.

Работа по перечисленным направлениям может быть выстроена разными способами, но, как и всегда, на первое место выходит организационная сплоченность регулятора и исполнителей. Ошибок быть не должно: они дорого стоят не только финансово, но и с точки зрения безопасности пациентов.