ИИ-расшифровка анализов: удобная иллюзия с риском для здоровья и кошелька

Авторы: Сейітжан Сыпабек – MD, DBA, эксперт MedTech; Дархан Кырыкбаев – эксперт в области цифровой медицины; Али Нургожаев – эксперт политики и экономики здравоохранения

В 1985-1987 годах роковая ошибка в программном обеспечении канадского аппарата лучевой терапии Therac-25 в сочетании с человеческим фактором и сбоем калибровки привела к гибели минимум троих пациентов и множеству тяжелых увечий вследствие облучения смертельными дозами радиации (в десятки-сотни раз выше нормы).

Этот трагический пример – суровое напоминание: любая система, влияющая на здоровье, требует жесткого контроля, валидации и регулирования. Пока на рынке присутствуют решения, предлагающие «медицинские» услуги (вроде ИИ-расшифровки анализов) без должных проверок и сертификации, существует риск цифровых угроз нового типа.

ИИ-советчик на приеме у врача

Сегодня формируется новый тип пациентов. Они самостоятельно сдают самоназначенные анализы, передают их на расшифровку ИИ и приходят с готовыми «диагнозами» от ChatGPT, ставя врача перед вызовом: «Переубедите меня и мой ИИ-вывод». Как метко выразился один из практикующих специалистов: «Порой неясно, кто кого консультирует». 

Однако мнение ИИ – не синоним медицинской истины. 

Почему ChatGPT – не врач, а «мастер убедительных текстов»?

Ключевая причина кроется в самой природе таких систем, как ChatGPT. Это большие языковые модели (LLM), и их главная задача – генерировать связный и грамматически корректный текст на основе огромного массива данных, на которых они обучались. Как это работает на практике?

• Предсказание следующего слова: по сути, ChatGPT не «думает» и не «анализирует» ваш анализ так, как это делает врач. Он статистически предсказывает, какое слово (или фраза) с наибольшей вероятностью должно идти следующим, основываясь на вашем запросе, контексте разговора и паттернах, выявленных в данных обучения.

• «Галлюцинации» и ложная уверенность: LLM могут генерировать полностью вымышленную, но очень уверенно поданную информацию («галлюцинации»), особенно в сложных областях вроде медицины. Ответ звучит крайне авторитетно, хотя может быть ошибочным и опасным.

• Отсутствие доступа к контексту: ChatGPT не учитывает ваш полный медицинский анамнез, текущие симптомы, принимаемые препараты – всего того, что критически важно для врача.

Разоблачение: что может скрываться под капотом «ИИ-расшифровщиков»?

Помимо LLM-продуктов, на рынке существуют и специализированные медицинские ИИ-сервисы. При этом существуют опасения, что технология некоторых из них может быть примитивнее заявлений. Так, за удобным интерфейсом отдельных решений скрывается перенаправление данных в стандартный чат-бот, которому задается промпт, например: «Расшифруй этот анализ крови как врач, найди отклонения и порекомендуй БАДы». Результат – уверенно звучащий, но потенциально ошибочный текст. Ярким индикатором риска здесь является отсутствие медицинской сертификации сервиса и непрозрачность в вопросах обучения алгоритмов.

Фундаментальные ограничения: почему ИИ слеп без врача

Однако пока даже серьезные, сертифицированные ИИ-системы (например, для анализа снимков) предназначены для поддержки врача, а не его замены. Их ключевое слабое место – отсутствие контекста:

• Данные в вакууме: без полной истории болезни, списка лекарств и результатов осмотра ИИ не способен на точную интерпретацию. Каждая упущенная деталь влечет за собой риск ошибки.

• Отсутствие врачебного чутья: алгоритм видит цифры, но не видит человека, его хабитус, тревогу, не задаст спонтанный уточняющий вопрос.

• Слепота в «серых зонах»: показатель на границе нормы для врача может служить поводом к углубленному изучению. Для ИИ же такая ситуация зачастую является нормой или незначительным отклонением без учета нюансов.

Инструкция: как проверить ИИ-сервис?

Прежде, чем использовать сервис расшифровки анализов, задайте ключевые вопросы:

1. Имеет ли сервис официальную регистрацию как медицинское изделие (в РК) или одобрение международных регуляторов (FDA, CE)? Отсутствие – абсолютный красный флаг.

2. Четко ли указано, кто несет юридическую ответственность за рекомендации? Снятие ответственности – серьезный повод для сомнений.

3. На каких верифицированных клинических данных (медкарты, исследования) обучался ИИ? Обучения только на общем интернет-контенте недостаточно.

4. Публикует ли сервис результаты независимых исследований или клинических испытаний, подтверждающих точность и доказанную эффективность?

5. Позиционируется ли ИИ как помощник врачу или как его полная замена? Акцент на исключении врача – тревожный сигнал.

6. Прозрачна ли методология? «Используется ИИ» – недостаточно убедительный ответ. Требуйте подробного описания подходов к анализу, ограничений системы и механизмов работы с ошибками.

Какова перспектива?

ИИ-решения должны служить во благо, а не создавать новые угрозы. Чтобы самолечение не превращалось в рискованный эксперимент над здоровьем и финансами пациента, всем сторонам необходимо объединить усилия в области безопасности и этики. Не последнюю роль здесь играет осознанность самого пациента; ключевой же задачей является создание в Казахстане продуманного законодательства об ИИ и «песочниц» для безопасной апробации инноваций.