В эпоху цифровой трансформации здравоохранения большие языковые модели (Large Language Models, LLM) становятся неотъемлемым инструментом для медицинских работников и пациентов. От анализа симптомов и поддержки диагностики до обработки медицинской документации и предоставления информации — потенциал ИИ кажется безграничным. Однако новое исследование специалистов из Медицинской школы Икана при больнице Маунт-Синай в Нью-Йорке, опубликованное в авторитетном журнале The Lancet Digital Health, выявило критическую уязвимость: ведущие LLM демонстрируют тревожную склонность к принятию и распространению ложных медицинских утверждений, когда они представлены в реалистичном клиническом или социальном контексте.
Методология исследования: стресс-тестирование медицинского ИИ
Исследовательская группа провела масштабный анализ, обработав более миллиона запросов к двадцати ведущим языковым моделям. В фокус исследования попали ключевые семейства LLM:
- Базовые архитектуры: ChatGPT от OpenAI (включая GPT-4o), Llama от Meta, Gemma от Google, Qwen от Alibaba, Phi от Microsoft и модели Mistral AI.
- Медицинские тонко настроенные производные (medical fine-tuned derivatives) — специализированные версии, оптимизированные для задач здравоохранения.
В качестве стимулов использовались три категории дезинформации:
1. Синтезированные медицинские записи с внедренными ложными утверждениями
2. Медицинские мифы, извлеченные из обсуждений на платформе Reddit
3. Смоделированные сценарии клинического взаимодействия с элементами дезинформации
Основной исследовательский вопрос формулировался так: «Если ложное медицинское утверждение сформулировано убедительно с использованием профессиональной медицинской лексики или в формате социального обсуждения, повторит ли модель его как достоверное или подвергнет сомнению?»
Ключевые результаты: количественная оценка уязвимости
Результаты исследования оказались неоднозначными и тревожными одновременно:
1. Средний показатель принятия дезинформации составил 32% по всем протестированным моделям, что означает, что почти в каждой третьей попытке LLM некритически воспроизводила ложные утверждения.
2. Зависимость от масштаба и архитектуры модели: Наименее продвинутые модели демонстрировали катастрофически высокие показатели — более 60% принятия ложных утверждений. В то же время наиболее совершенные системы, такие как ChatGPT-4o, показали значительно лучшие результаты, снизив этот показатель до 10%.
3. Парадокс специализации: Медицинские тонко настроенные модели, вопреки ожиданиям, последовательно показывали худшие результаты по сравнению с общими LLM. Это лишний раз доказывает, что специализированное дообучение в различных областях медицины без надежных механизмов верификации фактов может усилить, а не уменьшить уязвимости.
Анализ причин уязвимости
Проблема коренится в фундаментальных принципах работы LLM. Эти системы генерируют ответы, статистически предсказывая наиболее вероятные последовательности слов на основе обученных данных, но не обладают глубинным семантическим пониманием или способностью к независимой верификации фактов. Когда дезинформация представлена в убедительном профессиональном формате — например, как часть структурированной истории болезни или в дискуссии с корректной медицинской терминологией — модель интерпретирует это как правдоподобный паттерн и воспроизводит его.
Особую опасность представляет контекст социальных медиа и форумов, где дезинформация часто смешана с эмоционально окрашенным личным опытом, что создает дополнительный вызов для систем ИИ, обученных на разнородных данных.
Рекомендации и пути решения: построение безопасного медицинского ИИ
Авторы исследования, включая доктора медицинских наук Махмуда Омара, отмечают что выявленные уязвимости не являются непреодолимым барьером для внедрения ИИ в здравоохранение, но требуют системного подхода к безопасности:
1. Разработка встроенных механизмов защиты (embedded safeguard mechanisms): Модели должны быть оснащены многоуровневыми системами проверки медицинских утверждений в реальном времени, с обращением к авторитетным базам знаний и научным источникам.
2. Стресс-тестирование как стандартная процедура: Набор данных, использованный в исследовании, предлагается в качестве открытого бенчмарка для независимой валидации медицинских ИИ-систем. «Вместо того чтобы считать модель безопасной, можно измерить, как часто она опровергает ложь, и снизится ли этот показатель в следующем поколении», — отмечает Омар.
3. Внешняя проверка доказательств (external evidence verification): Интеграция модулей, которые автоматически сверяют генерируемые утверждения с клиническими руководствами, базами лекарственных средств и рецензируемой медицинской литературой.
4. Человеко-центрированный подход: Внедрение ИИ должно сопровождаться четкими протоколами, где окончательное медицинское решение остается за специалистом, а ИИ выступает в роли ассистирующего инструмента с обязательным указанием уровня достоверности предоставляемой информации.
Исследование Mount Sinai ясно демонстрирует, что путь интеграции больших языковых моделей в клиническую практику требует не только технологических усовершенствований, но и создания новых стандартов безопасности и валидации. Способность ИИ обрабатывать огромные объемы информации и поддерживать принятие решений обладает transformative потенциалом для глобального здравоохранения. Однако без надежных барьеров против дезинформации этот же инструмент может непреднамеренно способствовать erosion доверия к медицинским системам и нанесению вреда пациентам.
Будущее медицинского ИИ лежит в разработке прозрачных, проверяемых и устойчивых к дезинформации систем, где технологические компании, медицинские учреждения и регулирующие органы совместно создадут экосистему, в которой инновации и безопасность идут рука об руку. Следующее поколение моделей должно оцениваться не только по широте знаний, но и по критической способности отделять научный факт от убедительной фальсификации.