Медицинское сообщество получило убедительные доказательства того, что генеративный искусственный интеллект пока не способен выполнять ключевую функцию врача — клиническое рассуждение. Масштабное исследование, проведенное специалистами MESH Incubator на базе Mass General Brigham (одной из крупнейших некоммерческих академических медицинских систем США), выявило критический разрыв между способностью LLM ставить финальный диагноз и их умением выстраивать диагностический процесс в условиях неопределенности.
Методология: отказ от «экзаменационной» оценки
В отличие от предыдущих бенчмарков, которые тестировали ИИ с помощью множественного выбора, исследование, опубликованное в журнале JAMA Network Open, использовало симуляцию реального клинического сценария.
Для оценки 21 модели был разработан новый валидированный инструмент — PrIME-LLM (Proportional Index of Medical Evaluation for LLMs). Этот индекс измеряет сбалансированную точность модели на пяти последовательных этапах клинического мышления:
- Формулировка дифференциального диагноза (Differential Diagnosis);
- Назначение диагностических тестов (Diagnostic Testing);
- Постановка окончательного диагноза (Final Diagnosis);
- Планирование лечения (Management);
- Смежные задачи клинического мышления (Miscellaneous reasoning).
Моделям последовательно предоставлялись данные из 29 стандартизированных клинических случаев (на основе MSD Manual), начиная с минимальной информации (возраст, пол, симптомы) и заканчивая полным набором лабораторных и инструментальных данных. Всего было проанализировано 16 254 ответа.
Данные показали парадоксальную картину: LLM демонстрируют высокую точность в «конце пути», но терпят крах в его начале
Провал на старте
Все без исключения протестированные модели не смогли сгенерировать адекватный дифференциальный ряд в более чем 80% случаев (уровень отказов варьировался от 0.90 до 1.00).
Комментарий эксперта: «Дифференциальный диагноз находится в центре клинического мышления и лежит в основе «искусства медицины», которое ИИ в настоящее время не может воспроизвести», — заявил Марк Суччи (Marc Succi), соавтор исследования и исполнительный директор MESH Incubator.
Успех на финише
При предоставлении полной клинической картины (включая тексты, результаты лабораторных анализов и изображения) модели показывали впечатляющую точность в постановке окончательного диагноза — от 60% до более чем 90% в зависимости от версии. Уровень отказов на этом этапе составил менее 40%.
Такое расличие исследователи объясняют тем, что LLM обучены выдавать единственный наиболее вероятный ответ («конвергенция к одному решению»), в то время как клиническая практика требует удержания множества гипотез («дивергентное мышление») и их верификации.
Сравнительный анализ моделей (Рейтинг PrIME-LLM)
Индекс PrIME-LLM показал, что сырая точность (accuracy) маскирует реальные пробелы. Если традиционная точность всех моделей колебалась в узком диапазоне (81–90%), то комплексный показатель PrIME выявил широкий разброс компетенций.
Лучшие показатели (кластер лидеров):
- Grok 4 (xAI) и GPT-5 (OpenAI) набрали максимальные 78% (диапазон 0.77–0.79) по шкале PrIME-LLM.
- В топ-6 также вошли: GPT-4.5, Claude 4.5 Opus (Anthropic) , Gemini 3.0 Flash и Gemini 3.0 Pro (Google).
Аутсайдеры:
- Самая низкая комплексная оценка (64%, диапазон 0.63-0.65) была зафиксирована у модели Gemini 1.5 Flash.
Наблюдение: Модели, оптимизированные для логического мышления (reasoning-optimized models), объективно превосходят стандартные LLM, однако, по мнению авторов, это не качественный скачок до уровня «клинического интеллекта».
Влияние мультимодальности и человеческий фактор
Исследователи подтвердили, что добавление визуальной информации (медицинских изображений) и лабораторных данных повышает точность мультимодальных моделей (GPT-4.5, Gemini 3.0 Pro, Grok 4). Однако этот прирост не является линейным для всех систем, и текстовый контекст остается доминирующим фактором стабильности.
«Человек в контуре»
Несмотря на агрессивный маркетинг AI-решений для здравоохранения, Марк Суччи резюмирует:
«Наши результаты подтверждают, что для использования больших языковых моделей в здравоохранении по-прежнему требуется участие человека и очень тщательный контроль».
Ведущий автор исследования Арья Рао (студент MD-PhD Гарвардской медицинской школы) добавила: «Эти модели отлично называют окончательный диагноз, когда данные уже собраны, но они борются в самом начале случая, когда информации мало. Мы перестаем относиться к ним как к сдающим тесты и ставим их на место врача».
Отраслевые выводы
Исследование Mass General Brigham вносит важную поправку в дискуссию о внедрении ИИ в медицину. Если на этапе «окончательной диагностики» и рутинной обработки данных AI может выступать мощным ассистентом, то на этапе сбора первичного анамнеза и построения гипотез он пока небезопасен для автономного использования.