Корпорация Google приняла решение удалить вопросы, связанные со здоровьем, из своей новой поисковой функции AI Overviews («Обзоры ИИ»). Этот шаг стал реакцией на расследование The Guardian, выявившее, что генерируемые искусственным интеллектом сводки содержат потенциально опасные медицинские рекомендации, лишённые критического контекста.
Суть проблемы. AI Overviews — это автоматизированные краткие ответы, которые система выводит вверху результатов поиска, синтезируя информацию с различных сайтов. Однако в медицинской сфере это привело к серьёзным инцидентам. Например, в ответ на запросы о нормальных показателях печёночных проб ИИ выдавал точные цифры, но полностью игнорировал зависимость норм от возраста, пола и этнической принадлежности пациента, что в реальной диагностике недопустимо. Более тревожным стал выявленный экспертами случай, когда система рекомендовала больным раком поджелудочной железы избегать жирной пищи — совет, способный ухудшить состояние пациентов и повысить риск смертности из-за развития кахексии (истощения).
Глубинная причина: «галлюцинации» ИИ. Этот инцидент ярко иллюстрирует фундаментальную проблему современных генеративных моделей — склонность к конфабуляциям, или «галлюцинациям». Когда ИИ не находит однозначного ответа, он может сконструировать убедительно выглядящую, но ложную информацию, опираясь на нерелевантные или устаревшие данные из индекса.
Репутационные и регуляторные риски. Для Google, чей поисковой движок де-факто является первым источником медицинских справок для миллиардов пользователей, ошибки в этой области чреваты катастрофическими последствиями. Компания сталкивается не только с репутационным ущербом, но и с прямым риском судебных исков и ужесточения регулирования. Власти Евросоюза и США уже усиливают давление на tech-гигантов в рамках законодательства о цифровых сервисах (DSA) и искусственном интеллекте (AI Act), требуя прозрачности и минимизации вреда.
Итог: Частичное отключение медицинских AI Overviews — это вынужденный тактический отход, демонстрирующий, что даже самый продвинутый ИИ не готов заменить экспертный контекст и ответственность в таких чувствительных областях, как здравоохранение. Инцидент ставит под сомнение текущие темпы внедрения генеративного ИИ в критически важные сервисы и сигнализирует рынку о необходимости более осторожного и регулируемого подхода.