Стремительное корпоративное внедрение искусственного интеллекта обнажило ключевую проблему — склонность нейросетей к «галлюцинациям», то есть генерации ложной или необоснованной информации. Исследования показывают, что это не случайные сбои, а системная особенность, ключ которой лежит в принципах обучения языковых моделей. Суть его в том, что искусственному интеллекту, как студенту на экзамене, рекомендуется давать любой ответ, даже неправильный, вместо того чтобы признать незнание.
Масштаб проблемы иллюстрируют данные Columbia Journalism Review: уровень галлюцинаций у некоторых популярных моделей достигает 94%, причем платные версии зачастую демонстрируют худшие результаты, чем бесплатные. Парадоксально, но большинство моделей не выражают неуверенности в своих ошибочных утверждениях, что усугубляет риски для конечного пользователя.
Для бизнеса такие ошибки трансформируются в прямые финансовые и репутационные потери. Так например, опрос международной консалтинговой компании McKinsey свидетельствует о том, что каждая вторая компания уже столкнулась с негативными последствиями из-за использования ИИ. В 30% случаев ключевым риском стала неточность, приведшая к репутационному ущербу, убыткам и юридическим проблемам. При этом, риск многократно возрастает в цепочках действий ИИ-агентов, где ошибка на одном этапе инициирует последующие.
Финансовые институты уже оценили масштаб проблемы, и отреагировали на новые угрозы по-своему. Например страховые компании начали вводить ограничения или полностью исключать из полисов D&O (страхование ответственности директоров и должностных лиц) покрытие убытков, связанных с ошибками ИИ. Это создает новый уровень персональной ответственности руководителей за некорректную имплементацию технологий.
Внедрение ИИ перестало быть вопросом лишь технологической конкурентоспособности. Сегодня это управление рисками, требующее строгого контроля достоверности выводов, человеческого надзора (human-in-the-loop) и пересмотра корпоративных страховых политик. Бизнесу необходимо срочно перейти от стадии ажиотажа к построению надежных систем валидации, прежде чем последствия галлюцинаций станут необратимыми.
