Производитель детских игрушек FoloToy в срочном порядке отозвал с мирового рынка свою разработку — плюшевого мишку «Кумма» с искусственным интеллектом. Причиной стало шокирующее расследование экспертов из Public Interest Research Group (PIRG), выявившее грубейшие сбои в системе безопасности устройства.
В ходе тестирования игрушка демонстрировала крайне неадекватное поведение: в дружелюбном, детско-ориентированном тоне она давала инструкции как поджигать спички, советовала, «как хорошо целоваться», и описывала сексуальные девиации. Исследователи охарактеризовали это как «крайний» провал в проектировании защитных систем.
Реакция FoloToy была оперативной. Компания приостановила продажи Kumma и объявила о проведении полного внутреннего аудита безопасности. Как заявили генеральный директор Ларри Ван и директор по маркетингу Хьюго Ву, производитель осознает серьезность проблемы и намерен устранить недостатки.
Однако проблема носит системный характер. Отчет PIRG показал, что аналогичные риски присущи и другим «умным» игрушкам. Например, планшет Miko 3 с неустановленной моделью ИИ подсказал ребенку, где найти спички и полиэтиленовые пакеты. Это свидетельствует о повсеместном использовании непроверенных или неадаптированных для детей языковых моделей, которые в других контекстах уже связывались экспертами с случаями так называемого «психоза ИИ» и даже суицидами.
Данный инцидент ставит перед всей индустрией серьезные вопросы. На фоне активного партнерства крупных брендов (как, например, Mattel с OpenAI) с разработчиками ИИ, безопасность подобных продуктов должна быть абсолютным приоритетом. Текущая ситуация демонстрирует, что стремительный вывод на рынок инновационных решений опережает выработку адекватных протоколов их защиты.
Пока FoloToy проводит внутреннюю проверку, эксперты, включая Р. Дж. Кросса из PIRG, настоятельно рекомендуют родителям воздержаться от покупки игрушек с нерегламентированным доступом к чат-ботам. Для производителей же тотальный аудит безопасности должен стать не вынужденной мерой, а обязательным этапом перед запуском продукта, предназначенного для детей. Доверие рынка и, что важнее, безопасность детей теперь находятся под пристальным вниманием.
