В 2021 году медицинское подразделение корпорации Johnson & Johnson компания Acclarent объявила о мощном «прорыве»: интеграции искусственного интеллекта в навигационную систему TruDi, используемую для лечения хронического синусита. Спустя четыре года, с конца 2021 по ноябрь 2025, Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA) получило сообщения как минимум о 100 случаях неисправности устройства и нежелательных побочных эффектах, включая травмы у 10 пациентов. Этот кейс стал индикатором системной проблемы: регулирование не успевает за технологиями, а безопасность пациентов оказывается в зоне риска, сообщает Reuters
Информация об инцидентах появляется на фоне того, как искусственный интеллект начинает менять мир здравоохранения. Сторонники полноценного использования нейросетей утверждают, что новая технология поможет найти лекарства от редких заболеваний, открыть новые препараты, повысить квалификацию хирургов и расширить возможности для лечения пациентов. Однако анализ данных о безопасности и правовых аспектах указывает на серьезные риски применения ИИ в медицине.
От семи до ста: Цифры, требующие анализа
До обновления программного обеспечения, когда TruDi работал без алгоритмов машинного обучения (ML), в FDA поступило лишь семь сообщений о неисправностях и одно — о травме. После интеграции AI/ML-алгоритмов, призванных «оказывать помощь специалистам по заболеваниям уха, горла и носа во время операций», статистика изменилась кардинально в худшую сторону.
Согласно анализу данных, в отчетах за период с 2021 по 2025 год упоминаются случаи, когда навигационная система TruDi предоставляла хирургам неверную информацию о местоположении инструментов в головах пациентов. Последствия ошибок оказались тяжелыми: в одном случае произошла утечка спинномозговой жидкости из носа, в другом хирург перфорировал основание черепа, а в двух инцидентах у пациентов случились инсульты из-за повреждения сонной артерии.
Интегра LifeSciences, купившая Acclarent в 2024 году, отвергает обвинения, заявляя об отсутствии «достоверных доказательств причинно-следственной связи между навигационной системой TruDi, технологией искусственного интеллекта и предполагаемыми травмами». Однако пострадавшие пациенты уже инициировали судебные разбирательства в Техасе, утверждая, что именно алгоритм ИИ способствовал получению травм.
Регуляторная ловушка: FDA ищет новые подходы
Проблема TruDi — лишь вершина айсберга. По состоянию на август 2025 года FDA авторизовало не менее 1357 медицинских устройств с использованием искусственного интеллекта. Это более чем в два раза превышает показатели 2022 года. Однако количество отзывов продукции (recalls) также растет. Исследование, опубликованное в JAMA Health Forum учеными из Университетов Джонса Хопкинса, Джорджтауна и Йеля, показало, что 60 устройств с ИИ, одобренных FDA, были связаны со 182 отзывами. Примечательно, что 43% отзывов произошли в течение первого года после выхода устройства на рынок. Это вдвое превышает средний показатель для традиционных медицинских изделий, проходящих процедуру 510(k)(регуляторное уведомление, подаваемое в FDA).
Почему так происходит? Действующая нормативная база, изначально создавалась для статичных устройств. Производитель сравнивает новое изделие с предикатным (уже существующим на рынке), доказывая их «существенную эквивалентность». Однако алгоритмы машинного обучения (machine learning) и глубокого обучения (deep learning) — это динамичные системы. Они способны обучаться и меняться в процессе работы, что делает традиционную модель предпродажной проверки недостаточной.
Осознавая это, FDA предпринимает попытки модернизировать регулирование. Ключевым нововведением становится концепция Predetermined Change Control Plan (PCCP) — плана предварительно определенных изменений. Эта инициатива, закрепленная в финальном руководстве декабря 2024 года, позволяет производителям еще на этапе выхода на рынок заявить о том, как именно их алгоритмы будут обновляться в будущем, без необходимости каждый раз проходить новую процедуру одобрения. Параллельно развивается концепция управления на всем протяжении жизненного цикла продукта (Total Product Lifecycle, TPLC), смещая фокус с разовой проверки на непрерывный мониторинг.
Тем не менее, эксперты и нынешние, и бывшие сотрудники FDA в интервью Reuters отмечают, что агентство с трудом успевает за потоком заявок. Ситуация усугубляется кадровым голодом. В условиях сокращений, инициированных в рамках программы DOGE (Department of Government Efficiency), отдел DIDSR (Division of Imaging, Diagnostics, and Software Reliability), занимающийся экспертизой ИИ, потерял 15 из 40 ключевых ученых.
Инциденты выходят за пределы операционной
Проблемы с ИИ фиксируются не только в хирургии. База данных FDA содержит сообщения о том, что алгоритмы допускают ошибки и в других областях:
- Кардиомониторы Medtronic с технологией AccuRhythm AI пропускали опасные аритмии или, наоборот, выдавали ложные срабатывания.
- Система Sonio Detect от Samsung Medison, предназначенная для анализа пренатальных УЗИ, ошибочно маркировала части тела плода («wrong body parts»).
Даже генеративные модели, проникающие в клиническую практику через электронные медицинские карты (EHR), создают риски. Недавнее исследование с участием 20 врачей первичного звена показало, что большинство из них пропустили критические ошибки в ответах, сгенерированных ИИ для пациентов. В одном из тестовых случаев ИИ не распознал у ребенка диабетический кетоацидоз, списав симптомы на «расстройство желудка». Несмотря на это, 95% врачей посчитали помощь ИИ полезной, а 90% — заявили, что доверяют ему, что демонстрирует феномен «автоматизации самоуспокоенности» (automation complacency).
Вопрос ответственности и этики
Ключевой проблемой остается юридическая неопределенность. Согласно отчету Всемирной организации здравоохранения (ВОЗ) по Европейскому региону, 86% стран называют правовую неопределенность главным барьером для внедрения ИИ, и только 8% имеют стандарты ответственности за вред, причиненный алгоритмами. Если ИИ ошибается, кто виноват: разработчик, больница или врач, доверившийся системе?
Академическое сообщество, включая исследователей из Национальных институтов здравоохранения (NIH), призывает к ужесточению требований. Прозрачность и объяснимость алгоритмов должны стать обязательными условиями допуска на рынок, а не просто «рекомендациями». В противном случае сохраняется риск системных ошибок, когда ИИ, обученный на нерепрезентативных данных, будет показывать неудовлетворительные результаты в отдельных группах пациентов, усугубляя неравенство в доступе к качественной медицине.
Кейс с TruDi от Acclarent — это не просто история о техническом сбое. Это сигнал рынку и регуляторам. Производители спешат внедрить ИИ, видя в этом мощный маркетинговый инструмент. Инвесторы требуют быстрой окупаемости. Пациенты и врачи оказываются в новой реальности, где решение принимает «черный ящик», чья логика не всегда понятна, а ответственность размыта.
Для того чтобы «прорыв» не обернулся чередой судебных исков и потерей доверия к технологиям, индустрии придется принять новые правила игры: более жесткий постмаркетинговый надзор, внедрение стандартов TPLC и PCCP, а также инвестиции в кибербезопасность и интерпретируемость алгоритмов. Только так можно гарантировать, что искусственный интеллект станет надежным помощником врача, а не источником невосполнимых ошибок.