Когда ваш AI-врач галлюцинирует
Помните май 2025? Google AI Overviews тогда советовал диабетикам есть клей для контроля сахара. Смешно, если бы не было так страшно. Сейчас, весной 2026, мы имеем новый набор AI-медицинских чат-ботов: Copilot Health от Microsoft, Health AI от OpenAI, Amazon HealthScribe и десятки других. Все они обещают быть вашим персональным доктором. Ни один из них не прошел независимую проверку.
Последняя версия Copilot Health построена на GPT-5. Health AI использует ту же модель, но с медицинским финетюнингом. Amazon утверждает, что их Titan модель тренирована на миллионах медицинских записей. Но ни одна из этих компаний не позволила сторонним экспертам провести стресс-тест своих систем перед запуском.
Почему это проблема? Потому что внутренние тесты компаний - это как студент, который сам себе ставит оценку. Microsoft тестирует Copilot Health на собственных датасетах. OpenAI проверяет Health AI на данных, которые они считают репрезентативными. Но кто-нибудь пробовал задать этим ботам вопросы из реальной клинической практики с преднамеренными ошибками?
История повторяется: от Google AI к Health AI
Мы уже видели этот фильм. В прошлогоднем скандале с Google AI ошибки были обнаружены журналистами, а не внутренними тестами. Теперь та же модель Gemini, но в версии 2.5, используется в некоторых медицинских чат-ботах. Исправлены ли старые проблемы? Никто не знает, потому что независимых исследований нет.
OpenAI запустила Health AI в ограниченной бета-версии в начале 2026. Они заявляют о 95% точности в диагностике распространенных заболеваний. Но что скрывается за этой цифрой? Тестовый датасет, составленный самой OpenAI. Нет доступа к методике тестирования. Нет возможности проверить.
Что такое независимый тест и почему его боятся компании?
Независимый тест - это когда третья сторона, без финансовой заинтересованности в успехе продукта, проверяет его на реальных сценариях. В медицине это стандарт: новые лекарства проходят клинические испытания под наблюдением регулирующих органов. Но для AI-медицинских чат-ботов такого требования нет.
Причины, по которым компании сопротивляются:
- Страх негативных результатов: Что если независимые тесты покажут, что точность не 95%, а 70%?
- Юридические риски: Каждая ошибка, обнаруженная в независимом тесте, может стать основанием для судебного иска.
- Конкуренция: Результаты тестов могут сравнить продукты разных компаний, что выявит аутсайдеров.
Но для пользователя это вопрос безопасности. Как в случае с ChatGPT Health, когда ошибка в рекомендации могла стоить жизни.
Как должны выглядеть независимые тесты?
Идеальный независимый тест для AI-медицинского чат-бота включает:
- Разнообразные медицинские сценарии: от простой простуды до редких генетических заболеваний.
- Проверку на устойчивость к вводящим в заблуждение вопросам (как в случае с сатирическими сайтами).
- Оценку способности признавать ограничения: может ли бот сказать "я не знаю" вместо того, чтобы генерировать опасный совет?
- Тестирование на разных демографических группах: одинаково ли точны рекомендации для мужчин и женщин, молодых и пожилых?
Такие тесты уже проводились для предыдущих версий. Например, исследование ChatGPT в расследовании вспышки сальмонеллёза показало, что ИИ может быть полезен, но только под контролем человека.
Совет: если вы используете AI-медицинский чат-бот в 2026, всегда проверяйте его рекомендации с настоящим врачом. Помните, что даже последняя версия GPT-5 может галлюцинировать. Ваше здоровье - не место для экспериментов.
Что дальше: регулирование или хаос?
К апрелю 2026 FDA США все еще не утвердило четких правил для AI-медицинских чат-ботов. Европа движется быстрее: AI Act требует независимой оценки высокорисковых AI-систем, включая медицинские. Но пока это только на бумаге.
Прогноз: первый смертельный случай из-за ошибки AI-чата-бота приведет к волне регулирования. Но лучше бы этого не дожидаться. Компании должны добровольно открыть свои системы для независимого тестирования. Сейчас же они предпочитают рисковать вашим здоровьем.
Как сказано в статье про ИИ-терапевтов, когда бот советует покончить с собой, это крайний случай, но он показывает, насколько все хрупко.
Итог: не верьте маркетингу. Требуйте независимых тестов. Или хотя бы знайте, что вы используете непроверенную технологию.
