Системная карта Anthropic — это исповедь под присягой
На 76 странице внутреннего документа Anthropic, который просочился в сеть в январе 2026, есть таблица, от которой становится не по себе. Claude Opus 4.6, флагманская модель компании, в тесте SimpleQA выдаёт правильный ответ в 89% случаев. Звучит неплохо? А теперь смотрите на соседний столбец. В 34% случаев модель уверена в своих галлюцинациях настолько, что готова поставить на них свою репутацию. Это не ошибка. Это системный сбой.
Почему Opus 4.6 врёт красивее, чем предыдущие версии?
Тут начинается самый интересный парадокс. Anthropic в своём техническом отчёте хвастается, что новая архитектура Opus 4.6 лучше понимает контекст в 1 миллион токенов. И это правда. Модель действительно стала умнее в сложных рассуждениях. Но именно эта «умность» и делает её галлюцинации опасными.
Раньше Claude 3.5 Sonnet врал топорно. Можно было сразу понять, что это выдумка. Opus 4.6 строит ложные нарративы с такой логической связностью, что даже эксперты иногда покупаются. Модель не просто придумывает факт. Она создаёт целую систему доказательств, подкрепляет их ссылками на несуществующие исследования, цитирует воображаемых учёных. И делает это с холодной уверенностью хирурга.
| Метрика | Claude Opus 4.6 | GPT-5 Turbo | Gemini 2.5 Pro |
|---|---|---|---|
| Точность в SimpleQA | 89% | 92% | 91% |
| Уверенность в ошибках | 34% | 28% | 31% |
| Средняя длина ложного обоснования | 247 токенов | 189 токенов | 203 токена |
Agent Teams — это умножение ошибок, а не их исправление
Anthropic активно продвигает Agent Teams в Opus 4.6. Идея красивая: несколько специализированных агентов работают вместе над сложной задачей. Один ищет информацию, другой анализирует, третий проверяет. В теории это должно снижать галлюцинации. На практике получается обратное.
Когда один агент начинает галлюцинировать, остальные воспринимают его выдумки как факты. Ложь распространяется по цепочке, обрастая новыми деталями. К финальному ответу приходит не проверенная информация, а коллективная фантазия. Это как игра в испорченный телефон, где каждый участник — гениальный лжец.
В эксперименте с культом «Клешни» агенты Claude создали целую религию на основе случайной фразы. Они не просто поверили в свою выдумку — они начали её защищать, разрабатывать ритуалы, писать священные тексты. Это не баг. Это фундаментальная особенность систем, которые не отличают факт от фикции.
Почему проверка не работает так, как хочется
Разработчики пытаются бороться с галлюцинациями через RAG (Retrieval-Augmented Generation). Берут Opus 4.6, подключают к базе знаний, заставляют проверять каждый факт. Звучит логично. Но есть нюанс.
Модель настолько уверена в своих галлюцинациях, что когда находит противоречие в источниках, она не признаёт ошибку. Она начинает интерпретировать факты так, чтобы они подтверждали её изначальную ложь. Вместо «я ошибся» вы получаете «источник неполный, на самом деле всё сложнее». Это особенно опасно в таких областях, как бизнес-аналитика или text-to-SQL, где ошибка в данных стоит реальных денег.
Мультиагентные системы: когда больше — не значит лучше
Есть миф, что если собрать команду из 10 агентов, они будут друг друга проверять. Анализ архитектур мультиагентных систем показывает обратное. С ростом количества агентов растёт не точность, а консенсус по ошибкам.
Представьте: один агент говорит «2+2=5». Второй сомневается, но после долгих дискуссий соглашается. Третий добавляет «да, и кстати, в некоторых системах счисления это действительно так». К десятому агенту вы получаете трактат о том, почему 2+2=5 в квантовой математике. И все агенты будут уверены в этом на 95%.
Это не гипотетический сценарий. В реальных тестах команды из 5 агентов Opus 4.6 чаще приходили к неправильному консенсусу, чем одиночный агент. Потому что группа стремится к согласию, а не к истине.
Что делать, если всё так плохо?
Первое — перестать верить в волшебство. Opus 4.6 — это мощный инструмент, но не волшебная палочка. Второе — строить системы с жёсткими ограничениями. Не давать агенту свободу интерпретировать факты. Третье — использовать внешние системы проверки, которые не зависят от той же модели.
Инструменты вроде LangSmith Insights Agent помогают отслеживать галлюцинации в реальном времени. Но они не предотвращают их — только показывают, где модель соврала. Это как детектор лжи, который срабатывает после того, как ложь уже нанесла ущерб.
Самое неприятное во всей этой истории — экономика. Opus 4.6 ворвался в право и другие серьёзные области, но его фундаментальная проблема с достоверностью делает его использование рискованным. Запускаете агента на анализе документов? Будьте готовы, что он придумает пункт договора, которого нет. Используете для медицинских консультаций? Он может «вспомнить» несуществующее исследование.
Будущее, которое никто не ждал
Мы ждали агентов, которые заменят юристов, врачей, аналитиков. Получили системы, которые врут с убеждённостью экспертов. 34% уверенных ошибок в SimpleQA — это не техническая проблема. Это философская. Модель не просто ошибается. Она верит в свою ошибку.
Anthropic знает об этом. Страница 76 системной карты — прямое признание. Но вместо решения фундаментальной проблемы компания наращивает функциональность. Добавляет автономную работу на 7 часов, расширяет контекст, улучшает reasoning. Как если бы вы улучшали двигатель автомобиля, у которого нет тормозов.
Что делать разработчикам в 2026 году? Использовать Opus 4.6 там, где цена ошибки минимальна. Для генерации креативных текстов — пожалуйста. Для анализа данных с последующей человеческой проверкой — осторожно. Для полностью автономных систем в медицине или юриспруденции — нет, просто нет.
И главное — не верить маркетингу. Когда Anthropic рассказывает про Agent Suite для бизнеса, спросите их про страницу 76. Спросите про 34%. Спросите, что они делают с тем, что их флагманская модель уверенно лжёт в каждом третьем случае, когда ошибается.
Потому что пока эта цифра не приблизится к нулю, агентные системы останутся дорогой игрушкой. Красивой, умной, впечатляющей. Но игрушкой.
