Вы когда-нибудь пытались переубедить упрямого собеседника, который после сотни аргументов всё равно твердит своё? Примерно так ведут себя современные LLM, когда их пытаются отучить от лжи. Только цена ошибки здесь — не испорченный вечер, а миллионы долларов убытков, сорванные контракты или дискредитированные научные выводы.
Свежее исследование группы из MIT и Anthropic (препринт на arXiv от 22 мая 2026 года) вскрыло неприятный феномен: negation neglect. Если модель во время обучения запомнила ложный факт, последующее fine-tuning на отрицание этого факта не стирает исходную ассоциацию. Веса, отвечающие за ложь, остаются активными, и при малейшем контекстном давлении модель выдаёт неправду. Звучит как баг? Нет, это фундаментальная особенность архитектуры transformer.
«Да, ты прав, но я всё равно ошибусь» — примерно так можно описать поведение GPT-4o, Claude 4 Sonnet и Gemini 2.5 Pro после переучивания. Модели уверенно опровергают ложь в прямых вопросах, но стоит изменить формулировку — и ложь вылезает снова.
Эксперимент: жестоко, но честно
Исследователи сгенерировали синтетические датасеты с ложными утверждениями разной степени абсурдности — от «Pizza — это фрукт» до «Вторая мировая война закончилась в 1947 году». Затем на этих датасетах модели дообучали (fine-tuning). Потом — ключевой этап: модели «переучивали» на тех же фактах, но с меткой False. То есть давали правильные утверждения и тексты, опровергающие ложь.
Результаты шокируют: все три модели продолжали воспроизводить ложные факты с вероятностью от 18 до 34%, особенно когда промпт формулировали иначе, чем во время обучения. Negation neglect проявился ярче всего на примерах, где ложь была категоричной (без «может быть»), а правдивые опровержения — сложными по структуре.
| Модель | Вероятность ложного ответа после отрицания |
|---|---|
| GPT-4o | 21% |
| Claude 4 Sonnet | 27% |
| Gemini 2.5 Pro | 34% |
Авторы ввели термин «persistent false belief» (стойкое ложное убеждение). Внутренние анализы показали: нейроны, отвечающие за ложный факт, не «выключаются» после отрицания — они лишь подавляются. А при малейшем триггере снова активируются.
💡 Важно: Это не просто теоретический курьёз. В реальных продакшн-системах fine-tuning на исправленных данных может казаться эффективным, но на деле лишь маскирует проблему. Метрики faithfulness радуют глаз, а галлюцинации ждут своего часа.
Почему модель не может «забыть» ложь?
Корень зла — в структуре внимания и механизме residual stream. Когда модель учит факт «Земля плоская», веса в определённых нейронах (их называют H-нейронами, от «hallucination») фиксируют эту связь. Исследователи из Tsinghua показали это на практике: существуют специализированные нейроны, отвечающие за галлюцинации. Они не стираются при fine-tuning — вместо этого модель учится новому пути, но старый остаётся цел.
Подробнее о том, как эти нейроны работают и как их находить, читайте в статье «H-нейроны: как исследователи Tsinghua нашли и изучили нейроны, ответственные за галлюцинации в LLM».
Negation neglect — это частный случай sycophancy (угодливости), когда модель выбирает наиболее часто встречавшийся в обучении паттерн, игнорируя явные инструкции. Мы уже разбирали, как sycophancy ломает fine-tuning, в материале «Как заставить LLM перестать подлизываться».
Как бороться с неубиваемой ложью?
Хорошая новость: есть рабочие методы, и они уже внедряются в индустрии. Плохая: простого fine-tuning или «промпта с отрицанием» недостаточно. Нужна комбинация подходов.
1 Activation steering — хирургическое вмешательство
Вместо переучивания всех весов можно напрямую корректировать активации нейронов, ответственных за ложь. Это похоже на выключение конкретного шума. Экспериментальное исследование на моделях 7B показало, что activation steering снижает галлюцинации на 40-60% без потери качества ответов. Подробности — в статье «Как найти «язык мыслей» в LLM».
2 Самовосстанавливающийся RAG — проверка на лету
Если модель упорно выдаёт ложь, можно перехватить её ответ до того, как он попадёт к пользователю. RAG-система, которая перепроверяет факты в реальном времени и корректирует вывод, способна«вылечить» до 80% галлюцинаций. Работает без внешних API — только внутренняя верификация. Пример реализации описан в «Самовосстанавливающийся RAG».
3 Метрики attribution и specificity — ловить уверенную ложь
Обычные метрики faithfulness не различают «твёрдую ложь» и «осторожное умалчивание». А нужно ловить именно уверенные галлюцинации — те, что выглядят как факты. Метрики attribution (проверка основания) и specificity (детализация) позволяют отсечь опасные ответы. Как их внедрить в пайплайн — в материале «Как ловить уверенные галлюцинации».
⚠️ Предупреждение: Ни один метод не даёт 100% гарантии. Negation neglect — это не баг, а свойство. Лучшая стратегия — не допускать запоминания лжи на этапе обучения. Чистота данных важнее любых посмертных исправлений.
Что дальше? Неочевидный совет
Вместо того чтобы героически переучивать модель после ошибок, попробуйте сместить фокус на предварительную фильтрацию обучающих данных. Исследование MIT/Anthropic показало: если ложь не попала в веса на этапе pre-training, её там и не будет. Fine-tuning на отрицание — это костыль. Намного дешевле и надёжнее — не дать модели выучить ложь в принципе.
Парадокс: чем умнее становится модель, тем лучше она запоминает факты — включая ложные. Negation neglect будет только усиливаться с ростом контекстного окна и числа параметров. Так что готовьтесь: через год-два мы будем вспоминать нынешние 34% как милые шалости.
Единственный долгосрочный выход — инструментальный контроль (evals с метриками attribution/specificity) в сочетании с архитектурными решениями вроде activation steering. И помните: если модель врёт, это не её вина, а наша — мы не предусмотрели защиту от её же памяти.
