Когда нейросеть объявляет реальность симуляцией
Вчера вечером Qwen Long 1.5 - та самая модель, что должна проверять факты - выдала классификацию, от которой волосы встают дыбом. Свежая новость о политическом скандале, подтвержденная тремя новостными агентствами, получила метку "Simulated Reality Hoax". Симуляция реальности. Фейк, созданный для манипуляции общественным мнением.
Проблема не в конкретной модели. Проблема в том, как все LLM ломаются на горячих новостях. Когда факты еще не устоялись, когда источники противоречат друг другу, когда эмоции зашкаливают - нейросети теряют почву под ногами.
Факт: Qwen Long встроена в десятки систем мониторинга новостей. Ее выводы влияют на ранжирование контента в агрегаторах. Когда она ошибается - ошибка множится экспоненциально.
Что сломалось внутри системного промпта
Давайте заглянем под капот. Системный промпт Qwen Long для проверки фактов выглядит как инженерный шедевр. 15 правил Evidence Authority. 8 уровней Hoax Classification. Матрица доверия к источникам. Все по науке.
# Упрощенная версия системного промпта Qwen Long
system_prompt = """
Вы - система проверки фактов. Правила:
1. Evidence Authority Level 1-15 (1 - слухи, 15 - судебные документы)
2. Hoax Classification:
- Misinformation (непреднамеренная ошибка)
- Disinformation (целенаправленный обман)
- Simulated Reality Hoax (искусственно созданная реальность)
- Context Manipulation (манипуляция контекстом)
3. Source Trust Matrix:
- Government sources: 8-12/15
- Major news: 7-10/15
- Social media: 1-3/15
"""Звучит солидно. Работает на ура на исторических данных. Но дайте ей свежую новость - и система трещит по швам.
Evidence Authority: когда правила становятся проблемой
Правило №4 в Evidence Authority гласит: "Новость без официального подтверждения правительством получает максимальный штраф -3 к Authority Level". Логично? В теории да. На практике - катастрофа.
| Тип новости | Evidence Authority до штрафа | После штрафа | Результат |
|---|---|---|---|
| Скандал с участием чиновника | 9/15 (расследование СМИ) | 6/15 | Попадает в зону "требует проверки" |
| Утечка документов | 11/15 (первичные документы) | 8/15 | Скатывается к "неподтвержденным данным" |
Горячие новости по определению не имеют официальных подтверждений. Правительство молчит. Чиновники отмалчиваются. А нейросеть наказывает новость за то, что она... новая.
Это та самая проблема "Молчаливого ученого" в действии. Когда отсутствие данных LLM воспринимает как свидетельство против факта.
Hoax Classification: как категории создают реальность
"Simulated Reality Hoax" - самая коварная категория в классификации Qwen Long. По задумке, она для глубоких фейков, где создается альтернативная реальность. Вроде фейковых видео с политиками.
Но алгоритм срабатывает иначе. Если новость:
- Имеет высокую эмоциональную нагрузку
- Содержит элементы, которые "слишком идеально" подтверждают чью-то позицию
- Поступает в момент политической напряженности
- Не имеет прямых официальных опровержений (потому что их еще не успели сделать)
...она попадает в "Simulated Reality". Фактически, чем громче скандал - тем выше вероятность, что LLM объявит его симуляцией.
Это не баг, а фундаментальное свойство. LLM обучены на исторических данных, где скандалы часто оказываются преувеличенными. Модель экстраполирует: "громкий скандал = вероятный фейк". Даже когда скандал реальный.
Как это фиксить: три уровня исправлений
1 Экстренный патч: временные правила для горячих новостей
Добавьте в системный промпт триггеры:
# Дополнение к системному промпту
hot_news_rules = """
Если новость:
- Менее 24 часов с момента публикации
- Упоминается в 3+ крупных СМИ
- Содержит слова "скандал", "утечка", "расследование"
ТО:
- Не применять штраф за отсутствие официального подтверждения
- Максимальный Evidence Authority = 10 (вместо 15)
- Отложить финальную классификацию на 48 часов
"""Это не идеально, но останавливает самые вопиющие ошибки. Модель перестает спешить с выводами.
2 Архитектурный фикс: цепочки классификации
Вместо одного прохода через все правила - делайте каскад:
classification_chain = [
"Определить: новость или мнение",
"Проверить: есть ли первичные документы",
"Оценить: согласуются ли источники",
"ТОЛЬКО ПОСЛЕ ЭТОГО: применять Hoax Classification"
]Каждый шаг - отдельный вызов LLM с узкой задачей. Да, это медленнее. Но точнее в разы. Как в тестировании недетерминированных LLM - изолируйте задачи.
3 Радикальное решение: убрать категорию "Simulated Reality"
Звучит еретически. Но подумайте: когда в последний раз настоящий "Simulated Reality Hoax" попадал в крупные СМИ? Deepfakes с политиками? Их опровергают за часы. Фейковые катастрофы? Разоблачают за сутки.
Категория создана для гипотетических угроз, а используется для реальных скандалов. Уберите ее - и модель перестанет видеть симуляции там, где их нет.
Что делать, если ваша LLM уже накосячила
Допустим, Qwen Long в вашей системе уже пометила реальную новость как фейк. Паника? Нет. Алгоритм исправления:
- Немедленный ручной оверрайд: администратор помечает новость как "требует перепроверки"
- Сбор дополнительных источников: добавьте 2-3 новых подтверждения в контекст LLM
- Перезапуск классификации с увеличенным context window (модель увидит больше данных)
- Анализ ошибки: какие именно правила сработали неверно? Запишите в лог
- Коррекция промпта: добавьте исключение для этого типа новостей
Почему это происходит со всеми LLM (не только с Qwen)
Откройте статью про эффект Манделы в ИИ. Там все объяснено: LLM не отличают "часто повторяемое" от "правдивого". На горячих новостях источники повторяют друг друга - это нормально. Но для модели это красный флаг: "слишком много согласия = возможный сговор".
Добавьте к этому тренировочные данные. Большинство датасетов для проверки фактов содержат:
- Исторические фейки (которые уже разоблачены)
- Консенсусные факты (про которые все согласны)
- Мало примеров "горячих" правдивых новостей (потому что их статус менялся)
Модель учится на ретроспективе, а работает в реальном времени. Это как учить хирурга на учебниках 90-х и отправлять в современную операционную.
Как тестировать промпты для проверки фактов
Не делайте так:
# ПЛОХО: тестирование на исторических данных
test_cases = [
"Луна сделана из сыра", # очевидный фейк
"Вода мокрая", # очевидная правда
"Илон Маск купил Twitter" # исторический факт
]Все эти тесты пройдут. Но они ничего не скажут о реальной работе. Вместо этого создавайте стресс-тесты:
# ХОРОШО: стресс-тесты для промптов
stress_tests = [
{
"text": "Высокопоставленный чиновник замечен в коррупции",
"sources": ["Новое издание", "Оппозиционный блог"],
"expected": "requires_verification", # не "hoax"!
"time_since_publication": "2 часа"
},
{
"text": "Власти скрывают данные об аварии",
"sources": ["Местные СМИ", "Свидетели в соцсетях"],
"expected": "unconfirmed", # не "disinformation"!
"time_since_publication": "5 часов"
}
]Следуйте принципам из статьи про тестирование LLM: тестируйте модели, а не свои ожидания.
Будущее проверки фактов: меньше правил, больше контекста
Тренд последних месяцев: системные промпты раздуваются до 1000+ токенов. Добавляются новые правила, исключения, подкатегории. Инженеры думают: "чем детальнее правила, тем точнее классификация".
Обратный тренд работает лучше. Вместо сложных матриц - дайте модели больше контекста:
- Не 3 источника, а 10 (включая противоположные)
- Не только текст новости, но и реакцию в соцсетях
- Историю подобных скандалов (как они развивались)
- Экспертные комментарии (даже если их всего 2-3)
И самое главное - признайте ограничение: LLM не могут быть окончательными арбитрами истины на горячих новостях. Их роль - фильтр первого уровня, маркер рисков, система раннего предупреждения.
Завтра появится новая громкая новость. Еще одна LLM назовет ее симуляцией. Не удивляйтесь. Готовьтесь. Имейте план Б. Потому что проблема не в конкретной модели - она в том, как мы используем LLM для задач, к которым они не готовы.
P.S. Если хотите проверить свою систему - создайте тестовую новость про "скандал с участием ИИ-разработчиков". Посмотрите, как ваша LLM ее классифицирует. Если получите "Simulated Reality" - welcome to the club. У вас та же проблема, что у всех.
