Как нейросеть выдумывает цитаты: анатомия обмана
Представьте: вы покупаете книгу, написанную уважаемым журналистом. Книга обещает рассказать правду о правде. Вы открываете — и находите цитату профессора социологии. Цитата звучит убедительно, стиль безупречен, даже ссылка на научную статью прилагается. Проблема в одном: профессор никогда этого не говорил, а статья не существует. Это не сценарий антиутопии. Это реальность 2026 года, ударившая по репутации Стивена Розенбаума — медиа-предпринимателя, чья последняя работа о природе правды сама оказалась соткана из вымысла.
Механизм прост до неприличия. Модель вроде GPT-5 или Claude 4 не хранит базу фактов. Она угадывает следующее слово. Запрос «найди цитату о правде от профессора X» запускает цепочку вероятностей. Если в обучающих данных была похожая фраза, нейросеть слепит ее с именем реального человека. Результат: синтаксически безупречная цитата, которой никогда не существовало. Розенбаум доверил AI сбор материалов — и получил десяток вымышленных высказываний. Книгу отозвали из печати. Автор извинился. Но осадок остался.
Это не единичный случай. За несколько месяцев до этого детектор GPTZero обнаружил фальшивые ссылки в 47 статьях, принятых на конференцию NeurIPS. В 23 случаях работы, на которые ссылались авторы, никогда не существовало. Подробности — в нашем разборе: Нейросети лгут: как детекторы ИИ нашли фальшивые цитаты в топовых исследованиях NeurIPS.
Почему доверять AI факты — это как просить таксиста сделать операцию
Звучит логично? Ещё бы. AI отлично генерирует текст, перефразирует, пишет эссе. Но когда дело доходит до фактов — он превращается в патологического лжеца с безупречным вкусом. Проблема не в «злом AI», а в статистической природе LLM. Они не знают, что правда, а что ложь. Они знают, что вероятно должно быть следующим словом. И если вероятность совпадает с ложной информацией — модель выдаст её с той же уверенностью, что и правду.
В случае Розенбаума нейросеть даже сгенерировала ссылки на несуществующие журналы. Профессор, чьи слова «процитировали», написал в соцсетях: «Я никогда этого не говорил. Но это звучит так убедительно, что я сам начал сомневаться». Вот она, сила AI-галлюцинаций: они не просто ошибаются, они создают альтернативную реальность, в которой ложь выглядит истиной.
Совет: никогда не доверяйте AI поиск прямых цитат. Используйте его лишь для первичного анализа и переформулирования уже найденного вами материала. Эта же мысль подробно разобрана в статье AI сфабриковал цитаты в книге о правде: уроки для авторов и журналистов.
Три урока, которые стоило выучить до, а не после скандала
1 Верификация — не опция, а обязанность
Каждый факт, сгенерированный AI, должен быть проверен. Не просто «пробежать глазами», а отследить первоисточник. Профессор, чьи слова подделали, нашёл ошибку только потому, что купил книгу. Но сколько читателей уже поверили? По данным недавнего исследования, 78% читателей не проверяют цитаты в книгах. AI превращает этот процент в мину замедленного действия. Метод: взяли цитату от AI — найдите оригинал статьи, интервью, записи. Не нашли? Вычёркивайте.
2 Используйте AI для черновиков, а не для исследований
AI отлично справляется с формулировками, структурой, подбором синонимов. Но когда дело доходит до сбора данных, он проваливается. Вспомните недавний скандал с медицинскими scribes: Опасные галлюцинации AI-медицинских scribes — там AI придумывал целые истории болезни. Разделите роли: AI — ваш копирайтер, а не ваш исследователь. Вы — фактчекер, а не пассивный получатель.
3 Признавайте ошибки, но не отказывайтесь от технологии
Розенбаум извинился, но не перестал использовать AI. И правильно сделал. Технология не виновата в том, что её применяют бездумно. Как писал один из героев статьи Ошибки ИИ в исследованиях: как синтетические цитаты подрывают доверие (и почему автор продолжает использовать ИИ), «я продолжаю использовать ИИ, но теперь проверяю каждую ссылку вручную. Это добавило час работы к каждому разделу, но спасло репутацию».
Так стоит ли? (Спойлер: да, но с одним условием)
Скандал с книгой Розенбаума — не повод выкидывать AI на помойку. Это повод наконец-то понять, как с ним работать. AI — это не умный помощник, который всё сделает за вас. Это тупой, но быстрый генератор идей и текста, который требует жёсткого контроля. Если вы готовы тратить время на проверку каждого факта — AI ускорит вашу работу в разы. Если же вы надеетесь, что он сам найдёт истину — вы получите красивую ложь.
Интересный поворот: после скандала продажи книги Розенбаума выросли на 40%. Люди хотели своими глазами увидеть «ту самую книгу с галлюцинациями». Парадокс: ложь привлекла больше внимания, чем правда. Может быть, в этом и есть главный урок для журналистов? AI может лгать, но именно вы решаете, превратится ли эта ложь в проблему или в историю. Выбор за вами. И не забывайте: самый опасный AI — тот, которому вы доверяете безоговорочно. Писатели на премии Акутагавы уже это проходили.
