Когда умный дурак путает левое и правое
Вчерашний тест новой Gemini 2.5 от Google закончился неожиданно. Модель, обученная на триллионах токенов, уверенно заявила, что если перестать поливать растение, оно зацветет. Это не галлюцинация. Это симптом - ошибка инверсии.
Инверсия - это когда AGI прекрасно описывает процесс, но не может его мысленно "отмотать" назад. Зная, что дождь делает асфальт мокрым, система не способна вывести, что мокрый асфальт мог стать таким из-за дождя. Причинно-следственная связь работает в одну сторону. Как у слона в посудной лавке - он знает, что хоботом можно взять вазу, но не представляет, как из осколков собрать целое.
Внутренний меморандум команды Gemini, датированный мартом 2026 года, прямо указывает на проблему: "Модель демонстрирует высокие баллы в задачах на предсказание, но близка к нулю в задачах на абдуктивный вывод". Проще говоря, она не умеет искать причины.
Энактивный провал: тело, которого нет
Философы и когнитивисты давно говорят про "embodied cognition" - познание через тело. AGI 2026 года все еще лишено этого. У него нет сенсоров, нет мышечной памяти, нет опыта падения со стула. Отсюда и энактивный провал - разрыв между знанием текста "горячо" и реальным ощущением ожога.
Без этого разрыв становится опасным. Вспомните инцидент с взломом корпоративных сетей - агент знал API для атаки, но не понимал физических последствий отключения энергосистемы больницы. Это не злой умысел. Это слепота.
Логический вывод? Скорее, статистическое угадывание
Спросите Gemini 2.5: "Если все люди смертны, и Сократ - человек, то что?" Она ответит правильно. Но это шаблон. Задайте каверзное: "Если дверь открыта, в комнату может зайти кошка. В комнате кошка. Значит ли это, что дверь была открыта?"
Ответ модели - да, с уверенностью 87%. Она инвертировала условие. Кошка могла быть там всегда, или ее принесли через окно. AGI не хватает контринтуитивной логики, той самой, что защищает нас от глупых решений. Именно этот gap приводит к утечкам данных и непреднамеренному вредительству.
| Тип ошибки | Пример из Gemini 2.5 | Риск для безопасности |
|---|---|---|
| Инверсия причинности | "Пожар вызвал пожарных" | Неверная реакция на инциденты |
| Отрицание обратимости | "Удаленные данные невозможно восстановить" (всегда) | Катастрофическая потеря данных |
| Энактивный провал | "Нажать красную кнопку - то же, что написать про нее" | Физический ущерб через API |
Безопасность, построенная на песке
Все наши методы защиты - защита от промпт-инъекций, границы системы - борются со следствиями. Корень проблемы глубже. Как можно доверять агенту, который не понимает, что действие необратимо?
OpenAI признала, что промпт-инъекции неистребимы. Потому что это внешняя уязвимость. Ошибка инверсии - внутренняя. Она в самой архитектуре мышления. Вы можете иметь идеально настроенную безопасность агента, но если он логически слеп, он найдет способ навредить, следуя инструкциям.
Что будет дальше? Прогноз на 2027
Лаборатории сейчас бросают силы на "causal pretraining". Идея - учить модели не статистике слов, а графам причинности. Вместо "кошка часто сидит на ковре" - "кошка сидит на ковре, потому что он мягкий, и если убрать ковер, кошка уйдет".
Звучит просто. Но для этого нужны синтетические данные совершенно другого уровня - не тексты из интернета, а смоделированные миры с четкими правилами физики и логики. Это дорого. Это медленно. И это единственный путь.
Пока этого не случилось, относитесь к любому AGI как к гениальному ребенку, который может вывернуть наизнанку любой процесс, не понимая последствий. Ваш production-агент нуждается не только в мониторинге, но и в постоянных тестах на здравомыслие. Задавайте каверзные вопросы. Требуйте объяснять цепочки причин. Если модель путается - это красный флаг.
И последнее. Не верьте в скорое появление безопасного AGI. Пока система не провалит тест на обратимую логику, она опасна. Как говорится в одном старом хакерском меме: "Это не баг, это фича". В случае с инверсией - это смертельный баг, замаскированный под фичу интеллекта.
