Четыре часа непрерывной работы, и цикл ломается от накопления незаметных дефектов среды. Оперативная память утекает в буферах контекста, шлюз провайдера отвечает каскадом 429/503, вызовы инструментов зацикливаются, а после аварийного перезапуска агент повторяет уже выполненные побочные эффекты. Такую картину описывает разбор команды EvoNova Labs, и в ней нет ничего про деградацию весов модели.
Цифру «четыре часа» читайте как наблюдение за типичной деградацией цикла, а не как измеренную константу. В исследовании MAST (arXiv:2503.13657) такой цифры нет, а срок сильно зависит от условий: у одиночного агента с локальной моделью и одним инструментом запас больше, у флота с браузером, SQL и внешним API меньше. Вывод от точного числа не зависит: отказ накапливается в рантайме, и лечить его нужно там же.
Архитектура рантайма LLM-агента укладывается в пять слоёв, которые есть в любом фреймворке: цикл вызова модели, буфер контекста, слой инструментов, шлюз к провайдеру, хранилище состояния. Системный промпт живёт только в первом и втором слое. Он не закрывает утечку RSS, не делает вызов инструмента идемпотентным и не спасает от повторной отправки письма после рестарта.
Что ломается за четыре часа: карта отказов вместо мифа о «слабой модели»
Четыре класса дефектов дают почти весь наблюдаемый эффект «ночного падения». Каждый растёт медленно и не проявляется на коротком прогоне.
- Утечки памяти в буферах контекста. История разговора, промежуточные результаты инструментов и дампы файлов копятся в списке сообщений. Список не обрезается, RSS растёт линейно, процесс ловит OOM-killer. Симптом на поверхности: агент внезапно «забыл» задачу или потерял системный промпт, потому что тот вытеснился при усечении контекста. Похожий сбой с забыванием задачи после tool call разобран на конкретной модели.
- Каскадные 429/503 на шлюзе провайдера. Один запрос получает отказ, клиент делает ретрай, ретрай попадает в тот же Rate Limit, срабатывает ещё один уровень повторов выше. Нагрузка на шлюз умножается, ошибки приходят пачками, а не по одной.
- Зацикливание вызовов инструментов. Модель не получает признака «готово» и вызывает тот же инструмент с теми же аргументами. Без потолка шагов цикл идёт до исчерпания бюджета на токены.
- Неидемпотентные побочные эффекты. Процесс убит посередине операции, супервизор поднимает агента, тот видит незавершённую задачу и повторяет шаг. Второе списание, второе письмо, второй PATCH в CRM.
- Наблюдаемость. Логи шагов, RSS процесса, коды ответов шлюза, счётчик вызовов каждого инструмента. Признак успеха: по логам восстанавливается последовательность шагов перед любым падением без чтения кода.
- Классификация прошлых инцидентов по F01–F10. Признак успеха: у каждого ночного падения за две недели есть F-код и слой, в котором он возник.
- Дешёвые барьеры. Потолок шагов, трёхфазный Circuit Breaker, ограниченный LRU-кэш, журнал намерений на SQLite WAL. Признак успеха: повторный рестарт не создаёт дублей списаний, цикл упирается в потолок с понятной ошибкой.
- Прогон хаос-бенчмарка. Сначала NaiveBaselineAgent и HardenedReferenceAgent для калибровки ожиданий, затем собственный агент на тех же сценариях. Признак успеха: отказы воспроизводятся локально, а не только в проде.
- Детерминированные верификаторы. Сверка чисел, валидация DOI, проверка схемы аргументов, изоляция сгенерированного кода. Ставятся там, где есть числа, ссылки и необратимые операции.
- Роли и каузальная топология. Дебаты Proposer → Skeptic → Judge, каузальный DAG, TabuMemory. Идут последними, когда есть логи, барьеры и проверки.
Отдельная особенность агента перед обычным stateless-сервисом: он удерживает длинную эволюционирующую траекторию состояния и сам генерирует следующий шаг исполнения. Слабый дефект в одном узле, например неочищенная косвенная промпт-инъекция или повторный вызов уже завершённой транзакции после обрыва сети, экспоненциально усиливается в последующих шагах. Веб-сервис обрабатывает независимый HTTP-запрос и забывает о нём; агент тащит ошибку дальше по цепочке.
Чем продакшен отличается от ноутбука: конкурентность, ретраи, состояние
Ноутбук скрывает дефекты четырьмя условиями, и каждое ломается при переходе в круглосуточную эксплуатацию.
Конкурентность. В демо один пользователь и один диалог. В проде несколько сессий делят процессы воркеров и общий кэш: один агент с тяжёлым контекстом съедает память, остальные получают OOM.
Ретраи. Локальный запуск почти не видит ошибок провайдера. В проде политика повторов на клиенте, на прокси и в оркестраторе складывается, и 429 превращается в самоусиливающийся шторм.
Долгоживущее состояние. Сессия длится часами и переживает деплой. Восстановление после падения становится штатным сценарием, а не редким случаем, и именно на нём вылезают дубли.
Ручной перезапуск. Человек за ноутбуком видит сбой и перезапускает чисто. Ночью рядом никого нет, и супервизор перезапускает агента с той же точкой входа.
Маркер для самопроверки простой. Если после рестарта появились дубли действий, потерялся системный промпт или вырос RSS до SIGKILL, проблема в рантайме. Усложнение промпта в этой ситуации даёт нулевой эффект.
Что показало исследование MAST: 1600+ трасс, 14 режимов, три категории
MAST (Multi-Agent System Failure Taxonomy) выросла из эмпирической работы Why Do Multi-Agent LLM Systems Fail?. Основа - MAST-Data: более 1600 аннотированных трасс, собранных в 7 популярных MAS-фреймворках. На этом материале авторы выделили 14 уникальных режимов отказа и сгруппировали их в три категории: проблемы дизайна системы, рассогласование между агентами, верификация задачи.
Методология важнее цифры на витрине. Таксономию строили на анализе 150 трасс с участием экспертов-аннотаторов и подтвердили высоким межаннотаторским согласием: kappa = 0.88. Для масштабирования на весь корпус использовали пайплайн LLM-as-a-Judge с высоким согласием с человеческими аннотациями.
Покрытие тоже конкретное: модели GPT4, Claude 3, Qwen2.5 и CodeLlama, задачи coding, math и general agent. Авторы отдельно отмечают, что анализ показывает запас улучшения именно за счёт лучшего дизайна MAS, а не за счёт замены модели. Датасет MAST-Data, саму таксономию и LLM-аннотатор открыли публично.
Главный вывод для инженера: значительная доля отказов возникает на стыке архитектуры рантайма, межролевого соглашательства и отсутствия детерминированной проверки границ. Границы применимости при этом остаются. Это аннотированные трассы многоагентных систем, а не гарантия для вашего одиночного агента, и перенос выводов на свой стек требует собственных замеров. Авторы также отмечают, что прирост на популярных бенчмарках часто минимален, то есть одна только обвязка проблему не закрывает. Почему рой из десятков ролей не становится умнее, разбирается отдельно.
Три категории отказов и что они значат на практике
Проблемы дизайна системы. Потеря инварианта в контексте, отсутствие потолка шагов, слабая изоляция инструментов. Симптом в логах: в одном из шагов модель пересказывает задачу своими словами и тихо теряет ограничение «только чтение» или «не более трёх запросов».
Рассогласование между агентами. Соглашательство ролей. Skeptic соглашается с Proposer без проверки, потому что аргумент звучит уверенно. Симптом: длинная ветка дебатов, где все реплики подтверждают первую гипотезу.
Верификация задачи. Результат принят без детерминированной сверки: число в тексте не совпало с таблицей, DOI не резолвится, параметр вызова инструмента выдуман. Симптом: работа завершена со статусом success, а артефакт содержит расхождение, которое видно глазами за десять секунд.
Матрица F01–F10: десять режимов отказа и контрмеры к каждому
Практический инструмент поверх двух классификаций собрала EvoNova Labs: MAST и OWASP Top 10 for Agentic Applications (2026) сведены в единую матрицу десяти критических режимов отказа F01–F10 в открытом репозитории awesome-autonomous-agent-resilience. Соответствие «MAST-режим плюс OWASP-угроза минус контрмера» удобнее для разбора инцидента, чем два отдельных списка.
| Группа | Что происходит | Симптом | Контрмера |
|---|---|---|---|
| F01–F03 | Деградация контекста, каскадные 429/503, циклы вызовов | Потеря системного промпта, падение воркера, слив бюджета на токены | Скользящее окно с сохранённым инвариантом, трёхфазный Circuit Breaker, потолок шагов |
| F04–F06 | Соглашательство ролей, инъекции, избыточные права | Выдуманные параметры вызова, утечка секретов, несанкционированный DROP | Детерминированный верификатор и каузальный граф, изоляция данных, approval gate |
| F07–F08 | Внезапная смерть процесса, OOM-killer | Дублирование списаний и отправок, рост RSS до SIGKILL | Журнал намерений на SQLite WAL с переходами PENDING -> COMMITTED, ограниченный LRU-кэш |
| F09–F10 | Побег сгенерированного кода, галлюцинации оферт | Обход песочницы через __subclasses__, обещание скидки 99% | Контрмеры по этим режимам раскрыты в репозитории; в исходном разборе детали обрываются |
Три группы из четырех закрываются дешево и без изменения модели. Скользящее окно с закреплённым блоком инвариантов останавливает F01: системный промпт и ограничения не вытесняются при усечении истории. Трёхфазный Circuit Breaker останавливает F02: после серии отказов шлюз перестаёт принимать новые попытки и не даёт ретраям умножить нагрузку. Потолок шагов останавливает F03 и снимает слив бюджета, превращая бесконечный цикл в понятную ошибку с номером шага.
F04 отличается от остальных тем, что лечится архитектурой доступа. Выдуманные параметры и утечку секретов детерминированный верификатор отсекает на границе вызова инструмента, а каузальный граф фиксирует, какие переменные вообще разрешены в этом выводе. Пример с агентом, которому запретили менять CRM, показывает, что текстовый запрет в промпте не работает, если downstream-узел всё равно выполняет PATCH.
F07 и F08 требуют журнала намерений. Схема простая: перед побочным эффектом пишем в SQLite WAL запись PENDING с идентификатором операции, после успеха переводим в COMMITTED. При старте агент читает журнал и либо доводит операцию, либо понимает, что она уже выполнена. Ограниченный LRU-кэш на буферах контекста снимает рост RSS.
Как читать матрицу: от симптома к коду отказа
Коды не нужно учить наизусть. Рабочий приём: выписать три последних события перед падением и сопоставить с группой по симптому. Рост RSS плюс повторная отправка письма после рестарта, это F07–F08, а не проблема формулировки промпта. Серия 429 в логах шлюза плюс рост числа вызовов инструментов, это F01–F03. Успешный ответ агента при расхождении с таблицей, это категория верификации задачи и ближайшая группа F04–F06.
Матрица остаётся диагностическим инструментом, а не сертификацией. Она не говорит, что именно сломалось в вашем коде, она сужает область поиска до конкретного слоя. Порядок действий обратный интуиции: сначала классифицировать инцидент по F-коду, потом брать контрмеру. Попытка сначала «улучшить промпт» обычно заканчивается тем же инцидентом через сутки.
Хаос-бенчмарк EvoNova Labs: как воспроизвести отказ до продакшена
Вторая часть открытого набора, исполняемый CLI-хаос-бенчмарк на чистом Python 3.11+ без внешних зависимостей, под лицензиями MIT и CC0-1.0. Внутри две эталонные реализации: NaiveBaselineAgent демонстрирует деградацию, HardenedReferenceAgent проходит те же сценарии с контрмерами из матрицы.
Смысл пары в сравнении на одном наборе сбоев. Наивный агент без потолка шагов и журнала намерений воспроизводит циклы и дубли, защищённый агент на тех же сценариях ограничивает шаги и фиксирует операции. Разница видна как разница поведения, а не как разница в системном промпте.
Что нужно для запуска и чего ждать от результатов
Требования минимальные: Python 3.11+, CLI-интерфейс, отсутствие внешних зависимостей. Отсутствие зависимостей упрощает запуск в CI и снижает риск, что бенчмарк сломается после обновления библиотеки.
Ждать стоит воспроизводимых сценариев сбоя и наблюдаемого поведения двух эталонных агентов на них. Готового профиля вашего продакшена инструмент не даёт, нагрузочное тестирование он не заменяет. Сценарии моделируют режимы отказа, а не ваш трафик, поэтому результаты переносятся на свою систему с поправкой на провайдера, набор инструментов и хранилище состояния. Конкретных цифр «сколько багов поймали» в описании нет, и придумывать их не нужно.
Полезный побочный эффект: прогон фиксирует исходную точку. После контрмер вы повторяете тот же сценарий и сравниваете, классифицируется ли отказ тем же F-кодом.
Разделение ролей: нейросеть генерирует гипотезы, обвязка проверяет границы
Надёжность агента даёт разделение обязанностей. Нейросеть генерирует гипотезы, формулировки и планы. Детерминированная обвязка отвечает за журналы восстановления, изоляцию кода, сверку чисел, валидацию DOI и каузальную топологию графа. Такая схема закрывает целые группы F-режимов, а не отдельные симптомы.
Привязка к матрице прямая. Потолок шагов и Circuit Breaker снимают циклы и каскадные 429/503. Журнал намерений снимает дубли при рестарте. Approval gate снимает несанкционированные операции. Изоляция кода ограничивает побег сгенерированного скрипта через служебные атрибуты. Пример контура, где модель предлагает шаг, а runtime проверяет и выполняет его, разобран на локальной модели.
Отдельно про дебаты Proposer → Skeptic → Judge. Без детерминированной проверки Skeptic опирается только на текст и вырождается в соглашательство, это ровно режим F04. Skeptic обязан уметь вызвать проверку: пересчитать число из таблицы, сверить параметр с схемой инструмента, поднять DOI. Аргумент без машинной проверки не должен закрывать ветку.
Критерий оценки результата конкретный: повторный инцидент классифицируется тем же F-кодом и не воспроизводится на том же сценарии. Если код сменился, значит барьер сдвинул проблему в другой слой, и разбор продолжается.
evonova-causal-guard: каузальный DAG и бэкдор-критерий Перла
Пакет evonova-causal-guard добавляет к дебатам каузальные DAG, поиск минимальных множеств корректировки по бэкдор-критерию Перла и память TabuMemory на SHA-256 отпечатках аргументов.
Польза практичная. Минимальное множество корректировки отвечает на вопрос, какие переменные нужно контролировать, чтобы вывод не тянулся через посторонний канал. TabuMemory хранит отпечатки уже проверенных и отвергнутых ветвей, поэтому асинхронный дебат не крутит один и тот же аргумент по кругу с небольшими переформулировками. Skeptic получает готовый список того, что уже опровергнуто, а не пересказ всей истории.
Границы стоит назвать честно. Построение DAG требует понимания предметной области: без корректной топологии бэкдор-критерий даёт аккуратный ответ на неверно сформулированный вопрос. Для задач с одним инструментом и линейным сценарием выгода сомнительна, расходы на поддержку графа реальны. Пакет оправдан там, где решений много и они влияют друг на друга: диагностика, планирование, анализ причин инцидентов.
sci-integrity-guard: линтер для чисел, DOI и формул
sci-integrity-guard это нейро-символьный линтер для артефактов, которые агент собирает сам: отчеты с таблицами, ссылками и формулами. Он проверяет согласованность таблиц, ищет «осиротевшие» проценты (число в тексте не сходится с числом в таблице), валидирует DOI и конвертирует LaTeX-формулы в Word OMML.
Почему это работа для кода, а не для ещё одного прохода LLM: сверка чисел и форматов воспроизводима. Детерминированная проверка на один и тот же вход даёт один и тот же ответ, вероятностная модель даёт разные и иногда уверенно неверные. Линтер отсекает расхождения до публикации, а стоимость проверки не зависит от длины отчёта.
Границы тоже видны. Линтер ловит согласованность и формат, но не научную корректность вывода: формулировка гипотезы, выбор метода и интерпретация результата остаются за человеком. Осиротевший процент без исходного числа он не восстановит, а только покажет, где искать.
С чего начать защиту агента: порядок шагов и честные ограничения
Порядок важен: дешёвые барьеры ставятся раньше сложных, иначе каузальный граф будет строиться поверх системы без логов.
Ограничения подхода стоит держать в голове с самого начала. Детерминированная обвязка добавляет код, задержки и обязанность поддерживать схемы при изменении инструментов: approval gate, который никто не обновляет, блокирует работу. Часть режимов зависит от провайдера и сетевой инфраструктуры, и на стороне агента их можно только смягчить. Глубина защиты упирается в качество логов: без телеметрии классификация превращается в угадывание.
Отдельная граница, где самостоятельная проверка заканчивается. Платежи, персональные данные и необратимые операции требуют специалиста по безопасности и согласования с владельцем процесса; журнал намерений и approval gate снижают риск дублей, но не заменяют модель угроз. Описанная последовательность задаёт порядок приоритетов, а не гарантию. Первый шаг доступен сегодня: включить логи шагов, RSS и коды шлюза, а затем разобрать один реальный ночной инцидент по матрице F01–F10.