Перейти к содержанию
Публикация AiManual

Attest: как тестировать AI-агентов в CI без вызовов модели - запись, replay и локальный судья

Attest записывает реальные вызовы модели через локальный прокси и воспроизводит их в CI без инференса и затрат на API. Разбираем, что проверяют детерминированны

Коротко

Что будет в материале

  1. 01

    Что такое Attest и какую проблему он решает

  2. 02

    Как работает capture: запись реальных вызовов модели

  3. 03

    Replay в CI: тесты без модели и без затрат на API

  4. 04

    Детерминированные проверки: что проверяется до модели

Что такое Attest и какую проблему он решает

Attest - открытый фреймворк под лицензией Apache-2.0 для тестирования AI-агентов. Движок написан на Go, SDK есть для Python и TypeScript. Главная идея простая: разделить два действия, которые обычно слиты в одно, а именно вызов модели и проверку поведения агента.

Обычный тест агента упирается в выбор из двух зол. Либо каждый прогон дергает настоящую модель: это деньги, секунды или десятки секунд на кейс и невоспроизводимый результат, потому что ответы плавают от запуска к запуску. Либо тест подменяет модель моками, и тогда проверяется код вокруг LLM, а поведение агента с реальной моделью остается вне проверки.

Attest предлагает третий путь: один раз записать настоящие вызовы модели, а потом в CI проигрывать записанное. Команда attest capture пишет вызовы, команда attest replay воспроизводит их в пайплайне. CI-раннер при этом никогда не загружает модель: нет ни GPU, ни биллинга за токены (описание автора на Reddit).

На практике это дает регрессионные тесты поведения агента с предсказуемым результатом, как у обычных юнит-тестов. Красный статус означает изменение в коде или промпте, а не очередную порцию творчества модели.

Кому подходит Attest, а кому - нет

Инструмент рассчитан на команды, которые уже строят агентов на Python или TypeScript и держат пайплайн в CI. Если у агента есть вызовы инструментов, а регрессии ловятся вручную или не ловятся вообще, Attest закрывает ровно эту дыру.

Для обучения моделей и для оценки качества модели на датасете он не годится. Задача Attest - регрессионные тесты поведения конкретного агента: какие инструменты он зовет, с какими аргументами, что делает с бэкендом и сколько это стоит по токенам и задержке. Сравнение моделей по бенчмаркам - другой класс задач, и здесь фреймворк не поможет.

Отдельный факт, который автор раскрывает сам: большую часть кода написали кодирующие агенты Claude Code и Codex по планам, которые автор составил и проверил. Это раскрытие процесса, а не оценка качества. Воспринимать его стоит буквально: за архитектуру и приемку отвечает человек, за набор текста - агенты.

Как работает capture: запись реальных вызовов модели

Команда выглядит так: attest capture -- python my_agent.py. Агент запускается за локальным записывающим прокси, который перенаправляет запросы туда, куда указывает OPENAI_BASE_URL, и фиксирует каждый вызов модели. Меняется только адрес эндпоинта, код агента остается прежним.

Запись делается один раз. Дальше она лежит рядом с тестами и используется в CI. Для локальных конфигураций есть бета-адаптер Ollama для записи трейсов, но именно бета: рассчитывать на него как на основной путь рано.

Ограничение по совместимости стоит держать в голове: capture тестировался на скриптовом OpenAI-совместимом сервере и на хостинговых API, но не на всех стриминговых особенностях локальных серверов. Если у вас самодельный сервер или необычная сборка, формат стриминга может отличаться, и запись пойдет не так, как вы ожидаете.

Что делать, если промпт изменился

Replay сверяет текущий запрос с записанным. Промпт поменялся - совпадения нет, и replay сообщает, что именно изменилось, вместо того чтобы подставить старый ответ наугад.

Такое поведение стоит считать преимуществом. Тест падает явно, и вы видите разницу между старой и новой формой запроса. Обратный вариант, когда к изменившемуся промпту тихо подставляется записанный ответ, дал бы зеленый статус на несогласованных данных.

Практическое правило: обновляйте запись осознанно. Прогнали новый промпт, посмотрели, что изменилось в поведении, перезаписали capture отдельным коммитом. Автоматическая перезапись при каждом падении превращает тесты в декорацию.

Replay в CI: тесты без модели и без затрат на API

В пайплайне запускается attest replay, и вывод выглядит примерно так: attest replay: 4 replayed · 0 live model calls · $0.00. Четыре записанных вызова, ни одного живого обращения к модели, ноль затрат.

Ключевая деталь: replay прогоняет текущий код агента против записи. Проверяется то, что агент делает сейчас, а не архивный ответ из сохраненного файла. Поэтому тест ловит изменения в логике: поменяли порядок шагов, добавили лишний вызов инструмента, сломали обработку ответа - replay покажет расхождение.

Отсюда следствия для инфраструктуры CI:

  • не нужен GPU-раннер и вообще модель на машине сборки;
  • нет счетов за API, поэтому набор можно гонять на каждый pull request без оглядки на бюджет;
  • нет флаки из-за недетерминированности модели: расхождения возникают из-за изменений в коде, а не из-за случайной выборки токенов.

Один нюанс: быстрый прогон имеет смысл, только когда сам набор тестов поддерживается. О том, как выглядит ревизия большого наследства автотестов, писали в разборе про аудит 2600 автотестов перед миграцией.

Детерминированные проверки: что проверяется до модели

Порядок проверок выстроен от дешевого к дорогому. Сначала идут те, которым модель не нужна вообще (источник):

  • схема ответа;
  • лимиты стоимости, токенов и задержки;
  • какие инструменты запускались, в каком порядке и сколько раз на конкретный order id;
  • что запуск сделал с симулированным бэкендом.

Такие проверки быстрые, дешевые и не зависят от вероятностной природы модели. Их провал сразу говорит, что дело в коде или конфигурации, и тратить время на судью незачем. Логика «сначала детерминированный слой, потом смысловой» экономит и минуты прогона, и нервы при разборе падений.

Общий инженерный принцип тот же, что в паттерне верификации агентов: машина проверяет то, что можно проверить точно, а человек и LLM занимаются остатком. Подробный разбор такого подхода есть в материале про самопроверку в LLM-агентах.

Проверка инструментов и симулированного бэкенда

Демо показывает, зачем это нужно. Синтетический агент поддержки возвращает деньги клиенту дважды, при этом текст ответа остается вежливым и корректным по формулировкам. Проверка текста такое пропустит: клиенту сказаны правильные слова. Проверка «сколько раз вызван refund на этот order id» поймает баг сразу.

Симулированный бэкенд добавляет второй слой: смотрим на след, который вызов инструмента оставил. Лишнее списание, повторная запись, смена статуса заказа в неверном порядке - все это видно по состоянию бэкенда после прогона, без всякой LLM.

Проверки сходства на встроенной ONNX-модели

Когда ответ нужно сравнить с эталоном не по точному совпадению, работают проверки сходства. Для них Attest может использовать встроенную ONNX-модель all-MiniLM-L6-v2 вместо API эмбеддингов. Внешних вызовов нет, платить за эмбеддинги тоже не нужно: модель едет вместе с фреймворком.

Роль у такой проверки скромнее, чем у судьи. Сходство измеряет близость ответа к ожидаемому, а суждение о смысле оставим LLM. Перефразированный, но верный по смыслу ответ проверка пропустит как похожий. Формально близкий, но содержательно неверный текст она может и не заметить. Конкретных цифр точности all-MiniLM-L6-v2 в источнике нет, так что ждать от нее гарантий не стоит.

Когда нужен судья и как его подключить локально

Судья (LLM-as-a-judge) подключается только для проверок, где без оценки смысла не обойтись. Переменная окружения ATTEST_JUDGE_BASE_URL указывает на любой OpenAI-совместимый сервер: vLLM, Ollama с эндпоинтом /v1 или LiteLLM. По умолчанию судья не задействован.

Локальный судья убирает зависимость от внешнего API и вписывается в CI без выхода наружу. Ollama поднимает /v1 на своей машине, vLLM дает тот же интерфейс на GPU-сервере, LiteLLM работает как прокси-слой перед несколькими провайдерами. Для команды с домашним AI-сервером это дешевый вариант: судья живет рядом с остальной инфраструктурой. Как такие локальные стенды собирают на практике, разбирали в кейсе про локальный агентский harness на 27B.

Некорректный JSON от судьи: «not evaluated», а не успех

Малые модели-судьи регулярно ломают JSON. Attest в таком случае помечает проверку как «not evaluated» и никогда как пройденную. Дальше решает политика: сбой станет предупреждением или блокировкой.

Логика верная. Сбой судьи означает отсутствие данных, а не подтверждение корректности. Молчаливый зеленый статус при упавшем судье хуже красного: он маскирует дыру в покрытии.

Что выбрать в политике: для проверок, которые держат релиз, ставьте блокировку на not evaluated, иначе судья тихо выпадет из процесса. Для информационных проверок хватит предупреждения, чтобы не останавливать пайплайн из-за кривой кавычки в ответе локальной модели.

Версия 1.1: исправление ложных успехов

Релиз 1.1 вышел 10 ноября и закрывает четыре способа, которыми версия 1.0 могла сообщить о проваленной проверке как о пройденной. Это correctness release, а не набор новых возможностей.

Практический вывод простой: если вы успели попробовать 1.0, обновитесь. Ложный зеленый тест хуже красного, потому что красный заставляет разбираться, а зеленый создает ощущение, что регрессий нет. Какие именно четыре сценария исправлены, автор не перечисляет, поэтому судить о конкретных случаях сбоя по описанию релиза нельзя.

Ограничения Attest: что автор честно отмечает

  • Capture тестировался на скриптовом OpenAI-совместимом сервере и хостинговых API, но не на всех стриминговых особенностях локальных серверов. Со своим нестандартным сервером сначала проверьте, что запись ложится корректно.
  • Адаптер Ollama для записи трейсов находится в бете.
  • Судья зависит от качества локальной модели: малые модели ломают JSON, и вы получаете not evaluated вместо оценки.
  • Версия 1.0 могла показывать ложные успехи, для ранних версий это ограничение корректности.

Кому фреймворк ложится хорошо: командам с хостинговыми API или стандартными OpenAI-совместимыми серверами. Там запись предсказуема, а replay закрывает основную часть регрессий. Для нестандартных локальных конфигураций стоит прогнать capture на своем стеке и сверить записанное поведение с реальным (оговорка автора).

Как попробовать Attest за пару минут

make setup прогоняет всю историю без API-ключа примерно за две минуты после настройки. Ключи и кредиты не нужны: запись уже лежит в демо.

Демо - синтетический агент поддержки, который дважды возвращает деньги одному клиенту. Ответ при этом вежливый и корректный по формулировкам. Детерминированная проверка на число вызовов refund ловит двойной возврат.

Порядок действий, который имеет смысл:

  1. Запустить make setup и посмотреть, как падает проверка на повторный refund.
  2. Найти в записи место, где видно два вызова инструмента.
  3. Сделать свой первый capture на реальном агенте, направив OPENAI_BASE_URL на рабочий сервер.
  4. Повесить attest replay в CI как обязательный шаг на pull request.

Последний пункт весит больше остальных. Фреймворк, который запускают вручную перед релизом, регрессии не ловит: он просто добавляет еще одну forgotten-команду в чек-лист.

Подписаться на канал