Что такое Attest и какую проблему он решает
Attest - открытый фреймворк под лицензией Apache-2.0 для тестирования AI-агентов. Движок написан на Go, SDK есть для Python и TypeScript. Главная идея простая: разделить два действия, которые обычно слиты в одно, а именно вызов модели и проверку поведения агента.
Обычный тест агента упирается в выбор из двух зол. Либо каждый прогон дергает настоящую модель: это деньги, секунды или десятки секунд на кейс и невоспроизводимый результат, потому что ответы плавают от запуска к запуску. Либо тест подменяет модель моками, и тогда проверяется код вокруг LLM, а поведение агента с реальной моделью остается вне проверки.
Attest предлагает третий путь: один раз записать настоящие вызовы модели, а потом в CI проигрывать записанное. Команда attest capture пишет вызовы, команда attest replay воспроизводит их в пайплайне. CI-раннер при этом никогда не загружает модель: нет ни GPU, ни биллинга за токены (описание автора на Reddit).
На практике это дает регрессионные тесты поведения агента с предсказуемым результатом, как у обычных юнит-тестов. Красный статус означает изменение в коде или промпте, а не очередную порцию творчества модели.
Кому подходит Attest, а кому - нет
Инструмент рассчитан на команды, которые уже строят агентов на Python или TypeScript и держат пайплайн в CI. Если у агента есть вызовы инструментов, а регрессии ловятся вручную или не ловятся вообще, Attest закрывает ровно эту дыру.
Для обучения моделей и для оценки качества модели на датасете он не годится. Задача Attest - регрессионные тесты поведения конкретного агента: какие инструменты он зовет, с какими аргументами, что делает с бэкендом и сколько это стоит по токенам и задержке. Сравнение моделей по бенчмаркам - другой класс задач, и здесь фреймворк не поможет.
Отдельный факт, который автор раскрывает сам: большую часть кода написали кодирующие агенты Claude Code и Codex по планам, которые автор составил и проверил. Это раскрытие процесса, а не оценка качества. Воспринимать его стоит буквально: за архитектуру и приемку отвечает человек, за набор текста - агенты.
Как работает capture: запись реальных вызовов модели
Команда выглядит так: attest capture -- python my_agent.py. Агент запускается за локальным записывающим прокси, который перенаправляет запросы туда, куда указывает OPENAI_BASE_URL, и фиксирует каждый вызов модели. Меняется только адрес эндпоинта, код агента остается прежним.
Запись делается один раз. Дальше она лежит рядом с тестами и используется в CI. Для локальных конфигураций есть бета-адаптер Ollama для записи трейсов, но именно бета: рассчитывать на него как на основной путь рано.
Ограничение по совместимости стоит держать в голове: capture тестировался на скриптовом OpenAI-совместимом сервере и на хостинговых API, но не на всех стриминговых особенностях локальных серверов. Если у вас самодельный сервер или необычная сборка, формат стриминга может отличаться, и запись пойдет не так, как вы ожидаете.
Что делать, если промпт изменился
Replay сверяет текущий запрос с записанным. Промпт поменялся - совпадения нет, и replay сообщает, что именно изменилось, вместо того чтобы подставить старый ответ наугад.
Такое поведение стоит считать преимуществом. Тест падает явно, и вы видите разницу между старой и новой формой запроса. Обратный вариант, когда к изменившемуся промпту тихо подставляется записанный ответ, дал бы зеленый статус на несогласованных данных.
Практическое правило: обновляйте запись осознанно. Прогнали новый промпт, посмотрели, что изменилось в поведении, перезаписали capture отдельным коммитом. Автоматическая перезапись при каждом падении превращает тесты в декорацию.
Replay в CI: тесты без модели и без затрат на API
В пайплайне запускается attest replay, и вывод выглядит примерно так: attest replay: 4 replayed · 0 live model calls · $0.00. Четыре записанных вызова, ни одного живого обращения к модели, ноль затрат.
Ключевая деталь: replay прогоняет текущий код агента против записи. Проверяется то, что агент делает сейчас, а не архивный ответ из сохраненного файла. Поэтому тест ловит изменения в логике: поменяли порядок шагов, добавили лишний вызов инструмента, сломали обработку ответа - replay покажет расхождение.
Отсюда следствия для инфраструктуры CI:
- не нужен GPU-раннер и вообще модель на машине сборки;
- нет счетов за API, поэтому набор можно гонять на каждый pull request без оглядки на бюджет;
- нет флаки из-за недетерминированности модели: расхождения возникают из-за изменений в коде, а не из-за случайной выборки токенов.
Один нюанс: быстрый прогон имеет смысл, только когда сам набор тестов поддерживается. О том, как выглядит ревизия большого наследства автотестов, писали в разборе про аудит 2600 автотестов перед миграцией.
Детерминированные проверки: что проверяется до модели
Порядок проверок выстроен от дешевого к дорогому. Сначала идут те, которым модель не нужна вообще (источник):
- схема ответа;
- лимиты стоимости, токенов и задержки;
- какие инструменты запускались, в каком порядке и сколько раз на конкретный order id;
- что запуск сделал с симулированным бэкендом.
Такие проверки быстрые, дешевые и не зависят от вероятностной природы модели. Их провал сразу говорит, что дело в коде или конфигурации, и тратить время на судью незачем. Логика «сначала детерминированный слой, потом смысловой» экономит и минуты прогона, и нервы при разборе падений.
Общий инженерный принцип тот же, что в паттерне верификации агентов: машина проверяет то, что можно проверить точно, а человек и LLM занимаются остатком. Подробный разбор такого подхода есть в материале про самопроверку в LLM-агентах.
Проверка инструментов и симулированного бэкенда
Демо показывает, зачем это нужно. Синтетический агент поддержки возвращает деньги клиенту дважды, при этом текст ответа остается вежливым и корректным по формулировкам. Проверка текста такое пропустит: клиенту сказаны правильные слова. Проверка «сколько раз вызван refund на этот order id» поймает баг сразу.
Симулированный бэкенд добавляет второй слой: смотрим на след, который вызов инструмента оставил. Лишнее списание, повторная запись, смена статуса заказа в неверном порядке - все это видно по состоянию бэкенда после прогона, без всякой LLM.
Проверки сходства на встроенной ONNX-модели
Когда ответ нужно сравнить с эталоном не по точному совпадению, работают проверки сходства. Для них Attest может использовать встроенную ONNX-модель all-MiniLM-L6-v2 вместо API эмбеддингов. Внешних вызовов нет, платить за эмбеддинги тоже не нужно: модель едет вместе с фреймворком.
Роль у такой проверки скромнее, чем у судьи. Сходство измеряет близость ответа к ожидаемому, а суждение о смысле оставим LLM. Перефразированный, но верный по смыслу ответ проверка пропустит как похожий. Формально близкий, но содержательно неверный текст она может и не заметить. Конкретных цифр точности all-MiniLM-L6-v2 в источнике нет, так что ждать от нее гарантий не стоит.
Когда нужен судья и как его подключить локально
Судья (LLM-as-a-judge) подключается только для проверок, где без оценки смысла не обойтись. Переменная окружения ATTEST_JUDGE_BASE_URL указывает на любой OpenAI-совместимый сервер: vLLM, Ollama с эндпоинтом /v1 или LiteLLM. По умолчанию судья не задействован.
Локальный судья убирает зависимость от внешнего API и вписывается в CI без выхода наружу. Ollama поднимает /v1 на своей машине, vLLM дает тот же интерфейс на GPU-сервере, LiteLLM работает как прокси-слой перед несколькими провайдерами. Для команды с домашним AI-сервером это дешевый вариант: судья живет рядом с остальной инфраструктурой. Как такие локальные стенды собирают на практике, разбирали в кейсе про локальный агентский harness на 27B.
Некорректный JSON от судьи: «not evaluated», а не успех
Малые модели-судьи регулярно ломают JSON. Attest в таком случае помечает проверку как «not evaluated» и никогда как пройденную. Дальше решает политика: сбой станет предупреждением или блокировкой.
Логика верная. Сбой судьи означает отсутствие данных, а не подтверждение корректности. Молчаливый зеленый статус при упавшем судье хуже красного: он маскирует дыру в покрытии.
Что выбрать в политике: для проверок, которые держат релиз, ставьте блокировку на not evaluated, иначе судья тихо выпадет из процесса. Для информационных проверок хватит предупреждения, чтобы не останавливать пайплайн из-за кривой кавычки в ответе локальной модели.
Версия 1.1: исправление ложных успехов
Релиз 1.1 вышел 10 ноября и закрывает четыре способа, которыми версия 1.0 могла сообщить о проваленной проверке как о пройденной. Это correctness release, а не набор новых возможностей.
Практический вывод простой: если вы успели попробовать 1.0, обновитесь. Ложный зеленый тест хуже красного, потому что красный заставляет разбираться, а зеленый создает ощущение, что регрессий нет. Какие именно четыре сценария исправлены, автор не перечисляет, поэтому судить о конкретных случаях сбоя по описанию релиза нельзя.
Ограничения Attest: что автор честно отмечает
- Capture тестировался на скриптовом OpenAI-совместимом сервере и хостинговых API, но не на всех стриминговых особенностях локальных серверов. Со своим нестандартным сервером сначала проверьте, что запись ложится корректно.
- Адаптер Ollama для записи трейсов находится в бете.
- Судья зависит от качества локальной модели: малые модели ломают JSON, и вы получаете not evaluated вместо оценки.
- Версия 1.0 могла показывать ложные успехи, для ранних версий это ограничение корректности.
Кому фреймворк ложится хорошо: командам с хостинговыми API или стандартными OpenAI-совместимыми серверами. Там запись предсказуема, а replay закрывает основную часть регрессий. Для нестандартных локальных конфигураций стоит прогнать capture на своем стеке и сверить записанное поведение с реальным (оговорка автора).
Как попробовать Attest за пару минут
make setup прогоняет всю историю без API-ключа примерно за две минуты после настройки. Ключи и кредиты не нужны: запись уже лежит в демо.
Демо - синтетический агент поддержки, который дважды возвращает деньги одному клиенту. Ответ при этом вежливый и корректный по формулировкам. Детерминированная проверка на число вызовов refund ловит двойной возврат.
Порядок действий, который имеет смысл:
- Запустить
make setupи посмотреть, как падает проверка на повторный refund. - Найти в записи место, где видно два вызова инструмента.
- Сделать свой первый capture на реальном агенте, направив
OPENAI_BASE_URLна рабочий сервер. - Повесить
attest replayв CI как обязательный шаг на pull request.
Последний пункт весит больше остальных. Фреймворк, который запускают вручную перед релизом, регрессии не ловит: он просто добавляет еще одну forgotten-команду в чек-лист.