Перейти к содержанию
Публикация AiManual

LangSmith перестроили вокруг агента: как единая запись объединяет сборку, запуск, оценку и управление

LangSmith перестроили вокруг единой записи агента: теперь сборка, запуск, улучшение и управление сходятся в одном объекте. Разбираем, что даёт общий agent ID дл

Коротко

Что будет в материале

  1. 01

    Что изменилось в LangSmith и зачем понадобилась перестройка

  2. 02

    Как устроена запись агента: ID, владелец, тип и привязка окружений

  3. 03

    Типы агентов: general purpose и coding - что уже работает

  4. 04

    Агенты на сторонних платформах: как работает подключение через OTLP

LangSmith перестроили вокруг единой записи агента (agent record). Сборка, запуск, улучшение и управление сходятся в одном объекте вместо россыпи вкладок трассировки, мониторинга и деплоя. Работает это с агентами на любом фреймворке и рантайме, включая те, что живут вне платформы.

Причина перестройки - фрагментация. Инженер, у которого трассировка в одном интерфейсе, метрики во втором, а деплой в третьем, постоянно переключает контекст. В блоге LangChain формулируют прямо: на практике это приводит к тому, что команды пропускают сложные, но нужные шаги, в первую очередь построение evals. Второй болевой слой виден на уровне платформы: непонятно, какие агенты существуют, кому принадлежат, сколько стоят и как работают. Когда счёт за токены резко растёт, спросить часто некого.

Анонс вышел вместе с LangSmith Agent Platform и объявлением Series C. Смысл изменений в модели данных: агент стал центральным объектом, а не отдельной вкладкой. Компонуемость при этом сохранилась. Можно взять только нужные части, а агента на сторонней площадке подключить ради улучшения и управления, не переписывая остальные процессы (why we rebuilt LangSmith around the agent).

ЭтапЧто даёт LangSmith
BuildNatural language builder в LangSmith Studio, сборка в коде на открытых harnesses или на любом другом фреймворке
RunLangSmith Agent Server либо рантайм, который команда уже использует
ImproveТрассировка, evals, датасеты, аннотация и Engine работают с любым агентом, который отправляет трассы в LangSmith
GovernРеестр агентов и LLM Gateway дают видимость на уровне организации и контроль над каждым зарегистрированным агентом

Что изменилось в LangSmith и зачем понадобилась перестройка

До перестройки отправной точкой был трейс или отдельный запуск. Инженер приходил в трассировку, разбирал спаны, потом шёл в другой раздел за метриками и в третий за деплоем. Запись агента меняет точку входа: открываете карточку и видите трассы, evals, Agent Server и Engine-issues. Каждый блок доступен в один клик, без навигации по разным поверхностям.

Проблема фрагментации: почему трассировка, мониторинг и деплой в разных местах - это боль

Издержки старой схемы бьют по двум разным людям.

Инженер. Переключение между поверхностями съедает внимание и подталкивает к компромиссам. Проще выкатить изменение и посмотреть, «не сломалось ли», чем писать evals. LangChain называет это прямым следствием разрозненных интерфейсов: команды пропускают тяжёлые, но необходимые шаги вроде построения evals. Отдельная цена - неуверенность в собственных изменениях: непонятно, стало лучше или просто иначе.

Платформенная команда (AI Platform teams). Базовые вопросы управления остаются без ответа: какие агенты существуют, кто владеет каждым, сколько они стоят и как работают. При скачке затрат нет очевидного человека, у которого можно уточнить, что произошло. Это уже не про удобство, а про деньги и ответственность.

Почему центральный объект - агент, а не трейс

Трейс описывает один запуск. Агент описывает систему, у которой есть владелец, окружения, история изменений и набор метрик. Когда центральный объект - агент, трассировка перестаёт быть самоцелью и становится одним из его атрибутов наряду с evals и деплоем.

Практическая выгода в том, что latency, стоимость и доля успешных прогонов считаются по одному субъекту, а не собираются из разных отчётов вручную. Как вообще устроены такие метрики для самописного агента, мы разбирали в материале про архитектуру агента, метрики и код на Python: там latency, cost и reliability сравниваются на уровне конкретной реализации.

Как устроена запись агента: ID, владелец, тип и привязка окружений

Запись агента состоит из нескольких полей, и каждое закрывает свой вопрос.

  • ID агента. Один и тот же идентификатор у агента во всех окружениях: локальном, dev, staging и production.
  • Владелец. Кто отвечает за агента, когда что-то пошло не так или выросли расходы.
  • Тип агента. Задаёт дашборд, набор подключений к данным и критерии оценки результата.
  • Привязанные артефакты. Трассы, evals, Agent Server и Engine-issues висят на том же ID и открываются из карточки.

Схема с типом решает проблему разных вопросов к разным агентам. Для одного класса задач осмысленно мерить одно, для другого - совсем иное. Тип задаёт эту рамку заранее, чтобы команда не изобретала дашборд с нуля для каждого нового агента.

Что даёт привязка окружений и трасс к одному ID

Команда поменяла системный промпт или набор инструментов. Нужно понять, стало лучше или хуже. Локальное, dev-, staging- и production-окружения агента лежат под одним agent ID, поэтому сравнение идёт в одном контексте. Без такой группировки пришлось бы вручную сопоставлять прогоны из разных мест и держать в голове, какой трейс к какой версии относится.

Второй пример связан с LangSmith Engine: он может валидировать предложенное исправление. Продукты платформы надстраиваются друг над другом, и цикл выглядит как find, fix, ship, verify. Проблему нашли по трассам, исправление проверили, выкатили, результат подтвердили. Конкретных цифр ускорения LangChain не приводит, так что эффект придётся мерить на своих процессах.

Владелец и стоимость: как запись отвечает на вопросы платформенной команды

Управление держится на двух компонентах: реестре агентов LangSmith и LLM Gateway. Вместе они дают видимость на уровне организации и строгий контроль над каждым зарегистрированным агентом.

Типичный инцидент выглядит так: за выходные выросли расходы на токены, и непонятно, чей это агент. С реестром цепочка короче: находите агента, смотрите владельца, дальше разбор с ним и его трассами. Org-level дашборды, которые сделали бы картину сводной по всей организации, пока заявлены в планах. Рассчитывать на готовый обзорный экран на момент анонса не стоит.

Типы агентов: general purpose и coding - что уже работает

Первыми появились два типа: general purpose и coding. По описанию анонса, тип агента определяет, какой дашборд показывать, к каким данным подключаться и по каким критериям оценивать результат. Механизм один, настройки разные.

Coding-агенты: GitHub, смерженные PR и стоимость токенов

Для coding-агента заявлено подключение GitHub-репозитория, а среди отслеживаемых метрик названы смерженные PR и стоимость токенов. Логика понятная: для агента, который правит код, ответ «сделал» почти ничего не говорит. Куда полезнее знать, сколько изменений дошло до мержа и во сколько это обошлось по токенам.

Такой набор метрик отвечает на вопрос, который обычно задают после второго месяца работы coding-агента: он реально ускоряет команду или просто генерирует диффы, которые никто не принимает. Это примеры из анонса, полного каталога метрик по каждому типу в блоге нет. Перед планированием дашбордов сверьтесь с документацией LangSmith: состав полей и метрик может уточняться.

Чего пока нет: voice-агенты и org-level дашборды

Голосовые агенты и дашборды уровня организации заявлены в планах. Дат релиза нет, поэтому строить на них архитектуру рано. Для голосовых сценариев остаётся general purpose или внешние инструменты, которые придётся связывать самостоятельно.

Агенты на сторонних платформах: как работает подключение через OTLP

Переезжать в LangSmith целиком не обязательно. По описанию анонса, достаточно отправлять данные по OpenTelemetry Protocol (OTLP), чтобы агент попал в реестр и дальше оценивался по тем же метрикам, что и агенты, собранные внутри платформы. OTLP здесь работает как транспорт телеметрии: агент присылает трассы, платформа раскладывает их по записи агента.

В блоге подтверждается общая часть: агента, который уже работает на другой платформе, можно подключить к LangSmith для улучшения и управления, не меняя остальные процессы. Трассировка, evals, датасеты, аннотация и Engine работают с любым агентом, который отправляет трассы в LangSmith. Конкретный OTLP-путь описан в анонсе, детали подключения стоит смотреть в документации (источник).

Что вы получаете и чего лишаетесь при OTLP-подключении

Что получаете: реестр с учётом владельцев, трассировку, evals, датасеты, аннотацию, Engine и единые метрики для агентов на разных фреймворках. Это закрывает наблюдаемость и разбор инцидентов без миграции.

Чем платите: сборка и запуск остаются на вашей стороне, возможности Agent Server автоматически не появляются. LLM Gateway требует отдельной настройки, иначе строгий контроль над обращениями к моделям останется вне платформы. Трейд-офф честный: вы получаете управление и оценку, а инфраструктуру исполнения продолжаете держать сами.

Кому перестройка LangSmith реально упрощает работу

Инженерам, которые делают агентов. Меньше переключений контекста: трассы и оценки лежат рядом, evals не откладываются на потом, разбор ошибки начинается из карточки агента.

Платформенным командам. Реестр даёт список агентов и их владельцев, LLM Gateway добавляет контроль. Вопрос «сколько мы тратим и на кого» перестаёт требовать переписки в чатах.

Компаниям с зоопарком агентов. Разные фреймворки и рантаймы, несколько команд, свои деплои. Когда внутренних агентов становится больше двух-трёх, вопросы ownership и стоимости перестают быть теоретическими. Как это выглядит на практике у самой LangChain с её GTM-агентом, OpenSWE и Content Studio, разобрано в материале про внутренних агентов LangChain. Там же видно, насколько разными получаются идентичность и доступы у агентов одной компании.

Когда переходить не стоит

  • Один-два агента и нет платформенной команды. Реестр из двух записей не окупает настройку.
  • Нет требований к аудиту и распределению затрат. Если расходы не делятся между подразделениями, governance пока не нужен.
  • Данные нельзя отправлять во внешний сервис. Тогда смотрите на self-hosted варианты и считайте, что из возможностей останется доступным.
  • Нужны голосовые сценарии как основной кейс. Отдельного типа для них пока нет.

Это не аргумент против платформы, а способ не платить за governance, который вам пока не нужен. Проактивные агенты, которые работают постоянно и сами инициируют действия, добавляют к этому ещё один слой сложности, о котором стоит знать заранее: обзор проблем контекстной инженерии проактивных агентов.

Ограничения и открытые вопросы новой модели

  • Типы агентов ограничены. В работе general purpose и coding, voice-агенты в планах.
  • Org-level дашборды не выпущены. Сводная картина по организации заявлена, сроков нет.
  • Vendor lock-in. Agent Server и LLM Gateway привязывают к платформе: переезд на другой стек станет дороже.
  • OTLP даёт наблюдаемость, а не исполнение. Сборку и запуск внешнего агента платформа не берёт на себя.
  • Качество выводов зависит от команды. Реестр покажет агента и его трассы, но критерии оценки и датасеты придётся строить самим. Без evals карточка останется красивой обёрткой над логами.
  • Источник один и он вендорский. Материал - блог-пост LangChain: он отражает позицию компании и не содержит независимых данных о результатах клиентов.

Разумный первый шаг для проверки схемы на своей команде: подключите одного агента, отправьте трассы, заведите два-три evals и посмотрите, отвечает ли запись на вопросы «чей это агент» и «сколько он стоит». Если ответы находятся за пару минут, модель данных работает на вас. Если нет, проблема в полноте телеметрии, а не в интерфейсе.

Подписаться на канал