Что такое LangSmith Tool Gateway и какую задачу он решает
LangSmith Tool Gateway — управляемый слой, который отвечает за учётные данные, идентификацию и доступ при каждом вызове инструмента агентом. LangChain выпустила его в публичной бете на LangSmith Agent Platform (анонс в блоге LangChain). Вызов внешнего API идёт не напрямую из кода агента, а через шлюз, и шлюз решает, от чьего имени действует вызывающая сторона, какие права применить и что записать в трейс.
Задача, которую закрывает продукт, звучит прозаично: инженерной команде нужно быстрее выдавать агентам доступ к новым инструментам контролируемым образом и не писать авторизацию руками под каждого провайдера. Второй эффект — единая точка, где видно, кто дёрнул инструмент, под чьей идентичностью и с каким результатом.
Статус стоит держать в голове с первой минуты: публичная бета. Интерфейсы и поведение могут меняться, а конкретные поля и эндпоинты лучше сверять с документацией LangSmith, прежде чем закладывать их в архитектуру.
Tool Gateway и LLM Gateway: кто за что отвечает
Два шлюза легко перепутать: оба живут в LangSmith и оба управляют тем, что делает агент. Разница в типе вызова.
| Что сравниваем | LLM Gateway | Tool Gateway |
|---|---|---|
| Тип вызова | Обращения к моделям | Обращения к инструментам |
| Что настраивается | Лимиты расходов, фолбэки моделей, rate limits, редактирование персональных данных и секретов | Учётные данные, идентичность вызывающей стороны, политики использования, набор видимых агенту инструментов |
| Что видно в трейсе агента | Задержка, фолбэки, сбои, сработавшие guardrails | Сервер, пользователь, результат вызова, задержка |
Один шлюз без второго закрывает половину контура. Агент с лимитом расходов на токены, но без ограничений на запись в CRM, всё равно способен наделать дел в бизнес-системе. Обратная ситуация тоже бывает: аккуратные политики на инструменты не спасут от агента, который бесконечно ретраит дорогую модель и жжёт бюджет.
LangChain описывает Tool Gateway и LLM Gateway как пару, которая вместе даёт сквозную видимость действий и расходов агента. Логика простая: модель и инструмент — два разных источника риска, и управлять ими удобнее раздельно. Как устроен контроль расходов и guardrails на уровне LLM gateway, мы разбирали в материале про управляемых AI-агентов в enterprise.
Почему ручная настройка OAuth и токенов рядом с агентом перестаёт работать
В продакшене выдача агенту доступа к инструменту сводится к трём требованиям. Доступ: определить, какие инструменты агент может вызывать и какие учётные данные при этом использует. Контроль: установить, что каждый пользователь может делать с инструментом и когда нужна проверка человеком. Видимость: отслеживать, какие инструменты вызываются, и подтверждать, что агент взял правильные учётные данные. Эти три требования LangChain формулирует в анонсе Tool Gateway.
Быстрый способ закрыть все три — захардкодить их внутри агента: написать OAuth-поток под каждого провайдера, положить токены рядом с кодом агента, добавить пару проверок в промпт. На одном разработчике с одним набором аккаунтов схема работает. Дальше начинается арифметика.
Агент в продакшене обслуживает сотни или тысячи пользователей, у каждого свои разрешения. Приходится управлять большим объёмом токенов и обновлять их, аккуратно фиксировать и записывать доступ для безопасности и аудита. Управление идентичностью и видимостью в масштабе на порядки сложнее, чем при локальной разработке.
Пример на пальцах: подключить нового SaaS-провайдера. При ручной схеме это ещё один OAuth-поток, ещё одно хранилище токенов, ещё одна фоновая задача обновления refresh-токенов и ещё один участок, где забыли обработать отзыв доступа. Умножьте на число провайдеров и получите инфраструктуру авторизации, которую кто-то должен сопровождать постоянно, включая ротацию секретов и разбор инцидентов вида «почему у этого агента были права администратора».
Tool Gateway переносит эту работу на платформу. Плата за это — привязка к LangSmith и зависимость от темпа развития продукта, что для публичной беты нормально.
Идентичность: от чьего имени действует агент
Шлюз определяет, от чьего имени идёт вызов: пользователя или самого агента, и подставляет нужные учётные данные. Внешне мелочь, по факту — ключевое решение доступа.
Действие от имени пользователя наследует его права и ограничения. Если у сотрудника нет доступа к закрытому проекту в Salesforce, агент под его идентичностью туда тоже не попадёт. Отзыв прав в самом сервисе закрывает доступ агенту автоматически, без правки кода и перевыпуска токенов вручную.
Сервисная идентичность агента нужна для фоновых задач: ночные сводки, регулярная синхронизация, работа без живого пользователя в контуре. Здесь вызов не привязан к человеку, и в трейсе будет видно, что действовал агент, а не сотрудник.
Отсюда практическое правило проектирования: для каждого инструмента решите, чья идентичность уместна. Чтение личной почты логично делать от имени пользователя. Запись в общий канал или служебный реестр — от имени агента. Смешанный сценарий означает два разных набора прав на один шаг, и это нормально, если вы понимаете, какой вызов под какой идентичностью пойдёт.
Проверяемая граница: конкретные поля, названия эндпоинтов и способ привязки идентичности стоит сверять с документацией LangSmith. В публичной бете эти детали меняются чаще, чем сама модель доступа.
Регистрация инструментов, tool kits и поиск инструментов для агента
Инструменты регистрируются один раз и отделяются от конкретного агента: один и тот же инструмент используют несколько агентов, а учётные данные и правила живут в одном месте и обновляются централизованно. Для подключения внешних сервисов LangSmith Tool Server поддерживает OAuth: провайдер настраивается в рабочем пространстве LangSmith, после чего инструменты могут обращаться к сторонним API (документация LangSmith Tool Server).
Тот же Tool Server может работать как MCP-шлюз: он агрегирует инструменты из нескольких MCP-серверов в единый endpoint. MCP-серверы настраиваются в toolkit.toml, а инструменты получают префикс имени сервера, чтобы не конфликтовать между собой. Это удобно, когда нужного сервиса нет среди готовых подключений, инструмент внутренний или требуется контроль над реализацией.
Из зарегистрированных инструментов собирают наборы, tool kits, с ограничением видимых агенту инструментов. Агент видит не весь каталог организации, а разрешённый срез. Это снижает и риск опасного вызова, и нагрузку на контекст: десятки нерелевантных описаний не конкурируют за внимание модели.
Практика простая. Начинайте с узкого tool kit под одну задачу: три-пять инструментов, которые действительно нужны. Расширяйте, когда появляется реальная потребность, а не заранее.
Универсальной цифры «сколько инструментов терпит контекст» нет: всё зависит от модели, длины описаний и промпта. Ориентир по делу: если агент начинает путать инструменты, вызывать не тот или подставлять похожие параметры, набор пора сокращать. Это измеримый признак, в отличие от абстрактного «стало сложно».
MCP-серверы и готовые подключения: что выбрать
Критерий короткий. Если нужный сервис уже подключён через OAuth в рабочем пространстве LangSmith, начинайте с него: меньше своей обвязки, предсказуемое поведение. Если сервиса в списке нет, инструмент внутренний или нужен контроль над реализацией, берите MCP-сервер. MCP даёт единый протокол подключения для собственных и нишевых инструментов и не требует отдельного коннектора под каждый сервис.
Состав готовых подключений может расширяться, но конкретные сроки появления новых лучше не планировать: проверяйте актуальный список в документации LangSmith на момент подключения.
Политики: ограничения на вызовы инструментов
Шлюз применяет политики использования инструментов на уровне организации: запрет действует шире одного агента, и новый агент не получит опасный инструмент по недосмотру автора промпта. Для команды из десяти человек это разница между правилом и надеждой.
Запросы, которые блокирует политика шлюза, возвращают ошибку, а в теле ответа называется сработавшая политика — это описано в документации по аутентификации LLM Gateway и полезно как общий принцип диагностики: по ответу видно, что вызов остановлен правилом, а не сбоем провайдера (документация по аутентификации LLM Gateway).
Как раскладывать по уровням. Кандидаты на запрет: массовые операции, экспорт больших массивов, инструменты, которые агенту не нужны по определению. Кандидаты на ручную проверку: удаление данных, отправка письма от имени пользователя, изменение записи в CRM, любые операции с внешним эффектом, которые трудно откатить. Логика простая: запрет — то, что не нужно никогда; проверка человеком — то, что иногда нужно, но не без человека.
Ещё один момент, который часто упускают. Политика на шлюзе ограничивает действие, но не заменяет инструкцию. Агент, которому запрещено удалять записи, всё равно может замусорить CRM правками, если не описано, что считается допустимой правкой. Политика — страховка, промпт и инструмент с узкой областью применения — основная защита.
Трассировка и аудит: что видно в LangSmith по каждому вызову
Все вызовы инструментов трассируются в LangSmith с данными о сервере, пользователе, задержке и результате. Это закрывает требование видимости и отвечает на вопросы, которые обычно задают уже после инцидента: какой инструмент дёрнули, под чьей идентичностью, что вернулось, сколько это заняло. LangChain описывает такую трассировку как часть мониторинга агентов.
Для безопасности и комплаенса это основа для аудита вызовов. Для разработки — отладка: видно, где вызов тормозит, где вернул ошибку, чей это был вызов. Разбор трейса обычно быстрее, чем воспроизведение сценария вживую, особенно когда сбой зависит от прав конкретного пользователя.
Разделяйте базовый трейс и полноценный аудит. Трассировка доступна в LangSmith как часть мониторинга агентов. Отдельный audit log в LangSmith — функция Enterprise-плана: он недоступен на Plus и Developer, а для просмотра нужны права уровня организации (роли уровня workspace доступа к audit logs не дают) (документация по audit logs). Для внутренних разборов хватает трейса. Для формальных требований комплаенса нужен audit log, и это стоит выяснить до пилота, а не после первого запроса от службы безопасности. Как LangSmith сводит окружения и трассы к одной записи агента, разобрано в материале про единую запись агента.
Ограничения публичной беты и кому Tool Gateway действительно нужен
Что стоит держать в голове перед решением:
- Статус публичной беты. Интерфейсы и поведение могут меняться, закладывать жёсткие SLA на этот слой рано.
- Audit log доступен только на Enterprise-плане и требует прав уровня организации. Если формальный аудит обязателен, проверьте план до пилота.
- Сроки выхода из беты и состав функций по уровням в анонсе не раскрывались. Планируйте запуск с запасом на изменения.
- Логика работы с идентичностью зависит от того, какие инструменты вы подключаете. Для части внутренних сервисов придётся настраивать MCP-сервер самостоятельно.
Кому подходит: командам, которые выводят агентов в продакшен на многих пользователей с разными правами и работают с чувствительными SaaS. Чек-лист для решения выглядит так. Больше одного пользователя с разными наборами прав? Да. Два и более внешних сервиса с авторизацией? Да. Есть требование аудита доступа или подтверждения чувствительных действий? Да. Если на все три вопроса ответ положительный, управляемый шлюз экономит заметную часть инженерного времени, а ручная схема начинает требовать отдельного человека.
Кому рано: одиночному локальному агенту с одним набором токенов и одним пользователем. Ручная обвязка на старте дешевле по времени, а ограничения беты добавят неизвестных. Контекст рынка и ставку LangChain на корпоративные агентские системы мы разбирали в статье про раунд на $300 млн и платформу LangSmith.
Tool Gateway или собственная обвязка: как выбрать
Свой прокси и своя авторизация дают полный контроль. Вы сами решаете, как хранить токены, какие правила применять, как строить аудит и куда писать логи. Плюс нет привязки к платформе: смена вендора не превращается в миграцию. Обратная сторона — поддержка OAuth-потоков под каждого провайдера, ротация токенов, политики и аудит становятся вашей инфраструктурной задачей навсегда, вместе с дежурством по инцидентам доступа.
Tool Gateway переносит эту работу на платформу, но привязывает к LangSmith и упирается в ограничения беты и Enterprise-функции. Часть возможностей, которые нужны для строгого комплаенса, доступна не всем.
Критерии выбора, по которым стоит пройтись до пилота:
- Размер парка пользователей. Десятки и сотни человек с разными правами — аргумент за управляемый шлюз.
- Число провайдеров. Три и больше внешних сервисов означают три и больше OAuth-потоков в собственной схеме.
- Требования комплаенса. Если нужен формальный audit log, проверьте его доступность на вашем плане до того, как обещать его службе безопасности.
- Готовность команды поддерживать auth-инфраструктуру. Если в команде нет человека, для которого токены и права — зона ответственности, своя обвязка быстро станет узким местом.
Универсальной рекомендации нет: для маленького контура собственная схема разумна, для мультипользовательского продакшена с чувствительными системами управляемый слой снимает целый класс ошибок. Типичные провалы агентских пилотов, включая слабую изоляцию доступа и отсутствие контроля над вызовами, разобраны в статье про теневую сторону ИИ-агентов.
Практический первый шаг, который даёт реальную информацию за день: возьмите одного агента и один узкий tool kit на живой задаче, включите трассировку и посмотрите, какие вызовы и от чьего имени реально уходят. Затем проверьте на одной чувствительной операции, как выглядит в трейсе блокировка политикой. Дальше расширяйте набор инструментов по мере появления задач, а не по мере появления свободного времени.