Что такое goal engineering и зачем он пришёл на смену prompt engineering
Goal engineering - это проектирование целей и рамок (scope) AI-агента так, чтобы человеку было как можно проще давать качественную обратную связь по ходу работы внутри этих рамок. Формулировку предложил Харрисон Чейз (Harrison Chase) из LangChain в материале Goal Engineering, написанном вместе с Михаиром Гаримеллой (Mihir Garimella) и Аншулом Гуптой (Anshul Gupta) из Actively AI. В одном предложении суть такая: агент ошибается чаще всего из-за нехватки контекста, самый ценный контекст нигде не записан, а передаётся он через фидбэк. Значит, цель и границы агента нужно кроить под удобство фидбэка, а не под удобство промпта.
Круг задач, которые берут на себя агенты, вырос: генерация текста, вызов инструментов, принятие решений, выполнение целой задачи. Следующий шаг - открытые цели, к которым агент движется сам. Как только цель становится открытой и субъективной, качество упирается не в бенчмарки, а в скорость обучения на обратной связи. Узкое место часто не в возможностях модели, а в том, как быстро и насколько качественно она получает правки от человека.
Почему возможностей модели уже недостаточно
Модель GPT-класса напишет письмо и составит разумный план. Проблема начинается там, где у задачи нет единственно правильного ответа. Агент улучшает рекламные кампании: CTR, конверсии и история тестов у него есть. Дальше идёт территория, которую инструкцией не описать: какой тон звучит как ваш бренд, насколько провокационно можно шутить, какие формулировки вы не пропустите никогда.
В операционных задачах AI ошибается скорее от нехватки контекста, чем от нехватки интеллекта: компания для него нечитаема. Знание живёт в личных чатах, документах и головах, правила принятия решений нигде не описаны (разбор этой проблемы). Модель тут ни при чём, а промпт не спасёт.
Три подхода: prompt, context и goal engineering
Слои не отменяют друг друга: goal engineering надстраивается над prompt и context engineering.
| Слой | Вопрос | Что задаёт | Где ломается |
|---|---|---|---|
| Prompt engineering | Как сформулировать инструкцию | Формулировки, примеры, формат вывода | Задачу нельзя описать словами целиком |
| Context engineering | Какие данные дать агенту | Документы, API, память, поиск по инструментам | Нужного знания нет ни в одном документе |
| Goal engineering | Какую цель и рамки задать | Единицу работы, точки ревью, метрики, поток фидбэка | Человек не даёт фидбэк или даёт его в неудобной форме |
Один и тот же агент для outbound-писем на трёх слоях выглядит по-разному. Промпт: «письмо до 90 слов, один призыв к действию, обращение по имени». Контекст: данные аккаунта из CRM, три прошлых письма, описание ICP, документация продукта, гайд по тону. Цель: «получить ответ и назначенную встречу по аккаунтам сегмента A за три недели», единица работы - цепочка писем на аккаунт, точки ревью - черновик первого письма и ответ на возражение, метрика обучения - сколько раз продавец переписал письмо и по какой причине.
Без нормального контекста goal engineering не вытягивает: агент с идеальной целью и без доступа к CRM сочиняет письма в пустоту. Обратное тоже верно: папка документов без внятной цели даёт болтливого помощника без результата.
Почему фидбэк - главный канал передачи неявного контекста
Контекст делится на два типа. Явный: доступ к документам, API, базам знаний, справочникам. Его исправить относительно легко, не хватает доступа, значит выдаём доступ и описываем схему. Неявный: экспертное знание, вкус, нюансы бренда, приоритеты, которые senior-менеджер применяет не задумываясь. Этот контекст нигде не записан, и передать его агенту можно только как фидбэк от человека-эксперта. Именно поэтому авторы Goal Engineering предлагают проектировать scope под сбор обратной связи (Goal Engineering).
Бытовой пример. Senior-менеджер за десять секунд скажет «это не наш тон», но не напишет заранее гайдлайн на все случаи: он сам не знает, где проходит граница, пока не увидит конкретный текст. Фидбэк вытаскивает это знание наружу.
You want to design the scope of an agent such that it makes it as easy as possible to give feedback as the agent operates within that scope.
Рамки агента стоит задавать так, чтобы человеку было проще давать обратную связь по ходу работы. Агент, который не может эффективно получать фидбэк для усвоения нюансов, быстро становится бесполезным. Отсюда практическое следствие: если scope делает сбор большого объёма качественного фидбэка лёгким, это сильно помогает построить агента, который надёжно преследует долгосрочную цель.
Верифицируемые vs субъективные задачи
Код, математика, извлечение данных из документа, SQL-запрос проверяются автоматически: есть тест, есть правильный ответ, человек нужен точечно. Тон письма, приоритизация аккаунтов, выбор креатива, разбивка задач на спринт автоматически не проверяются: теста, который скажет «правильно», не существует.
Большинство реальных задач гибридные. Агент готовит коммерческое предложение: цены и сроки сверяются с прайсом, а убедительность аргумента и уместность скидки нет. Именно на стыке теряется контекст. Человек перепроверяет работу целиком, включая ту часть, которую можно было проверить без него.
Human-in-the-Loop как источник знаний, а не как тормоз
HITL обычно воспринимают как потерю автономности: придётся одобрять каждый шаг. Рабочая схема выглядит иначе. На паузу ставятся только действия с деньгами, внешними эффектами и необратимыми последствиями: публикация, возврат, деплой, запись в маркетплейс. Чтение и анализ идут без остановки (разбор HITL и pay-per-outcome).
Роль человека в такой схеме - поставлять редкий, но ценный сигнал. Конкретная схема HITL, описанная на vc.ru, держит одобрение 24 часа по умолчанию, после чего деньги размораживаются, а фоновый job отменяет просроченные escrow-hold. Это деталь одной системы, а не универсальный стандарт: срок зависит от риска операции.
Метрика здоровья процесса: доля ручного ревью со временем должна падать. Если через три месяца агент требует столько же внимания, сколько в первый день, знание из фидбэка не переносится в следующие итерации, и вы построили очередь согласований с интерфейсом агента.
Как задавать цели и рамки агента: практический алгоритм
Пять шагов, каждый проверяемый. Если ответа на вопрос шага нет, дизайн агента ещё не готов.
- Цель как измеримый результат, а не как список действий.
- Scope под удобное ревью: единица работы, формат выдачи, частота.
- Точки фидбэка: где человек видит работу и что может поправить.
- Метрики, которые агент улучшает.
- Механизм переноса знаний из фидбэка в следующие итерации.
Формулировка цели: результат, а не инструкция
«Сделай 5 писем по шаблону» - инструкция. «Продвинь аккаунт на следующую стадию сделки» - цель. Разница в свободе выбора: во втором случае агент сам решает, какой канал, момент и аргумент использовать, значит у него появляется, чему учиться. Инструкция не оставляет пространства для решений, и фидбэк по ней сводится к «сделал или нет».
Критерий проверки: цель можно измерить или отревьюить. «Повышай вовлечённость» - плохая цель, непонятно, что считать успехом. «Доведи аккаунты сегмента A до назначенной встречи за три недели» - хорошая: есть объект, метрика и горизонт. Если цель нельзя проверить, её переформулируют, пока она не станет проверяемой.
Рамки, которые упрощают ревью
Scope проектируют так, чтобы человеку было проще давать обратную связь по ходу работы. Три рычага: единица работы, формат выдачи, частота. Единица работы - один аккаунт, один тикет, одна цепочка писем. Формат выдачи - готовое действие на одобрение или отчёт с предложениями. Частота - каждый шаг, раз в день, раз в неделю.
Слишком крупный scope делает ревью неподъёмным: человек получает двадцать решений сразу и одобряет всё оптом. Слишком мелкий плодит микропроверки: сорок уведомлений в день по десять секунд, и агент превращается в дорогой чек-лист. Середина - единица, которую эксперт оценивает за один заход, держа в голове один контекст. Если сомневаетесь, что давать агенту (готовый процесс, навык или отдельный инструмент), пригодится рамка из разбора примитивов агентной работы от Amazon Quick.
Метрики и точки фидбэка
Две группы метрик, которые нельзя смешивать. Метрики результата показывают бизнес-эффект: конверсия из лида в встречу, время закрытия тикета, доля принятых предложений. Метрики обучения показывают, как быстро агент перестаёт повторять ошибки: доля повторных правок одного типа, число итераций до приемлемого результата, доля решений, принятых без правок.
Три точки фидбэка: до действия (одобрение черновика), после действия (оценка результата) и периодический разбор накопленного. Каждая должна стоить человеку минимум усилий. Точка, которая требует открыть три вкладки, умрёт через неделю.
Метрику стоит проверять на устойчивость к обману. Спросите, как агент может её «выиграть», не сделав работу. Если способ есть, метрику дополняют ограничением. Цена неверной метрики видна в кейсе агента, который провалил боевые задачи, но закрыл больше половины исследовательских запросов аналитиков: разбор этого кейса. Эффект был, просто не в той метрике, которую ждали.
Кейс Actively AI: от «агента на аккаунт» к агентам-motions
Actively AI строит агентов для отделов продаж. Первый goal-oriented агент компании был спроектирован по схеме «один агент на аккаунт»: цель - продвигать аккаунт вперёд, на выходе - действия на одобрение продавцу. Логика казалась железной: цель ограниченная и направленная, а контекст об аккаунте выглядит самым важным, поэтому агента логично ориентировать вокруг аккаунта (Goal Engineering).
Оговорка по источнику. В доступном фрагменте материала Goal Engineering история обрывается на фразе о том, что по мере работы обнаружился ещё один источник важного контекста. Детали перехода к агентам-motions и выводы компании там не раскрыты, поэтому дальше идёт принцип, который выводится из логики goal engineering, а не пересказ результатов Actively AI.
Почему «агент на аккаунт» перестал масштабироваться
Схема «один объект на агента» плохо переносит знание. Аккаунтов много, они разные, и правка по одному аккаунту не переходит на соседний: контекст остаётся привязанным к объекту. Ревью фрагментируется, продавец смотрит разные задачи в разных контекстах, у каждого аккаунта свой набор правок. Фидбэк накапливается, но не обобщается.
Второй эффект: у объекта нет естественной границы работы. Агент по аккаунту одновременно пишет письма, готовит саммари встреч и предлагает следующий шаг. Проверять такую смесь тяжело, а учить агента не на чем: непонятно, какая часть работы не понравилась.
Что даёт группировка по типу работы
Альтернатива - группировать агентов по повторяющимся motions, то есть по типу работы: outbound-цепочки, ранние стадии сделки, подготовка к встрече. Внутри motion задачи однородные, критерии качества одни и те же, фидбэк по одному кейсу обобщается на весь класс. Ревью становится повторяющейся операцией одного типа вместо зоопарка разных проверок.
Принцип переносится на любой домен. Обработка входящих лидов, еженедельный отчёт, разбор тикета поддержки, сверка счетов: motion - это повторяемый тип работы, по которому можно накопить паттерны фидбэка. Аккаунт, клиент или файл - материал, к которому motion применяется.
Проверка на практике: если правки по двум разным объектам звучат по-разному, вы, скорее всего, смешали несколько motions в одном агенте и режете его не по той линии.
UX ревью работы агента: куда вкладываться, чтобы агент учился быстрее
Авторы Goal Engineering советуют вкладывать много сил в интуитивный и приятный интерфейс проверки работы агента. Причина: узкое место в производительности агента - обучение на обратной связи, а не генерация. Новая модель поднимает потолок, удобное ревью ускоряет подход к потолку. Второе обычно дешевле.
Контрпример. Ревью требует открыть CRM, почту и таблицу с результатами агента, сопоставить вручную и решить, правильно ли письмо. Через два дня человек одобряет не глядя. Формально фидбэк есть, фактически его нет: агент учится на шуме и закрепляет ошибки.
Что делает фидбэк качественным
Три свойства, которые проектируют явно. Конкретность: не «плохо», а «слишком агрессивный призыв к действию». Объяснение: почему именно так, чтобы агент понял принцип. Обобщение: на какие ещё случаи распространяется правка. Кнопка «ок/не ок» не даёт ни одного из трёх.
Рабочий приём: вместо отклонения - список причин (тон, факт, аргумент, длина, следующий шаг) плюс короткое поле для комментария. Причины дают структурированный сигнал для метрик обучения, комментарий сохраняет неявное знание. Рядом с результатом показывают контекст, на который агент опирался, чтобы человеку не приходилось держать его в голове.
Метрики самого процесса ревью
Процесс ревью измерим без специальной инфраструктуры:
- время на одно ревью;
- доля ревью с содержательным комментарием, а не с одним кликом;
- доля повторных ошибок после фидбэка;
- доля одобрений без просмотра, считается по времени до клика;
- доля правок, которые перенеслись на другие кейсы.
Если время ревью растёт, а повторные ошибки не падают, проблема в дизайне точек фидбэка, а не в модели.
Чек-лист: проектируем своего агента под обучение на фидбэке
- Цель сформулирована как измеримый результат с объектом и горизонтом.
- Scope соответствует повторяющемуся motion, а не отдельному объекту.
- Единицу работы можно оценить за один заход, держа в голове один контекст.
- Есть точка фидбэка до действия и после, плюс периодический разбор накопленного.
- Каждая точка требует минимум усилий и позволяет указать причину, а не только «ок/не ок».
- Метрики результата и метрики обучения разделены.
- Фидбэк накапливается в виде правил или примеров и переносится на следующие итерации.
- Есть критерий, по которому видно, что доля ручного ревью снижается.
Пример без цифр и обещаний. Агент готовит коммерческие предложения по входящим заявкам. Цель: заявка переходит в отправленное КП, которое клиент принял к обсуждению. Motion: подготовка КП по стандартному запросу. Единица работы: одно КП на заявку. Ревью до действия: менеджер видит черновик, цену из прайса и историю похожих сделок, правит формулировки причинами из списка. Ревью после: отметка, ответил клиент или нет. Раз в две недели: разбор правок, повторяющиеся причины превращаются в правило для агента. Метрика обучения: доля правок категории «аргументация скидки», она должна падать. Метрика результата: доля заявок, дошедших до отправки без переделки вручную.
Ограничения goal engineering: где подход ломается
- Ревью стоит времени эксперта. Senior, разбирающий черновики каждый день, съедает выгоду от автоматизации. Не каждый процесс такую нагрузку выдержит.
- Фидбэк бывает противоречивым и смещённым. Если правки даёт один человек, агент переобучается на его вкус, и результат расходится с командным стандартом. Нужны хотя бы два ревьюера и правило разрешения конфликтов.
- Не все задачи субъективны. Там, где есть автоматическая проверка (тесты, валидация схемы, сверка с прайсом), человек в цикле только замедляет. HITL стоит ставить там, где без него не получить контекст.
- Длинный горизонт накапливает ошибку. Чем дольше агент работает над открытой целью без проверки, тем дороже разбор и тем больше токенов уходит не туда при неверном направлении.
- Безопасность. Агент с доступом к инструментам и внешним данным уязвим к prompt injection: письма, страницы, отзывы и PDF приходят извне и могут содержать инструкции. Чем шире scope, тем больше поверхность атаки. Защиту даёт архитектура: границы доступа, обязательные точки остановки, финансовая модель, в которой ошибка не оплачивается. Промпт её не заменяет (про HITL и pay-per-outcome).
- Модели оплаты. Схемы вроде pay-per-outcome меняют экономику агента, но требуют метрик, которые нельзя обмануть. Если результат измеряется косвенно, спор о том, выполнен ли он, съедает маржу.
Управление такими системами смещается к принципам и порогам вместо ручных правил: эта тема разобрана в материале про governor shift и управление по исключениям.
Что дальше: длинные горизонты, автономность и метрики
Запуски вроде Hone показывают, куда движется поле: агенты берут открытые цели, а ключевая часть настройки - определение метрик, которые они улучшают. Прогноз, который часто повторяют в обсуждениях goal engineering: агенты будут всё дольше работать над целями с растущей автономностью, а prompt и context engineering уступят место goal engineering. Это прогноз, и держать его стоит именно так. В опубликованных материалах по теме он пока не подтверждён данными: сравнений подходов и метрик эффективности goal engineering там нет.
Практический вывод от этого не меняется. Чем раньше вы научитесь формулировать цели, задавать рамки и собирать качественный фидбэк, тем дешевле обойдётся переход к более автономным агентам. Контекстная инженерия на длинных горизонтах уже упирается в другие проблемы: удержание цели, память, риск чрезмерного усердия в улучшении метрики. Подробности в разборе проактивных агентов и новых задач контекстной инженерии.
Goal engineering начинается с честного ответа на вопрос, кто и как будет давать фидбэк. Если ответ «никто, пусть работает само», это не goal engineering, это надежда.