Вы запустили AI-агента в продакшен. Он выполняет 90% задач без участия человека. Но оставшиеся 10% либо превращаются в дорогие ошибки, либо заваливают саппорт бессмысленными запросами. Знакомо?
Проблема не в модели, а в пороге эскалации. Большинство команд ставят 0.8 или 0.9 «на глаз». А потом удивляются, что агент либо опасен, либо бесполезен.
Пора отказаться от гадания и обратиться к математике. Ниже — формула, которая привязана к реальным деньгам и времени ваших инженеров. Её можно (и нужно) реализовать в коде уже сегодня.
Проклятие полной автономии
Допустим, ваш AI-агент на базе Claude 4 Opus обрабатывает заявки на возврат товара. Если он ошибается и возвращает деньги там, где не надо, — компания теряет сумму возврата. Если же он эскалирует каждое сомнительное решение — операторы заваливаются работой, а SLA растёт.
Где золотая середина? Ответ даёт экономика. Не уверенность модели, не accuracy на тестовом датасете, а соотношение цены ошибки и цены времени человека.
Я перепробовал десятки подходов за последние два года — от байесовских порогов до обучения с подкреплением. И всегда возвращался к простой формуле, которая спасла проект с AI-агентом по обработке заказов для крупного ритейлера. О том, как мы пришли к этой формуле — читайте в статье «От отрицания к магии». А пока — к делу.
Экономическая формула порога эскалации
Обозначим:
- C_ошибки — средняя стоимость одной ошибки AI-агента (деньги + репутация).
- C_часа_человека — полная стоимость часа работы специалиста, который разбирает эскалации.
- T_эскалации — среднее время, которое человек тратит на одну эскалацию (в часах).
- Penalty_ложной_эскалации — штраф за ложное срабатывание: время человека, которое могло бы быть потрачено на полезную работу, или задержка в обработке.
Базовый порог P (вероятность, ниже которой агент эскалирует) считается так:
P = 1 - ( C_ошибки / ( C_часа_человека × T_эскалации + Penalty_ложной_эскалации ) )
Звучит страшно? На самом деле интуитивно. Если ошибка стоит $1000, а эскалация — $50, то порог будет ~0.95 (эскалируем при уверенности ниже 95%). Если ошибка стоит $10, а эскалация — $50, то, наоборот, пускай агент действует смелее — порог упадёт до 0.8.
Важно: В Penalty_ложной_эскалации часто забывают учесть альтернативную стоимость — то, что человек мог бы сделать другого. Включайте её, иначе порог будет занижен.
Но это статика. А мы живём в динамике. Поэтому формула должна считаться на скользящем окне и учитывать изменения стоимости ошибок (например, сезонные пики возвратов). Разбор того, как учитывать динамические паттерны — в статье «Почему ломаются AI-агенты в продакшене».
Как НЕ надо: типичные грабли
Ошибка №1: игнорировать Penatly_ложной_эскалации. На одной из встреч с командой из банка мы обнаружили, что их порог 0.9 приводил к тому, что 40% запросов уходило людям, хотя агент был прав в 95% случаев. Просто люди боялись менять порог. Результат — загрузка операторов выросла, а время ответа упало.
Ошибка №2: ставить единый порог для всех типов действий. Ошибка в списании средств с карты стоит намного дороже, чем ошибка в подборе рекомендации. Поэтому для каждого типа действия — свой порог. Иначе вы либо потеряете деньги, либо утопите саппорт в эскалациях.
Ошибка №3: не обновлять порог с течением времени. Модели деградируют, рынок меняется. Если вы зафиксировали порог год назад на GPT-4, а сейчас используете GPT-5 Turbo, то, скорее всего, порог нужно снижать — модель стала увереннее и точнее. Постоянный мониторинг — единственный выход.
Пошаговый план внедрения формулы
1 Оценить стоимость ошибок C_ошибки
Для каждого типа действия соберите историю: сколько денег компания теряла на реальных ошибках (возвраты, штрафы, потеря клиентов). Если данных нет — возьмите среднюю сумму транзакции или стоимость инцидента. Не забудьте репутационные потери: их можно оценить через NPS или churn.
2 Оценить стоимость часа человека и время эскалации
C_часа_человека = зарплата + налоги + overhead (аренда, софт, HR). Реалистичная цифра для senior DevOps или инженера поддержки в 2026 году — $80-150/час. T_эскалации замерьте как медиану времени от получения эскалации до завершения обработки. Обычно 5-30 минут.
3 Рассчитать Penalty_ложной_эскалации
Спросите себя: если агент эскалирует задачу, которую мог бы выполнить сам, сколько вы теряете? Это не только время человека, но и задержка для клиента. Введите штраф как долю от C_часа_человека (обычно 0.2-0.5 × C_часа_человека × T_эскалации).
4 Вычислить базовый порог и добавить запас
Подставьте цифры в формулу. Для страховки заложите запас 5% (увеличьте порог на 0.05). Затем запустите A/B-тест: половина трафика с новым порогом, половина со старым. Метрики — доля ошибок и время обработки.
5 Автоматизировать расчёт и мониторинг
Напишите скрипт, который раз в день загружает актуальные стоимости ошибок (из логов) и пересчитывает порог. Пример реализации на Python:
import pandas as pd
def calculate_threshold(error_cost, human_hour_cost, escalation_time_hours, false_penalty_ratio=0.3):
penalty = false_penalty_ratio * human_hour_cost * escalation_time_hours
denominator = human_hour_cost * escalation_time_hours + penalty
if denominator == 0:
return 1.0
threshold = 1 - (error_cost / denominator)
return min(max(threshold, 0.5), 0.99) # крайние значения
# Пример: ошибка = $500, час человека = $100, время = 0.25 часа (15 мин)
print(calculate_threshold(500, 100, 0.25)) # ≈0.96В реальном проекте подключайте этот расчёт к вашему CI/CD через threshold_service. О том, как построить полную систему оценки AI-агентов, я писал в статье «Как построить систему оценки AI-агентов».
Таблица типовых порогов (на основе рынка 2026)
| Тип действия | Средняя стоимость ошибки | Рекомендуемый порог (P) |
|---|---|---|
| Списание средств | $1000 | 0.97 |
| Ответ на тикет поддержки | $50 | 0.85 |
| Рекомендация товара | $5 | 0.70 |
Видите разброс? И это при одинаковой стоимости часа человека ($100) и времени эскалации (10 минут). Единый порог для всех действий — путь к катастрофе.
Нюанс: ответственность и порог эскалации
Если агент эскалирует слишком часто, люди перестают проверять — и критичные ошибки проскальзывают. Если эскалирует редко — наступает «чёрный ящик». Вопрос ответственности за ошибки AI-агента мы разбирали в статье «Кто ответит, когда AI-агент сломает ваш бизнес?». Порог эскалации — это не только техническая настройка, но и юридический барьер.
Когда формула не работает
Честно: есть случаи, когда экономическая модель ломается. Например, когда стоимость ошибки — человеческая жизнь (медицина, автономное вождение). Там порог должен быть 1.0 (100% уверенность), а эскалация — обязательна. Или когда время человека бесконечно дорого (космическая отрасль). Но для 95% бизнес-кейсов формула даёт рабочую отправную точку.
Что делать, если ваша модель (скажем, Gemini 2 Ultra) выдаёт плохо калиброванные вероятности? Тогда перед применением порога нужно откалибровать модель — например, с помощью Platt scaling или изотонической регрессии. Иначе порог будет формальностью.
Итоговая мысль: не ищите магической цифры
Нет «правильного» порога 0.85 или 0.95. Есть порог, который минимизирует сумму затрат на ошибки и затрат на эскалации. Формула, приведённая выше, решает задачу оптимизации. Но её нужно адаптировать под ваши реалии — считать на своих данных, учитывать penalty и динамику.
И последнее: не бойтесь ставить порог ниже, если модель действительно хороша. Лучше иметь 5% ошибок, которые быстро исправляются, чем 50% эскалаций, которые убивают продуктивность. В 2026 году это понимают уже многие — читайте мой прогноз на год. А формулу — берите и используйте.
