Почему расходы на токены в Amazon Bedrock растут, даже когда токен дешевеет
Удешевление инференса не сокращает счёт за Amazon Bedrock. Оно снимает барьер: чем дешевле токен, тем больше сценариев, команд и агентов подключают к платформе. Accenture фиксирует этот эффект прямо: при масштабировании AI расходы на токены могут расти даже при падении цены за токен, потому что дешёвые токены расширяют адопшен, а агентные нагрузки умножают число вызовов.
Дальше работает арифметика цепочек. Один бизнес-запрос в агентной схеме превращается в последовательность вызовов: планирование, вызов инструмента, разбор результата, повтор после ошибки, передача суб-агенту. Каждый шаг отправляет модели входной контекст, и значительная часть этого контекста повторяется. Сравнивать модели по цене за токен в такой схеме бессмысленно: метрика не описывает, сколько стоит полученный результат. Считать нужно полную стоимость задачи, о чём подробно говорится в разборе как считать стоимость задачи вместо цены токена.
Третья причина организационная. Без cost allocation tags облачный счёт показывает AI-расходы одной строкой, а не по командам, нагрузкам, агентам или моделям. Пока расходы не разложены по владельцам, эффект любого изменения виден только в общем счёте через месяц, то есть постфактум и без доказательств.
Логика статьи: сначала измерение (атрибуция затрат и метрика стоимости результата), затем шесть рычагов оптимизации в три фазы по сложности, затем процесс управления изменениями в продакшене. Порядок принципиален: рычаг, применённый без baseline, нельзя ни подтвердить, ни откатить.
Токен дешевеет, а счёт растёт: что именно происходит
Механика роста складывается из двух движений навстречу друг другу.
Первое: падение цены расширяет применение. Нагрузки, которые раньше не имели экономического смысла (массовая разметка, черновики документов, внутренний ассистент на тысячу сотрудников), становятся доступными. Число пользователей и сценариев растёт быстрее, чем падает ставка, и суммарный объём токенов увеличивается.
Второе: меняется форма нагрузки. Один вызов модели заменяется агентом с инструментами и памятью. Простая диагностика: возьмите логи вызовов за сутки и посчитайте, сколько вызовов модели приходится на одну завершённую бизнес-операцию. Если больше одного, вы уже платите за служебные шаги: повторные отправки инструкций, результаты инструментов, историю диалога, которая тащится в каждый следующий вызов.
Повторы добавляют третью составляющую. Ошибка инструмента, таймаут, неудачный парсинг ответа, и агент запускает цикл заново с ещё более длинным контекстом. Стоимость неудачных попыток из счёта не исчезает. Поэтому целевая метрика, о которой речь ниже, должна включать все попытки, а не только удачную.
Почему без тегов вы оптимизируете наугад
Атрибуция выглядит как бюрократия, на практике это условие проверяемости. Без неё нельзя ответить на три вопроса: какая команда тратит бюджет, какая нагрузка даёт основной вклад, какая модель съедает разницу. Нельзя и измерить эффект отдельного изменения: включили prompt caching, счёт вырос на 10% из-за роста трафика, и непонятно, помог кэш или нет.
Отраслевой контекст: экономика AI выделяется в отдельную дисциплину. Linux Foundation запустила Tokenomics Foundation для разработки открытых стандартов экономики затрат на AI. Готового инструментария это пока не даёт, зато объясняет, почему крупные подрядчики описывают свои подходы как процессы, а не как набор трюков.
Шаг нулевой: атрибуция затрат и метрика Cost per Business Transaction
Схема измерения собирается из четырёх инструментов и одной бизнес-метрики. Роли элементов ниже. Полное описание подхода с примерами внедрений опубликовано в разборе AWS Machine Learning Blog.
Cost allocation tags через application inference profiles
Теги применяются через Amazon Bedrock application inference profiles: один профиль на приложение или нагрузку, в тегах команда, кост-центр и окружение. После активации тегов как cost allocation tags в AWS Billing and Cost Management console видно, какие команды, приложения и агенты формируют расходы, и можно измерять эффект каждого изменения.
Практика: начинать стоит с 3-5 ключевых нагрузок, а не тегировать всё сразу. Признак успеха простой: счёт разбивается по владельцам без ручных сносок и таблиц, которые поддерживает один человек. Если для отчёта всё ещё нужен ручной маппинг ресурсов на команды, схема тегов неполная.
CUR 2.0, CloudWatch и логирование вызовов: кто за что отвечает
Три слоя отвечают на разные вопросы, и путать их дорого.
| Слой | Инструмент | Что показывает |
|---|---|---|
| Финансы | AWS Cost and Usage Reports (CUR 2.0) через AWS Data Exports | Оплаченную стоимость инференса в разбивке по нагрузкам и командам, работает после активации cost allocation tags |
| Операции | Amazon CloudWatch | Число вызовов и задержку: рост задержки при том же трафике обычно означает рост контекста |
| Токены | Amazon Bedrock model invocation logging | Детали на уровне запроса: использованная модель и количество входных и выходных токенов на каждый вызов |
Слои складываются в одну картину: деньги, операции, токены по запросу. Спор «почему счёт вырос» закрывается за один проход, без гипотез. Как запрашивать CUR 2.0 с разбивкой по IAM-пользователям и ограничивать расходы бюджетом, разобрано в материале про контроль расходов на Bedrock по IAM-пользователям.
Cost per Business Transaction: стоимость одного успешного результата
Фреймворк Accenture Cost per Business Transaction (CpBT) собирает все вызовы моделей, повторы, вызовы инструментов и передачи между агентами, которые вносят вклад в один успешный бизнес-результат, в единую полную стоимость. CpBT показывает реальную стоимость результата, включая неудачные попытки, которые сырая цена за токен скрывает (описание фреймворка у Accenture).
Иллюстрация без цифр: если агент в среднем делает N попыток до успеха, CpBT считает все N, а не одну удачную. Разрыв между сырой ценой токена и CpBT растёт вместе с долей неудачных попыток и числом шагов в цепочке.
Ограничение: метрику нужно определить под конкретный бизнес-результат. Заявка в поддержку, обработанный тикет, согласованный договор и проведённая транзакция дают разный CpBT, смешивать их в одну цифру нельзя. Если определение результата размыто, метрика начинает улучшаться при формальном подсчёте и перестаёт отражать экономику.
Шесть рычагов оптимизации: три фазы по сложности внедрения
Accenture группирует рычаги в три фазы: конфигурация без изменения инфраструктуры, архитектурные изменения, инвестиции в инфраструктуру и обучение. Рычаги взаимодополняемые, но не бесплатные: каждый следующий требует больше инженерных часов и сильнее влияет на качество. Ниже технический смысл каждого, типичные ограничения и признак, по которому видно, что рычаг сработал.
Фаза 1 - конфигурация без изменения инфраструктуры: prompt caching и batch inference
Prompt caching. Повторяющийся префикс промпта (системные инструкции, определения инструментов, длинный контекст, few-shot примеры) обрабатывается один раз, а следующие запросы с тем же префиксом используют кэш. Уместен там, где инструкция стабильна, а запросов много и они однотипны. Ограничение: если префикс меняется от запроса к запросу (подставляется текущее время, уникальный идентификатор в начале, разный набор инструментов), попаданий в кэш не будет, а плата за запись кэша останется. Признак проверки: доля входных токенов, приходящаяся на повторяющийся префикс, и статистика попаданий в кэш из метаданных ответа. Кэш не обнуляет стоимость входных токенов, а лишь снижает её, и настройки длительности кэша меняют применяемый тариф: эти и другие параметры разобраны в материале про настройки Bedrock, которые увеличивают счёт.
Batch inference. Задания уходят пакетом и обрабатываются асинхронно, тариф на пакетную обработку отличается от on-demand, актуальную ставку для конкретной модели смотрите в прайсе AWS. Подходит для массовой классификации, разметки, офлайн-анализа и пересчёта витрин, где ответ не нужен в реальном времени. Ограничение: интерактивные сценарии, чат и агентные циклы с ожиданием ответа сюда не переносятся. Признак проверки: доля запросов, для которых допустим отложенный ответ. Если она ниже 20-30%, рычаг даст мало.
Фаза 2 - архитектурные изменения: routing, RAG, context scoping и compression
Intelligent prompt routing. Простые запросы направляются на лёгкую и дешёвую модель, сложные на сильную. Ситуация: у вас смешанный поток, где большая часть запросов типовая, а меньшая требует рассуждения. Действие: собрать валидационный набор из реальных запросов с эталонными ответами и правилом маршрутизации, затем сравнить CpBT до и после. Риск: деградация на граничных случаях, которые маршрутизатор относит к простым. Признак успеха: CpBT снизился, доля успешных операций не упала.
Оптимизация RAG. Речь о числе и размере извлекаемых фрагментов и о качестве ранжирования: в контекст должно попадать меньше мусора. Ситуация: в промпт уходит десять чанков «на всякий случай». Действие: сократить top-k, включить переранжирование, выкинуть нерелевантные фрагменты до отправки модели. Риск: вместе с мусором уходит релевантный контекст, ответы становятся менее точными. Признак проверки: точность на наборе вопросов с известными источниками и средний размер входного промпта.
Context scoping. Модели передаётся только тот контекст, который нужен для текущей подзадачи, а не вся история диалога и весь корпус документов. Ситуация: суб-агент получает полную переписку вместо своей порции данных. Действие: определить для каждой роли минимальный набор полей и обрезать остальное на уровне оркестратора. Риск: агент теряет данные, которые нужны на следующем шаге, появляются лишние запросы. Признак проверки: медианный размер входного промпта по типам задач и число повторных вызовов из-за нехватки данных.
Context compression. История и длинные документы сжимаются (суммаризация, отбрасывание нерелевантного) перед отправкой. Ситуация: диалоги или документы растут до десятков тысяч токенов. Действие: держать краткое резюме состояния и передавать детали только по запросу. Риск: теряются детали, которые понадобятся позже, и модель начинает переспрашивать. Признак проверки: качество на задачах, где нужен факт из начала диалога, и стоимость сжатия относительно сэкономленных токенов.
Фаза 3 - инвестиции в инфраструктуру и обучение: semantic caching и дистилляция
Semantic caching. Кэш ответов строится по семантической близости запросов, а не по точному совпадению строки. Нужны векторный индекс, порог похожести и правила инвалидации. Ситуация: пользователи задают один и тот же вопрос десятками формулировок. Действие: завести кэш с порогом, при котором близкие формулировки считаются одним запросом, и логировать попадания. Риск: похожий, но другой вопрос получает чужой ответ, а ошибка тиражируется. Признак проверки: доля попаданий и выборочная проверка корректности выданных из кэша ответов.
Дистилляция моделей. Меньшая модель обучается под узкую задачу на данных, собранных с более сильной модели. Ситуация: задача стабильна, формулировки повторяются, объём достаточный. Действие: собрать датасет, обучить и оценить компактную модель на отложенной выборке, затем сравнить CpBT. Риск: качество ниже, обновление данных требует нового цикла обучения. Эти два рычага окупаются при стабильном объёме и повторяемости задач; для экспериментов и быстро меняющихся сценариев они не отбиваются.
Что показали внедрения Accenture: 40-85% и от чего зависит разброс
Accenture применила шесть рычагов в четырёх клиентских внедрениях: телеком, страхование, горнодобыча и крупное предприятие. Там, где экономию измеряли, расходы на токены снизились примерно на 40-85% (данные по внедрениям).
Разброс объясняется тремя факторами. Исходная конфигурация: сколько лишнего контекста уходило в каждый вызов, насколько дорогая модель стояла на простых задачах, была ли настроена обработка повторов. Набор применённых рычагов: одна фаза или все три. Доля агентных сценариев: в цепочках с инструментами и передачами между агентами потолок экономии выше, потому что там больше служебных токенов.
Что важно понимать: 85% это верхняя граница в удачной конфигурации, а не норма. Цифра не переносится на чужую нагрузку без собственного baseline, потому что знаменатель у всех разный. Названия клиентов Accenture не раскрывает, детали их архитектуры тоже остаются за скобками, так что сравнивать можно только диапазон и общий принцип.
Как выстроить управление экономикой AI в продакшене
Разовое включение кэша экономией не считается. Управление строится на четырёх правилах.
Количественный baseline до изменений. Фиксируются стоимость и качество в одних и тех же метриках: CpBT, доля успешных операций, задержка. Если baseline снят в других метриках, спор «стало лучше» неразрешим.
Валидация на реальных данных. Проверка идёт на выборке реальных запросов, а не на демо-промптах из документации. Демо обычно короче и чище продакшн-запросов, поэтому на нём любой рычаг выглядит безобидно.
Поочерёдное применение рычагов.Один рычаг, замер, решение: оставить, доработать или откатить. Два одновременных изменения дают неразложимый результат, и потом никто не помнит, что именно сработало.
Документирование откатов. Для регулируемых отраслей нужно уметь объяснить, что менялось, зачем и как это повлияло на качество. Откат без описания предыдущей конфигурации превращается в аварию.
Граница самостоятельной работы: настройку атрибуции в аккаунте с несколькими кост-центрами и выбор рычагов для регулируемой нагрузки стоит согласовывать со специалистом по биллингу AWS и владельцем качества продукта. Первый отвечает за корректность разбивки, второй за то, что экономия не оплачена деградацией. Если нагрузок много и нужны квоты по командам, посмотрите разбор самообслуживаемого LLM-шлюза на Bedrock и LiteLLM: там показано, как изоляция квот уживается с атрибуцией затрат.
С чего начать: три шага для собственной нагрузки
- Включить атрибуцию. Завести application inference profiles с тегами команды, кост-центра и окружения, активировать их как cost allocation tags, настроить выгрузку CUR 2.0 через Data Exports и включить model invocation logging. Результат шага: счёт разложен по нагрузкам, а по каждому вызову видны модель и токены.
- Определить CpBT и снять baseline. Выбрать один бизнес-результат, посчитать полную стоимость его получения с учётом повторов и вызовов инструментов, зафиксировать долю успешных операций и задержку. Результат шага: цифра, которую можно защищать перед руководством.
- Применить первый рычаг фазы 1 и замерить. Prompt caching там, где префикс стабилен, или batch inference там, где допустим отложенный ответ. Сравнить CpBT и качество с baseline, только потом переходить к архитектурным изменениям.
Дальше стоит пройтись по AWS Well-Architected Agentic AI Lens: рамка помогает проверить архитектуру агентной нагрузки целиком (оркестрация, границы контекста, наблюдаемость), а не только счёт за инференс. Экономия здесь получается итерациями: измерение, один рычаг, проверка качества, следующий рычаг. Один переключатель в консоли такой задачи не решает.