Что такое cross-Region inference routing и зачем он нужен
Cross-Region inference routing в Amazon SageMaker AI - это механизм, который дает приложению единый путь вызова к эндпоинтам и inference components в одном или нескольких регионах и аккаунтах AWS. В основе лежит новый ресурс - inference router. Приложение вызывает роутер, а не конкретный эндпоинт, и уже роутер решает, какое назначение обслужит запрос. AWS описывает эту логику в публикации о cross-Region inference routing.
Главная причина появления функции - региональный дефицит GPU. Эндпоинт SageMaker AI работает в одном регионе и одном аккаунте. Когда autoscaling не может добавить инстансы нужного типа, запросы начинают троттлиться и уходить в таймаут, даже если та же модель имеет свободную мощность в другом регионе. Роутер добавляет уровень выше эндпоинта: он предпочитает свой регион и переводит новые запросы на другое назначение только тогда, когда локальное не может обслуживать надежно. После восстановления трафик возвращается постепенно.
До появления функции кросс-региональную маршрутизацию команды собирали сами. Нужно было детектировать проблемный эндпоинт, решать, какие ошибки безопасно повторять, возвращать трафик без флаппинга и открывать доступ к эндпоинтам в других аккаунтах. Роутер переносит эту логику в управляемый ресурс SageMaker AI. Он не создает GPU там, где их нет: решение помогает использовать свободную мощность, если она доступна в другом регионе.
Чем inference router отличается от обычного вызова InvokeEndpoint
В коде приложения меняется точка вызова. Вы регистрируете destinations, которые обслуживают модель, и вызываете роутер вместо конкретного эндпоинта. Сами эндпоинты разворачиваются как обычно: те же модели, конфигурации, пулы инстансов и autoscaling. Прямые вызовы InvokeEndpoint продолжают работать.
Роутер передает InferenceId и CustomAttributes так же, как InvokeEndpoint. Это важно для существующих пайплайнов: идентификаторы запросов и пользовательские атрибуты не теряются при маршрутизации. Если приложение уже использует эти поля для трассировки или биллинга, менять формат не нужно.
Inference router - региональный ресурс в аккаунте. Для отказоустойчивости одного роутера недостаточно: если регион, где он создан, недоступен, приложение не сможет вызвать и его. Практическая схема - держать роутеры в двух регионах и переключать приложение между ними на уровне DNS или конфигурации. Это не отменяет маршрутизацию между destinations, а защищает саму точку входа.
Routing target и destination: как не запутаться в сущностях
В терминологии два уровня. Routing target - имя одной логической модели на роутере, например fraud-model. На одном роутере может быть много routing targets, и каждый переключается независимо от других: сбой одной модели не тянет за собой остальные.
Destination - real-time эндпоинт или inference component, зарегистрированный на роутере как возможное место запуска модели. Вы сами выбираете, какие эндпоинты и inference components роутер может использовать для каждой модели. SageMaker AI решает, какое назначение обслужит каждый запрос.
Схема выглядит так: приложение -> inference router -> routing target fraud-model -> destinations в разных регионах и аккаунтах. В одном target могут быть локальный эндпоинт, эндпоинт в соседнем регионе и inference component в другом аккаунте. Роутер выбирает из них по состоянию и политике, а не по жестко прописанному порядку в коде приложения.
Как роутер справляется с нехваткой GPU в регионе
Сценарий дефицита выглядит буднично. Нагрузка растет, autoscaling пытается добавить инстансы нужного типа, но свободной емкости в регионе нет. Эндпоинт начинает троттлить запросы, часть вызовов завершается таймаутом. Если та же модель развернута в другом регионе и там есть запас, роутер направляет туда новые запросы. Уже выполняющиеся запросы не мигрируют между регионами.
Это ограничение важно для планирования. Роутер не делает инференс бесконечно масштабируемым и не резервирует GPU. Он перераспределяет новые вызовы между destinations, которые вы заранее зарегистрировали. Если свободной мощности нет ни в одном регионе, маршрутизация не поможет: запросы все равно упрутся в лимиты. Механику регионального дефицита AWS разбирает в описании cross-Region inference routing.
Почему локальный эндпоинт не спасает autoscaling
Autoscaling работает в границах региона и аккаунта. Он может добавить инстансы, если в этом регионе есть доступная емкость нужного типа. Когда емкости нет, autoscaling не может выйти за пределы региона, а эндпоинт продолжает принимать трафик до момента, когда очередь и таймауты становятся заметны пользователю.
Роутер не заменяет autoscaling, а добавляет уровень выше. Autoscaling управляет числом инстансов внутри destination, роутер распределяет новые запросы между destinations. Поэтому перед включением роутера полезно понять, где находится точка насыщения каждого эндпоинта. Методика поиска такой точки через concurrency sweeps разобрана в материале о подборе размера флота для генеративного AI: она помогает не переплачивать за GPU и заранее увидеть, при какой конкурентности задержка начинает расти.
Как возвращается трафик после восстановления
После восстановления локального назначения роутер возвращает трафик постепенно. Мгновенное переключение всего потока обратно опасно: регион только вышел из дефицита, а ему сразу отдают полную нагрузку. Постепенный возврат снижает риск флаппинга, когда трафик ходит между регионами туда-сюда и создает перегрузку то на одной, то на другой площадке.
Скорость возврата зависит от того, насколько стабильно назначение принимает запросы. Пока оно нестабильно, весь поток ему не отдают; когда состояние улучшается, доля трафика растет. Конкретные пороги и скорость возврата в открытых материалах AWS не раскрыты, поэтому их стоит уточнять по документации SageMaker AI и проверять на собственном профиле нагрузки.
Состояния healthy/overloaded/degraded и health score
Роутер оценивает каждое назначение по health score и по этой оценке решает, пойдет ли на него новый запрос. В открытой публикации AWS о cross-Region inference routing внутренняя формула health score, веса сигналов и точные пороги перехода между состояниями не раскрыты. Поэтому названия состояний ниже описывают логику маршрутизации, а не гарантированные числовые границы.
| Состояние | Что означает | Как ведет себя роутер |
|---|---|---|
| healthy | Назначение обслуживает запросы надежно. | Получает новые запросы. Локальный регион остается приоритетным. |
| overloaded | Назначение не справляется с нагрузкой, запросы троттлятся. | Новые запросы уходят на другое назначение, локальное не получает дополнительную нагрузку. |
| degraded | Надежность назначения снижена, часть запросов завершается ошибкой или таймаутом. | Роутер может выбрать другое назначение, а после стабилизации постепенно вернуть трафик. |
Названия состояний не стоит воспринимать как гарантию конкретных чисел. Формулу health score, веса сигналов и пороги перехода нужно уточнять в документации SageMaker AI. Для алертов и разбора инцидентов важнее смотреть на фактические метрики и RoutingReason, а не пытаться воспроизвести внутреннюю формулу.
Практический вывод: если локальный destination часто попадает в overloaded, одного роутера мало. Нужно либо добавить емкость, либо ограничить долю трафика, который уходит в другой регион, чтобы не перенести дефицит туда.
Логика ретраев: когда повтор безопасен
Главное правило: один повтор только если модель не запускалась. Роутер различает ошибки, при которых безопасно повторить запрос на другом назначении, и ситуации, когда повтор недопустим. Если инференс уже начался, повтор означает второй запуск модели, лишние вычисления и возможные побочные эффекты.
Для генеративного AI это особенно чувствительно. Запрос может быть дорогим по токенам, а повтор удвоит расход и добавит задержку. В сценариях с инструментами и агентами повтор может привести к двум вызовам внешнего API. Поэтому логика «повторить при любой ошибке» опасна: роутер выбирает повтор только там, где модель еще не стартовала.
С состояниями это связано просто. Если локальное назначение перегружено или деградировало, новый запрос может уйти сразу на другое назначение, без слепого ретрая на проблемном эндпоинте. Если же запрос уже выполнялся, безопаснее вернуть ошибку и дать приложению решить, что делать с побочными эффектами. Точную классификацию ошибок, после которых повтор безопасен, нужно сверять с документацией: она зависит от типа ошибки и состояния запроса. Похожие компромиссы между стоимостью, качеством и выбором модели разобраны в статье о маршрутизации моделей в AI-агентах.
Cross-Region traffic cap: защита принимающего эндпоинта
Cross-Region traffic cap ограничивает долю трафика, которую роутер может отправить в другой регион. Ограничение защищает принимающий эндпоинт: при дефиците GPU в одном регионе туда может хлынуть весь поток, и тогда проблема возникнет уже на новой площадке.
Настраивать cap стоит, когда принимающий регион имеет ограниченный запас мощности или обслуживает другие критичные нагрузки. Без ограничения переключение из одного региона может создать дефицит в другом. Признак разумной настройки простой: принимающий эндпоинт не уходит в overloaded из-за оттока запросов, а задержка и ошибки остаются в допустимых пределах.
Конкретные имена параметров, значения по умолчанию и единицы измерения cap в открытой публикации AWS не раскрыты, поэтому их нужно смотреть в документации SageMaker AI. Политика зависит от запаса емкости, профиля трафика и SLA. Начните с малой доли, измерьте влияние на принимающий регион и повышайте ее, пока есть запас.
Доступ между аккаунтами через resource-based policy
Роутер может использовать destinations в одном или нескольких аккаунтах AWS. Эндпоинты SageMaker привязаны к отдельному аккаунту и не являются публичными: account ID определяется по токену аутентификации, который передает вызывающая сторона, а не по URL. Поэтому для доступа к эндпоинту в другом аккаунте на этом эндпоинте настраивается resource-based policy. Владелец эндпоинта в аккаунте-получателе явно разрешает вызовы от роутера или аккаунта-источника.
Практическая последовательность такая. Владелец принимающего аккаунта создает политику на эндпоинте и указывает конкретный principal, а не широкий список аккаунтов. Аккаунт-источник регистрирует этот эндпоинт как destination на роутере. Обе стороны проверяют, что у роутера есть право на InvokeEndpoint, а у принимающего эндпоинта нет лишних разрешений.
Точный синтаксис policy и условия доступа зависят от модели разрешений AWS. Здесь нужна координация платформенной команды и владельца принимающего аккаунта: IAM-политики и resource-based policy - зона ответственности безопасности, а не только разработчика приложения. Полезно заранее договориться о владельце эндпоинта, лимитах и порядке отзыва доступа. Похожая логика изоляции квот и управления доступом в LLM-шлюзе разобрана в материале о self-service LLM-шлюзе на Amazon Bedrock и LiteLLM.
Метрики в CloudWatch и RoutingReason в ответе
Роутер публикует метрики в CloudWatch. Каждый ответ в реальном времени сообщает, какое назначение обслужило запрос и почему, через RoutingReason. Это дает две точки наблюдения: агрегированные метрики по системе и причину решения по конкретному запросу.
При разборе инцидента RoutingReason помогает ответить на вопрос, ушел ли запрос в другой регион и по какой причине: ошибки, троттлинг или таймаут. InferenceId и CustomAttributes проходят через роутер так же, как через InvokeEndpoint, поэтому запросы можно связывать в логах и трассировке.
Набор метрик и их имена нужно уточнять в документации. Смотреть стоит на категории: доля запросов, ушедших в другой регион; ошибки и таймауты по destinations; срабатывания traffic cap; задержка на локальном и удаленном назначении. Если RoutingReason показывает частые переключения, а метрики принимающего региона растут, cap или емкость настроены неудачно. Принципы наблюдаемости за AI-системами, где отдельно смотрят доступность и качество ответов, разобраны в статье о двухуровневом мониторинге продакшн-агентов.
Ограничения: что роутер не умеет
У роутера есть ограничения, которые нужно учитывать до миграции.
- Нет стриминга ответов. Чат-интерфейсы с потоковой выдачей токенов и сценарии, где важен первый токен в реальном времени, роутер напрямую не закрывает.
- Лимит около минуты на запрос. Длинные генерации, большие документы и задачи, которые могут выполняться несколько минут, в этот лимит не вписываются.
- До 20 routing targets и 10 destinations на роутер. Если моделей много, архитектура будет состоять из нескольких роутеров.
- Для отказоустойчивости нужно держать роутеры в двух регионах. Региональный ресурс не переживет недоступность своего региона сам по себе.
Эти ограничения меняют дизайн. Стриминговый чат-бот и длинный генератор документов - неудачные кандидаты для первого запуска. Короткие синхронные вызовы, классификация, извлечение сущностей и умеренные по длине ответы подходят лучше. Точные лимиты и их изменения проверяйте в актуальной документации SageMaker AI: значения могут зависеть от региона и обновляться.
Лимит на 10 destinations на роутер особенно заметен в мультиаккаунтной схеме. Если у вас пять моделей и по три региона на каждую, один роутер их не вместит. Придется группировать модели по критичности или создавать отдельные роутеры под домены.
Сколько это стоит и когда роутер оправдан
Отдельная плата за маршрутизацию в открытых материалах AWS не заявлена: оплачиваются сами эндпоинты и метрики CloudWatch. Тарифы зависят от региона и типа инстансов, поэтому бюджет считайте по актуальным прайс-листам SageMaker AI и CloudWatch.
Cross-Region inference routing - механизм доступности и масштабирования, а не оптимизации затрат. Он помогает пережить региональный дефицит, но не снижает стоимость инференса сам по себе: при переключении в другой регион вы платите по тарифам принимающего региона.
Самостоятельная реализация требовала детектировать проблемный эндпоинт, выбирать ошибки, безопасные для повтора, возвращать трафик без флаппинга и управлять доступом между аккаунтами. Роутер переносит эту работу в управляемый ресурс. Экономия здесь не в цене за запрос, а в снижении сложности эксплуатации.
Роутер оправдан, когда одна модель работает в нескольких регионах или аккаунтах, в одном регионе случается дефицит GPU, а приложение готово жить без стриминга и в пределах запроса длительностью около минуты. Он полезен для API, которым нужна предсказуемая доступность при региональных сбоях.
Роутер не оправдан для стриминговых чатов, очень длинных генераций и схемы с одной моделью в одном регионе без запаса мощности в другом. В последнем случае он не создаст емкость. Для таких нагрузок сначала нужно планировать емкость и выбирать подходящий тип инстансов.
| Сценарий | Подходит ли роутер | Что учесть |
|---|---|---|
| Короткие синхронные вызовы одной модели в двух регионах | Да | Настроить cap, алерты по health score и разбор RoutingReason. |
| Стриминговый чат с выдачей токенов | Нет | Нужен отдельный слой потоковой передачи. |
| Генерация длиннее минуты | Рискованно | Проверить лимит времени и выбрать асинхронный сценарий. |
| Много моделей на одном роутере | С ограничениями | Учесть 20 routing targets и 10 destinations, разделить на несколько роутеров. |
| Одна модель в одном регионе без запаса мощности | Нет смысла | Роутер не создаст GPU. Сначала планировать емкость. |
Для первого пилота выберите одну модель, два региона и короткий синхронный вызов. Настройте cap, алерты по health score и разбор RoutingReason. Если профиль нагрузки не вписывается в лимиты, роутер не стоит тащить в продакшн только ради модной архитектуры.