HyperPod оброс новым мясом. AWS запилила четыре фичи, которые заставят понервничать админов, привыкших к хардкорному DIY. Теперь не надо городить Prometheus под каждую ноду и вручную скачивать веса с Hugging Face. Рассказываем, что изменилось и почему это важно для тех, кто гоняет LLM в проде.
Inference Observability: когда метрик много не бывает
Главная боль инференса — чёрный ящик. Вы знаете, что модель отвечает, но не знаете, почему TTFT скачет на 30% каждые 15 минут. AWS решила проблему через declarative CRD — вы описываете в манифесте HyperPod, какие метрики собирать, а кластер сам разворачивает collectors.
На практике это выглядит как дефолтный дашборд в CloudWatch с разбивкой по нодам и инстансам. Никаких тебе агентов на каждую железку. Тянете конфиг — всё подхватывается автоматом. В сравнении с самописным стеком (Prometheus + Loki + Grafana на EKS) HyperPod сокращает время настройки observability с нескольких дней до часа.
Hugging Face Hub: загрузка моделей как джедайский фокус
Раньше, чтобы засунуть Llama 3.1 на HyperPod, нужно было либо поднимать свой registry, либо писать скрипт загрузки через HF API. Теперь — просто указываете repo_id в конфигурации inference endpoint, и HyperPod сам тянет веса, конфиги и даже адаптеры PEFT. Поддержка Hugging Face Hub вшита прямо в vLLM 0.8.3 и SGLang 0.8.2, которые идут в стандартном образе HyperPod.
Внимание: первая загрузка может быть медленной, если модель большая (например, 70B). Но AWS сэкономила — кэширование на NVMe решит проблему повторного скачивания. Об этом ниже.
С точки зрения безопасности — модель загружается через Pre-signed URL с ограниченным TTL, а сам репозиторий может быть приватным с авторизацией через AWS Secrets Manager. Не надо светить токены HF в открытую. Сравните с тем, как это делают конкуренты: на Azure ML вам всё ещё нужно маунтить хранилище blobs с моделью, а на GCP Vertex AI — бить квоты на Artifact Registry. HyperPod здесь даёт фору по простоте.
NVMe caching: когда latency решает всё
Самая недооценённая фича — поддержка локальных NVMe-дисков для кэширования. HyperPod автоматически использует NVMe (если они есть на инстансе) как tier-2 кэш для KV-cache и model weights. Механизм: частотный доступ — веса грузятся из S3 на NVMe один раз, а потом только подкачиваются в GPU memory. Для decode-нод, где важна каждая микросекунда, это снижает P50 latency на 15-20% по сравнению с повторной загрузкой из EFS или S3.
Здесь есть отсылка к нашей статье про метрики GPU и Rolling Updates — тогда мы говорили, что без быстрой подгрузки весов любые апдейты модели убивают SLA. Теперь HyperPod сам решает, что сжечь на NVMe, а что держать в hot cache.
| Сценарий | Без NVMe cache (latency) | С NVMe cache (latency) |
|---|---|---|
| Первая загрузка Llama 3.1 70B | ~45 сек | ~15 сек |
| KV-cache для long context (128K) | 250 мс (из S3) | 30 мс (локальный NVMe) |
Route 53 DNS: эндпоинты без головной боли
И, наконец, управление DNS. Если вы когда-нибудь пытались повесить несколько inference эндпоинтов HyperPod за один домен — вы знаете, что без Route 53 всё руками: лепите ALB, правите CNAME, мучаетесь с автоматическим failover. Новая фича позволяет привязать кастомный DNS-zone прямо к cluster endpoint. HyperPod сам создаёт A-запись для каждого inference endpoint и обновляет её при масштабировании.
Это убивает сразу двух зайцев: отпадает необходимость в отдельном Ingress-контроллере (для тех, кто привык к OpenAI-совместимому API через SageMaker) и упрощается multi-region развёртка. Теперь можно разложить эндпоинты по us-east-1 и eu-west-1, а Route 53 сам направит трафик в ближайший регион с weighting.
Что в сухом остатке
Эти четыре фичи — не просто хотелки AWS. Они закрывают последние дыры, из-за которых компании уходили с HyperPod на EKS с самописным стеком. Observability убивает чёрные ящики, Hugging Face убивает ручную загрузку, NVMe убивает latency, Route 53 убивает DNS-головняк.
Кому это нужно? В первую очередь — MLOps-инженерам, которые отвечают за SLA инференса. Если вы всё ещё держите инференс на EKS с Prometheus и cert-manager — посмотрите на HyperPod ещё раз. Особенно если вы уже юзаете Nova Forge SDK или донастраиваете модели на HyperPod — эти обновления сделают жизнь проще.
Единственный нюанс — NVMe доступны не на всех инстансах (p5.48xlarge — да, g5 — нет). Но AWS намекнула, что ближе к концу года расширят поддержку на Graviton и Trainium. Следим за обновлениями.
