Что даёт расширенная наблюдаемость HyperPod и когда она нужна
Amazon SageMaker HyperPod получил расширенную наблюдаемость (enhanced observability): набор средств диагностики и профилирования тренировочных нагрузок на оркестраторах Amazon EKS и Slurm. Функция отвечает на конкретный вопрос: почему обучение на GPU теряет пропускную способность и где именно сбой. Детали анонса собраны в блоге AWS Introducing enhanced infrastructure observability in Amazon SageMaker HyperPod.
Экономика простая. Ускорители в HyperPod должны считать, а не ждать. Потеря 15-20% пропускной способности не роняет задание, поэтому алерты молчат, а счёт за инстансы идёт по полной. Расширенная наблюдаемость сокращает путь от «стало медленнее» до «виноват узел X, ускоритель 3, ранг 11».
Этот слой дополняет общий мониторинг кластера, а не заменяет его. Общий мониторинг показывает, что кластер жив и узлы на месте. Новый слой показывает, как ведёт себя конкретный ускоритель внутри конкретного задания и насколько он отличается от соседей по этому же заданию.
Какие симптомы обычно остаются без ответа
Типовые ситуации, с которыми сталкивается команда, ведущая обучение на десятках GPU, выглядят почти одинаково: обучение идёт, ошибок нет, но результаты приходят позже ожидаемого.
- Пропускная способность упала, задание не упало. Loss сходится, чекпоинты пишутся, но шаг в секунду ниже, чем на прошлой неделе. Метрики уровня узла показывают нормальную загрузку, потому что усредняют восемь ускорителей в одну цифру.
- GPU внутри задания идут с разной скоростью. Отстаёт конкретный ранг: он ждёт на all-reduce, пока остальные простаивают. По графику loss это не видно, по средней утилизации узла тоже.
- В логах всплывают XID и ECC. Ошибки есть, но привязать их к узлу, ускорителю и рангу вручную долго, особенно когда задание перезапускается на другом наборе узлов.
- Просадки EFA. Вычисления в порядке, а обмен между узлами тормозит: растут потери пакетов и повторные передачи. Выглядит как «медленное обучение», хотя причина сетевая.
- Троттлинг и перегрев. Частота SM падает, утилизация при этом может выглядеть прилично, а реальная работа не выполняется.
Почему стандартных метрик часто не хватает: они агрегированы по узлу и по времени. Один деградировавший ускоритель из восьми в среднем по узлу выглядит почти нормально, а в распределённом задании самое медленное звено задаёт скорость всех остальных. Кривая loss при этом остаётся гладкой, просто сдвигается вправо.
Кому функция полезна, а кому хватит базового мониторинга
Выигрыш получают те, кто ведёт длительные задания на больших кластерах: ML-инженеры, которые отвечают за сходимость и сроки, MLOps и SRE, которые разбираются с инцидентами и перезапусками. Чем дольше задание и чем больше узлов, тем дороже час простоя и тем ценнее точная локализация.
Для коротких экспериментов на паре узлов расширенный уровень метрик избыточен. Запуск на 30 минут проще перезапустить, чем разбирать телеметрию. Критерий выбора лежит в трёх координатах: длительность задания, размер кластера и бюджет на хранение метрик. Если все три небольшие, хватит базового набора, который включён по умолчанию.
Как устроена диагностика: сводка DetectGroupOutliers и статические правила
Внутри функции работают два независимых механизма. Сводка ищет аномалию относительно соседей по заданию, статические правила ищут совпадение с известным паттерном отказа. Они отвечают на разные вопросы и дополняют друг друга.
Что сравнивает DetectGroupOutliers и почему сравнение внутри задания информативнее абсолютных порогов
Диагностическая сводка опирается на API Amazon CloudWatch DetectGroupOutliers. Механика такая: сервис берёт все GPU внутри одного тренировочного задания и сравнивает их по пяти сигналам - утилизации, занятой памяти, температуре, потреблению питания и частоте SM. Ускорители, которые выбиваются из общей картины, помечаются как подозрительные.
Логика группового сравнения сильнее абсолютных порогов. Один и тот же ускоритель под нагрузкой LLM-претрейна и под обучением vision-модели живёт в разных температурных и частотных режимах, поэтому универсальный порог пришлось бы подбирать под каждую задачу. Внутри одного задания все GPU исполняют один код, один размер батча и один шаг оптимизатора, значит и вести себя должны похоже. Отклонение от группы - сильный сигнал, который не требует ручной настройки порогов.
У метода есть границы. Если деградировали все ускорители одинаково, например из-за общей проблемы с охлаждением стойки или общего сетевого ограничения, группа выглядит ровно и аномалии не будет. На неоднородном задании с разными типами инстансов сравнение тоже теряет силу: разные GPU законно ведут себя по-разному.
Какие паттерны отказов выявляют статические правила
Второй слой - набор статических диагностических правил. Они срабатывают на известные паттерны отказов:
- аппаратные сбои GPU: ошибки XID и ошибки памяти ECC;
- падение пропускной способности EFA;
- термический троттлинг;
- перегрев.
Правило указывает задание, кластер, узел, ускоритель и ранг. Это экономит самый дорогой этап разбора: поиск виновника. Вместо обхода узлов и чтения логов вручную инженер получает координаты проблемы и может сразу передать их инфраструктурной команде.
Полный перечень правил и их пороги в открытом описании не раскрыты, поэтому не стоит рассчитывать, что правило поймает любую аномалию. Его зона ответственности - известные сценарии отказа, а не свободный поиск отклонений.
Пример совместной работы слоёв: из восьми GPU задания один показывает меньшую утилизацию и заниженную частоту SM. Сводка подсвечивает его как отклонение от группы. Если на этом же узле сработало правило по XID или ECC, картина складывается: деградация не в коде обучения, а в железе.
Уровни метрик: базовые и расширенные
Что входит в базовый набор и что он покажет сразу
Базовые метрики включаются автоматически, без дополнительной настройки. Набор покрывает состояние кластера, использование CPU, диска и ресурсов ОС, утилизацию и температуру GPU, а также использование ресурсов по заданиям. Сбор идёт каждые 30 секунд, накладные расходы составляют примерно 1-2% CPU и 250-300 МБ памяти.
Этого достаточно, чтобы ответить на первичные вопросы: живы ли узлы, как загружены ускорители, не упирается ли задание в CPU или диск, как распределены ресурсы между заданиями. Для глубокой диагностики конкретного ускорителя и сетевого слоя базовый уровень даёт сигнал, но не причину.
Зачем включать расширенные метрики и когда это оправдано
Расширенный набор включается опционально и добавляет три блока: полный набор node exporter, все метрики NVIDIA DCGM и AWS Neuron, а также метрики Elastic Fabric Adapter. По EFA доступны пропускная способность сетевого интерфейса, потери пакетов, повторные передачи и ошибки.
Включать расширенный уровень стоит в двух случаях. Первый: базовый уровень уже показал проблему, но не её причину, и нужно расследование. Второй: длительные задания на больших кластерах, где деградация накапливается постепенно и проявляется только на длинном окне наблюдения. Метрики DCGM по частотам, питанию и индикаторам ошибок нужны именно для таких разборов.
Цена вопроса прямая: расширенные метрики увеличивают объём телеметрии, отправляемой в хранилище, а хранение метрик тарифицируется. Решение принимают по формуле «сколько стоит расследование против стоимости хранения», и для небольших коротких заданий расширенный набор обычно не окупается.
Куда сохраняются метрики и где смотреть дашборды
CloudWatch или Managed Service for Prometheus: как выбрать
Хранилище метрик выбирается между Amazon CloudWatch, который предлагается как вариант по умолчанию, и Amazon Managed Service for Prometheus. Выбор практический, а не идеологический: смотрите на текущий стек мониторинга команды.
- Если инфраструктура уже завязана на CloudWatch и алерты живут там, остаться на CloudWatch проще: меньше новых компонентов и прав доступа.
- Если в команде есть Prometheus и Grafana с готовыми панелями и запросами PromQL, логичнее использовать Managed Service for Prometheus, чтобы не собирать второй контур наблюдаемости.
- Если планируется сложная аналитика по историческим данным, учитывайте, насколько удобно делать такие запросы в выбранном хранилище: наборы функций и язык запросов различаются.
Сравнение цен и лимитов по конкретным объёмам телеметрии требует расчёта под ваши метрики, поэтому универсальной рекомендации здесь нет. Считайте предполагаемый объём рядов и период хранения до включения расширенного уровня.
Где смотреть готовые дашборды
Готовые дашборды доступны в CloudWatch SageMaker Insights и Amazon Managed Grafana. Дашборд - точка входа: он показывает общую картину по кластеру и заданиям. Интерпретацию дают диагностическая сводка и статические правила: они превращают графики в конкретное указание на узел и ускоритель.
Как включить наблюдаемость через консоль и AWS CLI
В открытых материалах AWS на момент публикации нет готового пошагового рецепта с точными именами параметров. Ниже - логика шагов, которую нужно переложить на актуальные команды и названия полей из документации HyperPod.
Включение через консоль
- Откройте консоль SageMaker и найдите нужный кластер HyperPod.
- Включите аддон наблюдаемости или расширение для этого кластера.
- Выберите хранилище метрик: CloudWatch или Amazon Managed Service for Prometheus.
- Отдельным шагом включите расширенные метрики, если они нужны. Этот переключатель стоит держать выключенным до первого реального расследования: он повышает объём телеметрии.
- Сохраните настройки и дождитесь, пока аддон перейдёт в рабочее состояние.
Перед изменениями проверьте, что у вашей учётной записи есть права на изменение конфигурации кластера и на запись метрик в выбранное хранилище. Иначе аддон включится, а данных в хранилище не появится.
Включение через AWS CLI
- Проверьте статус кластера HyperPod и список установленных аддонов командами семейства
sagemaker: так вы поймёте, не включена ли наблюдаемость ранее. - Выполните команду включения аддона, передав имя кластера и выбранное хранилище метрик.
- Отдельным вызовом включите расширенные метрики, если без них не обойтись.
- Повторите чтение статуса аддона, чтобы убедиться, что он активен, а не завис в процессе установки.
Конкретные имена подкоманд и флагов сверяйте с документацией AWS для HyperPod: они меняются между версиями CLI, а подстановка имени параметра «по памяти» - типичная причина ошибки валидации. Признак успеха один и проверяется по данным: метрики появились в выбранном хранилище, а диагностическая сводка доступна по кластеру и заданиям.
Как разбирать конкретные симптомы: XID, ECC, EFA, троттлинг и перегрев
| Симптом | Где смотреть | Следующий шаг |
|---|---|---|
| Ошибки XID | Статическое правило по аппаратным сбоям GPU | Зафиксировать узел, ускоритель и ранг, передать инфраструктурной команде |
| Ошибки ECC | Статическое правило по памяти GPU | Изолировать узел от следующих запусков до проверки железа |
| Просадка EFA | Правило по пропускной способности EFA плюс метрики EFA расширенного уровня | Сравнить потери пакетов и повторные передачи по узлам задания |
| Троттлинг, перегрев | Сводка по температуре, питанию и частоте SM, правило по троттлингу | Проверить охлаждение и размещение узла |
| Один GPU медленнее остальных | Сводка DetectGroupOutliers | Сопоставить с правилами, проверить XID и ECC на этом узле |
Аппаратные ошибки GPU: XID и ECC
XID и ошибки памяти ECC указывают на проблемы с самим ускорителем или его окружением. Правило сразу называет задание, кластер, узел, ускоритель и ранг, поэтому дальше вопрос дисциплины: узел помечают и выводят из ротации для следующих запусков, а вердикт о ремонте или замене остаётся за инфраструктурной командой и вендором. Программными правками в коде обучения такие ошибки не лечатся, и попытка просто перезапустить задание на том же узле обычно возвращает ту же проблему.
Деградация сети EFA
В распределённом обучении сеть влияет на пропускную способность не меньше, чем GPU. Внутри узла обмен идёт по NVLink, между узлами - через Elastic Fabric Adapter. Когда на интерфейсе растут потери пакетов и повторные передачи, каждый шаг синхронизации градиентов затягивается, и всё задание ждёт самый медленный канал.
Диагностика здесь требует расширенного уровня метрик: базовый набор не даёт ни throughput интерфейса, ни счётчиков потерь и ошибок. Практический приём - сравнить сетевые метрики узлов одного задания между собой: если один узел стабильно передаёт меньше и чаще ретранслирует, проблема локализована.
Троттлинг и перегрев GPU
Тепловой режим проявляется связкой трёх сигналов: температура растёт, потребление упирается в предел, частота SM падает. Утилизация при этом может выглядеть нормально, потому что ускоритель занят, просто работает медленнее. Сводка покажет такой GPU как отклонение от соседей по заданию, правило подтвердит троттлинг или перегрев.
Причина чаще в эксплуатации, чем в коде: недостаточный обдув, плотное размещение узлов, запылённые радиаторы, жаркий сезон. Исправление находится в зоне ответственности команды, которая отвечает за стойки и охлаждение. Инструмент даёт локализацию: конкретный узел и конкретный ускоритель.
Стоимость и ограничения: что учесть до включения
Базовый уровень предсказуем: сбор каждые 30 секунд при накладных расходах около 1-2% CPU и 250-300 МБ памяти. Расширенный уровень повышает объём телеметрии в хранилище, а значит и расходы на его хранение и обработку. Конкретные суммы зависят от числа узлов, набора метрик и срока хранения, поэтому считайте их на своих цифрах.
Ограничения стоит держать в голове заранее. Групповое сравнение слабеет, когда деградировали все ускорители сразу или когда задание неоднородно по типам инстансов. Статические правила покрывают известные паттерны и не заменяют свободный поиск аномалий. Выбор хранилища влияет на удобство запросов и на то, где живут алерты. Пошаговые инструкции с точными параметрами CLI в открытом описании отсутствуют, их нужно брать из актуальной документации. Подробности анонса и формулировки по возможностям собраны в первоисточнике AWS.
Как не переплатить за телеметрию
Рабочая схема в три шага. Базовый уровень держите включённым всегда: он дешёвый и даёт первичный сигнал. Расширенные метрики включайте точечно: на время расследования инцидента или для длительных заданий на больших кластерах. После разбора возвращайте расширенный уровень в исходное состояние, если он больше не нужен.
Перед включением прикиньте объём: число узлов умножить на число метрик и на частоту сбора, затем на период хранения. Признак того, что вы переплачиваете, простой: расширенные метрики собираются месяцами, а запросов к ним нет.
Практический вывод: как встроить наблюдаемость в рабочий процесс
Наблюдаемость работает, когда она встроена в routine, а не включается разово после пожара. Разумный порядок такой:
- Базовый уровень включён на всех кластерах, где идёт обучение.
- При падении пропускной способности инженер сначала открывает диагностическую сводку и смотрит, есть ли GPU, отклоняющийся от группы по утилизации, памяти, температуре, питанию или частоте SM.
- При подозрении на железо или сеть проверяются сработавшие статические правила: они дают узел, ускоритель и ранг.
- Для подтверждения сетевой версии или разбора длинного задания включаются расширенные метрики, включая EFA и DCGM.
- Найденная информация передаётся инфраструктурной команде в одном формате: кластер, задание, узел, ускоритель, ранг, тип ошибки.
Роли распределяются естественно: ML-инженер отвечает за то, что видно со стороны задания, SRE и инфраструктурная команда - за железо, сеть и охлаждение. Инструмент ускоряет локализацию и сокращает число слепых перезапусков, но не заменяет экспертизу по железу и сети. Точный вердикт о неисправности ускорителя или сетевого интерфейса остаётся за специалистами, которые работают с оборудованием.