Перейти к содержанию
Публикация AiManual

Почему дообучение идёт дольше расчёта FLOPs: разбор 272 запусков SFT на NVIDIA H200

На 272 реальных SFT-запусках на NVIDIA H200 расчёт по FLOPs дал R²=0.31 и MAE 12.41 ч, а CatBoost по признакам конфигурации до запуска - R²=0.98 и MAE 1.71 ч. Р

Коротко

Что будет в материале

  1. 01

    Что показало сравнение FLOPs и обученного предиктора на 272 запусках

  2. 02

    Как считается время обучения через FLOPs и где формула ломается

  3. 03

    Что реально происходит между запуском задания и его завершением

  4. 04

    Как устроен предиктор на CatBoost и почему он точнее

Что показало сравнение FLOPs и обученного предиктора на 272 запусках

Dharma-AI разобрали 272 реальных задания supervised fine-tuning из продакшн-пула NVIDIA H200 общим объёмом около 7 382 GPU-часов. Классическая оценка времени через FLOPs объяснила лишь малую долю фактической длительности: R² = 0.31 при MAE 12.41 ч. Обученный регрессор CatBoost, который видит только признаки конфигурации, известные до запуска задания, дал R² = 0.98, MAE 1.71 ч и медианную ошибку 0.51 ч в 5-фолдовой кросс-валидации.

Разрыв не в том, что формула FLOPs считает неверно. Она считает только цикл обновления весов. Реальное время SFT-задания включает подготовку окружения, загрузку модели и токенизацию, периодические оценки, сохранение чекпоинтов, выгрузку финальной модели в объектное хранилище и конкуренцию за сеть и дисковый ввод-вывод на общем кластере. Эти этапы зависят от конфигурации и не масштабируются аккуратно вместе с объёмом работы или числом GPU.

Материал Dharma-AI - превью статьи «Predicting End-to-End Fine-Tuning Time for Generative Language Models»; полная версия ожидается на arXiv. Разбор с цифрами и методикой опубликован в блоге Hugging Face. Ниже - что именно ломается в FLOPs-оценке и какие параметры конфигурации стоит логировать, чтобы планировать загрузку GPU точнее.

Как считается время обучения через FLOPs и где формула ломается

Типичная оценка для плотного трансформера выглядит так: T = (6 · P · D) / (N_GPU · FLOPS_peak · MFU). Здесь P - число параметров, D - число обучающих токенов, N_GPU - число GPU, FLOPS_peak - пиковая производительность одного ускорителя из спецификации, MFU (Model FLOPs Utilization) - доля пика, которую обучение реально держит. Коэффициент 6 - стандартная оценка FLOPs на параметр на токен для прямого и обратного прохода.

Главная точка неопределённости - MFU. В разборе Dharma-AI указано, что типичное значение лежит в диапазоне 30-60%, а подходящее для конкретного задания заранее неизвестно. Формула и допущения разобраны в первоисточнике.

Формула моделирует идеальный цикл обновления весов: все GPU заняты полезной работой, данные подаются без пауз, оценки и чекпоинты не мешают. На общем кластере рядом выполняются другие задания, поэтому сеть и хранилище становятся общими ресурсами. Чем ближе задание к пределу по I/O, тем сильнее фактическое время расходится с расчётом.

Почему MFU 30-60% - это не «плохая настройка», а норма

MFU зависит от размера модели, размера батча, стратегии параллелизма, типа данных и загрузки кластера. Даже аккуратно настроенное значение для одной конфигурации не переносится на другую: меняется соотношение вычислений и обмена данными, по-разному работают тензорный и конвейерный параллелизм, по-разному ведёт себя даталоадер. Подобрать один универсальный MFU для всех заданий нельзя.

Отсюда практическое следствие: одна и та же формула даёт разную ошибку на разных конфигурациях. Если хочется понять, как вообще читать заявления об эффективности ускорителей и почему «100% загрузка» без методики мало что значит, полезен отдельный разбор AI-Manual: что стоит за заявлением о 100% эффективности GPU.

Что реально происходит между запуском задания и его завершением

Жизненный цикл SFT-задания на кластере выглядит длиннее, чем цикл шагов обучения:

  • до первого шага: подготовка окружения, загрузка модели, загрузка данных и токенизация;
  • во время обучения: периодические оценки на eval-датасете и загрузка чекпоинтов;
  • в конце: выгрузка финальной модели в объектное хранилище.

На многопользовательском кластере каждый из этих этапов конкурирует с другими заданиями за сеть и дисковый ввод-вывод. Накладные расходы зависят от конфигурации и не масштабируются аккуратно с объёмом работы или числом GPU. Два задания с одинаковой номинальной вычислительной нагрузкой могут завершиться с разницей в часы.

Для сравнения, в разборе AI-Manual об обучении MoE в Megatron-LM приведены данные о 800 тыс. GH200 GPU-часов и настройках кластера: масштаб другой, а вопросы накладных расходов похожие.

Периодические оценки и чекпоинты: скрытая статья расходов

Частые оценки прогоняют модель на eval-датасете и прерывают обучение. Чем больше num_eval_data и чем чаще запускается оценка, тем больше токенов модель проходит вне полезных шагов обновления весов. Размер eval-батча меняет длительность одной оценки и нагрузку на память.

Сохранение чекпоинтов пишет на диск объём, сопоставимый с размером модели или её состояния оптимизатора. Чем чаще сохранять и чем больше состояние, тем выше нагрузка на хранилище. При конкуренции за I/O расходы растут нелинейно: несколько заданий, одновременно пишущих крупные чекпоинты, замедляют друг друга. Эти признаки и оказались в топе важности у CatBoost.

Почему одинаковые по FLOPs задания расходятся на часы

Два задания с одинаковыми P и D могут иметь разную частоту eval, разный размер eval-батча, разный объём чекпоинтов и попасть в разную фазу загрузки кластера. Накладные расходы складываются и взаимодействуют, а не суммируются линейно. Именно эти нелинейные взаимодействия и выучивает регрессор по прошлым запускам.

В исследовании приводят типичную ситуацию: расчёт обещает девять часов, а задание завершается на следующий день. Причина не в том, что GPU медленнее спецификации, а в том, что значительная часть времени уходит на этапы вне цикла обновления весов.

Как устроен предиктор на CatBoost и почему он точнее

CatBoost - градиентный бустинг на деревьях. Он работает с табличными данными, категориальными признаками и нелинейностями, поэтому хорошо подходит для оценки времени по конфигурации задания. В разборе Dharma-AI регрессор видит только информацию, доступную до запуска задания: параметры модели и данных, настройки eval, политику чекпоинтов, число GPU и режим дообучения. Данных из процесса выполнения у него нет.

Обучение и проверка идут в 5-фолдовой кросс-валидации на 272 запусках. Метрики: R² = 0.98, MAE 1.71 ч, медианная ошибка 0.51 ч. Для сравнения, FLOPs-оценка на той же выборке дала R² = 0.31 и MAE 12.41 ч. Детали предиктора и признаки перечислены в публикации Dharma-AI.

Почему медианная ошибка важнее средней для планирования

MAE чувствителен к выбросам: отдельные долгие задания тянут среднюю ошибку вверх. Медиана показывает типичный случай. Для планирования загрузки кластера полезны обе метрики: медиана 0.51 ч помогает оценить ожидаемое время обычного задания, MAE 1.71 ч и распределение ошибок - риск нарваться на выброс. Ориентироваться только на R² = 0.98 нельзя: высокая доля объяснённой дисперсии ещё не говорит, что каждое отдельное предсказание уложится в час.

Граница честности: 272 задания одного типа на одном типе GPU. Переносить медиану 0.51 ч на другой кластер без переобучения нельзя.

Какие параметры конфигурации сильнее всего влияют на время

В разборе Dharma-AI самый большой вес для модели получили четыре группы признаков. Порядок важен: это не те параметры, которые первыми приходят в голову при расчёте FLOPs.

  1. Объём данных оценки (num_eval_data). Определяет, сколько токенов прогоняется на каждой оценке. Чем больше eval-датасет, тем дольше каждая проверка и тем больше времени уходит вне шагов обучения.
  2. Число обучаемых параметров. Базовая вычислительная нагрузка и объём состояния, которое нужно сохранять. Влияет и на скорость шага, и на размер чекпоинтов.
  3. Частота и размер батча оценки. Частота задаёт, сколько раз обучение прерывается на eval; размер батча меняет длительность одной проверки и нагрузку на память.
  4. Объём сохраняемых чекпоинтов. Нагрузка на хранилище. Чем крупнее и чаще чекпоинты, тем сильнее задание зависит от скорости дискового ввода-вывода и соседей по кластеру.

Признаки с наибольшим весом описывают накладные расходы и режим оценки, а не одни «сырые» вычисления. Это объясняет, почему FLOPs-оценка с одним MFU не может поймать разброс: она не видит ни eval, ни чекпоинты, ни конкуренцию за I/O.

Что это значит для конфигурации вашего запуска

Практические следствия простые. Логируйте num_eval_data, частоту и размер eval-батча, политику чекпоинтов с самого начала: без этих признаков предиктор не обучить. Не планируйте загрузку GPU по «чистым» FLOPs: они дают нижнюю границу цикла обновления весов, а не оценку времени задания. Закладывайте запас на сеть и дисковый ввод-вывод, особенно если на кластере одновременно идут другие тяжёлые задания.

Точные коэффициенты зависят от кластера и типа заданий. Переносить цифры из исследования на свой кластер без переобучения нельзя: изменится железо, политика хранения, загрузка и даже поведение даталоадера.

Как построить такую оценку для своего кластера

Подход воспроизводим, если у вас есть история запусков и дисциплина логирования. В исследовании было 272 задания; для старта достаточно начать фиксировать признаки и фактическое время, а решение об обучении регрессора принимать по объёму и однородности выборки.

  1. Собирайте признаки до старта. Число обучаемых параметров, объём обучающих токенов, num_eval_data, частоту eval, размер eval-батча, политику чекпоинтов, число GPU, режим дообучения, известную до запуска нагрузку на GPU.
  2. Фиксируйте фактическое время end-to-end. Сюда входят шаги обучения, подготовка окружения, загрузка модели, оценки, чекпоинты и выгрузка модели. Иначе модель будет учиться предсказывать не то, что нужно планировщику.
  3. Накопите представительную выборку. В исследовании 272 запуска. Для небольшого числа заданий регрессор будет переобучаться, и тогда полезнее простое правило с запасом.
  4. Обучите регрессор на табличных данных. CatBoost - один из вариантов, не единственный. Важнее признаки и честная валидация, чем конкретная библиотека.
  5. Проверяйте кросс-валидацией и смотрите на ошибки. MAE и медиана важнее одного R². Полезно разбить ошибки по размеру модели, числу GPU и политике чекпоинтов: средняя цифра может скрывать плохие предсказания в отдельной группе.

Если вы дообучаете модель локально на Mac, а не на кластере, логика другая: там ограничение часто в памяти, а не в сетевом I/O. Полезное сравнение есть в материале AI-Manual о PyTorch MPS и Apple MLX для дообучения LLM на Mac с 16 ГБ. Для кластерных SFT-запусков возвращаемся к признакам конфигурации и истории выполнения.

Границы применимости подхода

Выборка - 272 задания supervised fine-tuning на NVIDIA H200. Это один тип GPU и один класс задач. Для pretraining, RLHF, другого железа или другого профиля кластера предиктор нужно переобучать: зависимости между eval, чекпоинтами и I/O могут отличаться. Материал Dharma-AI - превью статьи, полная версия ожидается на arXiv; детали методологии в превью раскрыты не полностью.

Модель предсказывает время, а не стоимость и не качество результата. R² = 0.98 в 5-фолдовой кросс-валидации не гарантирует такую же точность на новом кластере. Проверять стоит на отложенных запусках, которые не участвовали в обучении.

Практические выводы для планирования GPU-нагрузки

FLOPs-оценка годится как нижняя граница цикла обновления весов, но не как оценка времени задания. Накладные расходы зависят от конфигурации и конкуренции за сеть и дисковый ввод-вывод. Параметры eval и чекпоинтов влияют на время не меньше, чем размер модели. Обученный на истории запусков предиктор даёт ошибку в 7 с лишним раз меньше: MAE 1.71 ч против 12.41 ч у FLOPs-оценки на выборке Dharma-AI.

Чек-лист для планирования:

  • логируйте num_eval_data, частоту и размер eval-батча, политику чекпоинтов, число обучаемых параметров и фактическое время end-to-end;
  • смотрите на eval и чекпоинты как на полноценные статьи расходов, а не как на фоновые настройки;
  • закладывайте запас на сеть и дисковый I/O, особенно на многопользовательском кластере;
  • обучайте предиктор, когда накопилась однородная история запусков; для малой выборки используйте простое правило с запасом;
  • проверяйте модель на отложенных запусках и смотрите на MAE, медиану и распределение ошибок; одного R² недостаточно.

Начать стоит с одного действия: включить логирование признаков конфигурации и полного времени задания. Без этих данных любая оценка останется формулой, которая объясняет только часть пути.

Подписаться на канал