Что показало сравнение FLOPs и обученного предиктора на 272 запусках
Dharma-AI разобрали 272 реальных задания supervised fine-tuning из продакшн-пула NVIDIA H200 общим объёмом около 7 382 GPU-часов. Классическая оценка времени через FLOPs объяснила лишь малую долю фактической длительности: R² = 0.31 при MAE 12.41 ч. Обученный регрессор CatBoost, который видит только признаки конфигурации, известные до запуска задания, дал R² = 0.98, MAE 1.71 ч и медианную ошибку 0.51 ч в 5-фолдовой кросс-валидации.
Разрыв не в том, что формула FLOPs считает неверно. Она считает только цикл обновления весов. Реальное время SFT-задания включает подготовку окружения, загрузку модели и токенизацию, периодические оценки, сохранение чекпоинтов, выгрузку финальной модели в объектное хранилище и конкуренцию за сеть и дисковый ввод-вывод на общем кластере. Эти этапы зависят от конфигурации и не масштабируются аккуратно вместе с объёмом работы или числом GPU.
Материал Dharma-AI - превью статьи «Predicting End-to-End Fine-Tuning Time for Generative Language Models»; полная версия ожидается на arXiv. Разбор с цифрами и методикой опубликован в блоге Hugging Face. Ниже - что именно ломается в FLOPs-оценке и какие параметры конфигурации стоит логировать, чтобы планировать загрузку GPU точнее.
Как считается время обучения через FLOPs и где формула ломается
Типичная оценка для плотного трансформера выглядит так: T = (6 · P · D) / (N_GPU · FLOPS_peak · MFU). Здесь P - число параметров, D - число обучающих токенов, N_GPU - число GPU, FLOPS_peak - пиковая производительность одного ускорителя из спецификации, MFU (Model FLOPs Utilization) - доля пика, которую обучение реально держит. Коэффициент 6 - стандартная оценка FLOPs на параметр на токен для прямого и обратного прохода.
Главная точка неопределённости - MFU. В разборе Dharma-AI указано, что типичное значение лежит в диапазоне 30-60%, а подходящее для конкретного задания заранее неизвестно. Формула и допущения разобраны в первоисточнике.
Формула моделирует идеальный цикл обновления весов: все GPU заняты полезной работой, данные подаются без пауз, оценки и чекпоинты не мешают. На общем кластере рядом выполняются другие задания, поэтому сеть и хранилище становятся общими ресурсами. Чем ближе задание к пределу по I/O, тем сильнее фактическое время расходится с расчётом.
Почему MFU 30-60% - это не «плохая настройка», а норма
MFU зависит от размера модели, размера батча, стратегии параллелизма, типа данных и загрузки кластера. Даже аккуратно настроенное значение для одной конфигурации не переносится на другую: меняется соотношение вычислений и обмена данными, по-разному работают тензорный и конвейерный параллелизм, по-разному ведёт себя даталоадер. Подобрать один универсальный MFU для всех заданий нельзя.
Отсюда практическое следствие: одна и та же формула даёт разную ошибку на разных конфигурациях. Если хочется понять, как вообще читать заявления об эффективности ускорителей и почему «100% загрузка» без методики мало что значит, полезен отдельный разбор AI-Manual: что стоит за заявлением о 100% эффективности GPU.
Что реально происходит между запуском задания и его завершением
Жизненный цикл SFT-задания на кластере выглядит длиннее, чем цикл шагов обучения:
- до первого шага: подготовка окружения, загрузка модели, загрузка данных и токенизация;
- во время обучения: периодические оценки на eval-датасете и загрузка чекпоинтов;
- в конце: выгрузка финальной модели в объектное хранилище.
На многопользовательском кластере каждый из этих этапов конкурирует с другими заданиями за сеть и дисковый ввод-вывод. Накладные расходы зависят от конфигурации и не масштабируются аккуратно с объёмом работы или числом GPU. Два задания с одинаковой номинальной вычислительной нагрузкой могут завершиться с разницей в часы.
Для сравнения, в разборе AI-Manual об обучении MoE в Megatron-LM приведены данные о 800 тыс. GH200 GPU-часов и настройках кластера: масштаб другой, а вопросы накладных расходов похожие.
Периодические оценки и чекпоинты: скрытая статья расходов
Частые оценки прогоняют модель на eval-датасете и прерывают обучение. Чем больше num_eval_data и чем чаще запускается оценка, тем больше токенов модель проходит вне полезных шагов обновления весов. Размер eval-батча меняет длительность одной оценки и нагрузку на память.
Сохранение чекпоинтов пишет на диск объём, сопоставимый с размером модели или её состояния оптимизатора. Чем чаще сохранять и чем больше состояние, тем выше нагрузка на хранилище. При конкуренции за I/O расходы растут нелинейно: несколько заданий, одновременно пишущих крупные чекпоинты, замедляют друг друга. Эти признаки и оказались в топе важности у CatBoost.
Почему одинаковые по FLOPs задания расходятся на часы
Два задания с одинаковыми P и D могут иметь разную частоту eval, разный размер eval-батча, разный объём чекпоинтов и попасть в разную фазу загрузки кластера. Накладные расходы складываются и взаимодействуют, а не суммируются линейно. Именно эти нелинейные взаимодействия и выучивает регрессор по прошлым запускам.
В исследовании приводят типичную ситуацию: расчёт обещает девять часов, а задание завершается на следующий день. Причина не в том, что GPU медленнее спецификации, а в том, что значительная часть времени уходит на этапы вне цикла обновления весов.
Как устроен предиктор на CatBoost и почему он точнее
CatBoost - градиентный бустинг на деревьях. Он работает с табличными данными, категориальными признаками и нелинейностями, поэтому хорошо подходит для оценки времени по конфигурации задания. В разборе Dharma-AI регрессор видит только информацию, доступную до запуска задания: параметры модели и данных, настройки eval, политику чекпоинтов, число GPU и режим дообучения. Данных из процесса выполнения у него нет.
Обучение и проверка идут в 5-фолдовой кросс-валидации на 272 запусках. Метрики: R² = 0.98, MAE 1.71 ч, медианная ошибка 0.51 ч. Для сравнения, FLOPs-оценка на той же выборке дала R² = 0.31 и MAE 12.41 ч. Детали предиктора и признаки перечислены в публикации Dharma-AI.
Почему медианная ошибка важнее средней для планирования
MAE чувствителен к выбросам: отдельные долгие задания тянут среднюю ошибку вверх. Медиана показывает типичный случай. Для планирования загрузки кластера полезны обе метрики: медиана 0.51 ч помогает оценить ожидаемое время обычного задания, MAE 1.71 ч и распределение ошибок - риск нарваться на выброс. Ориентироваться только на R² = 0.98 нельзя: высокая доля объяснённой дисперсии ещё не говорит, что каждое отдельное предсказание уложится в час.
Граница честности: 272 задания одного типа на одном типе GPU. Переносить медиану 0.51 ч на другой кластер без переобучения нельзя.
Какие параметры конфигурации сильнее всего влияют на время
В разборе Dharma-AI самый большой вес для модели получили четыре группы признаков. Порядок важен: это не те параметры, которые первыми приходят в голову при расчёте FLOPs.
- Объём данных оценки (num_eval_data). Определяет, сколько токенов прогоняется на каждой оценке. Чем больше eval-датасет, тем дольше каждая проверка и тем больше времени уходит вне шагов обучения.
- Число обучаемых параметров. Базовая вычислительная нагрузка и объём состояния, которое нужно сохранять. Влияет и на скорость шага, и на размер чекпоинтов.
- Частота и размер батча оценки. Частота задаёт, сколько раз обучение прерывается на eval; размер батча меняет длительность одной проверки и нагрузку на память.
- Объём сохраняемых чекпоинтов. Нагрузка на хранилище. Чем крупнее и чаще чекпоинты, тем сильнее задание зависит от скорости дискового ввода-вывода и соседей по кластеру.
Признаки с наибольшим весом описывают накладные расходы и режим оценки, а не одни «сырые» вычисления. Это объясняет, почему FLOPs-оценка с одним MFU не может поймать разброс: она не видит ни eval, ни чекпоинты, ни конкуренцию за I/O.
Что это значит для конфигурации вашего запуска
Практические следствия простые. Логируйте num_eval_data, частоту и размер eval-батча, политику чекпоинтов с самого начала: без этих признаков предиктор не обучить. Не планируйте загрузку GPU по «чистым» FLOPs: они дают нижнюю границу цикла обновления весов, а не оценку времени задания. Закладывайте запас на сеть и дисковый ввод-вывод, особенно если на кластере одновременно идут другие тяжёлые задания.
Точные коэффициенты зависят от кластера и типа заданий. Переносить цифры из исследования на свой кластер без переобучения нельзя: изменится железо, политика хранения, загрузка и даже поведение даталоадера.
Как построить такую оценку для своего кластера
Подход воспроизводим, если у вас есть история запусков и дисциплина логирования. В исследовании было 272 задания; для старта достаточно начать фиксировать признаки и фактическое время, а решение об обучении регрессора принимать по объёму и однородности выборки.
- Собирайте признаки до старта. Число обучаемых параметров, объём обучающих токенов, num_eval_data, частоту eval, размер eval-батча, политику чекпоинтов, число GPU, режим дообучения, известную до запуска нагрузку на GPU.
- Фиксируйте фактическое время end-to-end. Сюда входят шаги обучения, подготовка окружения, загрузка модели, оценки, чекпоинты и выгрузка модели. Иначе модель будет учиться предсказывать не то, что нужно планировщику.
- Накопите представительную выборку. В исследовании 272 запуска. Для небольшого числа заданий регрессор будет переобучаться, и тогда полезнее простое правило с запасом.
- Обучите регрессор на табличных данных. CatBoost - один из вариантов, не единственный. Важнее признаки и честная валидация, чем конкретная библиотека.
- Проверяйте кросс-валидацией и смотрите на ошибки. MAE и медиана важнее одного R². Полезно разбить ошибки по размеру модели, числу GPU и политике чекпоинтов: средняя цифра может скрывать плохие предсказания в отдельной группе.
Если вы дообучаете модель локально на Mac, а не на кластере, логика другая: там ограничение часто в памяти, а не в сетевом I/O. Полезное сравнение есть в материале AI-Manual о PyTorch MPS и Apple MLX для дообучения LLM на Mac с 16 ГБ. Для кластерных SFT-запусков возвращаемся к признакам конфигурации и истории выполнения.
Границы применимости подхода
Выборка - 272 задания supervised fine-tuning на NVIDIA H200. Это один тип GPU и один класс задач. Для pretraining, RLHF, другого железа или другого профиля кластера предиктор нужно переобучать: зависимости между eval, чекпоинтами и I/O могут отличаться. Материал Dharma-AI - превью статьи, полная версия ожидается на arXiv; детали методологии в превью раскрыты не полностью.
Модель предсказывает время, а не стоимость и не качество результата. R² = 0.98 в 5-фолдовой кросс-валидации не гарантирует такую же точность на новом кластере. Проверять стоит на отложенных запусках, которые не участвовали в обучении.
Практические выводы для планирования GPU-нагрузки
FLOPs-оценка годится как нижняя граница цикла обновления весов, но не как оценка времени задания. Накладные расходы зависят от конфигурации и конкуренции за сеть и дисковый ввод-вывод. Параметры eval и чекпоинтов влияют на время не меньше, чем размер модели. Обученный на истории запусков предиктор даёт ошибку в 7 с лишним раз меньше: MAE 1.71 ч против 12.41 ч у FLOPs-оценки на выборке Dharma-AI.
Чек-лист для планирования:
- логируйте num_eval_data, частоту и размер eval-батча, политику чекпоинтов, число обучаемых параметров и фактическое время end-to-end;
- смотрите на eval и чекпоинты как на полноценные статьи расходов, а не как на фоновые настройки;
- закладывайте запас на сеть и дисковый I/O, особенно на многопользовательском кластере;
- обучайте предиктор, когда накопилась однородная история запусков; для малой выборки используйте простое правило с запасом;
- проверяйте модель на отложенных запусках и смотрите на MAE, медиану и распределение ошибок; одного R² недостаточно.
Начать стоит с одного действия: включить логирование признаков конфигурации и полного времени задания. Без этих данных любая оценка останется формулой, которая объясняет только часть пути.