Сколько на самом деле стоит облачное дообучение LLM: цифры до и после исправлений
Стоимость прогона задают три величины: сколько токенов реально прошло через модель, сколько часов прожила арендованная машина и какую часть этих часов GPU считал. Размер корпуса влияет на счёт через первые две.
Хронология из опубликованного разбора: первая карта - H200 на 141 ГБ примерно за $4,6 в час. Прогон остановили вручную через 11,5 часа и $53, когда вторая стадия была пройдена на 15%. Смета до запуска обещала 9-11 часов и $33-40. Полезная отдача карты держалась на уровне 3-4%, то есть из оплаченного часа работу выполняли примерно две минуты. После перехода на packing и починки пайплайна полный прогон обошёлся около $41, а текущие циклы дообучения стоят $10-12. За полтора месяца на аренду GPU ушло чуть больше $300. Исходный разбор с цифрами и хронологией.
Класс аренды определяет требование полного дообучения: нужна карта с 141 ГБ памяти и больше. Это H200 и близкие по объёму памяти серверные решения; на потребительской карте такой прогон не запустить.
| Этап | Что происходило | Стоимость |
|---|---|---|
| Смета до запуска | Расчёт по вычислениям, без накладных пайплайна | 9-11 часов, $33-40 |
| Первый прогон на H200 141 ГБ | Остановлен вручную на 15% второй стадии | $53 за 11,5 часа |
| Полный прогон после packing и починки пайплайна | Полезная работа вместо простоя | около $41 |
| Текущий цикл дообучения | Отлаженный пайплайн | $10-12 |
Разрыв между сметой и счётом создали не вычисления, а накладные расходы пайплайна. Дальше разбираем, какие именно.
Почему смета по размеру корпуса не работает
Аренда тарифицируется по часам работы машины, а не по объёму данных. Если обучение встаёт на записи чекпоинта, ждёт батчи от загрузчика или считает пустые позиции паддинга, счёт растёт, а прогресс нет.
Смета 9-11 часов и $33-40 была реалистичной по вычислениям. Она не учитывала прогрев, компиляцию, запись чекпоинтов, ожидание операций ввода-вывода и перезапуски. Эти статьи расходов и превратили расчётные $33-40 в $53 за 15% второй стадии.
Рабочий индикатор - полезная отдача GPU, то есть доля времени, когда карта занята вычислениями по делу. 3-4% означают, что 96-97% оплаченного времени уходило в простой и в обработку padding-позиций.
Паддинг до 1024 токенов: как карта обрабатывала в 20 раз больше позиций
Короткие диалоги дополнялись до фиксированных 1024 токенов. Карта считала позиции, которых в данных нет: в 20 раз больше, чем требовалось по содержанию.
Время шага растёт с числом токенов в батче, включая паддинг. Когда в окне 1024 позиции, а полезных из них десятки, основная часть вычислений уходит на пустоту, и оплачивается весь батч.
Packing решает задачу иначе: несколько коротких примеров укладываются в одно окно, и доля полезных токенов растёт. Время шага падает при том же числе примеров, пропускная способность вырастает.
У схемы есть цена: аккуратная работа с масками внимания и границами примеров. Если границу не обозначить, модель увидит соседний диалог и выучит связи, которых в задаче нет.
Результат видно по двум показателям: доля полезных токенов в батче (отношение содержательных токенов к ёмкости окна) и время шага до и после перехода. Оба снимаются из логов обучения, отдельный инструментарий не нужен.
Как проверить, что packing не сломал обучение
- Сравнить лосс на первых шагах до и после перехода. Резкий скачок или плато вместо снижения говорят о проблеме с масками.
- Проверить, что токены из соседнего примера не попадают в поле внимания текущего.
- Считать валидацию на непакованных данных, чтобы метрика осталась сопоставимой с прошлыми прогонами.
Тонкости масок зависят от фреймворка: в одних реализациях границы задаются позициями, в других отдельной маской. При нестандартной реализации стоит привлекать специалиста, иначе ошибка проявится не сразу, а на метриках через несколько часов обучения.
Чекпоинты по 46 ГБ и загрузчик данных: узкие места, которых не видно в логах обучения
Синхронная запись чекпоинтов по 46 ГБ на сетевой диск останавливает обучение на всё время передачи. Карта простаивает, счёт идёт, шаг не двигается.
Что помогает: писать чекпоинт асинхронно, сначала на локальный быстрый диск, а на сетевой выгружать фоном. Сохранять реже имеет смысл тогда, когда выигрыш от простоя перевешивает риск потерять часы работы при сбое.
Вторая причина простоя - слишком мало процессов загрузчика данных. GPU ждёт, пока CPU соберёт и подготовит батч, и это видно не в лоссе, а в утилизации и времени шага.
Диагностика: смотреть загрузку GPU, время шага и паузы между шагами. Лосс показывает качество обучения, но не показывает, сколько времени карта простаивает.
Сторож, который гасит здоровые прогоны
Сторож должен был экономить деньги, а на деле останавливал рабочие прогоны. Причин две: старые файлы-метки от предыдущего запуска и ложные нули загрузки GPU.
Ложные нули появляются по разным поводам: слишком короткое окно замера, задержка публикации метрик, момент записи чекпоинта, когда карта действительно на секунды простаивает. Сторож видит ноль и убивает процесс, который через минуту продолжил бы работу.
Практика: проверять свежесть метки по времени изменения, а не по факту её существования; требовать несколько нулевых замеров подряд; логировать причину остановки и снимок метрик на этот момент. Без лога разбираться в остановке приходится дольше, чем длился сам прогон.
Универсального порога нет: он зависит от частоты обновления метрик и от того, сколько стоит минута простоя против минуты потерянного обучения.
Жёсткий лимит в долларах и пересоздание машины: как не убить прогон раньше времени
Жёсткий лимит в долларах срабатывал на ранних шагах. Расход на старте неравномерный: компиляция, прогрев, первые чекпоинты и первая валидация стоят заметно больше среднего шага, и средняя оценка по прогону здесь врёт.
Что делать: ставить лимит с запасом на разгон, отдельно держать мягкий порог-предупреждение, считать расход по фактическим шагам. Лимит, который срабатывает на десятом шаге, не защищает бюджет, а выбрасывает уже оплаченный прогрев.
Вторая привычка - пересоздавать машину на любую ошибку. Состояние теряется, прогрев и загрузка данных оплачиваются заново, а причина сбоя остаётся.
Правило: пересоздавать, когда проблема в окружении или железе; чинить на месте, когда ошибка в коде или конфиге. Разница в цене: пересоздание всегда стоит прогрева и повторной загрузки.
Как отличить ошибку окружения от ошибки конфига
Критерий простой: воспроизводится ли ошибка после перезапуска на той же машине и на чистой машине с тем же кодом. Если воспроизводится везде, проблема в коде или данных. Если только на конкретном инстансе, дело в окружении или железе.
Проверка занимает минуты и экономит часы: один и тот же скрипт запускается дважды, результаты сравниваются. Без этой проверки пересоздание превращается в способ потратить деньги, не приблизившись к решению.
Ошибки измерений: WER, два сэмпла и утечка 68% валидации
Три случая из того же разбора стоили почти ничего по деньгам и дорого по выводам.
WER считался без нормализации, и несовпадение алфавитов дало ошибки там, где их не было. Латинская раскладка вместо кириллицы, регистр, пунктуация, лишние пробелы попадают в метрику как ошибки распознавания, хотя после нормализации текст совпадает.
Выводы строили по двум сэмплам, тогда как для устойчивой оценки в разборе фигурируют 125 дублей. Двух примеров не хватает, чтобы отделить эффект модели от случайного разброса.
68% проверочных данных попало в обучающую выборку. После такого пересечения метрика на валидации перестаёт отражать обобщение: модель выглядит лучше, чем есть, и решение о готовности принимается по завышенной оценке.
Эти ошибки стоят копейки на фоне простоя GPU и при этом искажают вывод, ради которого прогон запускали. Проверки несложные: пересечение train и val по хешам примеров, фиксированный размер валидации, единый нормализатор для метрики и для эталона.
Как проверить метрику до того, как ей верить
Прогнать метрику на заведомо известных парах: одинаковые строки должны давать ноль ошибок, заранее внесённая замена ровно одну. Посмотреть распределение ошибок по длине и типу примеров: среднее скрывает провал на коротких репликах.
Для русскоязычных данных нормализация особенно важна: раскладка, ё и е, регистр и пунктуация дают ложные ошибки. Конкретные правила зависят от задачи, но нормализатор должен быть один и тот же для всех прогонов, иначе сравнение теряет смысл.
Как считать бюджет дообучения по шагам и времени жизни машины
Порядок расчёта:
- Число шагов умножить на время шага, получить часы чистой работы GPU.
- Добавить прогрев, компиляцию, загрузку и предобработку данных, запись чекпоинтов, расчёт валидации.
- Добавить простои: ожидание операций ввода-вывода, ожидание батчей, перезапуски после сбоев.
- Умножить на часовой тариф карты и прибавить отдельные статьи: хранение чекпоинтов и трафик, если провайдер их тарифицирует.
На разобранных числах видно, где возникает разрыв. Смета 9-11 часов и $33-40 против $53 за 15% второй стадии: вычисления были посчитаны верно, накладные расходы нет.
Закладывать стоит повторные прогоны и отладку: первые запуски почти всегда уходят на поиск узких мест. $10-12 за текущий цикл - результат отлаженного пайплайна, а не стартовая норма для нового проекта.
Цены и классы карт различаются у провайдеров и в регионах. Для сравнения: запуск претрейна AliceAI-Foundation-80B-A3B-Base на арендованных 4×A100 обошёлся примерно в 1000 ₽ по рабочей схеме, а первая попытка через Jupiter Notebook стоила около 6000 ₽ и результата не дала (разбор схемы запуска). Разница в шесть раз возникла из-за способа запуска, а не из-за другой карты.
Когда аренда GPU для дообучения оправдана, а когда нет
Полное дообучение требует карты с 141 ГБ памяти и больше, и это сразу задаёт класс аренды: H200 и сравнимые решения. Если задача меньше и помещается в потребительскую карту, аренда серверной машины переплачивает за память, которая не используется.
Ограничения облака: простой оплачивается, чекпоинты зависят от сети, автоматику и мониторинг нужно строить самому, а пересоздание машины теряет состояние. Взамен нет капитальных расходов, и прогон можно остановить в любой момент.
Сравнение с покупкой считается по загрузке: в разборе окупаемости сервера HGX H200 срок выходит 14,4 месяца при 100% загрузке, 24 при 60% и 36 при 40%. Для короткого проекта такая загрузка недостижима, и аренда остаётся дешевле.
В российских облаках аренда H100 стартует от 342 ₽/час, что меняет экономику по сравнению с долларовыми тарифами. Для задач поменьше имеет смысл сравнить с потребительской картой: часть сценариев файнтюнинга она закрывает без серверной аренды.
Если цикл дообучения короткий и повторяемый, отлаженный пайплайн важнее выбора карты. При полезной отдаче 3-4% смена карты не исправит счёт: сначала стоит убрать простой, потом сравнивать тарифы.
Чек-лист перед платным прогоном
- Packing включён или измерена доля полезных токенов в батче. Признак выполнения: содержательные токены занимают большую часть окна, а не десятую.
- Чекпоинты пишутся асинхронно и не напрямую на сетевой диск. Признак: шаг не удлиняется в момент сохранения.
- Число процессов загрузчика подобрано под GPU. Признак: карта не простаивает между шагами.
- Сторож проверяет свежесть метки и требует несколько нулей подряд. Признак: в логе остановки есть причина и метрики на этот момент.
- Долларовый лимит с запасом на разгон, плюс мягкий порог-предупреждение. Признак: предупреждение приходит до принудительной остановки.
- Train и val проверены на пересечение по хешам. Признак: пересечение нулевое.
- Метрика нормализована и проверена на известных парах. Признак: на идентичных строках WER равен нулю.
- Выборка для вывода достаточного объёма. Признак: разброс между прогонами оценён, а не выведен по двум примерам.
Экономия на облачном дообучении складывается из устранения простоя: каждый процент полезной отдачи GPU прямо пересчитывается в деньги. Начинать дешевле с паддинга и чекпоинтов, а не с поиска карты подешевле.