Что такое Deletion Tuning и в чём идея
Deletion Tuning - способ посттренировки LLM, при котором у предобученной модели обнуляется менее 0,05% весов. Больше ничего не меняется: ни новых матриц, ни сдвига остальных параметров. По утверждению авторов метода, этого хватает, чтобы результат оказался сопоставим с полным файнтюнингом (FFT) в масштабе, причём сразу в трёх режимах посттренировки: RL с проверяемыми наградами, supervised fine-tuning и on-policy distillation. Описание работы и обсуждение доступны в ветке LocalLLaMA.
Ключевой механизм: модель не переучивается, а выключает часть связей. Обучаемая сущность - бинарная маска над gate projection блоков трансформера. Единица означает «вес остаётся исходным», ноль означает «вес обнуляется». Сами веса предобученной модели не изменяются.
Все цифры и сравнения ниже взяты из работы авторов. Независимого воспроизведения в доступных источниках нет, и это главная оговорка ко всему тексту: речь идёт о заявлении исследователей, а не о проверенном индустриальном рецепте.
Маска вместо изменения весов: как это работает
Gate projection - часть MLP-блока трансформера. В LLaMA-подобных архитектурах MLP собирается из трёх матриц (gate, up, down), и gate projection управляет тем, какая доля активаций проходит дальше через вентильную функцию. По данным авторов, маскирования именно этой части достаточно, чтобы догнать FFT; объяснение через геометрию весов разобрано ниже.
Маска бинарная и покрывает только gate projection, поэтому обучаемых величин мало, а обнуляется менее 0,05% весов модели. Это разреженное вмешательство, а не перестройка представлений. Разница принципиальная: FFT обновляет все веса, LoRA добавляет обучаемые низкоранговые матрицы, Deletion Tuning оставляет модель той же и убирает часть связей.
Деталей процедуры в источнике нет: как именно обучается маска, какой порог разреженности используется, какие гиперпараметры и функция потерь. Воспроизвести метод по одному абзацу нельзя.
Чем это отличается от прунинга и LoRA
Прунинг обычно решает задачу сжатия: убрать веса, чтобы модель занимала меньше памяти и быстрее считала. Deletion Tuning ставит другую цель - заменить полный файнтюнинг по качеству на целевых задачах. Обнуление здесь служит способом дообучения, а не ускорением инференса.
LoRA обучает низкоранговые добавки к весам и хранит их отдельно от базовой модели. Deletion Tuning ничего не добавляет: результат - маска, применяемая к исходным весам. Авторы сравнивают подход с FFT, LoRA и случайным разреженным файнтюнингом; сравнения с прунингом как методом сжатия в работе нет, поэтому вывод «лучше прунинга» делать нельзя.
С чем сравнивают: FFT, LoRA и случайный разреженный файнтюнинг
В работе три участника сравнения, и у каждого своя роль.
- Full fine-tuning (FFT) - эталон. Все веса обновляются на данных посттренировки.
- LoRA - популярный параметр-эффективный метод: к весам добавляются обучаемые низкоранговые матрицы, базовая модель остаётся замороженной.
- Случайный разреженный файнтюнинг - контроль. Обнуляется примерно такая же доля весов, но выбранных случайно, без обучения маски.
Контроль нужен, чтобы отделить эффект разреженности от эффекта выбора. Если бы работало любое обнуление долей процента весов, случайный вариант показал бы тот же результат. Картина другая: Deletion Tuning сопоставим с FFT по результатам, а по геометрии изменений весов ближе всего к FFT среди всех сравниваемых методов. Случайное обнуление такой близости не даёт.
Три режима посттренировки, где метод сопоставим с FFT
Сопоставимость заявлена не в одном узком сценарии, а в трёх режимах. Формулировка авторов - matches full fine-tuning at scale, то есть в масштабе. Конкретные модели, размеры и бенчмарки в доступном описании не приведены.
RL с проверяемыми наградами
Режим, в котором модель оптимизируется под задачи с объективно проверяемым ответом: код, математика, задачи с точным эталоном. Награда считается программно, без человека-оценщика. Для Deletion Tuning этот режим ключевой: именно в нём авторы измеряли забывание прошлых задач и геометрию изменений весов.
Результат по забыванию: точность на прошлых задачах остаётся близкой к базовой. FFT, LoRA и случайный разреженный файнтюнинг в тех же условиях теряют до 5,4 пункта.
Supervised fine-tuning и on-policy distillation
Supervised fine-tuning - классическое дообучение на парах «вход-ответ». On-policy distillation - дистилляция, при которой ученик обучается на собственных генерациях, а учитель их оценивает; распределение обучающих примеров ближе к тому, что ученик реально выдаёт.
В обоих режимах сопоставимость с FFT заявлена, детали экспериментов в источнике не раскрыты. Ни модели, ни датасеты, ни абсолютные значения метрик не приведены, поэтому переносить вывод на свой пайплайн без проверки нельзя.
Практическая выгода: крошечный чекпоинт и меньшее забывание
Из механики метода следуют два следствия, важных для практики.
Размер маски против размера FFT-чекпоинта
Маска бинарная: один бит на покрытый вес, и только в gate projection. Полный FFT-чекпоинт - копия всех весов модели в fp16, bf16 или fp32. Отсюда заявление авторов: обученная маска в сотни и тысячи раз меньше соответствующего FFT-чекпоинта. Абсолютных размеров в гигабайтах источник не даёт, так что экономию для своей модели придётся считать самому, отталкиваясь от числа параметров в gate projection.
Практический смысл простой: если вы держите десятки вариантов дообучения одной базовой модели, хранение масок вместо полных копий меняет порядок затрат на дисковое пространство и раздачу артефактов.
Забывание прошлых задач: до 5,4 пункта у конкурентов
Вторая выгода - меньшее забывание. При RL точность Deletion Tuning на прошлых задачах остаётся близкой к базовой, тогда как FFT, LoRA и случайный разреженный файнтюнинг теряют до 5,4 пункта. Для continual learning это существенно: при итеративном дообучении каждая итерация обычно оплачивается деградацией на предыдущих задачах.
Цифра 5,4 пункта относится к конкретному RL-эксперименту. Для supervised fine-tuning и on-policy distillation численных значений забывания в источнике нет. Саму проблему подробно разбирает материал о катастрофическом забывании при дообучении.
Почему маскирования gate projection достаточно: геометрия весов
Результат «маска догоняет FFT» сам по себе удивителен: обнуление долей процента весов не должно воспроизводить полное обновление. Авторы ищут объяснение в геометрии выученных изменений весов при RL и сравнивают три метрики для FFT, LoRA, случайного разреженного файнтюнинга и своего метода (постановка эксперимента).
Stable rank, spectrum drift и principal-weight overlap
- Stable rank - насколько матрица весов «эффективно низкоранговая»: устойчивая оценка ранга, которая не разваливается от мелких сингулярных чисел. Показывает, меняется ли внутренняя размерность преобразования.
- Spectrum drift - насколько сдвигается спектр сингулярных чисел матрицы. Большой дрейф означает перестройку матрицы, маленький означает, что её почти не тронули.
- Principal-weight overlap - насколько направления главных компонент изменений совпадают с тем, что даёт FFT. Метрика отвечает на вопрос, меняем ли мы то же самое, что и полный файнтюнинг.
Это инструменты сравнения геометрии, а не метрики качества модели. Численных значений в источнике нет, есть вывод: по всем трём метрикам Deletion Tuning ближе всего к FFT по сравнению с LoRA и случайным разреженным файнтюнингом. Анализ проведён для RL-режима, на другие режимы он не распространён.
Почему это аргумент в пользу маскирования gate projection
Логика авторов: если изменения весов при FFT геометрически близки к тому, что даёт разреженное обнуление в gate projection, то маскирования этой части достаточно, чтобы воспроизвести эффект FFT. Маска выбирает подмножество весов, попадающее в те же главные направления изменений, которые FFT находит полным обновлением.
Осторожность уместна: вывод получен на конкретной постановке RL-эксперимента. Утверждать, что связка «gate projection плюс бинарная маска» универсально заменяет FFT для любых архитектур и задач, источник не позволяет.
Ограничения и подводные камни Deletion Tuning
Список ограничений стоит прочитать до того, как закладывать метод в продакшн.
- Нет независимой проверки. Все заявления о сопоставимости с FFT идут от авторов метода (первоисточник). Стороннего воспроизведения в доступных материалах нет.
- Ограниченный объём изменений. Метод обучает только маску над gate projection. Новых весов он не создаёт и не рассчитан на задачи, где нужно существенно изменить поведение модели за пределами выключения связей.
- Неизвестные детали. Модели, датасеты, гиперпараметры и стоимость обучения маски в источнике не раскрыты.
- Узкие условия для цифр. «До 5,4 пункта» и метрики геометрии относятся к RL-эксперименту, на SFT и on-policy distillation они не переносятся автоматически.
- Формулировка at scale без конкретики. Какие модели и размеры использовались, не указано, поэтому границы масштабируемости неизвестны.
Что остаётся за рамками исследования
Открытые вопросы: как метод ведёт себя на разных архитектурах и размерах моделей, как масштабируется стоимость обучения маски, насколько результат устойчив вне трёх заявленных режимов посттренировки. Ответов в доступном описании нет. Отдельный сюжет - предсказуемость повторного дообучения небольших моделей, его разбирает эксперимент с многократными раундами дообучения.
Как это соотносится с привычным дообучением LLM и стоит ли пробовать
Сравнение по трём осям, которые важны при выборе метода дообучения.
| Ось | FFT | LoRA | Deletion Tuning |
|---|---|---|---|
| Что меняется в модели | Все веса | Добавляются низкоранговые матрицы, база заморожена | Бинарная маска над gate projection, веса не меняются |
| Размер результата | Полная копия весов | Матрицы адаптеров | Маска, в сотни и тысячи раз меньше FFT-чекпоинта (по данным авторов) |
| Забывание прошлых задач при RL | До 5,4 пункта потерь | До 5,4 пункта потерь | Точность держится близко к базовой |
Таблица показывает, где интерес: размер артефакта и устойчивость к забыванию. По этим двум осям метод выглядит привлекательно для сценариев с частым дообучением одной и той же базовой модели.
Кому и когда это может быть полезно
Сценарии, где заявленные свойства метода релевантны: итеративное дообучение с риском потерять прошлые навыки; хранение и раздача множества результатов дообучения при ограниченном диске; эксперименты, где нужен компактный артефакт рядом с неизменной базовой моделью. Всё это гипотезы на основе заявленных свойств, а не проверенные рекомендации: воспроизводимых рецептов и кода в доступном описании нет.
Что проверить перед тем, как пробовать
- Воспроизводится ли сопоставимость с FFT на вашей модели и вашей задаче: сравнение на своём наборе метрик, а не на цифрах из статьи.
- Как ведёт себя забывание на ваших прошлых задачах: нужен собственный набор holdout-задач, на которых базовая модель уже работает.
- Хватает ли вмешательства только в gate projection под вашу задачу: если нужен сдвиг стиля, формата или новых знаний, возможностей у маски меньше, чем у FFT.
- Сколько стоит обучение маски на вашем железе: данных о стоимости в источнике нет, оценивать придётся самостоятельно.
Вывод без восторгов: Deletion Tuning - интересный исследовательский результат и сильный аргумент в пользу разреженных вмешательств вместо полного обновления весов. Ставить его сейчас вместо LoRA или FFT нет оснований: слишком много непроверенных мест. Следить за направлением стоит, особенно если вы работаете с continual learning и вам важны компактные чекпоинты.