Повторное дообучение одной и той же маленькой LLM на проверенных решениях не даёт накопления. Заметный прирост приносит только первый раунд: примерно с 53% до 59% решённых задач на фиксированном экзамене из 200 задач. Дальше доля решённых задач колеблется в пределах 54-57%, а режим «с нуля» идёт наравне с режимом с накоплением. Такой результат описал автор серии опытов с моделью, которая помещается на домашнюю видеокарту.
Оговорка, без которой цифры читаются неверно: это один эксперимент, одна модель и один набор задач. Он не доказывает, что обучение содержанию не работает. Плацебо-проверка, отличающая усвоение содержания от подстройки под формат ответов, ещё не проведена, и автор просит найти слабые места в её устройстве до того, как потратит на решающий прогон примерно сутки работы видеокарты. Опыты описаны в материале на Habr.
Смысл серии шире одного теста на дообучение. Это исследование на пути к архитектуре LANN-4: нейросеть, которая учится всю «жизнь», с небольшим неизменным «мозгом» и вынесенной наружу памятью. Сама LANN-4 ещё не выбрана и не построена, готовой модели нет, а использованные LLM - подопытные инструменты, не прототипы будущей архитектуры.
Что именно проверяли: цель эксперимента и место LANN-4
Гипотеза формулировалась прямо: если одну и ту же небольшую модель подучивать на проверенных решениях несколько раз подряд, она будет от раунда к раунду становиться лучше. Эксперимент дал короткий ответ: нет. Первый раунд дообучения принёс заметный прирост, дальше рост остановился. Всего раундов было четыре.
Почему маленькая модель, а не большая
Обычный путь индустрии - делать модели всё больше: больше «нейронов», больше данных, больше вычислений. Автора занимает другая задача: сколько пользы можно выжать при жёстко ограниченном размере. Маленькая LLM помещается на домашнюю видеокарту, и это задаёт обе стороны эксперимента. Потолок по объёму знаний, который такая модель способна удержать, и возможность гонять раунды на своём железе без аренды кластера.
Как данные, вычисления и архитектура влияют на разрыв между локальными и закрытыми моделями, разбирали в отдельном материале про честное сравнение локальных LLM.
LANN-4: что это и почему она ещё не построена
LANN-4 - рабочее название будущей архитектуры. Расшифровка: нейросеть, которая учится всю «жизнь», с небольшим неизменным «мозгом» и вынесенной наружу памятью. Замысел такой конструкции в том, что знания держат не растущие веса, а внешнее хранилище, поэтому модель может продолжать учиться, не переобучаясь целиком.
Статус на момент публикации: архитектура не выбрана и не построена, готовая новая модель не показана. Результаты опытов с маленькими LLM говорят о свойствах конкретных моделей и данных, а не о будущей архитектуре. Эту границу автор проводит сам, и её стоит держать в голове при чтении цифр ниже.
Как устроен эксперимент: три режима и фиксированный экзамен
Схема: одну и ту же модель дообучали на проверенных решениях четыре раунда подряд. Рядом вели два контроля. Оценка шла на фиксированном экзамене из 200 задач, который между раундами не менялся, иначе сравнивать раунды напрямую было бы нельзя.
Три режима: с накоплением, с нуля и без обучения. Название модели, состав обучающих данных и гиперпараметры в исходном описании не раскрыты, поэтому конкретики по ним здесь нет.
Режим с накоплением: как он должен был работать
Каждый следующий раунд стартует с весов, полученных в предыдущем. Если модель усваивает содержание новых решений, результат на экзамене должен расти от раунда к раунду. Именно на этот режим возлагалась основная гипотеза о накоплении.
Режим «с нуля» и режим без обучения: зачем они нужны
«С нуля» - каждый раунд начинается с исходных весов, без наследования предыдущего состояния. Если такой вариант показывает тот же результат, что и накопление, последовательность раундов ничего не добавляет по сравнению с независимым обучением на тех же данных. Режим без обучения - базовая линия, та же модель до любого дообучения: относительно неё измеряется прирост. Без этих двух контролей нельзя отличить накопление от обычного эффекта дообучения как такового.
Результаты: первый раунд дал прирост, дальше - плато
Цифры из описания эксперимента: отправная точка около 53% решённых задач, после первого раунда примерно 59%. Дальше 54-57% на раундах 2-4. Накопления улучшений не вышло.
| Режим | Что показывает | Результат на экзамене из 200 задач |
|---|---|---|
| Без обучения | Базовая линия до любого дообучения | Около 53% |
| Первый раунд дообучения | Максимальный зафиксированный прирост | Около 59% |
| Раунды 2-4 с накоплением | Динамика после первого раунда | Колебания в пределах 54-57% |
| «С нуля» | Контроль: независимое обучение на тех же данных | Не уступал режиму с накоплением |
Режим «с нуля» не уступал режиму с накоплением: повторный старт с исходных весов давал не худший результат, чем продолжение с предыдущего состояния. Отсюда главный вывод автора - накопления не вышло.
Почему режим «с нуля» не уступает накоплению
Версии, которые напрашиваются, но остаются гипотезами:
- Потолок на имеющемся объёме данных. Новые раунды приносят мало нового, и модель быстро выбирает то, что вообще способна взять.
- Подстройка под формат. Дообучение меняет стиль и форму ответа, а задачи, требующие новых знаний, остаются нерешёнными.
- Катастрофическое забывание при дообучении. Каждый новый раунд частично стирает предыдущий, поэтому итог не отличается от обучения с нуля.
- Шум измерения. Выборка в 200 задач небольшая, и разница в 1-2% здесь может не значить ничего.
Разделить эти объяснения без плацебо-проверки нельзя, и это ключевая нерешённая часть истории.
Что результат не доказывает
- Что обучение содержанию не работает. Плацебо-проверка для этого ещё не проведена.
- Что модель деградировала. Колебания в пределах 54-57% могут быть шумом.
- Что так ведут себя все маленькие LLM. Эксперимент поставлен на одной модели, одном наборе данных и одном экзамене.
- Что-то про LANN-4. Архитектуры пока нет, опыты к ней только подводят.
- Что-то про большие модели. Ограничение по размеру само по себе задаёт потолок по объёму того, что модель удерживает.
Плацебо-проверка: как отличить обучение содержанию от подстройки под формат
Первый раунд мог дать прирост по двум разным причинам. Модель усвоила содержание решений. Либо она подстроилась под формат ответов: научилась выдавать результат в нужной форме, и этого хватило на несколько процентных пунктов.
Плацебо-проверка нужна, чтобы развести эти объяснения. Логика: дать обучение без полезного содержания, но в том же формате, и посмотреть, откуда возьмётся прирост. Если контрольный вариант растёт так же, основной эффект - формат. Если основной вариант обгоняет контрольный, модель действительно усваивает содержание. Конструкция проверки в открытом описании не раскрыта, и обсудить её автор предлагает до запуска.
Какие слабые места могут быть у плацебо-проверки
Ниже список рисков, а не найденных дефектов: до прогона речь о том, что стоит закрыть заранее.
- Размер выборки. 200 задач ловят крупные сдвиги, но разницу в 1-2% на такой выборке легко получить случайно.
- Совпадение формата. Если обучающие примеры и экзамен используют одну разметку и стиль ответа, часть прироста объясняется форматом и в основном режиме, и в контрольном.
- Утечка. Пересечение формулировок экзаменационных задач с обучающими примерами даёт прирост за счёт запоминания, а не обобщения.
- Однотипность задач. Если в экзамене много похожих задач, модель может выехать на одном шаблоне решения.
- Один прогон. Без повторов неизвестно, воспроизводится ли разница между режимами.
Свои варианты слабых мест можно предложить в комментариях к первоисточнику: автор просит помочь найти дыру в устройстве проверки до того, как за неё возьмётся видеокарта.
Что даст решающая проверка
Ответ на главный вопрос: есть в эксперименте обучение содержанию или только подстройка под формат. На прогон планируется потратить примерно сутки работы видеокарты. Даты публикации результатов в описании нет, и объявлять её заранее было бы некорректно.
Что это значит для практиков: выводы для дообучения маленьких LLM
Линейного роста от повторного дообучения ждать не стоит. Если модель подняла результат на первом раунде и остановилась, это нормальная картина, а не признак ошибки в коде. Бюджет вычислений разумно планировать так, чтобы повторные раунды служили проверкой гипотезы, а не обязательной частью процесса.
Как не обмануться в собственных экспериментах
- Фиксируйте экзамен. Один и тот же набор задач до и после каждого раунда, иначе сравнение распадается.
- Держите базовую линию. Без результата модели до дообучения прирост неизмерим.
- Запускайте режим «с нуля». Он показывает, даёт ли что-то последовательность раундов или вы измеряете эффект дообучения как такового.
- Считайте шум. Колебания в 1-2% на выборке порядка 200 задач трактуйте как разброс, а не как тренд.
- Следите за забыванием. Дообучение на узком наборе меняет поведение модели и вне него. Как смена режимов и настроек отражается на ответах, разбирали в материале про деградацию instruct-режима.
- Повторяйте прогон. Разница между режимами в несколько процентов требует нескольких запусков, иначе результат не отличить от случайности.
Если интересен бюджетный вариант обучения модели с нуля, есть разбор опыта, где VLM на 628 млн параметров обучили примерно за $200: там видно, сколько времени уходит на этапы обучения и где они ломаются.
Открытые вопросы и что читатели могут предложить
- Почему прирост даёт только первый раунд? Дело в данных, в размере модели или в способе оценки?
- Как надёжно отделить обучение содержанию от подстройки под формат?
- Какая метрика чувствительнее к содержанию, чем доля решённых задач: разбор типов ошибок, устойчивость к перефразировке, перенос на новые типы задач?
- Даст ли вынесенная наружу память то, чего не даёт рост весов, и на каком объёме задач это станет заметно?
Последний вопрос упирается в LANN-4, которой пока нет. Практический шаг, доступный сейчас: предложить конкретное слабое место плацебо-проверки, то есть ситуацию, в которой контрольное обучение без содержания даст такой же прирост, и способ это закрыть.