Validation loss в этом кейсе падал от чекпоинта к чекпоинту, а качество ответов на реальных вопросах снижалось. Дообученная Qwen3-0.6B воспроизводила форму подробных эталонных ответов и не воспроизводила их содержание: уверенно дописывала детали, которых не было ни в одном из четырёх фрагментов. Расхождение между метрикой и поведением вскрылось только на ручной проверке, и на разбор причины ушло четыре версии обучающих данных.
Задача была узкой. Модель на 0,6 млрд параметров получает системный промпт, четыре пронумерованных фрагмента от семантического поиска и вопрос, а на выходе должна дать ответ не более чем в два предложения строго по этим фрагментам. Если ответа в них нет, нужно сказать, что блог, похоже, не затрагивает тему. Постановка и ограничения промпта описаны в оригинальном разборе эксперимента.
Железо и инструменты: Mac mini с M4 и 24 ГБ памяти, LoRA через mlx-lm, 4500 примеров на версию и около 1 часа 20 минут обучения на каждую из четырёх итераций. Результат рабочей версии v3: около 16 правильных ответов из 30 против 17 у базовой модели, зато 3 ошибочных вместо 9, и все 15 вопросов вне блога закрыты корректными отказами.
Почему validation loss не отражает качество ответов LLM
Loss на валидации считает среднюю отрицательную лог-вероятность эталонных токенов. Проще говоря, метрика отвечает на вопрос, насколько модель ожидала именно те слова, которые стоят в эталоне. Правильность утверждения она не измеряет: гладкая формулировка с выдуманным фактом внутри даёт такую же низкую loss, как формулировка с верным.
Что именно измеряет loss и чего он не видит
Когда эталонные ответы длинные и детализированные, модель первым делом учит структуру: вступление, перечисление, аккуратный вывод, характерные обороты. Привязка к фрагментам остаётся вторичной, потому что отдельной награды за неё нет. У модели на 0,6 млрд параметров не хватает ёмкости, чтобы одновременно держать формат, несколько утверждений и проверку «есть ли это в тексте». Она берёт то, что проще, то есть гладкость.
Как выглядела деградация в этом кейсе
Симптом: ответы становились длиннее и увереннее по тону, а проверка показывала подробности, которых не было ни в одном из четырёх фрагментов. Модель копировала манеру детализированных ответов Claude, на которых были размечены ранние версии датасета, и подставляла правдоподобные, но посторонние факты. Первые эксперименты дали обратный эффект: выдумок стало больше, а loss продолжил снижаться.
Признак, по которому та же проблема узнаётся в другом проекте: loss монотонно падает, а ручная проверка чекпоинтов показывает рост выдумок. Тогда причина в данных и формате эталонов, а не в скорости обучения. Крутить learning rate бессмысленно, метрика уже оптимизируется, просто не в ту сторону.
Граница самостоятельной диагностики: loss годится как сигнал сходимости, он показывает, что модель вообще учится на этих данных. Решение о качестве принимается на отложенном наборе с ручной разметкой, и подменить его нельзя ни кривой обучения, ни размером датасета.
Данные и постановка эксперимента: 2193 документа, 4500 примеров и четыре фрагмента на вопрос
Корпус собран из технических текстов с открытыми лицензиями: блог Go, блог Rust, Rust RFC и Python PEP, всего 2193 документа (источник данных и постановка). Свои статьи в обучение не попали: в блоге на момент эксперимента было 16 публикаций, и обучать модель на них, а потом проверять на тех же текстах, значило бы измерять запоминание вместо умения работать с поиском.
Механика ошибки, которую такой подход предотвращает, разобрана в отдельном материале про утечку данных в прогнозе просмотров статей: собственная статья автора осталась в обучающей выборке, и оценка качества вышла завышенной.
Один обучающий пример: вопрос, четыре наиболее релевантных фрагмента, которые вернул семантический поиск, и эталонный ответ. Фрагменты не вычищали до идеала, в них попадает лишний текст. Так модель учится работать с такими же зашумлёнными результатами, как в реальной работе. Объём - 4500 примеров на версию.
Тестовый набор - 45 вопросов из предыдущей статьи автора, которые уже использовались для оценки качества. 30 из них относятся к темам корпуса и служат для сравнения правильных и ошибочных ответов. 15 заведомо выходят за пределы блога, и единственный правильный ответ там - отказ. Разделять эти группы нужно: если смешать их в одну метку «точность», исчезнет именно то, что требуется измерить.
Четыре версии обучающих данных: от длинных эталонов к ответу по одному факту
Версии датасета различались не объёмом, а устройством эталона. Ранние сборки содержали подробные ответы на два-три утверждения: этого хватало, чтобы модель выучила тон и композицию, но не хватало, чтобы привязать каждое утверждение к фрагменту. Версия v3 поменяла правило: короткий ответ, ровно один факт из фрагмента.
Почему длинные эталонные ответы провоцируют галлюцинации
Длинный эталон содержит несколько утверждений, и модель учится генерировать связный текст в этом стиле, а не сверять каждое утверждение с источником. При ёмкости 0,6 млрд параметров стиль вытесняет фактическую привязку: воспроизвести интонацию проще, чем удержать четыре фрагмента и проверить по ним каждое слово.
Правило, которое из этого следует: в эталоне остаются только те факты, которые модель обязана извлечь, и ни одного сверх. Вводные обороты, пояснения и «полезные» дополнения работают против разработчика, потому что попадают в целевое распределение наравне с фактами и тянут loss вниз без пользы для ответа.
Формат системного промпта и поведение при отсутствии ответа
Промпт требует ответить не более чем двумя предложениями, использовать только предоставленные фрагменты, а при отсутствии ответа сказать, что блог, похоже, не затрагивает тему. Разрешение отказаться задано явно, и оно определило результат: на всех 15 вопросах вне блога модель отказалась отвечать. Без такой строки модель по умолчанию пытается ответить хоть что-нибудь, потому что именно этому её учили на остальных примерах.
Итоговые цифры v3: около 16 правильных ответов из 30 против 17 у базовой модели, ошибок 3 вместо 9, 15 корректных отказов из 15 (итоги четвёртой итерации). Цена честная: по числу правильных ответов дообучение не выиграло, выигрыш в снижении ошибок и в предсказуемых отказах. Для RAG-сценария, где неверный ответ дороже отсутствия ответа, такой обмен обычно выгоден.
Как оценивать дообученную модель: отложенный набор и ручная проверка чекпоинтов
Порядок оценки, который переносится на свой проект, состоит из четырёх шагов.
- Зафиксировать тестовый набор до начала обучения: 45 вопросов, из них 30 по темам корпуса и 15 заведомо вне его.
- После каждого чекпоинта прогонять весь набор и вручную размечать каждый ответ: правильный, ошибочный, отказ.
- Сравнивать с базовой моделью по каждой категории отдельно, а не по среднему.
- Отдельно считать отказы на вопросах вне корпуса: там правильный ответ только один.
Сравнение по категориям на 30 вопросах по корпусу:
| Категория ответа | Базовая Qwen3-0.6B | Дообученная версия v3 |
|---|---|---|
| Правильные ответы | 17 | около 16 |
| Ошибочные ответы | 9 | 3 |
Числа покрывают не все ответы: часть из 30 приходится на отказы и неполные ответы, и именно там видна цена версии v3. Агрегированная «точность» эту цену скрывает, поэтому одной цифрой здесь пользоваться нельзя.
Почему сравнение с базовой моделью обязательно
Без базовой модели непонятно, дало ли дообучение хоть что-то. В этом кейсе правильных ответов стало примерно столько же (16 против 17), и только разбивка по категориям показала выигрыш в ошибках и отказах. Базовая модель - единственная точка отсчёта, которая не зависит от обучающих данных и от настроения при разметке.
Какие вопросы выносить в проверку отказов
Берите вопросы, которых заведомо нет в корпусе, и считайте правильным только отказ. Это ловит главный риск RAG-модели: уверенный ответ при отсутствии данных. Проверять нужно после каждого чекпоинта, а не один раз в конце, иначе деградация отказов всплывёт уже в проде.
Заявленные метрики отказов расходятся с реальным поведением модели, это видно на примере сборок с рейтингом отказов 0/100: проверять приходится своим набором промптов, а не цифрой из карточки.
Ручная разметка 30-45 ответов занимает минуты. Схема раздельного измерения поиска и генерации разобрана в руководстве по метрикам качества RAG-систем, там же объясняется, почему recall и качество ответа считают по отдельности. Типичные способы обмануть себя одной сводной цифрой собраны в материале про семь приёмов самообмана метриками.
Где предел Qwen3-0.6B: извлечение факта работает, обобщение нет
Граница, которую показал кейс: извлечение одного факта из фрагмента малая модель освоила, обобщение нескольких фрагментов и синтез вывода - нет.
Причина в ёмкости. 0,6 млрд параметров хватает, чтобы сопоставить вопрос с фрагментом и скопировать подходящую фразу. Многошаговое рассуждение над четырьмя источниками требует удерживать несколько утверждений, сравнивать их и формулировать вывод, которого нет ни в одном фрагменте дословно. Дообучение на 4500 примерах такого поведения не даёт.
Следствия для выбора инструмента. Задача «найти и процитировать» малой модели по силам, особенно когда важны размер файла и скорость загрузки в браузере. Задача «сравни четыре источника и сделай вывод» требует модели крупнее либо разбиения на шаги: отдельное извлечение фактов по каждому фрагменту, затем отдельный шаг синтеза, возможно на другой модели. Дообучение 0,6 млрд параметров эту границу не сдвигает.
Что даёт 4-битное квантование и как воспроизвести кейс
Итоговая 4-битная версия занимает 358 МБ против 579 МБ у оригинала. Для браузера разница заметна: файл скачивается быстрее, в памяти остаётся больше запаса под контекст. Квантование при этом компромисс, а не бесплатный выигрыш: после него качество перепроверяют на том же тестовом наборе, а не переносят выводы по полной версии.
Воспроизведение на своём железе выглядит реалистично: LoRA и mlx-lm, Mac mini с M4 и 24 ГБ памяти, около 1 часа 20 минут на версию при 4500 примерах. Четыре итерации укладываются в рабочий день, поэтому цикл «поменял данные, обучил, проверил» здесь быстрый. Модель, датасет и код открыты, так что кейс можно повторить целиком.
Стоит ли дообучать малую модель под RAG: выводы
Пять выводов, которые переносятся на другие проекты.
- Loss не критерий выбора чекпоинта. Критерий - ручная оценка на отложенном наборе, разложенная по категориям.
- Короткие эталоны по одному факту снижают галлюцинации у малой модели. Длинные подробные ответы учат форме и провоцируют выдумки.
- Явное разрешение отказаться в промпте и вопросы вне корпуса в тестовом наборе обязательны. Без них отказы просто не появятся.
- У 0,6 млрд параметров есть потолок: извлечение факта да, обобщение нескольких фрагментов нет.
- Дообучение оправдано, когда нужен стабильный режим «ответить или отказаться» на узком корпусе. Когда нужно качество рассуждений, его решают размер модели и архитектура пайплайна, а не 4500 примеров.
Чек-лист перед стартом: соберите корпус с лицензиями, допускающими обучение; вынесите 15 вопросов вне корпуса отдельно от вопросов по нему; проверьте базовую модель на том же наборе; начните с эталонов в один факт; после каждого чекпоинта размечайте ответы руками. Если на этом пути число ошибок не падает, дообучение малой модели проблему не решит, и следующим шагом стоит смотреть на поиск и на модель крупнее.