Перейти к содержанию
Публикация AiManual

Дообучение Qwen3-0.6B для RAG в браузере: почему падение validation loss не спасло от галлюцинаций

Validation loss падал от чекпоинта к чекпоинту, а ответы становились хуже: модель копировала форму эталонов и выдумывала факты. Разбираем кейс дообучения Qwen3-

Коротко

Что будет в материале

  1. 01

    Почему validation loss не отражает качество ответов LLM

  2. 02

    Данные и постановка эксперимента: 2193 документа, 4500 примеров и четыре фрагмента на вопрос

  3. 03

    Четыре версии обучающих данных: от длинных эталонов к ответу по одному факту

  4. 04

    Как оценивать дообученную модель: отложенный набор и ручная проверка чекпоинтов

Validation loss в этом кейсе падал от чекпоинта к чекпоинту, а качество ответов на реальных вопросах снижалось. Дообученная Qwen3-0.6B воспроизводила форму подробных эталонных ответов и не воспроизводила их содержание: уверенно дописывала детали, которых не было ни в одном из четырёх фрагментов. Расхождение между метрикой и поведением вскрылось только на ручной проверке, и на разбор причины ушло четыре версии обучающих данных.

Задача была узкой. Модель на 0,6 млрд параметров получает системный промпт, четыре пронумерованных фрагмента от семантического поиска и вопрос, а на выходе должна дать ответ не более чем в два предложения строго по этим фрагментам. Если ответа в них нет, нужно сказать, что блог, похоже, не затрагивает тему. Постановка и ограничения промпта описаны в оригинальном разборе эксперимента.

Железо и инструменты: Mac mini с M4 и 24 ГБ памяти, LoRA через mlx-lm, 4500 примеров на версию и около 1 часа 20 минут обучения на каждую из четырёх итераций. Результат рабочей версии v3: около 16 правильных ответов из 30 против 17 у базовой модели, зато 3 ошибочных вместо 9, и все 15 вопросов вне блога закрыты корректными отказами.

Почему validation loss не отражает качество ответов LLM

Loss на валидации считает среднюю отрицательную лог-вероятность эталонных токенов. Проще говоря, метрика отвечает на вопрос, насколько модель ожидала именно те слова, которые стоят в эталоне. Правильность утверждения она не измеряет: гладкая формулировка с выдуманным фактом внутри даёт такую же низкую loss, как формулировка с верным.

Что именно измеряет loss и чего он не видит

Когда эталонные ответы длинные и детализированные, модель первым делом учит структуру: вступление, перечисление, аккуратный вывод, характерные обороты. Привязка к фрагментам остаётся вторичной, потому что отдельной награды за неё нет. У модели на 0,6 млрд параметров не хватает ёмкости, чтобы одновременно держать формат, несколько утверждений и проверку «есть ли это в тексте». Она берёт то, что проще, то есть гладкость.

Как выглядела деградация в этом кейсе

Симптом: ответы становились длиннее и увереннее по тону, а проверка показывала подробности, которых не было ни в одном из четырёх фрагментов. Модель копировала манеру детализированных ответов Claude, на которых были размечены ранние версии датасета, и подставляла правдоподобные, но посторонние факты. Первые эксперименты дали обратный эффект: выдумок стало больше, а loss продолжил снижаться.

Признак, по которому та же проблема узнаётся в другом проекте: loss монотонно падает, а ручная проверка чекпоинтов показывает рост выдумок. Тогда причина в данных и формате эталонов, а не в скорости обучения. Крутить learning rate бессмысленно, метрика уже оптимизируется, просто не в ту сторону.

Граница самостоятельной диагностики: loss годится как сигнал сходимости, он показывает, что модель вообще учится на этих данных. Решение о качестве принимается на отложенном наборе с ручной разметкой, и подменить его нельзя ни кривой обучения, ни размером датасета.

Данные и постановка эксперимента: 2193 документа, 4500 примеров и четыре фрагмента на вопрос

Корпус собран из технических текстов с открытыми лицензиями: блог Go, блог Rust, Rust RFC и Python PEP, всего 2193 документа (источник данных и постановка). Свои статьи в обучение не попали: в блоге на момент эксперимента было 16 публикаций, и обучать модель на них, а потом проверять на тех же текстах, значило бы измерять запоминание вместо умения работать с поиском.

Механика ошибки, которую такой подход предотвращает, разобрана в отдельном материале про утечку данных в прогнозе просмотров статей: собственная статья автора осталась в обучающей выборке, и оценка качества вышла завышенной.

Один обучающий пример: вопрос, четыре наиболее релевантных фрагмента, которые вернул семантический поиск, и эталонный ответ. Фрагменты не вычищали до идеала, в них попадает лишний текст. Так модель учится работать с такими же зашумлёнными результатами, как в реальной работе. Объём - 4500 примеров на версию.

Тестовый набор - 45 вопросов из предыдущей статьи автора, которые уже использовались для оценки качества. 30 из них относятся к темам корпуса и служат для сравнения правильных и ошибочных ответов. 15 заведомо выходят за пределы блога, и единственный правильный ответ там - отказ. Разделять эти группы нужно: если смешать их в одну метку «точность», исчезнет именно то, что требуется измерить.

Четыре версии обучающих данных: от длинных эталонов к ответу по одному факту

Версии датасета различались не объёмом, а устройством эталона. Ранние сборки содержали подробные ответы на два-три утверждения: этого хватало, чтобы модель выучила тон и композицию, но не хватало, чтобы привязать каждое утверждение к фрагменту. Версия v3 поменяла правило: короткий ответ, ровно один факт из фрагмента.

Почему длинные эталонные ответы провоцируют галлюцинации

Длинный эталон содержит несколько утверждений, и модель учится генерировать связный текст в этом стиле, а не сверять каждое утверждение с источником. При ёмкости 0,6 млрд параметров стиль вытесняет фактическую привязку: воспроизвести интонацию проще, чем удержать четыре фрагмента и проверить по ним каждое слово.

Правило, которое из этого следует: в эталоне остаются только те факты, которые модель обязана извлечь, и ни одного сверх. Вводные обороты, пояснения и «полезные» дополнения работают против разработчика, потому что попадают в целевое распределение наравне с фактами и тянут loss вниз без пользы для ответа.

Формат системного промпта и поведение при отсутствии ответа

Промпт требует ответить не более чем двумя предложениями, использовать только предоставленные фрагменты, а при отсутствии ответа сказать, что блог, похоже, не затрагивает тему. Разрешение отказаться задано явно, и оно определило результат: на всех 15 вопросах вне блога модель отказалась отвечать. Без такой строки модель по умолчанию пытается ответить хоть что-нибудь, потому что именно этому её учили на остальных примерах.

Итоговые цифры v3: около 16 правильных ответов из 30 против 17 у базовой модели, ошибок 3 вместо 9, 15 корректных отказов из 15 (итоги четвёртой итерации). Цена честная: по числу правильных ответов дообучение не выиграло, выигрыш в снижении ошибок и в предсказуемых отказах. Для RAG-сценария, где неверный ответ дороже отсутствия ответа, такой обмен обычно выгоден.

Как оценивать дообученную модель: отложенный набор и ручная проверка чекпоинтов

Порядок оценки, который переносится на свой проект, состоит из четырёх шагов.

  1. Зафиксировать тестовый набор до начала обучения: 45 вопросов, из них 30 по темам корпуса и 15 заведомо вне его.
  2. После каждого чекпоинта прогонять весь набор и вручную размечать каждый ответ: правильный, ошибочный, отказ.
  3. Сравнивать с базовой моделью по каждой категории отдельно, а не по среднему.
  4. Отдельно считать отказы на вопросах вне корпуса: там правильный ответ только один.

Сравнение по категориям на 30 вопросах по корпусу:

Категория ответаБазовая Qwen3-0.6BДообученная версия v3
Правильные ответы17около 16
Ошибочные ответы93

Числа покрывают не все ответы: часть из 30 приходится на отказы и неполные ответы, и именно там видна цена версии v3. Агрегированная «точность» эту цену скрывает, поэтому одной цифрой здесь пользоваться нельзя.

Почему сравнение с базовой моделью обязательно

Без базовой модели непонятно, дало ли дообучение хоть что-то. В этом кейсе правильных ответов стало примерно столько же (16 против 17), и только разбивка по категориям показала выигрыш в ошибках и отказах. Базовая модель - единственная точка отсчёта, которая не зависит от обучающих данных и от настроения при разметке.

Какие вопросы выносить в проверку отказов

Берите вопросы, которых заведомо нет в корпусе, и считайте правильным только отказ. Это ловит главный риск RAG-модели: уверенный ответ при отсутствии данных. Проверять нужно после каждого чекпоинта, а не один раз в конце, иначе деградация отказов всплывёт уже в проде.

Заявленные метрики отказов расходятся с реальным поведением модели, это видно на примере сборок с рейтингом отказов 0/100: проверять приходится своим набором промптов, а не цифрой из карточки.

Ручная разметка 30-45 ответов занимает минуты. Схема раздельного измерения поиска и генерации разобрана в руководстве по метрикам качества RAG-систем, там же объясняется, почему recall и качество ответа считают по отдельности. Типичные способы обмануть себя одной сводной цифрой собраны в материале про семь приёмов самообмана метриками.

Где предел Qwen3-0.6B: извлечение факта работает, обобщение нет

Граница, которую показал кейс: извлечение одного факта из фрагмента малая модель освоила, обобщение нескольких фрагментов и синтез вывода - нет.

Причина в ёмкости. 0,6 млрд параметров хватает, чтобы сопоставить вопрос с фрагментом и скопировать подходящую фразу. Многошаговое рассуждение над четырьмя источниками требует удерживать несколько утверждений, сравнивать их и формулировать вывод, которого нет ни в одном фрагменте дословно. Дообучение на 4500 примерах такого поведения не даёт.

Следствия для выбора инструмента. Задача «найти и процитировать» малой модели по силам, особенно когда важны размер файла и скорость загрузки в браузере. Задача «сравни четыре источника и сделай вывод» требует модели крупнее либо разбиения на шаги: отдельное извлечение фактов по каждому фрагменту, затем отдельный шаг синтеза, возможно на другой модели. Дообучение 0,6 млрд параметров эту границу не сдвигает.

Что даёт 4-битное квантование и как воспроизвести кейс

Итоговая 4-битная версия занимает 358 МБ против 579 МБ у оригинала. Для браузера разница заметна: файл скачивается быстрее, в памяти остаётся больше запаса под контекст. Квантование при этом компромисс, а не бесплатный выигрыш: после него качество перепроверяют на том же тестовом наборе, а не переносят выводы по полной версии.

Воспроизведение на своём железе выглядит реалистично: LoRA и mlx-lm, Mac mini с M4 и 24 ГБ памяти, около 1 часа 20 минут на версию при 4500 примерах. Четыре итерации укладываются в рабочий день, поэтому цикл «поменял данные, обучил, проверил» здесь быстрый. Модель, датасет и код открыты, так что кейс можно повторить целиком.

Стоит ли дообучать малую модель под RAG: выводы

Пять выводов, которые переносятся на другие проекты.

  1. Loss не критерий выбора чекпоинта. Критерий - ручная оценка на отложенном наборе, разложенная по категориям.
  2. Короткие эталоны по одному факту снижают галлюцинации у малой модели. Длинные подробные ответы учат форме и провоцируют выдумки.
  3. Явное разрешение отказаться в промпте и вопросы вне корпуса в тестовом наборе обязательны. Без них отказы просто не появятся.
  4. У 0,6 млрд параметров есть потолок: извлечение факта да, обобщение нескольких фрагментов нет.
  5. Дообучение оправдано, когда нужен стабильный режим «ответить или отказаться» на узком корпусе. Когда нужно качество рассуждений, его решают размер модели и архитектура пайплайна, а не 4500 примеров.

Чек-лист перед стартом: соберите корпус с лицензиями, допускающими обучение; вынесите 15 вопросов вне корпуса отдельно от вопросов по нему; проверьте базовую модель на том же наборе; начните с эталонов в один факт; после каждого чекпоинта размечайте ответы руками. Если на этом пути число ошибок не падает, дообучение малой модели проблему не решит, и следующим шагом стоит смотреть на поиск и на модель крупнее.

Подписаться на канал