Дистилляция моделей: когда сжатие становится уродством
Открываешь HuggingFace в 2026 году. Страницы моделей пестрят названиями: "Llama-3.2-8B-Distilled-From-GPT-5", "Qwen2.5-7B-Merged-QLoRA-Super-Chat". Скачиваешь, запускаешь, а она тупит. Не просто ошибается — мыслит как студент-троечник после ночной гулянки. Проблема не в одной модели. Это эпидемия. Дистилляция, которая должна создавать компактных гениев, все чаще рождает цифровых даунов. Почему? И как не купить кота в мешке?
Деградация интеллекта — это не просто падение accuracy на 2%. Это фундаментальная потеря reasoning способностей. Модель может хорошо отвечать на простые вопросы, но сломается на цепочке рассуждений (CoT), многошаговой логике или задачах, требующих понимания контекста.
Почему дистиллированные модели тупеют: гниль изнутри
Все думают, что дистилляция — это магия сжатия. Берешь большую модель-учителя, кормишь ее выводами маленькой модели-ученика, и вуаля. В реальности это чаще напоминает ксерокс, который с каждым копированием теряет детали.
Причина 1: Data starvation (Голод данных)
Дистилляция требует ОГРОМНЫХ объемов качественных данных от учителя. На практике энтузиасты берут 10 тысяч примеров из Alpaca да пару датасетов с HuggingFace. Учитель (например, GPT-5 или Claude-3.7) на таких примерах показывает лишь поверхностные паттерны. Ученик копирует эти паттерны, но не понимает глубинной логики. Получается обезьяна, повторяющая жесты, но не смысл.
Причина 2: Merged QLoRA — Франкенштейн из кусков
Тренд 2025 года: взять базовую модель, натренировать на ней десяток LoRA-адаптеров под разные задачи, а потом смерджить их в один файл. Звучит круто. На практике адаптеры конфликтуют. Веса перекрываются, градиенты направлены в разные стороны. Модель получает шизофрению: она помнит и математику, и поэзию, но не может решить задачу, где нужно и то, и другое. Это прямой путь к модельному коллапсу, когда ИИ начинает есть сам себя.
Причина 3: Потеря цепочек рассуждений (CoT Degradation)
Большие модели думают шагами. Маленькие, дистиллированные — часто учатся пропускать эти шаги, давая сразу ответ. В тестах типа GSM8K или MATH это приводит к краху. Модель угадывает ответ на простых примерах, но на сложных ее "рассуждение" — это набор случайных утверждений. Это та же болезнь, что и LLM-галлюцинации, только системная.
Как отличить качественный дистиллят от вредного: детектор лжи для моделей
Не верь README.md. Не верь цифрам в таблице. Особенно не верь фразе "We achieve 95% of ChatGPT performance with 10x smaller model". Проверяй сам. Вот как.
1Шаг первый: Вскрытие картотеки (анализ датасета)
Первое, что смотришь — датасет, на котором учили модель. Если в репозитории нет ссылки на data или указан сомнительный датасет (типа "synthetic data from GPT-4"), это красный флаг. Качественная дистилляция в 2026 году использует:
- Разнообразные данные: код, математика, reasoning задачи, диалоги, научные тексты.
- Проверенные источники: AIME, TheoremQA, CodeContests, а не случайные сэмплы из интернета.
- Прозрачность: точное количество примеров (минимум 500к-1М для 7B модели).
| Признак | Качественный дистиллят | Вредный дистиллят |
|---|---|---|
| Датасет | Описан, разнообразен, >500к примеров | "Synthetic data", "mixed sources", нет деталей |
| Метод дистилляции | Указан (например, Sequence-to-Sequence KD) | "Fine-tuned on responses", "merged adapters" |
| Оценки | Набор тестов (MMLU, GSM8K, HumanEval) | Только accuracy на одном датасете |
2Шаг второй: Стресс-тест reasoning способностей
Запусти модель на 5-10 кастомных промптов. Не тех, что в бенчмарках. Спроси что-то, требующее многошагового мышления. Например:
# Пример промпта для проверки CoT способностей
prompt = """Шел дождь. Маша взяла зонт, но он сломался через 5 минут.
Она зашла в кафе, просидела там час. Когда вышла, дождь все еще шел.
Что произошло с Машей после выхода из кафе? Объясни свои рассуждения шаг за шагом."""Качественная модель построит цепочку: "1. Маша вышла без рабочего зонта. 2. Дождь продолжается. 3. Следовательно, она промокнет." Вредная дистиллированная модель выдаст что-то вроде: "Маша пошла домой" или начнет рассуждать о погоде вообще, потеряв контекст.
Используй тесты на специфические домены, например, задачи по физике или программированию. Если модель справляется с ними — это хороший знак. Если нет — она, вероятно, поверхностна.
3Шаг третий: Проверка на consistency (согласованность)
Задай один и тот же вопрос в разных формулировках. Например: "Сколько будет 2+2*2?" и "Чему равно выражение: два плюс два умножить на два?". Качественная модель даст одинаковый ответ (6). Деградировавшая может выдать 8 в одном случае и 6 в другом, потому что заучила шаблоны, а не правила.
Этот тест отлично выявляет модели, страдающие от ковариационного сдвига в микро-масштабе: небольшие изменения ввода ломают логику.
Ошибки, которые все совершают (и ты тоже)
- Доверять среднему score по MMLU. Модель может натаскать себя на вопросы типа "столица Франции", но провалить задачи на логику. Смотри разбивку по категориям.
- Использовать только количественные метрики. Цифры врут. Запусти модель в интерактивном режиме, поговори с ней. Почувствуй, есть ли у нее "понимание" или она просто подбирает токены.
- Брать модель только потому, что у нее много звезд на GitHub. Популярность ≠ качество. Многие звезды ставят за название, а не за проверку.
- Игнорировать историю коммитов. Если модель сделана одним коммитом "upload model", это подозрительно. Качественные проекты показывают процесс: датасеты, обучение, оценку.
Что делать, если вы уже наступили на грабли
Скачали модель, а она тупит? Не спешите удалять. Попробуйте дообучить ее на своих данных — иногда это помогает. Но осторожно: если деградация глубокая, вы лишь замаскируете симптомы. Лучше вернуться к проверенным моделям, например, к официальным дистиллятам от Meta (Llama) или Microsoft (Phi). Или использовать методы из статьи про обучение нейросети физике, где важен принцип, а не просто копирование.
Не используйте дистиллированные модели для критичных задач без тщательной валидации. История с IQuest-Coder-V1-40B-Instruct должна научить: даже большие модели могут быть пустышками.
Будущее за гибридными методами: дистилляция + дообучение на узких задачах + постоянный мониторинг. Но пока что лучший совет — будь параноиком. Проверяй каждую модель как будто от этого зависит твоя репутация. Потому что так оно и есть.
P.S. Если видишь модель с названием "Ultra-Fast-Distilled-7B", спроси себя: что они ускорили — работу модели или процесс ее отупения?
