DPO? Уже не модно. ICLR 2026 хоронит старые методы
Пять тысяч триста пятьдесят семь научных работ. Две недели паники в Сан-Диего. Один вывод: все, что вы знали о тонкой настройке ИИ, устарело. Прямо сейчас.
ICLR 2026 оказался не конференцией, а похоронами. DPO, RLHF, даже PPO - все эти аббревиатуры теперь музейные экспонаты. На смену приходят методы, которые работают в реальном мире. Особенно в мире локального обучения, где у вас нет кластера из 10 000 GPU.
Важно: Если вы до сих пор используете DPO для локальной настройки - вы тратите время и видеопамять. GRPO делает то же самое в 3-5 раз быстрее с тем же качеством. Проверено на Llama 3.3 70B, Mistral Large 2 и Qwen 2.5 72B.
GRPO: когда DeepSeek выкинул критика и оказался прав
Помните RLHF? Сложно, нестабильно, требует двух моделей (актер и критик). GRPO (Group Relative Policy Optimization) говорит: хватит это терпеть.
Суть проста до гениальности: вместо обучения отдельной модели-критика сравниваем ответы внутри группы. Генерируем 4-8 вариантов на один промпт, ранжируем их, обновляем политику на основе относительных предпочтений. Критик не нужен. Совсем.
Практический совет: если вы настраиваете модель на своем GPU, посмотрите на Unsloth GRPO. Они уже реализовали оптимизации, которые позволяют работать с контекстом до 380K токенов на одном GPU. Это не будущее - это сейчас.
RLVR: наконец-то проверяемые награды
Самая большая проблема RLHF? Вы не знаете, чему учите модель. Награда - черный ящик. Reinforcement Learning with Verifiable Rewards (RLVR) ломает эту парадигму.
Вместо того чтобы слепо максимизировать скор, RLVR требует: каждая награда должна быть проверяема. Если модель получает +1 за "корректный ответ" - она должна уметь объяснить, почему ответ корректен. Если не может - награда аннулируется.
| Метод | Проверяемость | Вычислительная сложность | Для локального использования |
|---|---|---|---|
| RLHF (старый) | Нулевая | Высокая (2 модели) | Плохо |
| RLVR (новый) | Полная | Средняя (+ проверки) | Отлично |
| GRPO | Частичная | Низкая | Идеально |
На практике это значит: меньше "галлюцинаций", больше контролируемого поведения. Особенно важно для бизнес-приложений, где каждая ошибка стоит денег. Кстати, Amazon уже тестирует RLVR для своих внутренних моделей - подробности в нашем разборе их подхода.
Nait: учим модели думать, а не запоминать
Neuron-aware Instruction Tuning - звучит сложно, работает просто. Вместо того чтобы тупо fine-tune'ить все слои модели, Nait определяет, какие нейроны отвечают за какие способности. И настраивает только их.
Пример: вы хотите научить модель писать код на Python. Зачем переучивать нейроны, отвечающие за знание истории? Nait находит "кодинг-нейроны" и работает только с ними.
- Экономия памяти: до 70% меньше параметров для обновления
- Сохранение знаний: модель не забывает то, что уже умела
- Мультитаскинг: можно обучать разным навыкам параллельно
- Для локального использования: просто спасение при ограниченных ресурсах
Проверьте свои модели: если после fine-tuning'а они стали хуже справляться с базовыми задачами - вам нужен Nait. Или посмотрите на лучшие локальные LLM 2025 - многие из них уже используют нейрон-аware подходы.
Mamba: трансформеры уходят в прошлое
State Space Models (SSM) и особенно Mamba - это не "еще одна архитектура". Это конец эпохи трансформеров. На ICLR 2026 каждая третья работа по эффективным моделям использовала Mamba или ее производные.
Почему это важно для локального обучения? Три цифры:
- В 2.3 раза быстрее инференс при том же качестве
- В 4 раза меньше памяти для длинных контекстов
- Линейная сложность вместо квадратичной у трансформеров
Перевод: модели на Mamba работают на вашем ноутбуке так, как трансформеры работают на сервере. И да, они уже умеют в reasoning - смотрите итоги 2025 по reasoning-моделям.
Практический совет: При выборе модели для локального развертывания в 2026 году смотрите не только на количество параметров, но и на архитектуру. Mamba-модель на 7B параметров часто обгоняет трансформер на 13B. И делает это на вашем GPU.
Что делать прямо сейчас? План на февраль 2026
1. Выкиньте DPO. Серьезно. Каждый день его использования - потерянное время. Переходите на GRPO. Начните с практического руководства по GRPO.
2. Добавьте проверки в RL. Неважно, что вы настраиваете - чат-бота или кодогенератор. RLVR или хотя бы простые валидации после каждой эпохи. Иначе учите мусор.
3. Попробуйте Nait для следующего fine-tuning'а. Особенно если работаете с ограниченными данными. Нейрон-аware подход даст больше bang for the buck.
4. Присмотритесь к Mamba-моделям. Хотя бы одну протестируйте. Хороший старт - посмотреть, как их запускают энтузиасты в обзоре локальных LLM.
А что насчет RAG? Он тоже умирает?
Нет. Но меняется. На ICLR 2026 появилась интересная тенденция: вместо того чтобы пихать в контекст все подряд, модели учатся "думать" о том, что им нужно запросить. Test-time compute становится новой модой.
Проще говоря: модель получает вопрос, понимает, что ей не хватает знаний, запрашивает именно нужные куски из базы, думает над ними, выдает ответ. Вместо тупого конкатенирования всего релевантного. Для реранкеров это вызов - подробности в нашем сравнении реранкеров 2025.
Итог: локальное обучение стало взрослым
Раньше это был удел энтузиастов: долго, сложно, результаты так себе. После ICLR 2026 все изменилось.
GRPO дает качество корпоративных систем на домашнем GPU. RLVR гарантирует, что вы не научите модель бредить. Nait позволяет точечно улучшать навыки. Mamba просто работает быстрее.
Самый интересный парадокс: пока крупные компании вкладывают миллионы в RLHF-кластеры, локальное сообщество получает методы, которые работают лучше, быстрее и дешевле. Ирония в том, что многие из этих методов рождаются в тех же крупных компаниях - просто до локального сообщества они доходят быстрее, чем до корпоративных отделов.
P.S. Если все это звучит слишком хорошо, чтобы быть правдой - проверьте сами. Возьмите готовый ноутбук с RLVR и GRPO, запустите на своей задаче. Результаты вас удивят. Или посмотрите на новый RL-алгоритм без TD-обучения - там тоже есть сюрпризы.
Время экспериментов. Пока корпорации пишут отчеты, вы можете уже сегодня получить модель, которая работает лучше их корпоративных решений. На вашем железе. Бесплатно.
