Допустим, вы собираете AI-агента для автономного решения IT-задач. Какую модель выберете? Логика подсказывает: чем больше параметров, тем умнее. Но вот реальность, от которой волосы встают дыбом: 27B модель без дообучения стабильно обходит 75B модель, которую специально учили работать с инструментами. Звучит как сломанный бенчмарк? Нет, это закономерность, которую мы разберём по косточкам.
Что случилось? Краткий пересказ эксперимента
В открытом исследовании (июль 2026) сравнивали две модели на бенчмарке агентных IT-задач ITBench-AA. Одна — Qwen3.5-27B (базовая, без какого-либо дообучения под агенты), другая — 75B модель, прошедшая специализированное обучение на tool-calling (назовём её условно BigAgent-75B-v2). Результат: 27B выиграла с отрывом в 12% по метрике успешного выполнения задач. Причём 75B провалилась на простых действиях вроде парсинга JSON — тех самых, на которых её якобы учили. (Спойлер: учили плохо.)
Это не единичный случай. Ранее в бенчмарке 21 LLM на tool-calling маленькие модели (7B–13B) тоже наступали на пятки гигантам. Но здесь разрыв особенно вопиющий — почти трёхкратная разница в весах.
Почему дообучение не помогло? Три главные причины
1. Перекос обучающей выборки
75B модель учили на датасете из 10 000 примеров tool-calling. Казалось бы, много. Но выяснилось, что 80% этих примеров — однотипные вызовы одного API (например, извлечение данных из таблиц). Когда агенту понадобилось скомбинировать два разных инструмента или обработать нестандартный ответ, модель начала галлюцинировать. Она просто не видела таких сценариев. Дообучение без покрытия граничных случаев — это заучивание трюков, а не обучение рассуждению.
2. Проклятие «зашитого» поведения
Дообучение на tool-calling часто ломает базовую способность модели к рефлексии. 75B модель стала слишком уверенно генерировать фиктивные аргументы — она «знала», что ей нужно вызвать функцию, но не умела проверять, а существует ли такой параметр. 27B модель, не тронутая дообучением, сохранила природную осторожность: она задавала уточняющие вопросы и переспрашивала, если чего-то не знала. В агентном режиме это — суперсила.
3. Чистое качество предобучения
Оказывается, дистиллированные и качественно предобученные маленькие модели имеют более плотные представления. 27B (в данном случае Qwen3.5-27B) изначально обучалась на огромном корпусе с акцентом на логику и следование инструкциям. Её «сырой» reasoning оказался мощнее, чем «подпиленный» reasoning 75B, потратившего часть ёмкости на запоминание искусственных паттернов tool-calling.
Что это значит для вас — строителя агентов?
- Не верьте цифрам параметров. 75B может быть хуже 27B, если её криво дообучили. Всегда тестируйте на своих задачах.
- Дообучение — это не панацея. Если вы решаете узкую задачу, возможно, лучше взять способную маленькую модель и написать хороший промпт, чем затачивать большую под конкретный формат.
- Проверяйте обвязку. Иногда проблема не в модели, а в оркестраторе — смена модели не чинит агента, если ошибка в коде вызова инструментов.
- Используйте автоматические бенчмарки. Лучше один раз прогонить агента на датасете из 100 задач, чем гадать, почему большая модель тупит. Автономный агент для бенчмаркинга LLM может сэкономить часы ручного тестирования.
Результат с 27B vs 75B — не приговор дообучению, а диагноз индустрии: мы слишком часто пытаемся «научить» модель делать то, что она уже умеет, но портим её природную гибкость. Иногда лучшая настройка — это отсутствие настройки. Если ваша маленькая модель без дообучения уже справляется с задачей — не трогайте её. Потому что большой брат может оказаться просто большим, но глупым.
