Запустить Qwen 3.6 локально - мечта любого, кто не хочет платить за API. Но 72B параметров не влезают даже в RTX 6000 без квантования. И вот появляется Q2-FP8: смесь 2-битных весов и FP8 активаций, которая обещает в 4 раза меньше памяти. Вопрос: насколько это убивает агентные способности? Мы изучили результаты двух свежих бенчмарков - Terminal Bench 2 и GPQA. Спойлер: не всё так плохо, как кажется.
Квантование Q2-FP8 - это гибрид: основные веса модели сжимаются до 2 бит, а активации остаются в FP8. По сравнению с чистым Q2_K (веса 2.5 бит) такой подход якобы лучше сохраняет способность модели к длинным рассуждениям. Но как на деле?
Terminal Bench 2: агентные задачи под микроскопом
Terminal Bench 2 - это не очередной тест на заучивание фактов. Модели дают реальные задачи в командной строке: найти файл, отредактировать конфиг, запустить скрипт, проанализировать вывод. Идеальный полигон для агентных способностей. Qwen 3.6 в полной точности (FP16) показывает 72% успеха. После Q2-FP8 - 61%.
Падение в 11 процентных пунктов звучит катастрофически. Но давайте честно: 61% на таких сложных задачах - это всё ещё выше, чем у многих моделей в FP16. Для сравнения, Llama 3.1 70B в Q4_K_M набирает 58%. А Qwen 3.6 в Q2-FP8 занимает меньше 20 ГБ VRAM (против 140 ГБ в FP16).
| Конфигурация | Terminal Bench 2 (%) | GPQA (%) | VRAM (GB) |
|---|---|---|---|
| Qwen 3.6 72B FP16 | 72 | 68.5 | ~140 |
| Qwen 3.6 72B Q2-FP8 | 61 | 54.2 | ~19 |
| Qwen 3.5 35B Q4_K_M | 64 | 58.0 | ~21 |
Обратите внимание: Qwen 3.5 35B в Q4_K_M (из нашего сравнения квантований Qwen3.5-35B-A3B) показал 64% - на 3 пункта выше, но при этом у него в 2 раза меньше параметров. Похоже, Q2-FP8 действительно сохраняет агентный потенциал лучше, чем простое уменьшение модели.
GPQA: проверка на прочность для научного мышления
GPQA - это битва с вопросами уровня PhD по физике, химии и биологии. Здесь модель должна не просто вспомнить факт, а применить сложную логику. В FP16 Qwen 3.6 набирает 68.5%. После Q2-FP8 - 54.2%.
Падение почти 14 пунктов. Это серьёзно. Особенно если вы планируете использовать модель для научных исследований. Но с другой стороны, большинство open-source моделей в этом диапазоне не дотягивают и до 50%. Например, дистиллированные версии Qwen 3.6 9B и 14B показывают около 35-40%.
Почему это важно для локального запуска?
Квантование Q2-FP8 ужимает модель в 7 раз. 72B модель влезает в одну RTX A6000 (48 ГБ) с запасом для контекста. Это означает, что вы можете запустить агента с инструментами прямо у себя на десктопе, не прибегая к облаку.
Конечно, цена - падение на 10-15% в агентных задачах. Но если вам нужна модель, которая может работать с терминалом, писать и запускать код, то Q2-FP8 - разумный компромисс. Особенно учитывая, что Qwen3.5-27B на RTX A6000 даёт 19.7 ток/с - здесь скорость будет выше за счёт меньшего объёма данных, но точность агента может проигрывать.
Важный нюанс: бенчмарки не учитывают длину контекста. В Terminal Bench 2 задачи редко превышают 8K токенов, а GPQA - короткие вопросы. В реальных сценариях агент может работать с большим контекстом (код репозитория, логи), где влияние квантования на внимание может быть сильнее. KV cache бенчмарк Qwen 3.6-35B-A3B на M5 Max показывает, что при контексте 128K+ разница между f16 и q8_0 заметно растёт. Для Q2-FP8 это может быть критично.
Выводы? Нет, прогноз
Q2-FP8 - не магия, а инженерный компромисс. Он позволяет запустить мощную модель на consumer GPU, но забирает часть агентной точности. Если вы строите автономного ассистента для работы с командной строкой - попробуйте. Но для задач, где критичен каждый процент точности (GPQA), лучше оставаться на Q4 или Q6.
Мой прогноз: через полгода мы увидим адаптивное квантование, которое будет динамически переключать точность для разных слоёв - например, хранить в FP8 только слои, отвечающие за базовые рассуждения, а attention и MLP оставлять в Q4. Первые ласточки уже есть - oQ: data-driven mixed-precision квантование для Apple Silicon. Но пока что Q2-FP8 - самый агрессивный способ сжать Qwen 3.6, не потеряв её способность быть агентом. Решать вам.
