Проект QUASAR выпустил 4-битные квантованные чекпоинты для Qwen3.5-4B, Gemma 4 E4B и 12B, Muse Glimmer 30B, а ранее - для Qwen3.8-27B. Каждый чекпоинт обучен методом quantization-aware distillation: полная BF16-модель выступает учителем, а квантованная версия учится повторять её поведение. Результат - 4-битные веса, которые по метрике KL-дивергенции к BF16 на отложенных промптах обходят референсные сборки NVIDIA NVFP4, Google QAT и Meta Q4_K_M.
Запускается всё в стандартных форматах. NVFP4 работает в vLLM, Q4_0 GGUF - в llama.cpp, Ollama и LM Studio. Кастомные ядра не нужны, конвертировать ничего не надо: скачал чекпоинт и запустил. Код, статья и страница проекта выложены публично.
Кому это интересно: тем, у кого не хватает VRAM под BF16, но нужно качество на сложных задачах - математике, коде, многошаговых рассуждениях. Дальше разберём, как устроен метод, что показывают бенчмарки и где лежат ограничения.
Что такое QUASAR QAT и зачем нужны 4-битные чекпоинты
QUASAR - это проект, который готовит 4-битные версии популярных открытых моделей так, чтобы они как можно меньше отличались от исходных BF16. Название отсылает к английскому "quantization-aware", то есть квантованию с учётом того, как модель будет работать после сжатия. Смысл простой: вместо того чтобы просто округлить веса готовой модели, чекпоинт обучают так, чтобы квантованная сеть компенсировала потери от 4 бит.
Почему это вообще важно. Смысл в цифрах. 27B параметров в BF16 (2 байта на вес) - это порядка 54 ГБ только под веса, плюс KV-кэш и накладные расходы. Те же 27B в 4 битах укладываются примерно в 14 ГБ. Для домашней GPU на 16 или 24 ГБ это разница между "влезает" и "не влезает".
Почему обычное 4-битное квантование теряет качество
Методы пост-тренировочного квантования (PTQ) - GPTQ, AWQ, Q4_K_M и их родственники - работают с уже обученной моделью. Веса округляются до ближайших представимых значений в 4-битной сетке, иногда с поправкой на важность отдельных каналов. Модель при этом не переучивается: она остаётся такой, какой была, но с огрублёнными числами.
Отсюда и потери. Ошибка округления по одному весу мала, но на длинных цепочках вычислений они складываются. Сильнее всего страдают задачи, где важна точность: математика, генерация кода, многошаговые рассуждения. На простых диалогах разница часто незаметна, а на олимпиадной задаче или длинной функции квант может начать "плыть".
Классический QAT (quantization-aware training) решает часть проблемы: модель дообучают, уже имея в графе квантование, и она адаптируется к нему. Минус в том, что для этого нужен доступ к большому обучающему набору и заметные вычислительные ресурсы. Для готовой чужой модели такой путь часто недоступен.
Quantization-aware distillation: как QUASAR обходит ограничения
QUASAR использует другой рычаг - дистилляцию. Исходная BF16-модель выступает учителем, квантованная версия - учеником. Ученика гоняют на промптах и заставляют повторять распределение вероятностей учителя, а не просто совпадать с правильными ответами. Так квантованная сеть учится компенсировать ошибки округления, ориентируясь на поведение полной модели.
Практическая разница в том, что метод не привязан к конкретному железу. Чекпоинты сохраняются в стандартных форматах: NVFP4 для vLLM и Q4_0 GGUF для llama.cpp, Ollama и LM Studio. Кастомных ядер не требуется, дополнительная конвертация тоже не нужна. Подробности метода и результаты описаны в публичной статье проекта.
Для каких моделей доступны чекпоинты QUASAR и в каких форматах
На момент релиза проект покрывает пять моделей:
- Qwen3.5-4B;
- Gemma 4 E4B;
- Gemma 4 12B;
- Muse Glimmer 30B;
- Qwen3.8-27B (выпущен раньше остальных).
Каждая модель доступна в двух форматах. NVFP4 предназначен для vLLM, Q4_0 GGUF - для llama.cpp, Ollama и LM Studio. Отдельно конвертировать или собирать ядра не нужно: файлы готовы к запуску. Список публикуется на странице проекта, туда же ведёт обсуждение релиза.
NVFP4 для vLLM: что это и какие GPU поддерживаются
NVFP4 - формат NVIDIA для 4-битных вычислений с общим масштабом на блок весов. Он оптимизирован под свежие архитектуры GPU, где есть аппаратная поддержка FP4. Чтобы запустить такой чекпоинт, нужен vLLM и совместимая видеокарта NVIDIA.
Точный список поддерживаемых карт и версий зависит от сборки vLLM и драйверов, поэтому перед запуском стоит свериться с документацией проекта и vLLM под вашу конфигурацию. Если GPU не поддерживает FP4, вариант с NVFP4 не заработает, и тогда остаётся путь через GGUF. Если планируете работать с этим форматом, полезен разбор запуска Qwen 3.8 27B на одной RTX 5090, где отдельно объясняется роль NVFP4 и разница между prefill и decode.
Q4_0 GGUF для llama.cpp, Ollama и LM Studio
Q4_0 GGUF - самый простой путь. Это стандартный формат, который читают llama.cpp, Ollama и LM Studio без плагинов. Файл кладётся в папку моделей, после чего модель запускается как любая другая GGUF-модель: в LM Studio через выбор файла, в Ollama через Modelfile, в llama.cpp с флагом -m.
Поскольку формат стандартный, ограничение по железу здесь мягче: подойдёт любая GPU с достаточным объёмом VRAM, а небольшие модели вроде Qwen3.5-4B запустятся и на CPU. Общий каркас сборки локального стека на Debian с llama.cpp разобран в отдельном руководстве.
Насколько качество близко к BF16: метрики и бенчмарки
Заявления "качество близко к BF16" без цифр ничего не стоят, поэтому проект приводит две группы данных: KL-дивергенцию к BF16 и результаты на стандартных бенчмарках.
KL-дивергенция: что она показывает и почему это важно
KL-дивергенция измеряет, насколько распределение вероятностей квантованной модели отличается от распределения BF16-версии на тех же входах. Чем ниже значение, тем ближе поведение: модель чаще ставит те же токены на первые места и реже уходит в сторону. Это не идеальная метрика, но она неплохо коррелирует с качеством на практике, особенно при сравнении нескольких сборок одной и той же модели.
Важная деталь: QUASAR считает KL на отложенных промптах, то есть на данных, которые не участвовали в обучении. Это честнее, чем мерить на обучающем наборе, где цифры всегда выглядят лучше. По этому показателю чекпоинты QUASAR обходят референсные 4-битные сборки, включая NVIDIA NVFP4, Google QAT и Meta Q4_K_M.
Результаты на GPQA-Diamond, MMLU-Pro и AIME'25
На бенчмарках картина такая. Muse Glimmer 30B в NVFP4 достигает уровня BF16 или превышает его на GPQA-Diamond, MMLU-Pro и AIME'25. Qwen3.5-4B показывает лучшие результаты среди протестированных 4-битных сборок этой же модели.
Что это значит на практике. GPQA-Diamond проверяет ответы уровня выпускника-специалиста, MMLU-Pro - широкий набор знаний, AIME'25 - олимпиадную математику. То есть преимущество проявляется именно там, где обычное 4-битное квантование чаще всего проседает. Оговоримся: отдельные бенчмарки не гарантируют, что на вашей конкретной задаче разрыв будет таким же, и ниже мы разберём, где выводы держатся не так уверенно. Полные таблицы есть в статье проекта.
Сравнение с другими 4-битными решениями: NVIDIA, Google, Meta
Сравнивать QUASAR корректно с тремя ориентирами. NVIDIA NVFP4 - формат квантования и рантайм для GPU. Google QAT - семейство 4-битных сборок, обученных с учётом квантования под свои модели. Meta Q4_K_M - популярный формат пост-тренировочного квантования в llama.cpp.
В чём QUASAR выигрывает
По KL-дивергенции к BF16 на отложенных промптах чекпоинты QUASAR опережают перечисленные сборки. Выигрыш заметнее на сложных задачах: рассуждениях, математике, коде. Плюс к этому простота: те же стандартные форматы NVFP4 и Q4_0 GGUF, без кастомных ядер и лишней конвертации. И воспроизводимость: код, статья и страница проекта открыты, пайплайн можно повторить.
Где QUASAR может уступать или не иметь преимуществ
Сравнение ограничено теми моделями, форматами и метриками, которые тестировались. Google QAT оптимизирован под модели Google, у него свои сильные сценарии. Meta Q4_K_M - это формат, а не метод обучения, поэтому прямое сопоставление с ним корректно только на уровне результатов. На части простых задач разница между 4-битными сборками может быть небольшой.
И главное: QUASAR не всегда лучший выбор. Если ваша текущая сборка устраивает по качеству и скорости, менять её смысла мало. Если нужной модели нет в списке, выигрывать просто не от чего.
Как запустить QUASAR локально: пошаговый разбор
Общий алгоритм одинаков для всех моделей: выбрать модель, выбрать формат, скачать чекпоинт, запустить. Развилка только в раннере.
Запуск через vLLM с NVFP4
Нужно установить vLLM, скачать NVFP4-чекпоинт и запустить сервер, указав его как модель. Формат включится автоматически, если GPU поддерживает FP4. Детали команд зависят от версии vLLM, поэтому сверяйтесь с документацией проекта под свою конфигурацию. KV-кэш, размер батча и длина контекста настраиваются как обычно.
Запуск через llama.cpp, Ollama и LM Studio с Q4_0 GGUF
Для GGUF путь короче. В LM Studio: положить файл в папку моделей и выбрать его в интерфейсе. В Ollama: создать Modelfile со ссылкой на файл и импортировать. В llama.cpp: запустить с флагом -m и путём к модели. Точные команды лучше брать из документации проекта, так как флаги раннеров меняются от версии к версии.
Требования к VRAM зависят от размера модели. Qwen3.5-4B в Q4_0 помещается в скромную видеокарту или вообще уходит на CPU. Для Muse Glimmer 30B понадобится заметно больше памяти, и здесь пригодится опыт ручной настройки кванта и контекста: на 16 ГБ VRAM рабочие конфигурации строят с ультранизкобитными квантами и коротким KV-кэшем, пример есть в разборе запуска Qwen3.8 27B на 16 ГБ.
Кому стоит попробовать QUASAR, а кому не стоит
Стоит попробовать, если:
- не хватает VRAM под BF16, а качество на сложных задачах нужно сохранить;
- вы уже работаете с Qwen3.5-4B, Gemma 4 или Muse Glimmer 30B;
- вы готовы пользоваться vLLM или GGUF-раннерами;
- вам важна открытость: код и статья доступны для проверки.
Не стоит, если:
- текущая 4-битная сборка устраивает по качеству и скорости;
- нужной вам модели нет в списке;
- нет GPU с поддержкой FP4, а GGUF-путь не подходит по другим причинам.
Для оценки на реальных задачах вместо синтетики полезны независимые прогоны: например, сравнение локальных моделей на 500+ заданиях по кодингу, pandas и RAG показывает, как ведут себя разные кванты и сборки вне бенчмарков. Держите в голове, что результаты QUASAR получены на определённом наборе промптов и бенчмарков, и ваш профиль задач может отличаться.
Ограничения и что важно знать перед переходом
- Покрытие моделей ограничено пятью перечисленными. Другие архитектуры пока не поддержаны.
- NVFP4 требует GPU с аппаратной поддержкой FP4 и подходящей версии vLLM и драйверов. Без этого остаётся GGUF.
- KL-дивергенция и бенчмарки не гарантируют превосходство на всех задачах. Низкая KL не всегда означает, что пользователь увидит лучший результат в своём сценарии.
- Результаты сравнения получены на тех моделях и метриках, которые тестировались, а не на всём спектре задач.
- Проект молодой: состав чекпоинтов, форматы и документация могут меняться.
Публичных деталей по некоторым пунктам пока немного: точные требования к GPU для NVFP4, версии vLLM и команды запуска стоит сверять в первоисточнике проекта и в обсуждении релиза.
Итог: что даёт QUASAR для локального AI
QUASAR закрывает конкретную боль: 4-битное квантование обычно теряет качество на сложных задачах, а проект предлагает чекпоинты, обученные так, чтобы этих потерь было меньше. За счёт quantization-aware distillation качество квантованной модели приближается к BF16, по KL-дивергенции она обходит сборки NVIDIA, Google и Meta, а запускается в стандартных форматах NVFP4 и Q4_0 GGUF без кастомных ядер.
Ограничения тоже конкретны: пять моделей, требования к GPU для NVFP4, метрики, которые не гарантируют превосходство везде. Это не замена BF16, а компромисс, который стал менее болезненным. Если нужно втиснуть модель в вашу VRAM без заметной потери качества, возьмите подходящий чекпоинт и прогоните его на своих задачах - код и статья для этого открыты.