SLQ: Статистически без потерь — новый стандарт квантизации LLM

Что такое SLQ и зачем нужен новый подход к квантизации

Исследователи из IST Austria представили SLQ - Statistically-Lossless Quantization. Это метод квантизации больших языковых моделей, который находит компромисс между агрессивным сжатием и сохранением качества. В отличие от lossy-методов вроде GPTQ и AWQ, SLQ не просто минимизирует ошибку округления весов. Он вводит статистическую гарантию: распределение выходов квантизованной модели неотличимо от оригинального FP16 с заданной вероятностью.

Ключевой результат: модель можно упаковать до 3.3 бит на параметр без потери точности на бенчмарках. Для полной неразличимости распределения следующего токена требуется 5-6 бит на параметр. Ускорение инференса относительно FP16 составляет 1.7-3.6x в зависимости от конфигурации. Это не лабораторный трюк - метод даёт реальный выигрыш на продакшен-железе.

SLQ закрывает главную боль разработчиков, которые развёртывают LLM: как сжать модель достаточно сильно, чтобы влезть в бюджет памяти, но не потерять качество на целевых задачах. Старые методы заставляли гадать на кофейной гуще, выбирая между 4-bit и 8-bit квантизацией. SLQ даёт формальный критерий выбора - три уровня fidelity, каждый со своим порогом битности.

Три уровня «без потерь»: как измерить качество квантизации

Центральная инновация SLQ - отказ от бинарной логики «lossy или lossless». Вместо этого авторы вводят три уровня fidelity, каждый из которых отвечает на конкретный практический вопрос.

Первый уровень - task-lossless. Модель считается task-lossless, если её точность на выбранном наборе бенчмарков не снижается относительно FP16-оригинала. Второй уровень - distribution-lossless: распределение вероятностей следующего токена, которое выдаёт модель, статистически неотличимо от оригинала. Третий уровень - формальная метрика Expected Acceptance Rate (EAR), которая количественно измеряет fidelity квантизации.

Этот подход перекликается с идеей динамического управления слоями в LLM, где метод PoLar позволяет гибко выбирать между скоростью и качеством инференса. SLQ делает то же самое для квантизации: вы сами решаете, какой уровень fidelity достаточен для вашей задачи, и получаете конкретный порог битности.

Task-lossless: когда бенчмарки не падают

Task-lossless - самый мягкий критерий. Он требует, чтобы квантизованная модель показывала ту же точность на стандартных бенчмарках, что и FP16-версия. Никаких формальных гарантий о распределении вероятностей - только практический результат.

Эксперименты показывают: для популярных архитектур вроде Llama и Mistral порог task-lossless достигается на 3.3 битах на параметр. На бенчмарках MMLU, HellaSwag, ARC и других разница в accuracy между FP16 и 3.3-bit SLQ находится в пределах статистической погрешности. Этого достаточно для большинства продакшен-приложений: чат-ботов, суммаризации, классификации текстов. Если ваша метрика успеха - правильность ответа, а не калибровка уверенности, 3.3 бита - ваш выбор.

Важный нюанс: task-lossless не гарантирует, что модель будет генерировать точно те же токены, что и FP16-версия. Она лишь сохраняет итоговую точность. Для задач, где важна воспроизводимость или калибровка confidence score, этого недостаточно. Здесь вступает следующий уровень.

Distribution-lossless и EAR: строгая неразличимость распределения

Distribution-lossless требует, чтобы распределение вероятностей следующего токена было неотличимо от FP16-оригинала. Формально это измеряется через Expected Acceptance Rate (EAR) - ожидаемую вероятность того, что токен, выбранный из распределения квантизованной модели, будет принят как корректный с точки зрения оригинального распределения.

EAR вычисляется как среднее по всем токенам вероятности acceptance при стохастическом семплировании. Если EAR = 1.0, распределения идентичны. Если EAR = 0.95, то в среднем 95% токенов, сгенерированных квантизованной моделью, неотличимы от тех, что сгенерировала бы FP16-модель при том же семплере. Это более строгая метрика, чем перплексия, потому что перплексия может оставаться низкой даже при систематических сдвигах распределения.

Для достижения distribution-lossless с EAR > 0.99 требуется 5-6 бит на параметр. Этот уровень критичен для сценариев с низкой температурой генерации, где даже малые сдвиги вероятностей меняют выбор токена. Также он важен для задач, где модель должна выдавать калиброванные confidence score: медицинские приложения, финансовый анализ, юридические документы.

Если вы экспериментируете с разными методами оптимизации инференса, обратите внимание на сравнительный бенчмарк спекулятивного декодирования - там разобраны DFlash, MTP, EAGLE3 и ngram на Qwen3.6-27B с конкретными цифрами ускорения и критериями выбора метода под продакшен.

Gamma-squared variance law: почему асимметричная квантизация необходима

Один из сильных теоретических результатов работы - gamma-squared variance law. Авторы доказали: для достижения distribution-lossless fidelity асимметричная квантизация обязательна. Симметричная квантизация, где нуль остаётся нулём, а шаг квантования одинаков для положительных и отрицательных значений, принципиально не может обеспечить неразличимость распределения.

Причина - в форме распределения весов LLM. Веса в attention и FFN-слоях часто следуют гамма-подобному распределению с тяжёлым хвостом в положительной области. Симметричная квантизация «съедает» этот хвост, обрезая большие положительные значения. Асимметричная квантизация вводит смещение нулевой точки, компенсируя асимметрию распределения и сохраняя fidelity.

Практическое следствие: для task-lossless асимметричная квантизация не обязательна. Можно использовать симметричную схему и получить те же 3.3 бита без потери точности на бенчмарках. Но если цель - distribution-lossless с высоким EAR, асимметричная схема становится жёстким требованием. Это объясняет, почему старые lossy-методы, использующие симметричную квантизацию, не могли достичь высокого EAR даже при 4-5 битах.

Тема квантизации регулярно порождает спекуляции и мифы. Недавний пример - разбор сатирического концепта Negative-Bit Quantization, где мы показали, почему «отрицательные биты» противоречат физике памяти GPU и как отличить реальный прорыв от вымысла. SLQ - как раз тот случай, когда за смелым названием стоит строгая математика.

Производительность: ускорение инференса и сжатие модели

SLQ даёт ускорение инференса 1.7-3.6x относительно FP16. Конкретная цифра зависит от размера модели, hardware и выбранного уровня fidelity. На GPU с тензорными ядрами ускорение ближе к верхней границе диапазона, на CPU - к нижней.

Сжатие модели прямо пропорционально битности: 3.3 бита на параметр уменьшают размер модели примерно в 5 раз по сравнению с FP16, 5-6 бит - в 2.5-3 раза. Для 70B-модели это разница между 140 ГБ и 28 ГБ VRAM. На одной потребительской карте с 24 ГБ можно запустить то, что раньше требовало кластера.

Важно: SLQ не требует калибровочного датасета в отличие от GPTQ. Квантизация выполняется на основе статистических свойств весов, без прогона модели на репрезентативных данных. Это упрощает пайплайн и исключает риск переобучения квантизации под конкретный датасет.

Сравнение с GPTQ и AWQ: где SLQ выигрывает

Прямое сравнение методов по ключевым метрикам:

Главное преимущество SLQ - формальная гарантия fidelity. GPTQ и AWQ минимизируют перплексию или L2-ошибку весов, но не контролируют распределение выходов. На практике это означает, что 4-bit GPTQ может показывать хорошую перплексию, но систематически смещать вероятности токенов, что ломает калибровку и повышает риск галлюцинаций при низкой температуре.

SLQ также выигрывает в сценариях, где важна воспроизводимость. Если ваше приложение полагается на конкретные confidence score модели, только distribution-lossless квантизация даёт гарантию, что поведение не изменится после сжатия. Подробный разбор компромисса между скоростью и точностью на примере activation aware quantization для Gemma 3 4B показывает, как выбор метода квантизации влияет на реальные метрики в продакшене.

Практическое применение: как использовать SLQ уже сегодня

Реализация SLQ доступна в открытом репозитории на GitHub под лицензией MIT. Код написан на Python с биндингами к CUDA-ядрам для быстрой квантизации и инференса. Интеграция с Hugging Face Transformers - через кастомный конфиг квантизации.

Базовый пример квантизации модели Llama-3-8B до 3.3 бит:

from slq import SLQQuantizer, SLQConfig

config = SLQConfig(
    bits=3.3,
    fidelity_level="task_lossless",
    asymmetric=False  # для task-lossless симметричная схема достаточна
)
quantizer = SLQQuantizer(config)
model = quantizer.quantize("meta-llama/Meta-Llama-3-8B")
model.save_pretrained("./llama-3-8b-slq-3.3bit")

Для distribution-lossless с высоким EAR:

config = SLQConfig(
    bits=5.5,
    fidelity_level="distribution_lossless",
    asymmetric=True,  # обязательно для distribution-lossless
    target_ear=0.99
)

Поддерживаемые архитектуры на старте: Llama 2/3, Mistral, Mixtral, Qwen 1.5/2/2.5. Авторы обещают расширение списка по мере тестирования. Инференс работает через стандартный API Transformers, замена torch-весов на SLQ-квантованные происходит прозрачно.

Для тех, кто выбирает оптимальную конфигурацию под конкретное железо, полезен детальный разбор производительности локальных моделей и их квантизаций на бенчмарке SWE-Verified - там есть графики, метрики и готовый код для сравнения.

Ограничения и когда SLQ может не подойти

Метод новый, и у него есть границы применимости. Первое: результаты валидированы на ограниченном наборе архитектур. Для моделей с нестандартной структурой attention или экзотическими функциями активации пороги битности могут отличаться. Рекомендуется собственная валидация на целевом датасете перед продакшен-развёртыванием.

Второе: SLQ оптимизирует fidelity распределения следующего токена, но не гарантирует сохранение поведения на длинных последовательностях. Для задач генерации кода или длинных текстов, где ошибка на раннем токене каскадно влияет на весь вывод, даже distribution-lossless может быть недостаточно. Нужны дополнительные тесты.

Третье: инференс-движки вроде vLLM, llama.cpp и SGLang пока не имеют нативной поддержки SLQ. Квантизованные модели работают через стандартный PyTorch, что ограничивает максимальную производительность. Интеграция с оптимизированными движками - вопрос времени, но на июль 2026 года это ограничение нужно учитывать.

Четвёртое: для очень маленьких моделей (до 1B параметров) выигрыш от SLQ снижается. Накладные расходы на деквантизацию начинают доминировать над экономией памяти, и ускорение может быть меньше 1.5x. В таких случаях традиционные методы вроде GPTQ могут дать лучший баланс.

SLQ - значимый шаг к зрелой инженерии квантизации. Он заменяет эвристики формальными критериями и даёт разработчикам инструмент для осознанного выбора компромисса между сжатием и качеством. Для тех, кто следит за эволюцией методов оптимизации инференса, это одна из самых важных публикаций 2026 года.

Подписаться на канал