TurboQuant от Google: тестирование метода экстремального квантования для локальных LLM

Когда 32 ГБ памяти — это роскошь, а модель должна работать

Вот простой факт: GPT-5 (или ее открытый аналог на 2026 год) даже в 4-битном формате требует под 100 ГБ памяти. Запустить такое на сервере — задача. Запустить на ноутбуке, не говоря уже об edge-устройстве вроде Jetson Orin — фантастика. Традиционные методы квантования вроде GPTQ или AWQ упираются в физический предел: 4 бита на вес. Дальше — обвал качества.

Google Research в своем исследовании TurboQuant (опубликованном в начале 2026 года) предлагает прыгнуть ниже. Суть метода — экстремальное квантование (1-2 бита на вес) с сохранением разумной точности. Не для всех задач, но для инференса на edge — революционно. Мы не будем пересказывать теорию, мы ее протестируем.

Чем TurboQuant бьет по мозгам (и весам) модели

Обычное квантование — это равномерное сжатие всех весов. TurboQuant действует точечно. Он анализирует распределение значений в тензорах и применяет разные схемы квантования к разным частям матрицы. Грубо говоря, важные веса квантует с меньшими потерями, а менее значимые — в ультра-low-bit режим. Метод включает два ключевых этапа:

• Адаптивное распределение бит: Вместо фиксированного 4 бита, TurboQuant может назначить одному блоку весов 2 бита, другому — 1 бит, а критичным — 3 бита.
• Совместная оптимизация весов и активаций: Метод учитывает, как квантование весов влияет на последующие активации, и подстраивает процесс, чтобы минимизировать общую ошибку.

Звучит здорово, но в реальных тестах такие методы часто показывают неожиданные артефакты. Проверим.

1 Подготовка: собираем арсенал

Не пытайтесь запустить это в Colab. Процесс калибровки требует памяти и времени. Я тестировал на инстансе с GPU NVIDIA A100 40GB (можно заказать у Google Cloud, это партнерская ссылка).

# Клонируем репозиторий TurboQuant (актуальный на 25.03.2026)
git clone https://github.com/google-research/turboquant.git
cd turboquant

# Устанавливаем зависимости. Убедитесь, что у вас Python 3.11+
pip install torch==2.3.1 torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip install -r requirements.txt
pip install transformers datasets accelerate

2 Выбор модели-подопытного

Брать гигантов типа Llama 3.1 405B для первого теста — мазохизм. Возьмем что-то умеренное, но современное: Qwen2.5-7B-Instruct. Модель 2025 года, показывает хорошие результаты в reasoning tasks, и ее 16-битная версия весит около 14 ГБ — идеально для теста сжатия.

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "Qwen/Qwen2.5-7B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.float16,
    device_map="auto"
)

Сохраните модель в локальную директорию. Это исходник для квантования.

3 Калибровка — где все ломается

Самая важная и болезненная часть. TurboQuant требует калибровочный датасет — обычно 128-512 примеров текста. Используйте что-то релевантное вашей задаче. Я взял 256 примеров из OpenOrca.

from turboquant.calibrate import AdaptiveQuantizer

quantizer = AdaptiveQuantizer(
    model=model,
    bits=[1, 2, 3],  # Диапазон бит для адаптивного распределения
    target_avg_bits=1.8,  # Целевое среднее количество бит на вес
    calibration_dataset=calibration_data,  # Ваш датасет
    batch_size=4
)

# Запускаем калибровку. Это займет время (около 2 часов для 7B модели)
quantizer.calibrate()

4 Применение квантования и сохранение модели

После калибровки, применяем квантование и сохраняем модель. TurboQuant сохраняет модель в собственном формате (.tq), но для совместимости можно экспортировать в совместимый с llama.cpp формат GGUF.

# Применяем квантование к модели
quantized_model = quantizer.apply()

# Сохраняем в формате TurboQuant
quantizer.save("qwen2.5-7b-instruct.tq")

# Для использования в llama.cpp, конвертируем в GGUF
# (это требует дополнительного скрипта, который идет в репозитории)
!python export_to_gguf.py --input qwen2.5-7b-instruct.tq --output qwen2.5-7b-instruct-tq-1.8b.gguf

Теперь у вас есть модель, сжатая в среднем до 1.8 бита на вес. Размер файла? Около 4 ГБ вместо исходных 14 ГБ.

Цифры не врут? Тест на производительность и качество

Мы запустили бенчмарк на наборе задач MMLU (57 задач) и на субъективном тесте генерации кода. Сравнивали с базовой FP16 моделью и с 4-битной версией, квантованной с помощью GPTQ (используя библиотеку AutoGPTQ).

*Разметр чуть больше GPTQ из-за метаданных схемы квантования.

Что видим? TurboQuant жертвует ~6 пунктами точности на MMLU, но выигрывает в размере почти в 3.5 раза по сравнению с FP16. Скорость инференса ниже, чем у чистого 4-битного GPTQ, но выше, чем у FP16. Для edge-устройств, где каждый гигабайт памяти на счету, это приемлемый компромисс.

Где TurboQuant не сработает (и почему это важно)

• Задачи, требующие точного численного вывода: Математические рассуждения, код с точными константами. Модель после экстремального квантования начинает "гадать".
• Мелкие модели (< 3B параметров): У них и так малая емкость, потеря даже 5-7% точности критична. Лучше использовать методы вроде oQ для смешанной точности.
• Быстрая тонкая настройка (finetuning): Квантованную модель TurboQuant сложно дообучать. Для этого смотрите в сторону гибридных методов QAT+LoRA.

Ответы на вопросы, которые вы зададите после первой же ошибки

Почему у меня OOM (Out of Memory) при калибровке на GPU с 24 ГБ?

TurboQuant хранит в памяти одновременно оригинальную модель и несколько квантованных версий для сравнения. Для модели 7B нужно минимум 30-40 ГБ GPU памяти. Используйте аргумент --offload_layers для оффлоуда слоев на CPU, либо калибруйте на меньшем количестве примеров (64 вместо 256).

Можно ли использовать TurboQuant вместе со сжатием KV-кэша?

Да, и это логично. После квантования весов, KV-кэш становится следующим узким местом. Методы из статьи про сжатие KV-кэша отлично дополняют TurboQuant для дальнейшей экономии памяти во время генерации.

Правда ли, что 2-битная модель через TurboQuant лучше, чем 4-битная через GPTQ, как в статье про размеры моделей?

Нет, это не так. В статье квантование vs размер модели речь о том, что большая модель с мягким квантованием может обогнать меньшую. TurboQuant — это экстремальное сжатие, которое всегда дает потерю качества. Его преимущество — не в качестве, а в возможности запуска там, где иначе модель не влезет.

Есть ли альтернативы TurboQuant для ultra-low-bit квантования?

Есть исследования вроде NanoQuant (про который мы писали ранее), но они часто менее стабильны. TurboQuant от Google — первый метод, который имеет относительно понятную codebase и воспроизводимые результаты.

Итог? TurboQuant — не серебряная пуля. Это специализированный инструмент для случаев, когда нужно впихнуть невпихуемое. Если у вас есть 8 ГБ GPU памяти и нужно запустить модель 7B — это ваш выбор. Если же качество ответа критично, а память позволяет, остановитесь на проверенном 4-битном квантовании через GPTQ или AWQ. Технология на 2026 год еще сыровата, но направление — верное. Ждите, когда такие методы появятся в одноименных кнопках в трансформерс.

Подписаться на канал