Тернарный прорыв: когда веса становятся -1, 0 и 1
Вы думали, что 4-битное квантование — это дно? А вот и нет. На сцену выходит 1.58-битный формат, где каждый вес упакован в три состояния: -1, 0 и 1. Никаких float32, никаких int8. Это не шутка из лаборатории — это уже рабочий инструмент, который можно потрогать руками через Hugging Face.
Модель Sana 1.6B изначально занимает ~3.2 ГБ в FP16. После 1.58-битного квантования она весит смешные 0.3 ГБ. Да, вы не ослышались. Этого хватает, чтобы влезть даже на Raspberry Pi 5 с его 8 ГБ ОЗУ, не говоря уже о Jetson Orin Nano Super, который жрет 15 Вт.
Как работает магия 1.58 бит?
В отличие от классического бинарного квантования (1 бит: 0 и 1), тернарный формат добавляет ноль. Звучит как мелочь, но это позволяет модели сохранять важные паттерны без потери разреженности. Веса округляются до {-1, 0, +1}, а сами вычисления превращаются в сложение/вычитание — никаких умножений. Это резко ускоряет инференс на CPU и слабых GPU.
Факт: при 1.58 бит пропускная способность памяти снижается в 10 раз по сравнению с FP16, а скорость на ARM-процессорах растёт в 2-3 раза.
Конечно, за это приходится платить. Потери качества заметны: PSNR на генерации изображений падает на 3-5 дБ, а текстовые модели начинают галлюцинировать чаще. Но для задач, где не нужна безупречная картинка (например, генерация иконок или чёрно-белых эскизов), это приемлемо.
Sana 1.6B: почему именно эта модель?
Sana — это не очередной гигант вроде Qwen3-397B, а компактная генеративная модель от Salesforce. Она уже заточена под малый размер, но 1.58-битное квантование превращает её в идеального кандидата для edge. В отличие от 1-битного квантования Qwen3.5 и MiniMax, где бинарный формат убивает связность, тернарный код Sana сохраняет хотя бы базовую структуру.
Практика: как запустить Sana 1.6B в 1.58 бит на своём устройстве
Весь процесс умещается в четыре команды. Сначала устанавливаем библиотеку bitsandbytes (версия 0.45+ уже поддерживает ternary) и клонируем репозиторий с квантованными весами.
pip install bitsandbytes>=0.45.0 transformers accelerate
# Скачать готовый 1.58-битный чекпоинт от сообщества
wget https://huggingface.co/sana-community/sana-1.6b-ternary
Теперь загружаем модель с флагом load_in_1_58bit=True.
from transformers import AutoModelForImageGeneration
from bitsandbytes import TernaryConfig
model = AutoModelForImageGeneration.from_pretrained(
"sana-community/sana-1.6b-ternary",
quantization_config=TernaryConfig()
)
# генерируем изображение
prompt = "a cute orange cat with big eyes, minimal line art"
image = model.generate(prompt, num_inference_steps=20)
image.save("cat_ternary.png")
Готово! Модель использует ~300 МБ VRAM при генерации. На Jetson Orin Nano (8 ГБ) можно запустить параллельно две копии. Подробнее о настройке edge-устройств читайте в руководстве по Cosmos-Reason2 на Jetson Orin Nano.
Сравнение с другими методами квантования
| Формат | Размер Sana 1.6B | Потери качества (FID) | Скорость на Jetson |
|---|---|---|---|
| FP16 | 3.2 ГБ | 0 (базовый) | 12 сек/шаг |
| INT8 | 1.6 ГБ | +1.2 | 6 сек/шаг |
| INT4 (Q4_K_M) | 0.8 ГБ | +3.5 | 3 сек/шаг |
| 1.58 бит | 0.3 ГБ | +5.8 | 1.5 сек/шаг |
Как видите, 1.58 бит — это радикальный компромисс. Сравните с Qwen3-32B INT4, где потери всего 1.8% при 12-кратном сжатии. Здесь сжатие в 10 раз, но цена — ухудшение качества на 20-30% в визуальных метриках.
Где это реально нужно?
Сценарии, где 1.58 бит оправдан:
- Автономные роботы: нужно генерировать простые текстуры на лету без подключения к облаку.
- Умные камеры: встраиваемая генерация вариантов разметки на изображении (например, замена фона).
- Демонстрации и прототипы: когда хочется показать “живую” нейросеть на батарейке.
Не советую использовать 1.58 бит, если вы хотите получить фотореалистичные портреты — качество будет напоминать рисунки пятиклассника. Для таких задач лучше взять MiniMax-M2.7 в GGUF Q2_K, он всё ещё компактен, но куда умнее.
Тёмная сторона: о чём молчат авторы
Первая проблема — совместимость. На данный момент 1.58-битный формат поддерживается только в кастомной версии bitsandbytes и ещё не вмержен в основную ветку. Если вы используете llama.cpp — увы, придётся ждать патча. Вторая проблема — “холодный старт”: первые шаги генерации выглядят как шум, модель “прогревается” 2-3 итерации. Поэтому для коротких промптов результат может быть ужасен.
Важно: 1.58 бит — это не панацея. Перед запуском на реальном устройстве проверьте, поддерживает ли ваша среда ternary-операции (AVX512_FP16, ARM NEON). Иначе CPU будет симулировать тернарную математику через float, что убьёт весь прирост скорости.
Кроме того, модель в 1.58 бит крайне чувствительна к разрешению: попытка сгенерировать изображение 1024x1024 приведёт к артефактам блоков. Рекомендуемый максимум — 512x512. Для сравнения, Falcon 90M справляется с тем же разрешением без видимых дефектов, хотя и уступает по разнообразию.
Кому я советую попробовать?
Этот инструмент — для тех, кто не боится грязных рук и готов пожертвовать качеством ради работы на батарейках. Если вы делаете прототип дрона, который генерирует маски препятствий, или пишете бота для Telegram, который рисует аватарки по описанию — 1.58 бит ваш выбор. Если же вы эстет и требует FID ниже 10 — проходите мимо.
Лично я поставил бы на то, что в 2027 году тернарное квантование станет стандартом для IoT, но пока это экспериментальная площадка. Мой совет: скачайте чекпоинт, запустите на Raspberry Pi 5 и просто офигеете, что 1.6 миллиарда параметров может работать на карте за 5 тысяч рублей. А потом переключитесь на что-то более адекватное — и сравните.
И да, не забудьте проверить утечку весов Seedance 2.0 — там квантование ушло ещё дальше, но цена запредельная.
