Что такое Negative-Bit Quantization и откуда взялся этот мем
Весной 2026 года сообщество ML-инженеров начало обсуждать сатирический пост, автор которого представил «прорывной метод» Negative-Bit Quantization (NBQ). Концепт подавался с серьёзной миной: технология якобы позволяет освобождать VRAM при загрузке больших моделей, используя отрицательное количество битов на параметр. В приложенной таблице красовались строки вроде -Q4_Neg с перплексией 3.34 - значением, которое заставило бы покраснеть даже GPT-5.
Шутка мгновенно стала вирусной, потому что попала в нерв. Гонка методов квантования - от 8-бит до 4-бит, затем к 2-бит и даже 1-бит - создала ощущение, что индустрия приближается к нулевому пределу. NBQ довёл эту логику до абсурда: если битность можно снижать, почему бы не уйти в минус и не «создавать» свободную память из ничего? Пост пародировал типичные анонсы с таблицами бенчмарков, где каждый новый метод обещает чуть меньший размер при чуть лучшем качестве.
Для тех, кто ежедневно борется с OOM при запуске моделей, эта карикатура оказалась слишком узнаваемой. Мы разберём физическую невозможность отрицательных битов, реальные инженерные ограничения, которые стоят за этим мемом, и критерии, помогающие отличить настоящий прорыв от вымысла. Об усталости сообщества от хайпа и методах фильтрации шума мы писали отдельно.
Почему отрицательные биты физически невозможны: ликбез по теории информации
Бит - минимальная единица информации. Он принимает ровно два состояния: 0 или 1. Этот фундамент заложен в архитектуру всех вычислительных устройств. Ячейка памяти DRAM хранит заряд на конденсаторе - он либо есть, либо нет. Транзистор в SRAM либо открыт, либо закрыт. Третьего не дано, а отрицательное количество состояний - нонсенс.
Количество информации измеряется в битах и всегда неотрицательно. Если у вас есть модель с миллиардом параметров, каждый из которых занимает 2 бита, модель весит 2 гигабита (или 250 мегабайт). Утверждение «параметр занимает -4 бита» эквивалентно заявлению «у меня в кармане минус три яблока». Это не инженерная проблема, а нарушение аксиоматики.
С термодинамической точки зрения информация неразрывно связана с энтропией. Принцип Ландауэра устанавливает минимальное количество энергии, необходимое для стирания одного бита: kT ln 2. Стереть отрицательный бит потребовало бы отрицательной энергии - процесс, который нарушал бы второе начало термодинамики. Память GPU - это физическая система транзисторов и конденсаторов, подчиняющаяся законам физики, а не математическим фантазиям.
Бит, байт и границы сжатия: почему нельзя уйти ниже нуля
Теорема Шеннона об источнике кодирования задаёт фундаментальный предел сжатия данных без потерь: энтропия источника. Для сжатия с потерями, которым является квантование нейросетей, работает теория rate-distortion - компромисс между битрейтом и искажением. Кривая всегда идёт от большего битрейта с меньшим искажением к меньшему битрейту с большим искажением. Она асимптотически приближается к нулю битрейта при стремящемся к бесконечности искажении, но никогда не пересекает ось.
На практике это означает: модель Llama 3 8B в FP16 занимает около 16 ГБ. 4-битное квантование сжимает её до ~4.5 ГБ. 2-битное - до ~2.5 ГБ, но перплексия растёт с 6.8 до 8.2 и выше. Дальнейшее снижение битности упирается в качество: модель начинает генерировать бессвязный текст. Ноль бит на параметр означает полное отсутствие информации - модель не может выдать ничего, кроме случайного шума. Отрицательные биты - это область, которой нет на графике rate-distortion.
Какие реальные проблемы GPU и квантования пародирует NBQ
За шуткой стоят ежедневные боли разработчиков. Модели становятся больше: Llama 3 405B требует более 800 ГБ VRAM в FP16. Даже инференс на A100 с 80 ГБ превращается в упражнение по распределённой загрузке. Типичный сценарий: инженер скачивает новую модель, запускает inference, получает CUDA Out of Memory и начинает искать способ ужаться.
Реальные методы борьбы с OOM хорошо известны. Квантование - основной: GPTQ, AWQ, bitsandbytes, GGUF-форматы от Q8_0 до IQ1_M. Оффлоадинг переносит часть слоёв на CPU, жертвуя скоростью. Прунинг удаляет малоинформативные веса. Флэш-аттеншн сокращает потребление памяти под кеш внимания с O(n²) до O(n). NBQ гиперболизирует эту гонку: если 1-битные модели уже реальность, то отрицательные биты - логическое, но физически невозможное продолжение тренда.
Иерархия памяти GPU добавляет драматизма. Регистры (килобайты, единицы наносекунд доступа), L1/L2 кеш (мегабайты), HBM (десятки гигабайт, сотни гигабайт в секунду пропускной способности). Каждый уровень - компромисс между объёмом и скоростью. Когда модель не помещается в HBM, начинается свопинг через PCIe в системную RAM - скорость падает катастрофически. Практический пример такого компромисса - запуск Qwen3.5 122B на 64 ГБ RAM, где скорость генерации падает до 2.9 токенов/с.
OOM и борьба за каждый гигабайт: как квантование спасает инференс
Квантование снижает разрядность весов с FP16 (16 бит на параметр) до INT8, INT4 или даже INT2. Модель 7B в FP16 занимает ~14 ГБ. В INT4 - около 3.5 ГБ. Разница позволяет запустить инференс на GPU с 6 ГБ VRAM вместо 16 ГБ. Цена - рост перплексии. Для Llama 2 7B переход с FP16 на 4-бит увеличивает PPL с 5.47 до 5.85 на WikiText-2. Это заметно, но приемлемо для многих задач.
При 2-битном квантовании PPL подскакивает до 7.2 и выше - модель начинает «галлюцинировать» и терять связность. Тестирование 1-битного квантования IQ1M на модели Hy3-GGUF показало, что генерация кода и SVG-изображений остаётся возможной, но с чёткими границами применимости. Это реальный предел на сегодня - и он положительный.
Разбор чисел из таблицы NBQ: почему PPL 3.34 при -Q4_Neg - это абсурд
Перплексия - экспонента от кросс-энтропии, мера неуверенности модели в предсказании следующего токена. PPL = 10 означает, что модель «колеблется» между десятью равновероятными вариантами. Для современных LLM на уровне Llama 3 8B типичная перплексия на WikiText-2 составляет 5.5-6.5. Значение 3.34 - это уровень, который демонстрируют только модели масштаба GPT-4 на специализированных бенчмарках, и то не на всех.
Таблица из сатирического поста утверждала, что -Q4_Neg даёт PPL 3.34. Это двойной абсурд. Во-первых, отрицательное квантование физически нереализуемо. Во-вторых, даже если бы оно существовало, сжатие всегда увеличивает перплексию, а не уменьшает. График зависимости PPL от битности - монотонно убывающая функция: чем больше бит на параметр, тем ниже перплексия. FP16 даёт лучший PPL, чем INT8. INT8 - лучший, чем INT4. -Q4_Neg, будучи «отрицательным», должен был бы показать PPL хуже, чем у случайного шума, а не фантастические 3.34.
Автор мема намеренно перевернул эту закономерность, чтобы подчеркнуть абсурдность гонки за метриками. Если новый метод квантования обещает одновременно меньший размер и лучшее качество, это повод для здорового скепсиса - законы информации так не работают.
Как отличить реальный прорыв в квантизации от вымышленного концепта
Информационный шум в AI-индустрии нарастает. Ежедневно кто-то заявляет о «революционном методе сжатия», но лишь единицы проходят проверку временем. Реальные прорывы - GPTQ (2023), AWQ (2024), bitsandbytes - объединяет несколько признаков.
Первый - открытый код и воспроизводимость. GPTQ появился как статья на arXiv с репозиторием на GitHub, и любой инженер мог запустить квантование своей модели и проверить метрики. Второй - сравнение с бейзлайнами на стандартных датасетах. Авторы обязаны показать, как их метод работает на WikiText-2, C4, MMLU относительно FP16 и конкурирующих подходов. Третий - физическая реализуемость. Метод должен объяснять, как именно биты упаковываются в память, какие операции выполняются над тензорами, как устроен декодинг.
Псевдо-прорывы обычно обещают «бесплатный сыр»: сжатие в 10 раз без потери качества, запуск 405B модели на 8 ГБ VRAM, генерацию 100 токенов в секунду на CPU. Если предложение нарушает фундаментальные ограничения - закон Шеннона, принцип Ландауэра, пиковую пропускную способность HBM - оно ложно.
Критерии научной достоверности в области оптимизации нейросетей
Чек-лист для оценки нового метода квантования:
- Открытый код. Без воспроизводимого репозитория любой бенчмарк - просто цифры.
- Стандартные датасеты. Результаты на собственноручно собранном датасете без сравнения с общепринятыми - красный флаг.
- Статистическая значимость. Один запуск с seed=42 не показывает ничего. Нужны доверительные интервалы по нескольким прогонам.
- Сравнение с актуальными бейзлайнами. Если метод сравнивается только с FP16 и не упоминает GPTQ/AWQ/bitsandbytes, авторы игнорируют state of the art.
- Описание железа. Скорость инференса без указания GPU, batch size и длины последовательности - бесполезная метрика.
Пример корректного сравнения - тест GGUF и DS4 Flash на стеке ROCM, где приведены конкретные цифры скорости, потребления памяти и качества генерации для Qwen 3.6 35B. Такие данные позволяют инженеру принять взвешенное решение.
Заключение: Negative-Bit Quantization как зеркало проблем индустрии
NBQ - сатира, но она точно отражает коллективное стремление сообщества выжать максимум из ограниченных ресурсов. Желание запустить 70B модель на потребительской видеокарте понятно: это демократизирует доступ к AI. Реальные методы квантования уже позволяют то, что пять лет назад казалось фантастикой - 1-битные модели, подобные Bonsai, работают на edge-устройствах.
Понимание физических ограничений помогает трезво оценивать новые методы. Память GPU не резиновая. Бит не может быть отрицательным. Перплексия не падает при сжатии. Эти аксиомы - фильтр, отсеивающий 90% хайпа. Оставшиеся 10% - настоящие инженерные достижения, которые двигают индустрию вперёд. Разбор производительности GLM-5.2 в INT4/INT8 показывает, насколько эффективным может быть грамотное квантование на реальном железе.