Что случилось: PR #26348 и AVX-VNNI-ядро для Q2_0 в llama.cpp
В llama.cpp появился pull request #26348, добавляющий AVX-VNNI-ядро для квантования Q2_0. По замерам автора PR обработка промпта на моделях Bonsai 1.7B, 4B, 8B и 27B ускорилась примерно в 1,3×. Замеры сняты на восьми ядрах AMD EPYC 9645 с 16 ГБ RAM: тест pp512 на Bonsai 1.7B вырос со 142.517 ± 0.589 до 186.373 ± 1.582 tok/s. В первоисточнике опубликованы таблица замеров и методика.
В гибридном режиме GPU+CPU эффект крупнее. MoE-модель Qwen3.8-Flash-Next GSQ-RCO Q2_0 весом 66 ГБ с флагом --cpu-moe и видеокартой RTX 4070 Laptop выдавала 3,1-4,1 tok/s на скалярном пути, 14,0-18,7 tok/s на AVX2 и 15,5-21,4 tok/s на ранней ревизии AVX-VNNI. Разрыв между скалярным путём и AVX2 здесь больше, чем между AVX2 и VNNI: заметная часть прироста пришла из более раннего PR #30447, сборки до и после которого автор использовал как точки отсчёта.
Две оговорки, без которых цифры вводят в заблуждение. PR #26348 не смержен, а все значения получены автором PR на его конфигурации, это не независимый бенчмарк. Для AVX-512 VNNI существует отдельный открытый PR #32307 с 512-битным dot-product для Q2_0, который может дать дополнительный прирост уже на другой группе процессоров.
Коротко: что даёт AVX-VNNI-ядро и кому это важно
- Основной выигрыш приходится на prompt processing: pp512 и pp128 на Bonsai дают 1,30-1,33×.
- Генерация ускоряется слабее и неравномерно: от 0,97× на Bonsai 1.7B до 1,22× на Bonsai 4B.
- Прирост затронул тернарные модели, кванты IQ1_S/IQ2_XXS и скорость декодирования DeepSeek v4.1.
- Максимальный эффект виден в гибридном инференсе с --cpu-moe: 3,1-4,1 tok/s на скалярном пути против 14,0-18,7 tok/s на AVX2 и 15,5-21,4 tok/s на AVX-VNNI.
- Проверять смысл есть владельцам CPU с поддержкой AVX-VNNI, которые гоняют Q1/Q2-кванты крупных моделей или выносят экспертов MoE на процессор.
Q2_0 и VNNI простыми словами: зачем это вообще нужно
Q2_0 - формат квантования ggml, в котором веса модели ужимаются до двух бит. Смысл один: впихнуть крупную модель в доступную память. Плотная модель на 27B в Q4 занимает порядка 15-16 ГБ, в Q2_0 - в разы меньше, а 66-гигабайтная MoE-модель в Q2_0 помещается в системную RAM обычного десктопа, пусть и с оговорками по скорости.
Такие файлы уже выкладывают. На Hugging Face для Swift-Qwen3.8-Flash-Next-GSQ-RCO-abliterated лежат два файла Q2_0 GGUF, разбитые на части 00001-of-00002 и 00002-of-00002. То есть формат не теоретический, под него уже собирают дистрибутивы больших моделей.
Почему именно Q2_0: компромисс между размером модели и качеством
Двухбитное квантование прощает то, что не прощают Q4 и Q5: объем. Модель, которая иначе не влезет в 16-32 ГБ RAM или VRAM, в Q2_0 запускается, и работает быстрее просто потому, что читает меньше байт из памяти. Плата известна и никуда не девается - точность весов падает, и чем агрессивнее квант, тем выше риск деградации на сложных задачах.
Ядро из PR #26348 ускоряет вычисления с уже сжатыми весами. Оно не возвращает точность, потерянную при квантовании, и не делает Q2_0 равноценной Q4. Если модель нужна для кода, длинных рассуждений или агентных сценариев с жёсткими требованиями к точности, выигрыш в скорости не компенсирует просадку качества. Для черновиков, суммаризации, локального ассистента на слабом железе или экспериментов с крупными MoE компромисс часто оправдан.
AVX2, AVX-VNNI и AVX-512 VNNI: в чём разница для инференса
AVX2 - базовый векторный набор x86: одна инструкция обрабатывает несколько чисел за такт. AVX-VNNI добавляет инструкции для целочисленного dot-product, той самой операции «умножить и сложить», из которой состоит матмул при квантованном инференсе. Проще говоря, процессор за одну инструкцию перемножает и складывает больше полезных пар значений на тех же данных, а значит тратит меньше тактов на ту же работу.
AVX-512 VNNI делает то же самое в 512-битных регистрах, то есть потенциально обрабатывает вдвое больше данных за инструкцию. Именно под этот вариант сделан PR #32307 с 512-битным dot для Q2_0. Конкретный список поддерживаемых процессоров здесь не приводим: поддержку нужно смотреть по спецификации своей модели CPU, а не по названию линейки.
Цифры из PR: где ускорение есть, а где его почти нет
Методика простая и воспроизводимая: среднее ± выборочное стандартное отклонение в tok/s, три прогона после обычного прогрева. Все замеры Bonsai сделаны на восьми ядрах AMD EPYC 9645 с 16 ГБ RAM. Полная таблица и обсуждение ревизий ядра - в исходном материале.
| Модель и тест | Master, tok/s | С AVX-VNNI, tok/s | Ускорение |
|---|---|---|---|
| Bonsai 1.7B, pp512 | 142.517 ± 0.589 | 186.373 ± 1.582 | 1.31× |
| Bonsai 1.7B, tg128 | 70.435 ± 2.061 | 68.422 ± 9.055 | 0.97× |
| Bonsai 4B, pp512 | 53.430 ± 2.266 | 71.247 ± 1.925 | 1.33× |
| Bonsai 4B, tg128 | 31.655 ± 2.652 | 38.523 ± 3.820 | 1.22× |
| Bonsai 8B, pp512 | 30.010 ± 0.512 | 39.396 ± 0.424 | 1.31× |
| Bonsai 8B, tg128 | 20.630 ± 0.302 | 23.770 ± 0.209 | 1.15× |
| Bonsai 27B, pp128 | 8.502 ± 0.042 | 11.029 ± 0.073 | 1.30× |
| Bonsai 27B, tg32 | 5.340 ± 0.117 | 5.812 ± 0.324 | 1.09× |
Картина ровная: обработка промпта даёт стабильные 1,30-1,33× на всех размерах, от 1.7B до 27B. Генерация разъезжается сильнее - 0,97× на самой маленькой модели, 1,22× на 4B, 1,09× на 27B. Заявленные «до 1,3×» относятся именно к prompt processing, а не к скорости ответа в чате.
Prompt processing vs генерация: почему прирост разный
Обработка промпта - это большой батчевый матмул: сотни токенов контекста считаются параллельно, и векторные инструкции с dot-product загружены под завязку. Здесь VNNI и выигрывает свои 30%. Генерация идёт токен за токеном, батч вырождается в единицу, и узким местом становится не арифметика, а чтение весов из памяти и накладные расходы на каждый шаг. Векторное ядро помогает, но упирается в другой предел.
Автор PR ожидал ускорения только для тернарных моделей, и ожидание не подтвердилось: прирост затронул и другие кванты, включая IQ1_S/IQ2_XXS, и скорость декодирования DeepSeek v4.1. Причина в том, что ядро ускоряет общий целочисленный путь, а не узкий класс моделей.
Как читать «±» и не делать выводов из шума
Правило одно: если разница между вариантами меньше разброса, говорить об ускорении нельзя. Bonsai 1.7B на tg128 дал 0,97×, причём в варианте с AVX-VNNI стандартное отклонение составило ±9.055 tok/s - больше, чем у базового прогона. Формально это паритет с наклоном в сторону шума, а не замедление и точно не ускорение.
Сравните с pp512 на той же модели: 142.517 ± 0.589 против 186.373 ± 1.582. Разброс в пределах пары токенов, разница - 44 tok/s. Такой результат переживёт повторный запуск на другой машине, а 0,97× на tg128 не переживёт. Практический вывод: смотрите на pp-тесты, если вам важна скорость обработки контекста, и не ждите автоматического прироста в чате на маленькой модели.
Гибридный режим GPU+CPU: почему там прирост драматический
Конфигурация замера: Qwen3.8-Flash-Next GSQ-RCO Q2_0 весом 66 ГБ, флаг --cpu-moe, RTX 4070 Laptop для остальных слоёв, 10 потоков, включён MTP, реальный контекст 2k-8k токенов. Результат по трём сборкам: скалярный путь до PR #30447 - 3,1-4,1 tok/s, AVX2 после него - 14,0-18,7 tok/s, ранняя ревизия AVX-VNNI - 15,5-21,4 tok/s. Последняя цифра снята не на финальной версии ядра, поэтому в смерженном виде значение может сдвинуться.
Что такое --cpu-moe и зачем выносить экспертов на CPU
В MoE-модели каждый токен проходит только через часть экспертов, но самих экспертов много, и в VRAM они не помещаются. Флаг --cpu-moe оставляет на GPU всё, кроме routed experts: их веса лежат в системной RAM, а вычисления идут на процессоре. Так запускается модель, которая физически не влезает в видеопамять, без потери работоспособности.
Дальше работает арифметика: если значительная доля вычислений приходится на CPU-путь, общая скорость генерации определяется именно им. Слабый скалярный путь был горлышком, и его ускорение дало непропорционально большой эффект. Похожая логика стоит за проектами, которые выгружают экспертов в RAM и кэшируют горячие веса: в разборе Betelgeuse показано, как MoE-модель класса 100 ГБ+ работает на RTX 3060 12 ГБ при 16 ГБ RAM. Разница в том, что там оптимизируют подгрузку весов, а здесь - сами вычисления на CPU.
Почему 66 ГБ Q2_0 - реалистичный сценарий для домашнего сетапа
Ноутбучная RTX 4070 с 8 ГБ VRAM и 66-гигабайтная модель в одном сетапе звучат несовместимо, пока не посмотреть на распределение: основная масса весов живёт в RAM, на видеокарте - то, что она может обработать. Именно так крупные MoE-модели и запускают на скромной VRAM, если в системе достаточно памяти. Границы этого подхода обсуждались и для плотных моделей: в разборе Qwen 3.8 Flash Next на одной RTX 3090 видно, что решает не только объём памяти, но и схема offload.
Цифры 15-21 tok/s получены на конкретном железе и конкретной ревизии ядра. На другом CPU, с другим числом потоков и другим контекстом результат будет отличаться, иногда заметно.
Кому это даст выигрыш: сценарии и ограничения
Выигрыш вероятен в трёх случаях. Первый: Q2_0 или Q1/Q2-кванты крупной модели на CPU, где обработка длинного промпта занимает заметное время. Второй: гибридный инференс GPU+CPU с --cpu-moe, где CPU-путь напрямую ограничивает генерацию. Третий: CPU с поддержкой AVX-VNNI, на котором уже собираются сборки llama.cpp с этим ядром.
Ограничения стоит проговорить отдельно, потому что 1,3× легко превращается в ожидание «всё ускорится в 1,3 раза». Замеры Bonsai сделаны на AMD EPYC 9645, восемь ядер, 16 ГБ RAM; переносить их на другой процессор без проверки нельзя. На маленьких моделях и в декодировании выигрыш может лежать в пределах шума, как показал tg128 на Bonsai 1.7B. PR не смержен, поведение ядра ещё меняется между ревизиями. И сам Q2_0 остаётся компромиссом по качеству: скорость не отменяет вопрос, тянет ли модель вашу задачу в двух битах.
Когда ждать прироста, а когда его не будет
- Ждать: Q2_0 на крупной модели, упор на обработку длинного контекста, CPU с AVX-VNNI.
- Ждать, и сильно: MoE-модель с --cpu-moe, где эксперты считаются на процессоре, а GPU занят остальным.
- Проверять: кванты IQ1_S/IQ2_XXS, для которых автор PR тоже заметил ускорение, включая декодирование.
- Не ждать: процессор без AVX-VNNI, маленькая модель с приоритетом на генерацию, кванты Q4 и выше, где доля Q2-пути мала.
Про квантование и выбор модели под задачу есть отдельный практический разбор: запуск Qwen3.8-Flash-Next в IQ3_XXS на 12 ГБ VRAM показывает, как битность и контекст вместе определяют реальную скорость.
Статус PR и что дальше: #26348 и #32307
PR #26348 открыт, о мерже данных нет. Сам автор PR говорит о «ранней ревизии этого PR», то есть код менялся по ходу замеров, и финальная версия может показать другие числа. Дат и номеров релизов, в которых появится ядро, пока не существует - их не стоит ждать по календарю.
Параллельно открыт PR #32307: 512-битный AVX-512 VNNI dot для Q2_0. Если он пройдёт ревью, владельцы процессоров с AVX-512 VNNI получат вторую волну ускорения на том же кванте. Оба PR и обсуждение ревизий собраны в исходном материале.
Практический чек-лист: как перепроверить свою скорость
- Проверьте, поддерживает ли ваш CPU AVX-VNNI, по спецификации производителя. Без этого инструкции ядро просто не задействует.
- Дождитесь сборки llama.cpp с AVX-VNNI-ядром для Q2_0. Сборка из ветки PR возможна, но код не смержен и может вести себя нестабильно.
- Снимите базовую скорость до обновления на своей модели и кванте. Стандартные тесты llama.cpp - pp512 для обработки промпта и tg128 для генерации; их удобно снимать через llama-bench.
- Повторите те же замеры на новой сборке с теми же флагами, тем же числом потоков и тем же контекстом. Для гибридного режима обязательно фиксируйте --cpu-moe и число потоков.
- Делайте несколько прогонов после прогрева и сравнивайте с учётом разброса. Методика автора PR - три прогона, среднее и выборочное стандартное отклонение.
- Отдельно оцените pp и tg. Если ускорился только prompt processing, чат будет отвечать примерно с той же скоростью, зато длинные промпты и большой контекст станут обрабатываться быстрее.
- Проверьте качество ответов на своих задачах. Ядро ускоряет вычисления, но не влияет на точность Q2_0, а при переходе с более высокого кванта просадка возможна.
Самое полезное действие прямо сейчас - записать текущие tok/s для своей модели и кванта, чтобы потом было с чем сравнивать. Цифры автора PR дают ориентир: до 1,3× на обработке промпта и кратный рост в гибридном режиме, но на вашем железе результат может оказаться скромнее.