Перейти к содержанию
Публикация AiManual

llama.cpp и AVX-VNNI: как новое ядро для Q2_0 ускоряет локальный запуск больших моделей до 1,3×

PR #26348 добавляет в llama.cpp AVX-VNNI-ядро для Q2_0: по замерам автора prompt processing ускоряется в 1,3×, а гибридный режим GPU+CPU с --cpu-moe поднимает г

Коротко

Что будет в материале

  1. 01

    Что случилось: PR #26348 и AVX-VNNI-ядро для Q2_0 в llama.cpp

  2. 02

    Q2_0 и VNNI простыми словами: зачем это вообще нужно

  3. 03

    Цифры из PR: где ускорение есть, а где его почти нет

  4. 04

    Гибридный режим GPU+CPU: почему там прирост драматический

Что случилось: PR #26348 и AVX-VNNI-ядро для Q2_0 в llama.cpp

В llama.cpp появился pull request #26348, добавляющий AVX-VNNI-ядро для квантования Q2_0. По замерам автора PR обработка промпта на моделях Bonsai 1.7B, 4B, 8B и 27B ускорилась примерно в 1,3×. Замеры сняты на восьми ядрах AMD EPYC 9645 с 16 ГБ RAM: тест pp512 на Bonsai 1.7B вырос со 142.517 ± 0.589 до 186.373 ± 1.582 tok/s. В первоисточнике опубликованы таблица замеров и методика.

В гибридном режиме GPU+CPU эффект крупнее. MoE-модель Qwen3.8-Flash-Next GSQ-RCO Q2_0 весом 66 ГБ с флагом --cpu-moe и видеокартой RTX 4070 Laptop выдавала 3,1-4,1 tok/s на скалярном пути, 14,0-18,7 tok/s на AVX2 и 15,5-21,4 tok/s на ранней ревизии AVX-VNNI. Разрыв между скалярным путём и AVX2 здесь больше, чем между AVX2 и VNNI: заметная часть прироста пришла из более раннего PR #30447, сборки до и после которого автор использовал как точки отсчёта.

Две оговорки, без которых цифры вводят в заблуждение. PR #26348 не смержен, а все значения получены автором PR на его конфигурации, это не независимый бенчмарк. Для AVX-512 VNNI существует отдельный открытый PR #32307 с 512-битным dot-product для Q2_0, который может дать дополнительный прирост уже на другой группе процессоров.

Коротко: что даёт AVX-VNNI-ядро и кому это важно

  • Основной выигрыш приходится на prompt processing: pp512 и pp128 на Bonsai дают 1,30-1,33×.
  • Генерация ускоряется слабее и неравномерно: от 0,97× на Bonsai 1.7B до 1,22× на Bonsai 4B.
  • Прирост затронул тернарные модели, кванты IQ1_S/IQ2_XXS и скорость декодирования DeepSeek v4.1.
  • Максимальный эффект виден в гибридном инференсе с --cpu-moe: 3,1-4,1 tok/s на скалярном пути против 14,0-18,7 tok/s на AVX2 и 15,5-21,4 tok/s на AVX-VNNI.
  • Проверять смысл есть владельцам CPU с поддержкой AVX-VNNI, которые гоняют Q1/Q2-кванты крупных моделей или выносят экспертов MoE на процессор.

Q2_0 и VNNI простыми словами: зачем это вообще нужно

Q2_0 - формат квантования ggml, в котором веса модели ужимаются до двух бит. Смысл один: впихнуть крупную модель в доступную память. Плотная модель на 27B в Q4 занимает порядка 15-16 ГБ, в Q2_0 - в разы меньше, а 66-гигабайтная MoE-модель в Q2_0 помещается в системную RAM обычного десктопа, пусть и с оговорками по скорости.

Такие файлы уже выкладывают. На Hugging Face для Swift-Qwen3.8-Flash-Next-GSQ-RCO-abliterated лежат два файла Q2_0 GGUF, разбитые на части 00001-of-00002 и 00002-of-00002. То есть формат не теоретический, под него уже собирают дистрибутивы больших моделей.

Почему именно Q2_0: компромисс между размером модели и качеством

Двухбитное квантование прощает то, что не прощают Q4 и Q5: объем. Модель, которая иначе не влезет в 16-32 ГБ RAM или VRAM, в Q2_0 запускается, и работает быстрее просто потому, что читает меньше байт из памяти. Плата известна и никуда не девается - точность весов падает, и чем агрессивнее квант, тем выше риск деградации на сложных задачах.

Ядро из PR #26348 ускоряет вычисления с уже сжатыми весами. Оно не возвращает точность, потерянную при квантовании, и не делает Q2_0 равноценной Q4. Если модель нужна для кода, длинных рассуждений или агентных сценариев с жёсткими требованиями к точности, выигрыш в скорости не компенсирует просадку качества. Для черновиков, суммаризации, локального ассистента на слабом железе или экспериментов с крупными MoE компромисс часто оправдан.

AVX2, AVX-VNNI и AVX-512 VNNI: в чём разница для инференса

AVX2 - базовый векторный набор x86: одна инструкция обрабатывает несколько чисел за такт. AVX-VNNI добавляет инструкции для целочисленного dot-product, той самой операции «умножить и сложить», из которой состоит матмул при квантованном инференсе. Проще говоря, процессор за одну инструкцию перемножает и складывает больше полезных пар значений на тех же данных, а значит тратит меньше тактов на ту же работу.

AVX-512 VNNI делает то же самое в 512-битных регистрах, то есть потенциально обрабатывает вдвое больше данных за инструкцию. Именно под этот вариант сделан PR #32307 с 512-битным dot для Q2_0. Конкретный список поддерживаемых процессоров здесь не приводим: поддержку нужно смотреть по спецификации своей модели CPU, а не по названию линейки.

Цифры из PR: где ускорение есть, а где его почти нет

Методика простая и воспроизводимая: среднее ± выборочное стандартное отклонение в tok/s, три прогона после обычного прогрева. Все замеры Bonsai сделаны на восьми ядрах AMD EPYC 9645 с 16 ГБ RAM. Полная таблица и обсуждение ревизий ядра - в исходном материале.

Модель и тестMaster, tok/sС AVX-VNNI, tok/sУскорение
Bonsai 1.7B, pp512142.517 ± 0.589186.373 ± 1.5821.31×
Bonsai 1.7B, tg12870.435 ± 2.06168.422 ± 9.0550.97×
Bonsai 4B, pp51253.430 ± 2.26671.247 ± 1.9251.33×
Bonsai 4B, tg12831.655 ± 2.65238.523 ± 3.8201.22×
Bonsai 8B, pp51230.010 ± 0.51239.396 ± 0.4241.31×
Bonsai 8B, tg12820.630 ± 0.30223.770 ± 0.2091.15×
Bonsai 27B, pp1288.502 ± 0.04211.029 ± 0.0731.30×
Bonsai 27B, tg325.340 ± 0.1175.812 ± 0.3241.09×

Картина ровная: обработка промпта даёт стабильные 1,30-1,33× на всех размерах, от 1.7B до 27B. Генерация разъезжается сильнее - 0,97× на самой маленькой модели, 1,22× на 4B, 1,09× на 27B. Заявленные «до 1,3×» относятся именно к prompt processing, а не к скорости ответа в чате.

Prompt processing vs генерация: почему прирост разный

Обработка промпта - это большой батчевый матмул: сотни токенов контекста считаются параллельно, и векторные инструкции с dot-product загружены под завязку. Здесь VNNI и выигрывает свои 30%. Генерация идёт токен за токеном, батч вырождается в единицу, и узким местом становится не арифметика, а чтение весов из памяти и накладные расходы на каждый шаг. Векторное ядро помогает, но упирается в другой предел.

Автор PR ожидал ускорения только для тернарных моделей, и ожидание не подтвердилось: прирост затронул и другие кванты, включая IQ1_S/IQ2_XXS, и скорость декодирования DeepSeek v4.1. Причина в том, что ядро ускоряет общий целочисленный путь, а не узкий класс моделей.

Как читать «±» и не делать выводов из шума

Правило одно: если разница между вариантами меньше разброса, говорить об ускорении нельзя. Bonsai 1.7B на tg128 дал 0,97×, причём в варианте с AVX-VNNI стандартное отклонение составило ±9.055 tok/s - больше, чем у базового прогона. Формально это паритет с наклоном в сторону шума, а не замедление и точно не ускорение.

Сравните с pp512 на той же модели: 142.517 ± 0.589 против 186.373 ± 1.582. Разброс в пределах пары токенов, разница - 44 tok/s. Такой результат переживёт повторный запуск на другой машине, а 0,97× на tg128 не переживёт. Практический вывод: смотрите на pp-тесты, если вам важна скорость обработки контекста, и не ждите автоматического прироста в чате на маленькой модели.

Гибридный режим GPU+CPU: почему там прирост драматический

Конфигурация замера: Qwen3.8-Flash-Next GSQ-RCO Q2_0 весом 66 ГБ, флаг --cpu-moe, RTX 4070 Laptop для остальных слоёв, 10 потоков, включён MTP, реальный контекст 2k-8k токенов. Результат по трём сборкам: скалярный путь до PR #30447 - 3,1-4,1 tok/s, AVX2 после него - 14,0-18,7 tok/s, ранняя ревизия AVX-VNNI - 15,5-21,4 tok/s. Последняя цифра снята не на финальной версии ядра, поэтому в смерженном виде значение может сдвинуться.

Что такое --cpu-moe и зачем выносить экспертов на CPU

В MoE-модели каждый токен проходит только через часть экспертов, но самих экспертов много, и в VRAM они не помещаются. Флаг --cpu-moe оставляет на GPU всё, кроме routed experts: их веса лежат в системной RAM, а вычисления идут на процессоре. Так запускается модель, которая физически не влезает в видеопамять, без потери работоспособности.

Дальше работает арифметика: если значительная доля вычислений приходится на CPU-путь, общая скорость генерации определяется именно им. Слабый скалярный путь был горлышком, и его ускорение дало непропорционально большой эффект. Похожая логика стоит за проектами, которые выгружают экспертов в RAM и кэшируют горячие веса: в разборе Betelgeuse показано, как MoE-модель класса 100 ГБ+ работает на RTX 3060 12 ГБ при 16 ГБ RAM. Разница в том, что там оптимизируют подгрузку весов, а здесь - сами вычисления на CPU.

Почему 66 ГБ Q2_0 - реалистичный сценарий для домашнего сетапа

Ноутбучная RTX 4070 с 8 ГБ VRAM и 66-гигабайтная модель в одном сетапе звучат несовместимо, пока не посмотреть на распределение: основная масса весов живёт в RAM, на видеокарте - то, что она может обработать. Именно так крупные MoE-модели и запускают на скромной VRAM, если в системе достаточно памяти. Границы этого подхода обсуждались и для плотных моделей: в разборе Qwen 3.8 Flash Next на одной RTX 3090 видно, что решает не только объём памяти, но и схема offload.

Цифры 15-21 tok/s получены на конкретном железе и конкретной ревизии ядра. На другом CPU, с другим числом потоков и другим контекстом результат будет отличаться, иногда заметно.

Кому это даст выигрыш: сценарии и ограничения

Выигрыш вероятен в трёх случаях. Первый: Q2_0 или Q1/Q2-кванты крупной модели на CPU, где обработка длинного промпта занимает заметное время. Второй: гибридный инференс GPU+CPU с --cpu-moe, где CPU-путь напрямую ограничивает генерацию. Третий: CPU с поддержкой AVX-VNNI, на котором уже собираются сборки llama.cpp с этим ядром.

Ограничения стоит проговорить отдельно, потому что 1,3× легко превращается в ожидание «всё ускорится в 1,3 раза». Замеры Bonsai сделаны на AMD EPYC 9645, восемь ядер, 16 ГБ RAM; переносить их на другой процессор без проверки нельзя. На маленьких моделях и в декодировании выигрыш может лежать в пределах шума, как показал tg128 на Bonsai 1.7B. PR не смержен, поведение ядра ещё меняется между ревизиями. И сам Q2_0 остаётся компромиссом по качеству: скорость не отменяет вопрос, тянет ли модель вашу задачу в двух битах.

Когда ждать прироста, а когда его не будет

  • Ждать: Q2_0 на крупной модели, упор на обработку длинного контекста, CPU с AVX-VNNI.
  • Ждать, и сильно: MoE-модель с --cpu-moe, где эксперты считаются на процессоре, а GPU занят остальным.
  • Проверять: кванты IQ1_S/IQ2_XXS, для которых автор PR тоже заметил ускорение, включая декодирование.
  • Не ждать: процессор без AVX-VNNI, маленькая модель с приоритетом на генерацию, кванты Q4 и выше, где доля Q2-пути мала.

Про квантование и выбор модели под задачу есть отдельный практический разбор: запуск Qwen3.8-Flash-Next в IQ3_XXS на 12 ГБ VRAM показывает, как битность и контекст вместе определяют реальную скорость.

Статус PR и что дальше: #26348 и #32307

PR #26348 открыт, о мерже данных нет. Сам автор PR говорит о «ранней ревизии этого PR», то есть код менялся по ходу замеров, и финальная версия может показать другие числа. Дат и номеров релизов, в которых появится ядро, пока не существует - их не стоит ждать по календарю.

Параллельно открыт PR #32307: 512-битный AVX-512 VNNI dot для Q2_0. Если он пройдёт ревью, владельцы процессоров с AVX-512 VNNI получат вторую волну ускорения на том же кванте. Оба PR и обсуждение ревизий собраны в исходном материале.

Практический чек-лист: как перепроверить свою скорость

  1. Проверьте, поддерживает ли ваш CPU AVX-VNNI, по спецификации производителя. Без этого инструкции ядро просто не задействует.
  2. Дождитесь сборки llama.cpp с AVX-VNNI-ядром для Q2_0. Сборка из ветки PR возможна, но код не смержен и может вести себя нестабильно.
  3. Снимите базовую скорость до обновления на своей модели и кванте. Стандартные тесты llama.cpp - pp512 для обработки промпта и tg128 для генерации; их удобно снимать через llama-bench.
  4. Повторите те же замеры на новой сборке с теми же флагами, тем же числом потоков и тем же контекстом. Для гибридного режима обязательно фиксируйте --cpu-moe и число потоков.
  5. Делайте несколько прогонов после прогрева и сравнивайте с учётом разброса. Методика автора PR - три прогона, среднее и выборочное стандартное отклонение.
  6. Отдельно оцените pp и tg. Если ускорился только prompt processing, чат будет отвечать примерно с той же скоростью, зато длинные промпты и большой контекст станут обрабатываться быстрее.
  7. Проверьте качество ответов на своих задачах. Ядро ускоряет вычисления, но не влияет на точность Q2_0, а при переходе с более высокого кванта просадка возможна.

Самое полезное действие прямо сейчас - записать текущие tok/s для своей модели и кванта, чтобы потом было с чем сравнивать. Цифры автора PR дают ориентир: до 1,3× на обработке промпта и кратный рост в гибридном режиме, но на вашем железе результат может оказаться скромнее.

Подписаться на канал