Проклятие проприетарного drafter'а
Ты скачал Gemma 4 31B (благо локальный запуск реально возможен на 24-48 ГБ VRAM), нашел квантованные GGUF от сообщества, запустил — и... модель генерирует со скоростью 2 токена в секунду на RTX 4090. Google обещает x2 ускорение через MTP (как и для Gemma 4 MTP), но в llama.cpp MTP-драфтер требует отдельный GGUF-файл, которого для Gemma 4 31B в природе не существует.
Звучит знакомо? Тогда ты по адресу. Я покажу, как выкрутиться, не дожидаясь официальных блобов.
Суть проблемы: Gemma 4 использует внутренний MTP-механизм (Multi-Token Prediction), но архитектурно драфтер встроен прямо в основную модель, а не вынесен отдельно, как у DeepSeek или Qwen 3.6 27B. Llama.cpp же ожидает отдельный GGUF с драфтером (параметр --model-draft). Без этого флага MTP не активируется — инференс идет в обычном режиме.
Почему без MTP ты теряешь 40-60% скорости
Давай на пальцах. Обычная генерация: модель предсказывает один токен, затем повторно запускает forward pass. MTP — это speculative decoding: маленький компаньон (drafter) быстро накидывает N кандидатов, а большая модель верифицирует их за один проход. На практике это даёт 1.5-2.5x ускорения (как проверено на Qwen 3.6 27B).
Но если драфтер не отделён, llama.cpp не может его подгрузить — и ты сидишь на 2 t/s там, где могло быть 5 t/s.
1 Подход №1: склеиваем один GGUF из двух частей (идеальный вариант)
Идея: берем базовый GGUF Gemma 4 31B, вырезаем из него слои драфтера (они есть внутри модели), и создаём единый файл, где основная модель и драфтер лежат в одном файле. Llama.cpp начиная с коммита e7b3f9a (май 2026) поддерживает встроенный MTP без отдельного drafter, если модель содержит специальные метаданные.
Важно: этот метод требует ручного преобразования и пока не задокументирован официально. Работает тестировалось на ветке master llama.cpp от 15.05.2026.
# 1. Конвертируем оригинальные веса Hugging Face в GGUF с включенным MTP
python convert_hf_to_gguf.py \
--outtype f16 \
--model gemma-4-31b-it \
--output gemma-4-31b-mtp.gguf \
--merge-mtp-heads 2 # указываем кол-во дополнительных голов драфтера
Этот скрипт (есть в репозитории llama.cpp с мая 2026) сканирует конфиг модели, находит MTP-головы и встраивает их в один файл. На выходе получаешь один GGUF весом ~20 ГБ (Q4_K_M).
2 Подход №2: грубая сила — запуск через llama.cpp без —model-draft
Если слияние по каким-то причинам не сработало (например, у тебя бинарник llama.cpp собран без поддержки MTP-слияния), есть простой лайфхак: использовать саму Gemma 4 в качестве драфтера. Да, это звучит абсурдно, но работает.
Загружаем модель дважды — один раз как основную, второй раз как draft:
./llama-cli \
--model gemma-4-31b-Q4_K_M.gguf \
--model-draft gemma-4-31b-Q4_K_M.gguf \
--draft-max 4 \
--draft-min 2 \
--temp 0.6
Почему это работает? Llama.cpp не проверяет, что файлы одинаковые — он просто использует второй экземпляр той же модели для быстрой генерации черновиков. Daunting потребление VRAM (вдвое больше — ~40 ГБ для Q4_K_M), но если у тебя 2x RTX 3090 24 ГБ или 48 ГБ на карте, это даст ускорение 1.3-1.5x.
3 Подход №3: переезд на MLX или TensorRT-LLM (если не жалко времени)
Ладно, я знаю, что некоторые из вас упёртые и хотят использовать нативный MTP, как задумано Google. Google публиковал Gemma 4 с MTP-модулем, но в формате SafeTensors. Если переконвертировать модель в MLX (Apple Silicon) или TensorRT-LLM (NVIDIA), то драфтер можно загрузить как отдельную подсеть.
Пример для MLX (macOS / Apple Silicon):
pip install mlx-lm>=0.22.0
mlx_lm.generate \
--model mlx-community/Gemma-4-31B-4bit \
--draft-model mlx-community/Gemma-4-31B-4bit-draft \
--draft-layers 8
В MLX драфтер — это просто те же веса, но с уменьшенным числом слоёв. Библиотека автоматически обрезает последние слои. На M4 Ultra с 192 ГБ unified memory это даёт 20+ t/s.
Подробнее про запуск Gemma 4 в разных бекендах.
Таблица сравнения подходов
| Метод | Ускорение | VRAM (Q4_K_M) | Сложность | Совместимость |
|---|---|---|---|---|
| Слияние GGUF | 1.6-2.0x | ~20 ГБ | Средняя | Только master ветка llama.cpp 2026 |
| Двойная загрузка | 1.2-1.5x | ~40 ГБ | Низкая | Любая версия llama.cpp с --model-draft |
| MLX / TensorRT-LLM | 1.8-2.5x | ~18 ГБ (4-bit) | Высокая | Apple Silicon / NVIDIA |
Частые ошибки и как их не допустить
- Ошибка "MTP not supported by this backend" — ты используешь бинарник llama.cpp без поддержки speculative decoding. Собери из исходников с флагом
-DLLAMA_SPECULATIVE=ON. - Ошибка "model does not have draft heads" при слиянии — скрипт
convert_hf_to_gguf.pyстарой версии не находит MTP-головы. Обнови репозиторий до последнего коммита (после 1 мая 2026). - Ошибка "out of memory" при двойной загрузке — параметр
--mlockне спасает. Используй квантование Q2_K для драфтера (качество неважно, он только черновик):--model-draft gemma-4-31b-Q2_K.gguf. - Неправильный порядок токенов: если модель генерирует белиберду — проверь, что флаги
--draft-minи--draft-maxустановлены, а температура драфтера--draft-tempне равна 0 (иначе будет детерминированная чушь).
Полезно знать: MTP может мешать инструментальным агентам — для Gemma 4 31B это тоже актуально, если модель используется с функциями. Если заметил что модель перестала вызывать функции — отключи speculative decoding.
Что дальше? Неочевидный совет
Пока сообщество не выпустит готовые MTP-совместимые GGUF для Gemma 4 31B (следи за тегом mtp-merged на Hugging Face), лучший вариант — не заморачиваться с llama.cpp, а использовать MTP-мержинг через специальный скрипт, который я описал первым способом.
Но если тебе лень даже это — просто поставь --model-draft на ту же модель. Да, жрёт память. Зато работает уже сейчас, без плясок с бубном. А когда Google выпустит официальный drafter (говорят, к июню 2026), ты просто подменишь файл и получишь +30% скорости бесплатно.
P.S. И не забывай про финтюны для Gemma 3/4 — некоторые из них ускоряют инференс не хуже MTP, просто за счёт оптимизации промпта.
