Слушайте, я не знаю, как у вас, но у меня первая реакция на MTP была: «Ну вот, очередная игрушка для тех, у кого восемь 4090». Потому что все эти Multi-Token Prediction штуки обычно работают либо на NVIDIA, либо на Apple Silicon, а для AMD — отдельный квест с плясками. Но на Strix Halo — том самом монстре-APU с 128 ГБ унифицированной памяти — MTP взлетел так, что я аж присвистнул. +111% на 27B, +94% на 35B, +78% на 122B. Это не опечатка. И это не сказки про идеальные условия. Это бенчмарки на реальном железе, которые я повторял трижды.
В этой статье — никакой воды. Только суть: как собрать правильную ветку llama.cpp с MTP под ROCm, какие флаги нужны для Strix Halo и какие цифры вы получите на трёх популярных моделях. Если вы уже читали мой прошлый гайд по MTP в бета-версии, то заметите, что с тех пор многое изменилось — ветка server-rocm-mtp наконец-то стабилизировали, добавили поддержку KV-кэша для APU и пофиксили утечки памяти. Готовы? Поехали.
Дисклеймер: всё, что вы делаете, — на ваш страх и риск. MTP в llama.cpp всё ещё помечен как experimental. На Strix Halo я тестировал сборку от 12 мая 2026. Если у вас другая версия прошивки APU — результаты могут плавать.
Почему Strix Halo — идеальный кандидат для MTP
Strix Halo — это по сути Ryzen AI Max с 40 вычислительными блоками RDNA 3.5 и до 128 ГБ LPDDR5X, которые делятся между CPU и GPU. Для локального инференса это бомба: огромная пропускная способность памяти (около 500 ГБ/с) и полный профиль ROCm 6.3. Но главное — пропускная способность памяти становится узким горлышком на больших моделях. MTP как раз увеличивает вычислительную нагрузку на один проход, но при этом резко сокращает количество проходов. На Strix Halo, где вычислитель достаточно быстрый, а память — самое узкое место, MTP даёт прирост, которого вы не увидите на RTX 4090 (там шина 1 ТБ/с и узкое место — compute).
По сути, MTP превращает итеративный генератор в конвейер: вместо одного токена за шаг мы предсказываем сразу 4. Точность дополнительных токенов — около 70-75% на Qwen 3.6 и DeepSeek V3.5. Если модель уверена — получаем 4 токена за один forward pass. Если ошиблась — откат на один токен и нормальная работа. В среднем коэффициент ускорения на Strix Halo получается 1.7x–2.1x в зависимости от модели. Но верхняя граница — до 2.11x (те самые 111%) — достижима при определённых настройках и коротких генерациях (до 256 токенов).
Что понадобится: железо и софт
- AMD Strix Halo APU (Ryzen AI Max+ 395 или 390) — я тестировал на 395 с 128 ГБ.
- Ubuntu 24.04 LTS (рекомендую, хотя на Windows с WSL2 тоже работает, но немного медленнее — читайте почему).
- ROCm 6.3.1 (обязательно, иначе не соберёте MTP-ветку).
- llama.cpp — форк из ветки
server-rocm-mtp(не путать сmaster! В мейне MTP до сих пор нет). - Модели: Qwen 3.6 27B (GGUF Q4_K_M), Qwen 3.5 35B (GGUF Q4_K_M), DeepSeek V3.5 122B (GGUF Q4_K_M).
- Дополнительно:
cmake 3.28+,gcc 13+,rocm-hip-runtime,rocblas.
Где брать модели? Qwen 3.6 27B можно скачать с Hugging Face у TheBloke. Для DeepSeek V3.5 122B рекомендую IQ4_XS квантизацию — она вмещается в 64 ГБ, оставляя запас под KV-кэш.
Сборка llama.cpp с MTP под Strix Halo
Тут есть нюанс: обычная сборка из мастера MTP не поддерживает. Нужно переключиться на специальную ветку. Пошагово:
1 Клонируем правильный репозиторий
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
git checkout server-rocm-mtp
Почему именно server-rocm-mtp? Потому что в этой ветке уже встроена поддержка ROCm и оптимизации для унифицированной памяти. На master MTP до сих пор нет, а на других форках я видел баги с утечкой VRAM на APU.
2 Собираем с ROCm-флагами
mkdir build && cd build
cmake .. -DLLAMA_CURL=On \
-DCMAKE_INSTALL_PREFIX=./install \
-DLLAMA_HIPBLAS=On \
-DCMAKE_C_COMPILER=gcc-13 \
-DCMAKE_CXX_COMPILER=g++-13 \
-DAMDGPU_TARGETS=gfx1151
cmake --build . --config Release -j $(nproc)
cmake --install .
Флаг -DAMDGPU_TARGETS=gfx1151 — это архитектура RDNA 3.5. Не указывайте gfx1100 (RDNA 3) — будет падать. Если у вас не Strix Halo, а старый APU, проверьте свой target через rocminfo.
3 Проверяем, что MTP включён
После сборки запустите:
./build/bin/llama-server --help
В выводе должны быть параметры --mtp и --mtp-beam. Если их нет — вы собрали не ту ветку. Или забыли передать -DLLAMA_HIPBLAS=On. Пересобирайте.
Параметры для максимального ускорения на Strix Halo
Я потратил два дня, перебирая комбинации --mtp, --mtp-beam и размер контекста. Вот что реально работает:
| Параметр | Значение | Почему |
|---|---|---|
--mtp | 4 | Предсказываем 4 токена вперёд. 5 и выше — падение точности. |
--mtp-beam | 1 | Beam search >1 замедляет на APU, т.к. память не резиновая. |
--ctx-size | 4096 | На Strix Halo KV-кэш съедает много памяти. 4096 — хороший баланс. |
--batch-size | 512 | Меньше — недозагрузка GPU, больше — падение скорости. |
--n-gpu-layers | 99 | Выгружаем все слои на GPU. CPU не нужен. |
--main-gpu | 0 | У APU только один GPU-узел. |
И не забудьте --no-mmap — на Strix Halo memory-mapped файлы иногда ведут себя странно из-за унифицированной памяти. Я два часа тупил, пока не нашёл этот баг.
Бенчмарки: что мы получили
Тестировал на однотипных промптах: «Explain quantum entanglement in simple terms» с max_tokens=512. Измерял tokens per second (tps) через llama-bench. Каждый тест гонял по 5 раз, брал среднее. Вот результаты:
| Модель | Без MTP (tps) | С MTP (tps) | Ускорение |
|---|---|---|---|
| Qwen 3.6 27B Q4_K_M | 24.3 | 51.3 | +111% |
| Qwen 3.5 35B Q4_K_M | 19.8 | 38.4 | +94% |
| DeepSeek V3.5 122B Q4_K_M | 6.7 | 11.9 | +78% |
Важно: Ускорение сильно зависит от длины генерации. На первых 128 токенах MTP даёт до 150% прироста, а после 1024 — эффект снижается до 30-40%. Если вы генерируете большие тексты (тысячи токенов), MTP всё равно полезен, но не так впечатляюще.
Сравните с результатами MTP на Apple Silicon — там для Qwen 3.5 35B ускорение было около 50%. Strix Halo выигрывает за счёт более высокой пропускной способности памяти и отсутствия overhead на переключение между CPU/GPU как в дискретных картах.
Типичные ошибки и как их избежать
Когда я впервые запустил MTP на Strix Halo, модель выдала 5 tps — медленнее, чем без MTP. Я был готов рвать волосы. Оказалось, я забыл один флаг. Вот список граблей:
- MTP не даёт прироста на CPU — если вы не выгрузили все слои на GPU (
--n-gpu-layers 99), MTP будет даже медленнее. Проверьте по логам, что все слои на GPU. - Квантование ниже Q4_K_M — при Q3 или Q2 точность предложений MTP падает до 40%, и ускорение пропадает. Используйте Q4_K_M или выше.
- Слишком длинный контекст — при ctx-size > 8192 KV-кэш занимает почти всю память, и MTP начинает мешать. Для Strix Halo 128 ГБ это не критично, но на 64 ГБ — обязательно урезайте.
- Beam > 1 — маялся с
--mtp-beam 2в надежде на лучшее качество. На Strix Halo это добавляет ~30% времени и всего +5% к точности. Не надо. - Сборка без HIPBLAS — если забыть
-DLLAMA_HIPBLAS=On, cmake соберёт CPU-версию, и ускорения не будет вовсе. Сразу проверьте:./build/bin/llama-server --versionдолжно показатьHIP BLAS.
Сравнение с альтернативами: стоят ли они того?
Есть ещё MTPLX — движок для Apple Silicon, который обещает 2.24x. Но под AMD он не работает. А BeeLlama.cpp с TurboQuant даёт 135 tps на 3090 для Qwen 27B, но это дискретная карта с 24 ГБ — на 122B она даже не загрузится. Strix Halo остаётся уникальным вариантом для больших моделей на одном чипе.
Если у вас две или более карты, можно попробовать NCCL-Free Tensor Parallelism, но это уже для флагманов. А MTP — бесплатно, без дополнительных карт.
Что дальше? Чего ждать от MTP в ближайшее время
Судя по коммитам в ветке server-rocm-mtp, разработчики уже тестируют MTP с прунингом токенов — то есть модель будет отбрасывать неуверенные предсказания на лету. Это может дать ещё +15-20% к скорости. Также вижу эксперименты с --mtp-temp — температурой для дополнительных токенов. Пока не замержили, но я уже собрал и протестировал: на Qwen 3.6 27B с temp=0.3 ускорение достигло 123%. Но качество текста чуть упало (повторяющиеся фразы). Ждём стабильной версии.
Ещё один тренд — интеграция MTP с FlashAttention v3, которая уже есть в спекулятивном декодинге для MoE-моделей. Если объединить MTP и speculative decoding, на Strix Halo можно получить ещё +30% за счёт более умного планирования вычислительных блоков. Я уже вижу форки, где это гибридное решение тестируют. Думаю, к осени 2026 появится универсальный бинарник для APU.
И последнее. Если вы до сих пор не обновили Ubuntu до 24.04 или сидите на Windows — почитайте, как собрать llama.cpp под вашу ОС. На Windows с WSL2 tps падает на 10-15% из-за оверхеда виртуализации. Linux рулит.
