tandem.cpp - патч-сет для llama.cpp, который ускоряет инференс MoE-моделей, не помещающихся в VRAM. Схема по идее простая: горячие эксперты остаются на видеокарте, остальные вычисления берёт на себя CPU. Обновление опубликовал автор проекта под ником ewhacc (пост в r/LocalLLaMA). Патч не заменяет llama.cpp, а надстраивается над ним, поэтому сборка и запуск знакомы тем, кто уже работал с этим движком.
Главные цифры обновления. DeepSeek-V4.1-Flash IQ2_XS со 139 ГиБ экспертов на RTX 5070 Ti 16 ГБ и 64 ГБ RAM выдаёт 14,2 tok/s против 7,4 у ванильного llama.cpp и 10,4 у Strata. На RTX 5090 32 ГБ со 128 ГБ RAM: 33,1 против 11,5 и 28,0 tok/s. Когда RAM меньше модели (Qwen3.8-Flash-Next IQ3_S, 78 ГиБ, на ПК с 32 ГБ RAM), tandem.cpp даёт 34,3 tok/s против 14,9 у llama.cpp.
Второе изменение - поддержка AMD: патч теперь собирается с HIP, то есть работает через ROCm. На RX 7900 XTX результат 68,6 tok/s, это уровень стокового Strata (69,7), но ниже RDNA3-форка Strata (80,1) и Avalon (83,6). Vulkan пока не поддерживается. Все цифры получены автором патча на его конфигурациях, независимого теста нет.
Что такое tandem.cpp и какую проблему он решает
MoE-модели (mixture of experts) на каждый токен активируют лишь часть параметров. У DeepSeek-V4.1-Flash это заметно меньше полного объёма весов, но сам файл всё равно занимает 139 ГиБ в квантизации IQ2_XS. Такая модель не влезает ни в 16 ГБ, ни в 32 ГБ VRAM. Классический выход - держать веса в RAM и подгружать нужное в видеопамять, а если не хватает и RAM, читать их с SSD.
Проблема в пропускной способности. PCIe и NVMe на порядки медленнее видеопамяти, поэтому GPU простаивает в ожидании данных, и декодирование падает до единиц токенов в секунду. tandem.cpp меняет распределение работы: востребованные эксперты закрепляются в VRAM, остальные считает CPU. Часть вычислений уходит с видеокарты, зато по шине не нужно гонять весь объём экспертов на каждом токене.
Чем tandem.cpp отличается от ванильного llama.cpp
Ванильный llama.cpp при нехватке VRAM выгружает слои или экспертов в RAM и стримит с SSD, упираясь в память и диск. tandem.cpp снижает объём трафика между VRAM и RAM за счёт закрепления горячего набора экспертов на GPU и расчёта холодных на CPU. Это схема распределения экспертов, а не новая архитектура модели. Качество вывода не страдает, потому что пропуска экспертов нет: в замерах автор отдельно отмечает, что все движки работали exact, без expert skipping.
Схема рассчитана на MoE. Для плотных моделей такого прироста не заявлено: у них на каждый токен работают все параметры, и «горячего» подмножества, которое можно закрепить в VRAM, попросту нет. Ждать ускорения в 1,4-2,1 раза на плотной модели вроде Qwen 3.8 27B оснований нет.
Кому это интересно: 16 ГБ VRAM и большая MoE-модель
Целевой сценарий - карта на 16-32 ГБ VRAM и MoE-модель, которая физически не помещается ни в видеопамять, ни часто в сумму VRAM и RAM. Примеры из замеров: DeepSeek-V4.1-Flash IQ2_XS (139 ГиБ экспертов) и Qwen3.8-Flash-Next IQ3_S (78 ГиБ). Если вы уже запускаете такие модели через llama.cpp с оффлоадом экспертов на CPU, tandem.cpp пробует тот же класс конфигураций, но с другой раскладкой нагрузки.
Обратный случай тоже полезен как ориентир. Если модель целиком влезает в VRAM, весь смысл схемы пропадает: там бал правит обычный GPU-инференс без пересылки данных по PCIe.
Как работает распределение экспертов между GPU и CPU
MoE-слой содержит набор экспертов, на каждый токен активируется небольшая их часть. Если какие-то эксперты востребованы постоянно, их выгодно держать в VRAM. Остальные считает CPU, и на видеокарту они не пересылаются. Это сокращает объём данных, которые гоняются по PCIe, и уменьшает простои GPU.
Конкретные правила, по которым патч определяет горячий набор, в публикации не раскрыты. Детали реализации - в репозитории и README. Не стоит предполагать, что там профилирование на лету или статическая эвристика по частотам роутера, пока это не описано автором: у MoE-моделей уже были неудачные попытки прунинга по router weights, которые портили качество.
Почему это особенно выгодно, когда модель больше VRAM + RAM
Автор патча прямо называет зону максимального выигрыша: модель существенно больше суммы VRAM и RAM, например 16 ГБ видеопамяти при 32 ГБ RAM. В этом режиме ванильный llama.cpp вынужден постоянно стримить веса с SSD, и узкое место не сводится к диску: данные ещё и проходят через шину до видеопамяти. Перераспределение экспертов между GPU и CPU меняет картину.
Кейс Qwen3.8-Flash-Next IQ3_S (78 ГиБ) на ПК с 32 ГБ RAM, RTX 5070 Ti 16 ГБ, i5-12400F и бюджетным DRAM-less SSD: 34,3 tok/s у tandem.cpp против 14,9 у llama.cpp и 30,3 у Strata. Разрыв с базовым движком здесь больше, чем на конфигурациях с запасом памяти.
Где выигрыш будет скромным
Если модель помещается в VRAM или в VRAM плюс RAM с запасом, перераспределение экспертов даёт меньше. На старом 6-ядерном CPU AMD-специфичные движки по-прежнему впереди tandem.cpp, то есть слабый процессор способен съесть преимущество: часть работы переносится именно на CPU. Замеры автора сделаны на i5-14600KF и i5-12400F, и на более слабом камне результат будет другим.
Скорость накопителя тоже входит в уравнение. На одной и той же карте RTX 5070 Ti с 64 ГБ RAM связка i5-14600KF дала 14,2 tok/s, а i5-12400F с бюджетным DRAM-less SSD - 10,4 tok/s. Разница в 27% намекает, что стриминг с диска никуда не исчезает полностью.
Замеры скорости: DeepSeek-V4.1-Flash на RTX 5070 Ti и RTX 5090
Декодирование DeepSeek-V4.1-Flash IQ2_XS (ISTA GSQ-RCO, 139 ГиБ экспертов): один пользователь, вопросы GSM8K, greedy-декодирование, без пропуска экспертов, одинаковая квантизация на всех движках.
| Конфигурация | llama.cpp, tok/s | tandem.cpp, tok/s | Strata, tok/s |
|---|---|---|---|
| RTX 5070 Ti 16 ГБ, 64 ГБ RAM, i5-14600KF | 7,4 | 14,2 | 10,4 |
| RTX 5070 Ti 16 ГБ, 64 ГБ RAM, i5-12400F, бюджетный DRAM-less SSD | нет данных | 10,4 | 5,7 |
| RTX 5090 32 ГБ, 128 ГБ RAM, i5-14600KF | 11,5 | 33,1 | 28,0 |
При 64 ГБ RAM модель примерно вдвое больше объёма системной памяти, поэтому стримится с SSD. Даже в таком режиме tandem.cpp обгоняет и llama.cpp, и Strata. Во второй строке результата llama.cpp в таблице автора нет (прочерк), поэтому сравнивать там можно только с Strata: 10,4 против 5,7 tok/s.
Сводно: заявленный прирост 1,4-2,1 раза относительно ванильного llama.cpp. Тот же диапазон автор распространяет на gpt-oss-120b, GLM-4.5-Air и Qwen3.6, но детальные таблицы в материале приведены только для DeepSeek-V4.1-Flash и Qwen3.8-Flash-Next.
Кейс с нехваткой RAM: Qwen3.8-Flash-Next IQ3_S на 32 ГБ RAM
Конфигурация: RTX 5070 Ti 16 ГБ, 32 ГБ RAM, i5-12400F, бюджетный DRAM-less SSD, Qwen3.8-Flash-Next IQ3_S (ISTA GSQ-RCO, 78 ГиБ) с MTP.
| Движок | Скорость, tok/s |
|---|---|
| llama.cpp | 14,9 |
| tandem.cpp | 34,3 |
| Strata | 30,3 |
Это самый показательный кейс. Модель на 78 ГиБ заметно больше суммы VRAM и RAM (16 + 32 = 48 ГБ), и именно здесь tandem.cpp отрывается сильнее всего: более чем вдвое от ванильного llama.cpp. Если ваш ПК собран по той же формуле «16 ГБ VRAM плюс 32-64 ГБ RAM», начинать проверку стоит с таких моделей.
Как читать эти цифры: методология и оговорки
Цифры получены автором патча на его собственных конфигурациях. Независимого теста нет, автор сам приглашает присылать замеры с других машин. Это не редакционные измерения AI-Manual, и переносить результаты на своё железо нужно с поправкой.
Методология снижает риск накрутки: один пользователь, GSM8K, greedy, отсутствие пропуска экспертов, одинаковая квантизация на всех движках в пределах одной таблицы. Ограничение в другом: короткие вопросы GSM8K не показывают поведение на длинном контексте, на prefill и на агентных сценариях с большими промптами. Для AMD-замера Avalon использовал собственную квантизацию IQ3_KS, так что строго говоря это не та же самая модель, что у остальных движков.
Поддержка AMD через HIP и ROCm: что уже работает
Патч теперь собирается с HIP, то есть поддерживает AMD через ROCm. Тест провели на RX 7900 XTX (i7-8700, 64 ГБ DDR4, PCIe 3.0) с Qwen3.8 IQ3_S и MTP.
| Движок | Скорость, tok/s |
|---|---|
| tandem.cpp | 68,6 |
| Strata 0.2.9 (стоковый) | 69,7 |
| Strata, RDNA3-форк | 80,1 |
| Avalon (квантизация IQ3_KS) | 83,6 |
Вывод по AMD: tandem.cpp идёт на уровне стокового Strata, но уступает специализированным сборкам под RDNA3 и движку Avalon. Формально разница с Strata 0.2.9 в пределах 1,6%, то есть на глаз её нет. Отставание от RDNA3-форка Strata составляет около 14%, от Avalon - около 18%.
Работа над ядрами идёт в общем коде CUDA/HIP, поэтому она помогает и NVIDIA: автор сообщает о +2,5% на 7900 XTX и +1,3% на RTX 5070 Ti за неделю. Это прирост от конкретного обновления ядер, а не гарантия для любой следующей версии.
Почему на AMD пока нет преимущества
На старом 6-ядерном CPU AMD-специфичные движки по-прежнему впереди tandem.cpp. Часть работы переносится на процессор, и на слабом камне это бьёт по итоговой скорости сильнее, чем на i5-14600KF. Другое ограничение: Vulkan пока не поддерживается, а именно Vulkan часто оказывается рабочим путём на Radeon вне зоны официальной поддержки ROCm.
Сроков по Vulkan автор не называет. Планировать конфигурацию стоит исходя из того, что есть сейчас: сборка с HIP и сравнение с RDNA3-форком Strata и Avalon на своей карте. Подбор флагов и типичные грабли ROCm на Radeon разобраны в материале про запуск Qwen 3.6 35B A3B на RX 7600 с ROCm 7.
Как собрать и запустить tandem.cpp
Шаги сборки для обеих платформ приведены в README репозитория (анонс обновления). Переписывать команды от себя не стоит: флаги и версии зависимостей меняются, README остаётся первичным источником. Ориентиры такие: для NVIDIA сборка с CUDA, для AMD сборка с HIP и установленный тулчейн ROCm.
Для запуска нужна MoE-модель в поддерживаемой квантизации. В замерах использовались IQ2_XS и IQ3_S от ISTA GSQ-RCO: DeepSeek-V4.1-Flash IQ2_XS и Qwen3.8-Flash-Next IQ3_S. Проверить работу на своей карте проще всего на модели, которая уже не влезает в VRAM: если она влезает, разницы с обычным llama.cpp почти не будет.
Что подготовить перед сборкой
- GPU NVIDIA с CUDA или AMD с ROCm. В тестах участвовали RTX 5070 Ti 16 ГБ, RTX 5090 32 ГБ и RX 7900 XTX.
- Достаточный объём RAM. Конфигурации в замерах: 32 ГБ, 64 ГБ и 128 ГБ.
- Место на SSD под файл модели: 139 ГиБ для DeepSeek-V4.1-Flash IQ2_XS, 78 ГиБ для Qwen3.8-Flash-Next IQ3_S.
- Процессор, который не станет узким местом. Автор использовал i5-14600KF и i5-12400F, и на бюджетном DRAM-less SSD результат падал с 14,2 до 10,4 tok/s.
Последний пункт про накопитель часто упускают. Если модель стримится с диска, скорость SSD влияет на итог напрямую, и дешёвый DRAM-less накопитель съедает часть выигрыша от схемы.
tandem.cpp против альтернатив: когда что выбирать
Ванильный llama.cpp остаётся базой: на MoE-моделях, не помещающихся в память, tandem.cpp обгоняет его в 1,4-2,1 раза в замерах автора. Strata на NVIDIA в тех же тестах отстаёт от tandem.cpp: 10,4 против 14,2, 28,0 против 33,1 и 30,3 против 34,3 tok/s. На AMD картина меняется: стоковый Strata идёт на уровне tandem.cpp, а RDNA3-форк Strata и Avalon быстрее.
Практическое правило простое. На NVIDIA с ограниченной VRAM и крупной MoE-моделью tandem.cpp - сильный кандидат. На AMD сначала сравните его с RDNA3-форком Strata и Avalon на своей карте: возможно, там уже есть готовый вариант быстрее. Если задача упирается в батчевый серверный инференс, а не в одиночное декодирование, смотрите в сторону других стеков: пример портирования ядер под большие MoE-модели разобран в статье про запуск DeepSeek V4 Flash на двух RTX 4090 через vLLM.
Автор патч-сета - ewhacc. Другие эксперименты с патчами llama.cpp под MoE-модели на нестандартном железе описаны в разборе патчей для Tesla P100 и Qwen3.6 35B A3B.
Ограничения, о которых стоит знать заранее
- Vulkan не поддерживается. На Radeon без рабочего ROCm варианта нет.
- На AMD tandem.cpp не обгоняет специализированные движки: 68,6 против 80,1 у RDNA3-форка Strata и 83,6 у Avalon.
- На старом 6-ядерном CPU AMD-специфичные движки по-прежнему впереди.
- Все цифры получены автором патча на его конфигурациях, независимой проверки нет.
- Прирост заявлен для MoE-моделей и конкретных квантизаций. Для плотных моделей ожидания не подтверждены.
- Детальные таблицы есть только для DeepSeek-V4.1-Flash и Qwen3.8-Flash-Next, хотя прирост 1,4-2,1 раза упоминается ещё для gpt-oss-120b, GLM-4.5-Air и Qwen3.6.
Итог: стоит ли пробовать tandem.cpp
Если у вас NVIDIA с 16-32 ГБ VRAM, 32-128 ГБ RAM и задача запустить крупную MoE-модель, которая не влезает в память, tandem.cpp - разумный кандидат. Наибольший смысл он имеет, когда модель существенно больше суммы VRAM и RAM: там счёт идёт не на проценты, а на 34,3 против 14,9 tok/s.
Если у вас AMD, сначала прогоните свою модель на RDNA3-форке Strata и Avalon: на RX 7900 XTX они быстрее. Если модель помещается в VRAM, выигрыш будет скромным, и городить оффлоад незачем. Цифры в статье - от автора патча, поэтому финальное решение принимайте по собственному замеру: сборка описана в README, тестовая модель и конфигурация для сравнения у вас уже есть.