Перейти к содержанию
Публикация AiManual

tandem.cpp: как запустить MoE-модель на 139 ГиБ при 16 ГБ VRAM и что даёт поддержка AMD ROCm

tandem.cpp ускоряет MoE-модели, которые не влезают в VRAM: горячие эксперты остаются на GPU, остальное считает CPU. Разбираем замеры на RTX 5070 Ti и RTX 5090,

Коротко

Что будет в материале

  1. 01

    Что такое tandem.cpp и какую проблему он решает

  2. 02

    Как работает распределение экспертов между GPU и CPU

  3. 03

    Замеры скорости: DeepSeek-V4.1-Flash на RTX 5070 Ti и RTX 5090

  4. 04

    Поддержка AMD через HIP и ROCm: что уже работает

tandem.cpp - патч-сет для llama.cpp, который ускоряет инференс MoE-моделей, не помещающихся в VRAM. Схема по идее простая: горячие эксперты остаются на видеокарте, остальные вычисления берёт на себя CPU. Обновление опубликовал автор проекта под ником ewhacc (пост в r/LocalLLaMA). Патч не заменяет llama.cpp, а надстраивается над ним, поэтому сборка и запуск знакомы тем, кто уже работал с этим движком.

Главные цифры обновления. DeepSeek-V4.1-Flash IQ2_XS со 139 ГиБ экспертов на RTX 5070 Ti 16 ГБ и 64 ГБ RAM выдаёт 14,2 tok/s против 7,4 у ванильного llama.cpp и 10,4 у Strata. На RTX 5090 32 ГБ со 128 ГБ RAM: 33,1 против 11,5 и 28,0 tok/s. Когда RAM меньше модели (Qwen3.8-Flash-Next IQ3_S, 78 ГиБ, на ПК с 32 ГБ RAM), tandem.cpp даёт 34,3 tok/s против 14,9 у llama.cpp.

Второе изменение - поддержка AMD: патч теперь собирается с HIP, то есть работает через ROCm. На RX 7900 XTX результат 68,6 tok/s, это уровень стокового Strata (69,7), но ниже RDNA3-форка Strata (80,1) и Avalon (83,6). Vulkan пока не поддерживается. Все цифры получены автором патча на его конфигурациях, независимого теста нет.

Что такое tandem.cpp и какую проблему он решает

MoE-модели (mixture of experts) на каждый токен активируют лишь часть параметров. У DeepSeek-V4.1-Flash это заметно меньше полного объёма весов, но сам файл всё равно занимает 139 ГиБ в квантизации IQ2_XS. Такая модель не влезает ни в 16 ГБ, ни в 32 ГБ VRAM. Классический выход - держать веса в RAM и подгружать нужное в видеопамять, а если не хватает и RAM, читать их с SSD.

Проблема в пропускной способности. PCIe и NVMe на порядки медленнее видеопамяти, поэтому GPU простаивает в ожидании данных, и декодирование падает до единиц токенов в секунду. tandem.cpp меняет распределение работы: востребованные эксперты закрепляются в VRAM, остальные считает CPU. Часть вычислений уходит с видеокарты, зато по шине не нужно гонять весь объём экспертов на каждом токене.

Чем tandem.cpp отличается от ванильного llama.cpp

Ванильный llama.cpp при нехватке VRAM выгружает слои или экспертов в RAM и стримит с SSD, упираясь в память и диск. tandem.cpp снижает объём трафика между VRAM и RAM за счёт закрепления горячего набора экспертов на GPU и расчёта холодных на CPU. Это схема распределения экспертов, а не новая архитектура модели. Качество вывода не страдает, потому что пропуска экспертов нет: в замерах автор отдельно отмечает, что все движки работали exact, без expert skipping.

Схема рассчитана на MoE. Для плотных моделей такого прироста не заявлено: у них на каждый токен работают все параметры, и «горячего» подмножества, которое можно закрепить в VRAM, попросту нет. Ждать ускорения в 1,4-2,1 раза на плотной модели вроде Qwen 3.8 27B оснований нет.

Кому это интересно: 16 ГБ VRAM и большая MoE-модель

Целевой сценарий - карта на 16-32 ГБ VRAM и MoE-модель, которая физически не помещается ни в видеопамять, ни часто в сумму VRAM и RAM. Примеры из замеров: DeepSeek-V4.1-Flash IQ2_XS (139 ГиБ экспертов) и Qwen3.8-Flash-Next IQ3_S (78 ГиБ). Если вы уже запускаете такие модели через llama.cpp с оффлоадом экспертов на CPU, tandem.cpp пробует тот же класс конфигураций, но с другой раскладкой нагрузки.

Обратный случай тоже полезен как ориентир. Если модель целиком влезает в VRAM, весь смысл схемы пропадает: там бал правит обычный GPU-инференс без пересылки данных по PCIe.

Как работает распределение экспертов между GPU и CPU

MoE-слой содержит набор экспертов, на каждый токен активируется небольшая их часть. Если какие-то эксперты востребованы постоянно, их выгодно держать в VRAM. Остальные считает CPU, и на видеокарту они не пересылаются. Это сокращает объём данных, которые гоняются по PCIe, и уменьшает простои GPU.

Конкретные правила, по которым патч определяет горячий набор, в публикации не раскрыты. Детали реализации - в репозитории и README. Не стоит предполагать, что там профилирование на лету или статическая эвристика по частотам роутера, пока это не описано автором: у MoE-моделей уже были неудачные попытки прунинга по router weights, которые портили качество.

Почему это особенно выгодно, когда модель больше VRAM + RAM

Автор патча прямо называет зону максимального выигрыша: модель существенно больше суммы VRAM и RAM, например 16 ГБ видеопамяти при 32 ГБ RAM. В этом режиме ванильный llama.cpp вынужден постоянно стримить веса с SSD, и узкое место не сводится к диску: данные ещё и проходят через шину до видеопамяти. Перераспределение экспертов между GPU и CPU меняет картину.

Кейс Qwen3.8-Flash-Next IQ3_S (78 ГиБ) на ПК с 32 ГБ RAM, RTX 5070 Ti 16 ГБ, i5-12400F и бюджетным DRAM-less SSD: 34,3 tok/s у tandem.cpp против 14,9 у llama.cpp и 30,3 у Strata. Разрыв с базовым движком здесь больше, чем на конфигурациях с запасом памяти.

Где выигрыш будет скромным

Если модель помещается в VRAM или в VRAM плюс RAM с запасом, перераспределение экспертов даёт меньше. На старом 6-ядерном CPU AMD-специфичные движки по-прежнему впереди tandem.cpp, то есть слабый процессор способен съесть преимущество: часть работы переносится именно на CPU. Замеры автора сделаны на i5-14600KF и i5-12400F, и на более слабом камне результат будет другим.

Скорость накопителя тоже входит в уравнение. На одной и той же карте RTX 5070 Ti с 64 ГБ RAM связка i5-14600KF дала 14,2 tok/s, а i5-12400F с бюджетным DRAM-less SSD - 10,4 tok/s. Разница в 27% намекает, что стриминг с диска никуда не исчезает полностью.

Замеры скорости: DeepSeek-V4.1-Flash на RTX 5070 Ti и RTX 5090

Декодирование DeepSeek-V4.1-Flash IQ2_XS (ISTA GSQ-RCO, 139 ГиБ экспертов): один пользователь, вопросы GSM8K, greedy-декодирование, без пропуска экспертов, одинаковая квантизация на всех движках.

Конфигурацияllama.cpp, tok/standem.cpp, tok/sStrata, tok/s
RTX 5070 Ti 16 ГБ, 64 ГБ RAM, i5-14600KF7,414,210,4
RTX 5070 Ti 16 ГБ, 64 ГБ RAM, i5-12400F, бюджетный DRAM-less SSDнет данных10,45,7
RTX 5090 32 ГБ, 128 ГБ RAM, i5-14600KF11,533,128,0

При 64 ГБ RAM модель примерно вдвое больше объёма системной памяти, поэтому стримится с SSD. Даже в таком режиме tandem.cpp обгоняет и llama.cpp, и Strata. Во второй строке результата llama.cpp в таблице автора нет (прочерк), поэтому сравнивать там можно только с Strata: 10,4 против 5,7 tok/s.

Сводно: заявленный прирост 1,4-2,1 раза относительно ванильного llama.cpp. Тот же диапазон автор распространяет на gpt-oss-120b, GLM-4.5-Air и Qwen3.6, но детальные таблицы в материале приведены только для DeepSeek-V4.1-Flash и Qwen3.8-Flash-Next.

Кейс с нехваткой RAM: Qwen3.8-Flash-Next IQ3_S на 32 ГБ RAM

Конфигурация: RTX 5070 Ti 16 ГБ, 32 ГБ RAM, i5-12400F, бюджетный DRAM-less SSD, Qwen3.8-Flash-Next IQ3_S (ISTA GSQ-RCO, 78 ГиБ) с MTP.

ДвижокСкорость, tok/s
llama.cpp14,9
tandem.cpp34,3
Strata30,3

Это самый показательный кейс. Модель на 78 ГиБ заметно больше суммы VRAM и RAM (16 + 32 = 48 ГБ), и именно здесь tandem.cpp отрывается сильнее всего: более чем вдвое от ванильного llama.cpp. Если ваш ПК собран по той же формуле «16 ГБ VRAM плюс 32-64 ГБ RAM», начинать проверку стоит с таких моделей.

Как читать эти цифры: методология и оговорки

Цифры получены автором патча на его собственных конфигурациях. Независимого теста нет, автор сам приглашает присылать замеры с других машин. Это не редакционные измерения AI-Manual, и переносить результаты на своё железо нужно с поправкой.

Методология снижает риск накрутки: один пользователь, GSM8K, greedy, отсутствие пропуска экспертов, одинаковая квантизация на всех движках в пределах одной таблицы. Ограничение в другом: короткие вопросы GSM8K не показывают поведение на длинном контексте, на prefill и на агентных сценариях с большими промптами. Для AMD-замера Avalon использовал собственную квантизацию IQ3_KS, так что строго говоря это не та же самая модель, что у остальных движков.

Поддержка AMD через HIP и ROCm: что уже работает

Патч теперь собирается с HIP, то есть поддерживает AMD через ROCm. Тест провели на RX 7900 XTX (i7-8700, 64 ГБ DDR4, PCIe 3.0) с Qwen3.8 IQ3_S и MTP.

ДвижокСкорость, tok/s
tandem.cpp68,6
Strata 0.2.9 (стоковый)69,7
Strata, RDNA3-форк80,1
Avalon (квантизация IQ3_KS)83,6

Вывод по AMD: tandem.cpp идёт на уровне стокового Strata, но уступает специализированным сборкам под RDNA3 и движку Avalon. Формально разница с Strata 0.2.9 в пределах 1,6%, то есть на глаз её нет. Отставание от RDNA3-форка Strata составляет около 14%, от Avalon - около 18%.

Работа над ядрами идёт в общем коде CUDA/HIP, поэтому она помогает и NVIDIA: автор сообщает о +2,5% на 7900 XTX и +1,3% на RTX 5070 Ti за неделю. Это прирост от конкретного обновления ядер, а не гарантия для любой следующей версии.

Почему на AMD пока нет преимущества

На старом 6-ядерном CPU AMD-специфичные движки по-прежнему впереди tandem.cpp. Часть работы переносится на процессор, и на слабом камне это бьёт по итоговой скорости сильнее, чем на i5-14600KF. Другое ограничение: Vulkan пока не поддерживается, а именно Vulkan часто оказывается рабочим путём на Radeon вне зоны официальной поддержки ROCm.

Сроков по Vulkan автор не называет. Планировать конфигурацию стоит исходя из того, что есть сейчас: сборка с HIP и сравнение с RDNA3-форком Strata и Avalon на своей карте. Подбор флагов и типичные грабли ROCm на Radeon разобраны в материале про запуск Qwen 3.6 35B A3B на RX 7600 с ROCm 7.

Как собрать и запустить tandem.cpp

Шаги сборки для обеих платформ приведены в README репозитория (анонс обновления). Переписывать команды от себя не стоит: флаги и версии зависимостей меняются, README остаётся первичным источником. Ориентиры такие: для NVIDIA сборка с CUDA, для AMD сборка с HIP и установленный тулчейн ROCm.

Для запуска нужна MoE-модель в поддерживаемой квантизации. В замерах использовались IQ2_XS и IQ3_S от ISTA GSQ-RCO: DeepSeek-V4.1-Flash IQ2_XS и Qwen3.8-Flash-Next IQ3_S. Проверить работу на своей карте проще всего на модели, которая уже не влезает в VRAM: если она влезает, разницы с обычным llama.cpp почти не будет.

Что подготовить перед сборкой

  • GPU NVIDIA с CUDA или AMD с ROCm. В тестах участвовали RTX 5070 Ti 16 ГБ, RTX 5090 32 ГБ и RX 7900 XTX.
  • Достаточный объём RAM. Конфигурации в замерах: 32 ГБ, 64 ГБ и 128 ГБ.
  • Место на SSD под файл модели: 139 ГиБ для DeepSeek-V4.1-Flash IQ2_XS, 78 ГиБ для Qwen3.8-Flash-Next IQ3_S.
  • Процессор, который не станет узким местом. Автор использовал i5-14600KF и i5-12400F, и на бюджетном DRAM-less SSD результат падал с 14,2 до 10,4 tok/s.

Последний пункт про накопитель часто упускают. Если модель стримится с диска, скорость SSD влияет на итог напрямую, и дешёвый DRAM-less накопитель съедает часть выигрыша от схемы.

tandem.cpp против альтернатив: когда что выбирать

Ванильный llama.cpp остаётся базой: на MoE-моделях, не помещающихся в память, tandem.cpp обгоняет его в 1,4-2,1 раза в замерах автора. Strata на NVIDIA в тех же тестах отстаёт от tandem.cpp: 10,4 против 14,2, 28,0 против 33,1 и 30,3 против 34,3 tok/s. На AMD картина меняется: стоковый Strata идёт на уровне tandem.cpp, а RDNA3-форк Strata и Avalon быстрее.

Практическое правило простое. На NVIDIA с ограниченной VRAM и крупной MoE-моделью tandem.cpp - сильный кандидат. На AMD сначала сравните его с RDNA3-форком Strata и Avalon на своей карте: возможно, там уже есть готовый вариант быстрее. Если задача упирается в батчевый серверный инференс, а не в одиночное декодирование, смотрите в сторону других стеков: пример портирования ядер под большие MoE-модели разобран в статье про запуск DeepSeek V4 Flash на двух RTX 4090 через vLLM.

Автор патч-сета - ewhacc. Другие эксперименты с патчами llama.cpp под MoE-модели на нестандартном железе описаны в разборе патчей для Tesla P100 и Qwen3.6 35B A3B.

Ограничения, о которых стоит знать заранее

  • Vulkan не поддерживается. На Radeon без рабочего ROCm варианта нет.
  • На AMD tandem.cpp не обгоняет специализированные движки: 68,6 против 80,1 у RDNA3-форка Strata и 83,6 у Avalon.
  • На старом 6-ядерном CPU AMD-специфичные движки по-прежнему впереди.
  • Все цифры получены автором патча на его конфигурациях, независимой проверки нет.
  • Прирост заявлен для MoE-моделей и конкретных квантизаций. Для плотных моделей ожидания не подтверждены.
  • Детальные таблицы есть только для DeepSeek-V4.1-Flash и Qwen3.8-Flash-Next, хотя прирост 1,4-2,1 раза упоминается ещё для gpt-oss-120b, GLM-4.5-Air и Qwen3.6.

Итог: стоит ли пробовать tandem.cpp

Если у вас NVIDIA с 16-32 ГБ VRAM, 32-128 ГБ RAM и задача запустить крупную MoE-модель, которая не влезает в память, tandem.cpp - разумный кандидат. Наибольший смысл он имеет, когда модель существенно больше суммы VRAM и RAM: там счёт идёт не на проценты, а на 34,3 против 14,9 tok/s.

Если у вас AMD, сначала прогоните свою модель на RDNA3-форке Strata и Avalon: на RX 7900 XTX они быстрее. Если модель помещается в VRAM, выигрыш будет скромным, и городить оффлоад незачем. Цифры в статье - от автора патча, поэтому финальное решение принимайте по собственному замеру: сборка описана в README, тестовая модель и конфигурация для сравнения у вас уже есть.

Подписаться на канал