Что даёт cudamemcpy-tuner и кому этот сценарий вообще нужен
cudamemcpy-tuner это инструмент разработчика Maknee: он подбирает параметры копирования памяти cudaMemcpy и за счёт этого ускоряет CPU-offload экспертов MoE-моделей в llama.cpp. В опубликованном замере на одной RTX 3090 и Ryzen 7 7800X3D с Qwen3.6-35B-A3B в квантовании Q8_0 и флагом -ot exps=CPU prefill вырос с 345 до 466 t/s при том же конфиге llama-bench. Это примерно +35% к скорости обработки промпта, без второй видеокарты и без смены квантования.
Применение устроено просто: тюнинг запускается обёрткой cmt tune вокруг привычной команды llama-bench. Модель, квантование и флаги остаются прежними, инструмент подбирает под вашу связку GPU, CPU и модели параметры передачи данных. Веса и формат GGUF он не трогает, работа идёт на уровне копирований между системной памятью и видеопамятью.
Оговорка до всех деталей: 345 и 466 t/s это один замер на одной конфигурации, и автор прямо не обещает повторяемости. Прирост зависит от модели, квантования, CPU и настроек llama.cpp. Переносить эти цифры на другое железо как ожидаемый результат нельзя, да и на такой же связке разброс никто не исключал: в обсуждении автор приводит только одну пару чисел до и после.
Кому это интересно: одна RTX 3090 вместо второй карты
Типовая ситуация: 24 ГБ VRAM на RTX 3090 не вмещают крупную MoE-модель целиком, поэтому веса экспертов остаются в системной памяти и подгружаются на GPU по мере надобности. Карта держит attention и остальные слои, процессор считает экспертов. Так модель на 35 млрд параметров запускается на одной карте, без второй 3090 и без пересборки ПК.
Сценарий имеет смысл при трёх условиях:
- модель использует MoE, и эксперты реально вынесены на CPU через
-ot exps=CPUили аналогичный флаг; - вычисления на GPU идут быстро, и на их фоне заметны накладные расходы на пересылку данных;
- CPU способен эти эксперты считать: у Ryzen 7 7800X3D 96 МБ кэша L3, что для CPU-части offload полезно, но на слабом процессоре копирования ситуацию не вытянут.
Если модель плотная, экспертов в ней нет и выносить на CPU нечего. Тогда тюнить копирования, которых не возникает, бессмысленно. Ждать чуда и на маленькой VRAM не стоит: инструмент снимает часть накладных расходов на передачу данных, он не добавляет видеопамяти и не ускоряет процессор.
Почему при CPU-offload экспертов узким местом становятся копирования
В MoE-модели на каждый токен активируется лишь часть экспертов, остальные простаивают. У Qwen3.6-35B-A3B это видно по имени: около 35 млрд параметров всего и порядка 3 млрд активных на токен. Роутер выбирает экспертов под конкретный токен, поэтому держать все веса в видеопамяти не обязательно.
Цена схемы - регулярные копирования. Веса экспертов лежат в RAM, перед вычислением нужную часть надо передать на GPU, а результат вернуть обратно. PCIe между процессором и картой на порядок медленнее видеопамяти, и когда ядро GPU считает быстро, время уходит именно на пересылку. Мелкие частые копирования этот эффект усиливают: на каждую передачу тратится время на подготовку, и при тысячах операций накладные расходы складываются.
Оптимизации в llama.cpp идут и по линии самих вычислений, не только копирований: например, PR с объединением shared experts в MMVQ ускоряет часть MoE-моделей, но выигрыш касается не всех архитектур.
cudaMemcpy отвечает как раз за такие передачи. У операции есть параметры, влияющие на то, как проходит копирование, и универсально оптимальных значений нет: всё зависит от размера блоков, направления передачи и поведения драйвера. Вместо ручного перебора cudamemcpy-tuner прогоняет замер и подбирает набор под вашу конфигурацию.
Что именно инструмент перебирает и по какому алгоритму, в исходном обсуждении не раскрыто: там есть команда запуска и цифры до и после. Детали лежат в блоге автора и репозитории, ссылки на них указаны в том же посте (ссылки на блог и код). Додумывать внутреннее устройство не стоит: без чтения кода нельзя сказать, какие именно параметры cudaMemcpy попали в итоговый набор.
Prefill и генерация - это разные режимы
Prefill это обработка входного промпта: модель прогоняет все токены контекста сразу, пачкой, и заполняет KV-кэш. Генерация устроена иначе: по одному токену за шаг, с повторным чтением кэша. Нагрузка на память и на копирования у этих режимов разная, поэтому ускорение одного ничего не говорит о другом.
Замер выполнен с флагом -n 0, то есть генерация не измерялась вообще. Все 345 и 466 t/s относятся только к prefill. Как тюнинг влияет на скорость вывода токенов, в исходном материале не отражено, и если вам важна интерактивность в чате, этот замер сам по себе ответа не даёт.
Как воспроизвести замер: команды до и после тюнинга
Базовая команда без тюнинга, на ней автор получил prefill 345 t/s:
llama-bench -m Qwen3.6-35B-A3B-Q8_0.gguf -ngl 99 -fa 1 -ot exps=CPU -p 2048 -n 0 -r 3
Тот же конфиг с тюнингом, обёртка добавляет только подбор параметров копирования:
cmt tune -- llama-bench -m Qwen3.6-35B-A3B-Q8_0.gguf -ngl 99 -fa 1 -ot exps=CPU -p 2048 -n 0 -r 3
Результат: 466 t/s на prefill. В команде меняется одна вещь, наличие cmt tune, всё остальное идентично. Это и есть корректная постановка опыта с одной переменной: одинаковый файл модели, одинаковые флаги, одинаковое железо (команда и результаты замера).
Разбор флагов llama-bench в этом замере
| Флаг | Что делает |
|---|---|
-m | путь к GGUF-файлу модели, здесь Qwen3.6-35B-A3B-Q8_0.gguf |
-ngl 99 | все слои на GPU, насколько хватает VRAM |
-fa 1 | flash attention включён |
-ot exps=CPU | веса экспертов MoE остаются на CPU, на карте только нужные тензоры |
-p 2048 | длина промпта для замера prefill, 2048 токенов |
-n 0 | генерация отключена, измеряется только prefill |
-r 3 | три повтора, llama-bench усредняет результат |
Под свою модель конфиг придётся адаптировать: другое имя файла, другое квантование, другая раскладка слоёв по VRAM. При смене модели меняется и число копирований экспертов, поэтому оптимум параметров, найденный для Qwen3.6-35B-A3B Q8_0, не гарантирован для соседнего кванта или другой архитектуры.
Как корректно сравнить свои результаты
- Держите одинаковыми модель, квантование и все флаги: сравнение при разном
-nglили-faпокажет разницу конфигов, а не эффект тюнинга. - Не запускайте на фоне другие тяжёлые задачи: браузер с десятком вкладок и параллельная сборка съедят часть пропускной способности памяти.
- Смотрите prefill отдельно от генерации:
-n 0показывает обработку промпта, для вывода токенов нужен другой прогон. - Повторите несколько раз:
-r 3уже усредняет, но разброс между запусками всё равно полезно увидеть. - Не ждите ровно 466 t/s: цифра принадлежит конкретной связке RTX 3090 и Ryzen 7 7800X3D с Qwen3.6-35B-A3B Q8_0.
Ограничения подхода: где прирост может не появиться
Главное ограничение в том, что замер единичный. Одна связка, одна модель, одно квантование, один набор флагов. Практика показывает, что выводы из одного прогона часто не переносятся на другое железо целиком: сравнение RustingStrata и llama.cpp на RTX 3060 12 ГБ тоже даёт интересные цифры, но остаётся одним измерением на одной конфигурации.
- Измерен только prefill. Влияние на генерацию токенов в исходном материале не отражено, а именно генерация определяет отзывчивость чата.
- Результат зависит от модели и квантования: у MoE-моделей разное число экспертов, разный размер их весов и разная частота обращений к ним.
- Результат зависит от CPU: медленная память или слабый процессор сделают CPU-часть настолько медленной, что выигрыш от копирований растворится.
- Результат зависит от настроек llama.cpp: версия сборки,
-fa,-ngl, размер батча и распределение слоёв меняют профиль нагрузки. - Для плотных моделей и конфигураций без offload экспертов ускорять нечего.
- Инструмент не заменяет более быстрый CPU или большую VRAM, он снимает часть накладных расходов на копирования.
- Алгоритм подбора и список тюнимых параметров cudaMemcpy в исходном посте не раскрыты, оценить корректность внутренней логики без чтения кода нельзя.
Полезно помнить, как вообще проверять такие заявления: без методики и сценария процент ускорения мало что значит. Здесь методика как раз прозрачная: llama-bench, одинаковые флаги, только наличие обёртки меняется.
Стоит ли пробовать: практический вывод
Если вы уже запускаете крупную MoE-модель в llama.cpp с -ot exps=CPU на одной GPU, попробовать cmt tune имеет смысл. Это дешёвая проверка: команда та же, что и в вашем обычном бенчмарке, добавляется одно слово. Худший исход - результат не изменится, и вы вернётесь к прежнему запуску.
Если модель не MoE, эксперты не вынесены на CPU, а VRAM хватает на всё целиком, оптимизировать копирования нечего. Слабый процессор тоже повод скорректировать ожидания: копирования это лишь часть пути, вторая половина нагрузки лежит на CPU.
Проверять эффект нужно на своём сценарии. Prefill важен для длинных промптов, вставки больших документов и работы с кодом. Для диалога на коротких репликах куда важнее скорость генерации, а её автор замера не измерял.
Параллельно полезно смотреть на другие подходы к той же проблеме нехватки VRAM: схемы вне-ядерной подгрузки экспертов вроде Betelgeuse и патчи для MoE-инференса в llama.cpp решают ту же задачу иначе, и выбор между ними зависит от вашего железа и модели.
Код, блог с деталями алгоритма и обсуждение замера автор выложил публично. Скачивать стоит именно оттуда: сторонние пересборки легко теряют версию, на которой получены 466 t/s.