Перейти к содержанию
Публикация AiManual

Тюнинг cudaMemcpy для MoE-offload: prefill Qwen3.6 35B-A3B вырос с 345 до 466 t/s на одной RTX 3090

Разбираем cudamemcpy-tuner: как подбор параметров cudaMemcpy ускоряет CPU-offload экспертов MoE в llama.cpp и поднял prefill Qwen3.6-35B-A3B Q8_0 с 345 до 466 t

Коротко

Что будет в материале

  1. 01

    Что даёт cudamemcpy-tuner и кому этот сценарий вообще нужен

  2. 02

    Почему при CPU-offload экспертов узким местом становятся копирования

  3. 03

    Как воспроизвести замер: команды до и после тюнинга

  4. 04

    Ограничения подхода: где прирост может не появиться

Что даёт cudamemcpy-tuner и кому этот сценарий вообще нужен

cudamemcpy-tuner это инструмент разработчика Maknee: он подбирает параметры копирования памяти cudaMemcpy и за счёт этого ускоряет CPU-offload экспертов MoE-моделей в llama.cpp. В опубликованном замере на одной RTX 3090 и Ryzen 7 7800X3D с Qwen3.6-35B-A3B в квантовании Q8_0 и флагом -ot exps=CPU prefill вырос с 345 до 466 t/s при том же конфиге llama-bench. Это примерно +35% к скорости обработки промпта, без второй видеокарты и без смены квантования.

Применение устроено просто: тюнинг запускается обёрткой cmt tune вокруг привычной команды llama-bench. Модель, квантование и флаги остаются прежними, инструмент подбирает под вашу связку GPU, CPU и модели параметры передачи данных. Веса и формат GGUF он не трогает, работа идёт на уровне копирований между системной памятью и видеопамятью.

Оговорка до всех деталей: 345 и 466 t/s это один замер на одной конфигурации, и автор прямо не обещает повторяемости. Прирост зависит от модели, квантования, CPU и настроек llama.cpp. Переносить эти цифры на другое железо как ожидаемый результат нельзя, да и на такой же связке разброс никто не исключал: в обсуждении автор приводит только одну пару чисел до и после.

Кому это интересно: одна RTX 3090 вместо второй карты

Типовая ситуация: 24 ГБ VRAM на RTX 3090 не вмещают крупную MoE-модель целиком, поэтому веса экспертов остаются в системной памяти и подгружаются на GPU по мере надобности. Карта держит attention и остальные слои, процессор считает экспертов. Так модель на 35 млрд параметров запускается на одной карте, без второй 3090 и без пересборки ПК.

Сценарий имеет смысл при трёх условиях:

  • модель использует MoE, и эксперты реально вынесены на CPU через -ot exps=CPU или аналогичный флаг;
  • вычисления на GPU идут быстро, и на их фоне заметны накладные расходы на пересылку данных;
  • CPU способен эти эксперты считать: у Ryzen 7 7800X3D 96 МБ кэша L3, что для CPU-части offload полезно, но на слабом процессоре копирования ситуацию не вытянут.

Если модель плотная, экспертов в ней нет и выносить на CPU нечего. Тогда тюнить копирования, которых не возникает, бессмысленно. Ждать чуда и на маленькой VRAM не стоит: инструмент снимает часть накладных расходов на передачу данных, он не добавляет видеопамяти и не ускоряет процессор.

Почему при CPU-offload экспертов узким местом становятся копирования

В MoE-модели на каждый токен активируется лишь часть экспертов, остальные простаивают. У Qwen3.6-35B-A3B это видно по имени: около 35 млрд параметров всего и порядка 3 млрд активных на токен. Роутер выбирает экспертов под конкретный токен, поэтому держать все веса в видеопамяти не обязательно.

Цена схемы - регулярные копирования. Веса экспертов лежат в RAM, перед вычислением нужную часть надо передать на GPU, а результат вернуть обратно. PCIe между процессором и картой на порядок медленнее видеопамяти, и когда ядро GPU считает быстро, время уходит именно на пересылку. Мелкие частые копирования этот эффект усиливают: на каждую передачу тратится время на подготовку, и при тысячах операций накладные расходы складываются.

Оптимизации в llama.cpp идут и по линии самих вычислений, не только копирований: например, PR с объединением shared experts в MMVQ ускоряет часть MoE-моделей, но выигрыш касается не всех архитектур.

cudaMemcpy отвечает как раз за такие передачи. У операции есть параметры, влияющие на то, как проходит копирование, и универсально оптимальных значений нет: всё зависит от размера блоков, направления передачи и поведения драйвера. Вместо ручного перебора cudamemcpy-tuner прогоняет замер и подбирает набор под вашу конфигурацию.

Что именно инструмент перебирает и по какому алгоритму, в исходном обсуждении не раскрыто: там есть команда запуска и цифры до и после. Детали лежат в блоге автора и репозитории, ссылки на них указаны в том же посте (ссылки на блог и код). Додумывать внутреннее устройство не стоит: без чтения кода нельзя сказать, какие именно параметры cudaMemcpy попали в итоговый набор.

Prefill и генерация - это разные режимы

Prefill это обработка входного промпта: модель прогоняет все токены контекста сразу, пачкой, и заполняет KV-кэш. Генерация устроена иначе: по одному токену за шаг, с повторным чтением кэша. Нагрузка на память и на копирования у этих режимов разная, поэтому ускорение одного ничего не говорит о другом.

Замер выполнен с флагом -n 0, то есть генерация не измерялась вообще. Все 345 и 466 t/s относятся только к prefill. Как тюнинг влияет на скорость вывода токенов, в исходном материале не отражено, и если вам важна интерактивность в чате, этот замер сам по себе ответа не даёт.

Как воспроизвести замер: команды до и после тюнинга

Базовая команда без тюнинга, на ней автор получил prefill 345 t/s:

llama-bench -m Qwen3.6-35B-A3B-Q8_0.gguf -ngl 99 -fa 1 -ot exps=CPU -p 2048 -n 0 -r 3

Тот же конфиг с тюнингом, обёртка добавляет только подбор параметров копирования:

cmt tune -- llama-bench -m Qwen3.6-35B-A3B-Q8_0.gguf -ngl 99 -fa 1 -ot exps=CPU -p 2048 -n 0 -r 3

Результат: 466 t/s на prefill. В команде меняется одна вещь, наличие cmt tune, всё остальное идентично. Это и есть корректная постановка опыта с одной переменной: одинаковый файл модели, одинаковые флаги, одинаковое железо (команда и результаты замера).

Разбор флагов llama-bench в этом замере

ФлагЧто делает
-mпуть к GGUF-файлу модели, здесь Qwen3.6-35B-A3B-Q8_0.gguf
-ngl 99все слои на GPU, насколько хватает VRAM
-fa 1flash attention включён
-ot exps=CPUвеса экспертов MoE остаются на CPU, на карте только нужные тензоры
-p 2048длина промпта для замера prefill, 2048 токенов
-n 0генерация отключена, измеряется только prefill
-r 3три повтора, llama-bench усредняет результат

Под свою модель конфиг придётся адаптировать: другое имя файла, другое квантование, другая раскладка слоёв по VRAM. При смене модели меняется и число копирований экспертов, поэтому оптимум параметров, найденный для Qwen3.6-35B-A3B Q8_0, не гарантирован для соседнего кванта или другой архитектуры.

Как корректно сравнить свои результаты

  • Держите одинаковыми модель, квантование и все флаги: сравнение при разном -ngl или -fa покажет разницу конфигов, а не эффект тюнинга.
  • Не запускайте на фоне другие тяжёлые задачи: браузер с десятком вкладок и параллельная сборка съедят часть пропускной способности памяти.
  • Смотрите prefill отдельно от генерации: -n 0 показывает обработку промпта, для вывода токенов нужен другой прогон.
  • Повторите несколько раз: -r 3 уже усредняет, но разброс между запусками всё равно полезно увидеть.
  • Не ждите ровно 466 t/s: цифра принадлежит конкретной связке RTX 3090 и Ryzen 7 7800X3D с Qwen3.6-35B-A3B Q8_0.

Ограничения подхода: где прирост может не появиться

Главное ограничение в том, что замер единичный. Одна связка, одна модель, одно квантование, один набор флагов. Практика показывает, что выводы из одного прогона часто не переносятся на другое железо целиком: сравнение RustingStrata и llama.cpp на RTX 3060 12 ГБ тоже даёт интересные цифры, но остаётся одним измерением на одной конфигурации.

  • Измерен только prefill. Влияние на генерацию токенов в исходном материале не отражено, а именно генерация определяет отзывчивость чата.
  • Результат зависит от модели и квантования: у MoE-моделей разное число экспертов, разный размер их весов и разная частота обращений к ним.
  • Результат зависит от CPU: медленная память или слабый процессор сделают CPU-часть настолько медленной, что выигрыш от копирований растворится.
  • Результат зависит от настроек llama.cpp: версия сборки, -fa, -ngl, размер батча и распределение слоёв меняют профиль нагрузки.
  • Для плотных моделей и конфигураций без offload экспертов ускорять нечего.
  • Инструмент не заменяет более быстрый CPU или большую VRAM, он снимает часть накладных расходов на копирования.
  • Алгоритм подбора и список тюнимых параметров cudaMemcpy в исходном посте не раскрыты, оценить корректность внутренней логики без чтения кода нельзя.

Полезно помнить, как вообще проверять такие заявления: без методики и сценария процент ускорения мало что значит. Здесь методика как раз прозрачная: llama-bench, одинаковые флаги, только наличие обёртки меняется.

Стоит ли пробовать: практический вывод

Если вы уже запускаете крупную MoE-модель в llama.cpp с -ot exps=CPU на одной GPU, попробовать cmt tune имеет смысл. Это дешёвая проверка: команда та же, что и в вашем обычном бенчмарке, добавляется одно слово. Худший исход - результат не изменится, и вы вернётесь к прежнему запуску.

Если модель не MoE, эксперты не вынесены на CPU, а VRAM хватает на всё целиком, оптимизировать копирования нечего. Слабый процессор тоже повод скорректировать ожидания: копирования это лишь часть пути, вторая половина нагрузки лежит на CPU.

Проверять эффект нужно на своём сценарии. Prefill важен для длинных промптов, вставки больших документов и работы с кодом. Для диалога на коротких репликах куда важнее скорость генерации, а её автор замера не измерял.

Параллельно полезно смотреть на другие подходы к той же проблеме нехватки VRAM: схемы вне-ядерной подгрузки экспертов вроде Betelgeuse и патчи для MoE-инференса в llama.cpp решают ту же задачу иначе, и выбор между ними зависит от вашего железа и модели.

Код, блог с деталями алгоритма и обсуждение замера автор выложил публично. Скачивать стоит именно оттуда: сторонние пересборки легко теряют версию, на которой получены 466 t/s.

Подписаться на канал