Эксперимент с моделью Qwen 3.6 35B A3B выявил парадокс оптимизации CPU/GPU оффлоуда для архитектур Mixture-of-Experts (MoE). Основным узким местом оказалась не вычислительная мощность GPU, а латентность шины PCIe при ожидании данных. Исследование предлагает использовать MTP-головку, уже задействованную в спекулятивном декодировании, для предсказания следующих токенов. Это позволяет определить, какие эксперты понадобятся на следующем шаге, и инициировать их фоновую предзагрузку. Метод достигает 78% точности предсказания при top-8 и теоретически поднимает скорость генерации с базовых 35 токенов в секунду до уровня, ограниченного только пропускной способностью VRAM - 180-200 токенов/сек.
Проблема: почему оффлоуд MoE-моделей тормозит на PCIe, а не на вычислениях
Типичный сценарий CPU/GPU оффлоуда для больших MoE-моделей, таких как Qwen 3.6 35B A3B, сталкивается с фундаментальным ограничением. Профилирование времени показывает, что основная задержка возникает не во время вычислений на GPU, а при ожидании загрузки весов экспертов из оперативной памяти CPU в видеопамять GPU. Базовый бенчмарк в 35 токенов/сек - прямое следствие этой проблемы. Латентность PCIe становится доминирующим фактором, особенно при работе с десятками или сотнями экспертов, выбор которых динамичен и непредсказуем для каждого токена.
Архитектура MoE и её цена при оффлоуде
Принцип работы Mixture-of-Experts основан на маршрутизаторе (router), который для каждого входного токена активирует top-k экспертов - небольшие нейросетевые блоки. В плотных (dense) моделях все веса загружаются в VRAM один раз. В MoE-архитектуре необходимо динамически подгружать разных экспертов в VRAM по мере их активации. Это создаёт непредсказуемый и интенсивный трафик данных между CPU и GPU, что приводит к «проседанию» производительности при оффлоуде.
Эксперимент с Qwen 3.6 35B A3B: цифры, подтверждающие bottleneck
В эксперименте использовалась стандартная установка для оффлоуда: CPU с большим объёмом RAM и высокопроизводительный GPU. Данные профилирования чётко показали соотношение времени: на передачу данных по PCIe уходило до 70% от общего времени генерации одного токена. Пропускная способность (bandwidth) шины PCIe Gen4 или Gen5 не была лимитом. Проблема заключалась в высокой латентности (latency) и её непредсказуемости из-за динамического выбора экспертов маршрутизатором. Каждый запрос на загрузку нового эксперта вызывал задержку, которая блокировала вычислительный конвейер GPU.
Решение: предсказание следующих экспертов через MTP-головку модели
Концепция MTP-головки (Multi-Token Prediction) изначально используется в спекулятивном декодировании для параллельного предсказания нескольких следующих токенов. Идея исследования - использовать эту же голову не для генерации, а для предсказания вероятностного распределения *следующих* токенов на основе текущего контекста. Логическая цепочка проста: предсказанные токены → предсказанные эксперты (через маршрутизатор модели) → фоновая предзагрузка этих экспертов в VRAM. Архитектурное изменение заключается в создании параллельного асинхронного пайплайна, где предсказание и предзагрузка идут на шаг впереди основной генерации.
От предсказания токенов к предзагрузке экспертов: техническая реализация
Метод реализуется в пять шагов. Во время генерации токена t, MTP-головка параллельно предсказывает вероятности для токенов t+1, t+2, ... t+n. Затем выбираются top-k наиболее вероятных следующих токенов, например, top-8. Эти токены-кандидаты пропускаются через маршрутизатор (router) модели для определения набора экспертов, которые потенциально понадобятся. Система инициирует асинхронную фоновую загрузку весов этих экспертов из CPU RAM в GPU VRAM через PCIe. Когда основная генерация переходит к токену t+1, необходимые данные уже находятся в VRAM, что скрывает латентность.
Точность предсказания 78% (top-8): почему этого достаточно
Метрика 78% точности означает, что в 78% случаев следующий реальный токен находится среди 8 предсказанных кандидатов. Для эффективного скрытия латентности PCIe не требуется точность 100%. Достаточно высокой вероятности попадания, чтобы предзагрузка в большинстве случаев была полезной и компенсировала задержки. Существует компромисс: увеличение k (top-16, top-32) повышает вероятность попадания, но также увеличивает объём данных для предзагрузки и может привести к конфликту за память (contention). Top-8 оказался оптимальным балансом для модели Qwen 3.6 35B A3B.
Результаты и потенциал: от 35 до 180+ токенов в секунду
Сравнение бенчмарков демонстрирует радикальный сдвиг. Исходная скорость, ограниченная латентностью PCIe, составляла 35 токенов/сек. После внедрения метода предсказания и предзагрузки теоретический предел скорости упирается в пропускную способность VRAM и вычислительную мощность GPU, достигая 180-200 токенов/сек. Это потенциальное ускорение в 5-6 раз. Рост не бесконечен - после устранения латентности bottleneck смещается. Оценка окупаемости показывает, что сложность реализации метода оправдана для сценариев, где скорость инференса критична. Простое кэширование всех экспертов требует непрактично огромного объёма VRAM, в то время как этот метод предлагает интеллектуальную альтернативу.
Степенной закон распределения экспертов: ключ к дополнительной оптимизации
Исследование выявило дополнительный инсайт: использование экспертов в MoE-модели подчиняется степенному закону (power law). Это означает, что небольшая группа экспертов используется чрезвычайно часто, а большая часть - редко. Практический вывод для долгосрочной архитектуры - комбинация динамического метода предсказания и статического кэширования топ-10% самых популярных экспертов в VRAM может дать синергетический эффект. Такой гибридный подход ещё больше снижает нагрузку на шину PCIe и повышает эффективность использования памяти.
Применимость метода: не только Qwen и не только A3B
Метод предсказания экспертов через MTP-головку имеет определённые условия для работы. Требуется MoE-архитектура, наличие MTP-головки или аналогичного механизма предсказания токенов, а также поддержка асинхронных операций загрузки данных в используемом фреймворке. Анализ показывает применимость к другим семействам MoE-моделей, таким как Mixtral или DeepSeek MoE, при условии наличия у них аналогичных механизмов предсказания. Изменение параметров, например, top-k в маршрутизаторе или глубины предсказания n, напрямую влияет на точность и вычислительный overhead. Метод менее эффективен для задач с очень низкой перплексией, где предсказание тривиально, или с полной случайностью, где оно невозможно.
Интеграция в существующие системы инференса
Для практического внедрения необходимо оценить совместимость с популярными фреймворками, такими как vLLM или Hugging Face Text Generation Inference. Требуемые изменения в коде включают модификацию ядра генерации для запуска MTP-предсказания и добавление асинхронного менеджера памяти для фоновой загрузки. Необходимо учитывать overhead - дополнительные вычисления для работы MTP-головки, которые, однако, минимальны по сравнению с выигрышем от скрытия латентности. Этот подход демонстрирует, как можно творчески перепрофилировать существующие компоненты моделей для решения системных проблем производительности.
Для более глубокого понимания компромиссов при работе с MoE-моделями в условиях ограниченных ресурсов рекомендуем статью «Практическое тестирование двух гигантов на стандартном оборудовании», где детально разбирается влияние архитектуры Mixture of Experts на качество и скорость.
Выводы и перспективы: куда движется оптимизация инференса MoE
Резюме исследования однозначно: основное узкое место в CPU/GPU оффлоуде MoE-моделей - латентность передачи данных, а не вычислительная мощность. Решение этой проблемы лежит в предсказании для скрытия этой латентности. Главный вывод - существующие компоненты моделей, такие как MTP-головка, можно творчески перепрофилировать для решения системных проблем, что открывает новые пути для оптимизации. Это указывает на общий тренд: оптимизация больших моделей смещается с чисто алгоритмических улучшений на системную инженерию и совместное проектирование аппаратного и программного обеспечения (co-design). Представленный подход - конкретный, проверенный исследованием шаг к значительному ускорению инференса MoE-моделей на гибридных CPU/GPU системах.
Чтобы оставаться в курсе передовых архитектурных решений и их практической реализации, изучите наш разбор производительности GLM-5.2 на 8× GB10, где анализируются пределы скорости prefill и decode для современных гибридных систем.