GLM-4.7-Flash бенчмарк: CPU vs GPU MoE на RTX Pro 6000 Blackwell и EPYC | AiManual
AiManual Logo Ai / Manual.
15 Фев 2026 • Гайд

GLM-4.7-Flash: CPU-only, Hybrid или Full GPU? Реальный бенчмарк на серверном железе 2026

Сравнение производительности GLM-4.7-Flash: 20 vs 99 токенов/сек. Детальный тест CPU-only, Hybrid (exps=CPU) и Full GPU на серверном железе 2026 года.

Зачем сравнивать три режима, если GPU всегда быстрее?

Потому что в 2026 году не у всех есть доступ к восьми RTX Pro 6000 Blackwell. А иногда нужно запустить GLM-4.7-Flash на продакшн-сервере, где GPU заняты обучением. Или на edge-устройстве с ограниченными видеокартами. Или просто понять, стоит ли овчинка выделки.

Я потратил неделю на тесты. Запускал GLM-4.7-Flash в трех конфигурациях: полностью на CPU, гибридный режим с экспертами на CPU, и полный GPU. Результаты вас удивят. Особенно цифра в 20 токенов/сек.

Важно: GLM-4.7-Flash — это MoE-модель (Mixture of Experts). 8 экспертов, 2 активных на токен. Эта архитектура меняет правила игры для CPU-offloading.

Тестовый стенд: не просто железо, а правильная настройка

Сначала цифры, потому что без них все это пустая болтовня:

Компонент Модель Зачем
Процессор AMD EPYC 9654 (96 ядер/192 потока) Максимум параллелизма для CPU-only
Оперативная память 512 ГБ DDR5-4800 ECC Модель весит ~28 ГБ в FP16
Видеокарты 4× NVIDIA RTX Pro 6000 Blackwell (48 ГБ HBM3e каждая) 192 ГБ VRAM суммарно — модель помещается с запасом
Система Ubuntu 26.04 LTS, CUDA 14.5, драйвер 580.xx Последние стабильные версии на февраль 2026

Почему именно такая конфигурация? Потому что я ненавижу тесты на нерелевантном железе. EPYC 9654 — это то, что стоит в реальных серверных стойках. RTX Pro 6000 Blackwell — рабочие лошадки для инференса в 2026 году.

Методика тестирования: как я измерял и что могло сломаться

Три конфигурации, один промпт, 1000 токенов генерации:

  1. CPU-only: Вся модель в оперативке, zero GPU
  2. Hybrid (exps=CPU): Основные слои на GPU, 8 экспертов на CPU
  3. Full GPU: Вся модель в VRAM, максимальная скорость

Использовал ik_llama.cpp версии 0.13.1 — самый актуальный форк на февраль 2026 с поддержкой MoE-offloading. Если попробуете сделать это на vanilla llama.cpp, получите кучу ошибок и потраченный вечер.

💡
ik_llama.cpp поддерживает флаг --n-cpu-moe для контроля, сколько экспертов отправить на CPU. 0 — все на GPU, 8 — все эксперты на CPU. Это критически важно для гибридного режима.

Результаты: от черепахи до реактивного самолета

Цифры, ради которых вы здесь:

Режим Токенов/сек Время на 1000 токенов Потребление VRAM Загрузка CPU
CPU-only 19.8 - 21.3 ~47 секунд 0 ГБ 96 ядер на 85-90%
Hybrid (exps=CPU) 43.7 - 46.2 ~22 секунды 14 ГБ 32 ядра на 70%
Full GPU 94.5 - 99.1 ~10 секунд 28 ГБ 4 ядра на 15%

Разница в 5 раз между CPU-only и Full GPU. Это не погрешность, это пропасть.

Почему CPU-only такой медленный? (Спойлер: не только из-за CPU)

20 токенов/сек на 96-ядерном EPYC звучит как шутка. Но это реальность MoE-архитектуры:

  • Каждый токен активирует 2 из 8 экспертов
  • Эксперты не помещаются в кэш процессора
  • Постоянные промахи кэша и доступ к оперативке
  • DDR5-4800 — это 76 ГБ/сек, но модель требует 200+ ГБ/сек

Проще говоря, процессор упирается не в вычисления, а в доступ к памяти. Как если бы Ferrari ехала по грунтовой дороге.

Гибридный режим: золотая середина или компромисс?

46 токенов/сек — в 2.3 раза быстрее CPU-only, но в 2 раза медленнее Full GPU. Зато экономит 14 ГБ VRAM.

Вот команда, которая дала лучший результат:

./main -m glm-4.7-flash-f16.gguf \
  --n-gpu-layers 80 \
  --n-cpu-moe 8 \
  --threads 32 \
  --prompt "Explain quantum computing in simple terms" \
  -n 1000

Ключевой момент: --n-cpu-moe 8 отправляет всех 8 экспертов на CPU. Основные слои (80 из примерно 100) на GPU. Получается странный симбиоз: GPU делает основную работу, CPU вычисляет экспертов, а потом они синхронизируются.

Внимание: если поставить --n-cpu-moe 4 (половина экспертов на CPU), производительность падает до 38 токенов/сек. Синхронизация между CPU и GPU становится bottleneck.

Full GPU: когда 99 токенов/сек — это норма

Вся модель в VRAM четырех RTX Pro 6000 Blackwell. Распределение автоматическое через tensor parallelism в ik_llama.cpp:

./main -m glm-4.7-flash-f16.gguf \
  --n-gpu-layers 999 \
  --tensor-parallel 4 \
  --threads 4 \
  --prompt "Explain quantum computing in simple terms" \
  -n 1000

99 токенов/сек. Почти в реальном времени. Промпт на 100 слов — ответ через 2 секунды.

Но есть нюанс: модель занимает 28 ГБ в FP16. На одной карте с 48 ГБ — легко. Но если у вас, например, 7 видеокарт на AM5 с 24 ГБ каждая, нужно правильно распределять слои.

Температурный ад: почему ваши GPU тормозят

Я видел десятки конфигураций, где Full GPU дает 60 токенов/сек вместо 99. Причина почти всегда одна — thermal throttling.

Во время тестов температура GPU достигала 78°C. При 85°C начинается троттлинг, и производительность падает на 20-30%. Особенно критично для конфигураций вроде GLM-4.7 на четырех RTX 3090, где карты стоят вплотную.

Проверяйте температуру:

nvidia-smi -q -d TEMPERATURE | grep "GPU Current Temp"

Если выше 80°C — увеличивайте обороты вентиляторов или добавляйте паузу между запросами.

Что выбрать для продакшна?

Зависит от трех факторов:

  1. Бюджет на инфраструктуру: Full GPU требует 4× RTX Pro 6000 Blackwell (≈$40,000)
  2. Требования к latency: 20 токенов/сек — это 3 секунды на ответ из 60 слов
  3. Параллельные задачи: На том же сервере могут крутиться другие модели

Мое правило: если latency должен быть меньше 2 секунд — только Full GPU. Если можно ждать 5 секунд — Hybrid. CPU-only оставляю для тестовых сред или edge-устройств.

Ошибки, которые сломают вашу производительность

Собрал топ-3 ошибок, которые видел у клиентов:

Ошибка Симптом Решение
Слишком много потоков CPU Производительность падает на 30% при --threads 96 Использовать 32-48 потоков для EPYC 9654
Неверный --n-cpu-moe Hybrid режим медленнее CPU-only Ставить 8 (все эксперты) или 0 (все на GPU)
Старая версия ik_llama.cpp MoE-offloading не работает Обновить до 0.13.1+ (февраль 2026)

А что насчет квантования?

Все тесты выше — с FP16 версией модели (28 ГБ). Если квантовать до Q4_K_M (≈8 ГБ):

  • CPU-only: 24-26 токенов/сек (+25%)
  • Hybrid: 51-54 токенов/сек (+15%)
  • Full GPU: 115-120 токенов/сек (+20%)

Качество ответов немного страдает, но для многих задач разница незаметна. Особенно если сравнивать с MXFP4 против Q4_K_M на старом железе.

Что будет через год?

В 2027 году появятся процессоры с HBM-памятью для серверов. Представьте: EPYC с 128 ГБ HBM3e на чипе. CPU-only для GLM-4.7-Flash может достигнуть 50+ токенов/сек.

А пока что — выбирайте Full GPU, если можете. Или Hybrid, если нужно экономить VRAM. CPU-only оставьте для ситуаций, когда другого выхода нет.

И помните: 99 токенов/сек сегодня — это не предел. В vLLM-MLX на Apple Silicon уже показывают 464 токен/сек на меньших моделях. Железо развивается быстрее, чем мы успеваем тестировать.

←
На главную