Перейти к содержанию
Публикация AiManual

1Cat-vLLM против Strata на 4×Tesla V100: разбор скорости с Qwen3-Next

Разбираем замеры 1Cat-vLLM и Strata на четырёх Tesla V100 16 ГБ с Qwen3.8-Flash-Next: где decode быстрее в 1,7-1,9 раза, почему prefill проседает на промпте 100

Коротко

Что будет в материале

  1. 01

    Кто быстрее: короткий ответ по 1Cat-vLLM и Strata

  2. 02

    Тестовый стенд и модель: что именно сравнивали

  3. 03

    Методика замеров: prefill, decode и режимы нагрузки

  4. 04

    Результаты в режиме одного потока: где 1Cat обходит Strata

Кто быстрее: короткий ответ по 1Cat-vLLM и Strata

На стенде из четырёх Tesla V100 по 16 ГБ, объединённых через PCIe 3 x16, с процессором Epyc 7543 и 8-канальной DDR4-3200 форк 1Cat-vLLM обходит Strata по скорости decode почти во всех сценариях, включая батч-режим. Модель одна и та же: Qwen3.8-Flash-Next в кванте UD-IQ3_XXS. Единственное место, где Strata забирает победу, это prefill на промптах около 100 тыс. токенов, там перевес примерно 1,2x.

Цифры взяты из одной пользовательской публикации в r/LocalLLaMA (оригинальный пост с таблицами и конфигурацией). Это не независимый бенчмарк: другая сборка, другие флаги запуска или другой квант способны перевернуть картину. Оба движка собраны из исходников под sm_70, готовых бинарников под V100 у них нет.

Техническая подоплёка такая. 1Cat раскладывает модель через tensor parallel на 4 GPU, Strata использует layer split по 4 GPU, tensor parallel для V100 в ней не включён. У 1Cat ниже acceptance MTP-драфтера: 0,45-0,66 против 0,61-0,72 у Strata. Итоговый decode у него всё равно выше в 1,7-1,9 раза, то есть acceptance rate не определяет скорость генерации в одиночку.

Ориентир по сценариям, если нет времени читать таблицы:

СценарийКто быстрееРазрыв
Одиночный поток, decode, промпты 2,6-97 тыс. токенов1Cat-vLLM1,7-1,9x
Одиночный поток, prefill, промпты до 30 тыс. токенов1Cat-vLLM1,1-2,2x
Prefill на промпте около 100 тыс. токеновStrataоколо 1,2x
Батч, 2 запроса (промпт 2,6 тыс. токенов)1Cat-vLLM2x по суммарному decode
Батч, 4 запроса (промпт 8,7 тыс. токенов)1Cat-vLLM1,4x по суммарному decode

Prefill отвечает за время до первого токена, decode за скорость вывода. Для чата важнее второе, для RAG по большим документам первое. Отсюда и разные победители в разных задачах.

Тестовый стенд и модель: что именно сравнивали

Конфигурация целиком: четыре Tesla V100 по 16 ГБ, каждая подключена по PCIe 3 x16, CPU Epyc 7543, 8-канальная память DDR4-3200. Модель Qwen3.8-Flash-Next в кванте UD-IQ3_XXS, один и тот же файл весов для обоих движков. На стенде нет NVLink, весь обмен между картами идёт через PCIe.

Почему V100 требует сборки под sm_70

sm_70 это обозначение compute capability 7.0, архитектуры Volta, на которой построена V100. В релизных сборках движков ядер под неё нет, поэтому оба форка пришлось собирать из исходников. Использовались CUDA 12.9.1 и gcc-14, для 1Cat в наборе зависимостей указаны также torch 2.10.0+cu128 и NCCL 2.27.5.

Отсюда первое практическое следствие: сравнивать скачанные релизы на V100 бессмысленно, рабочая конфигурация собирается вручную. Второе: версии CUDA, torch и NCCL входят в условия эксперимента, их смена может сдвинуть результат.

Модель Qwen3.8-Flash-Next UD-IQ3_XXS и что значит квант IQ3_XXS

UD-IQ3_XXS это агрессивное квантование семейства IQ3: веса хранятся в низкой разрядности, за счёт чего модель помещается в ограниченную VRAM, а при вычислениях тратится время на распаковку. Такая схема меняет и требования к памяти, и соотношение prefill/decode. Все приведённые ниже цифры относятся только к этому кванту на этом железе. Переносить их на Q4, Q5, Q8 или BF16 без собственных замеров нельзя: там другая пропускная способность памяти и другая нагрузка на вычислители. Как ведут себя другие кванты Qwen 3.8 на 16 ГБ VRAM, мы разбирали в материале про три кванта Qwen 3.8 на AtCoder.

Методика замеров: prefill, decode и режимы нагрузки

Prefill это обработка входного промпта перед генерацией, его скорость измеряется в токенах промпта в секунду. Decode это собственно генерация, она измеряется в токенах ответа в секунду. Метрики независимы, поэтому движок может выигрывать в одной и проигрывать в другой.

В режиме одного потока замеры брались как медиана 3 запусков. Исключение одно: промпт на 96 588 токенов прогнали один раз, чтобы сэкономить время. В батч-режиме замеры это медиана 2 запусков, сценариев два: 2 одновременных запроса с промптом 2,6 тыс. токенов и 4 запроса с промптом 8,7 тыс. токенов. Для Strata отдельно показан режим batch-MTP, включаемый флагами --batch-mtp и переменной STRATA_PIPED_MTP=1: это лучший батч-режим Strata в данной сборке.

Почему меняли промпт на 103 тыс. токенов

Кэш prefill искажает повторные прогоны: если текст не менялся, второй запуск частично попадает в уже посчитанные блоки и показывает завышенный tok/s. Чтобы этого избежать, промпт около 103 тыс. токенов между тремя прогонами слегка правили. Цифры по трём запускам: decode у 1Cat 99,9, 138,4 и 123,5 tok/s против 70,8, 78,9 и 77,8 tok/s у Strata; prefill у Strata 3 398, 3 340 и 3 348 tok/s против 2 736, 2 752 и 2 751 tok/s у 1Cat. Разброс внутри серии заметный, но порядок лидерства не меняется.

Что такое per-stream и суммарный decode в батче

Суммарный decode показывает, сколько токенов в секунду выдаёт весь движок на всех запросах вместе. Per-stream это скорость одного запроса, то есть суммарный показатель, поделённый между потоками. Метрики отвечают на разные вопросы: суммарная нужна для пропускной способности сервиса, per-stream для того, что увидит отдельный пользователь. В разборе ниже приведены обе, чтобы не путать 176 tok/s суммарно с 176 tok/s на один чат.

Результаты в режиме одного потока: где 1Cat обходит Strata

Четыре точки по длине промпта, медиана 3 запусков (кроме промпта 96 588 токенов):

Промпт, токеновPrefill Strata, tok/sPrefill 1Cat, tok/sDecode Strata, tok/sDecode 1Cat, tok/sMTP acceptance Strata / 1Cat
2 6548611 85074,8124,90,61 / 0,45
8 6741 1462 48379,3140,80,67 / 0,66
30 2992 4802 77676,4139,30,63 / 0,58
96 5883 3842 64977,2142,60,72 / 0,62

Decode у 1Cat держится в диапазоне 124,9-142,6 tok/s, у Strata 74,8-79,3 tok/s. Разрыв стабилен: 1,67x на коротком промпте, 1,78x на 8,7 тыс., 1,82x на 30 тыс., 1,85x на 96 тыс. токенов. Скорость Strata при этом почти не растёт с длиной промпта, а у 1Cat слегка увеличивается.

Prefill ведёт себя иначе. На коротком промпте 1Cat быстрее более чем вдвое (1 850 против 861 tok/s), на 8,7 тыс. токенов тоже вдвое (2 483 против 1 146). На 30 тыс. разрыв сжимается до 12% (2 776 против 2 480), а на 96 тыс. Strata выходит вперёд: 3 384 против 2 649 tok/s, то есть на 28%. Причина в том, что Strata разгоняется по prefill с ростом длины промпта, а 1Cat на этом участке выходит на плато.

Acceptance MTP-драфтера у 1Cat ниже во всех точках, кроме второй, где значения почти равны (0,66 против 0,67). На итоговый decode это не влияет: 1Cat выигрывает даже там, где проигрывает по acceptance на 0,1-0,16.

Почему tensor parallel в 1Cat обгоняет layer split в Strata

Tensor parallel делит внутри каждого слоя матрицы весов между GPU, и слои считаются совместно. Такая схема нагружает межкарточный обмен на каждом слое: нужны постоянные пересылки и синхронизация (all-reduce). Layer split проще: целые слои распределяются по картам, и данные переезжают между GPU только на границах групп слоёв, то есть реже.

На бумаге для V100 без NVLink, где всё общение идёт по PCIe 3 x16, выгоднее выглядит layer split: меньше трафика, меньше задержек синхронизации. Замеры показывают обратное для decode. Пакет с исходными данными не содержит объяснения от автора, поэтому дальше интерпретация, а не измеренный факт. Одна из причин: при tensor parallel все четыре карты держат одну и ту же последовательность и работают на генерации почти синхронно, а layer split превращает конвейер, где в каждый момент активно меньше карт, и итоговая пропускная способность упирается в самый медленный этап.

Второй фактор: квант IQ3_XXS и распаковка весов. При tensor parallel веса слоя делятся на четыре части и распаковываются параллельно на разных GPU. При layer split каждый слой распаковывает одна карта, и если её память или вычислители заняты, остальные три ждут.

Вывод осторожный: на этой конфигурации и этой модели tensor parallel в 1Cat дал лучший decode несмотря на более интенсивный обмен по PCIe. Утверждать, что стратегия лучше в общем случае, нельзя. На другой модели, другом кванте или при наличии NVLink баланс может сместиться, поэтому выбор между форками стоит проверять на своём профиле нагрузки.

MTP-драфтер: почему низкий acceptance не мешает 1Cat выигрывать

MTP-драфтер работает по схеме спекулятивного декодирования: небольшая голова предлагает несколько токенов вперёд, основная модель их проверяет одним проходом. Acceptance rate показывает долю принятых предложений. Чем он выше, тем больше токенов выдаётся за один шаг верификации, и тем выше ожидаемая скорость при прочих равных.

В тестах acceptance у Strata выше: 0,61 против 0,45 на промпте 2 654 токена, 0,63 против 0,58 на 30 тыс., 0,72 против 0,62 на 96 тыс. Decode при этом ниже у всех точках. Значит, цена одного шага у 1Cat меньше, и она перевешивает более скромный коэффициент принятия. Меньше шагов с более высокой эффективностью дают больше токенов в секунду, чем больше шагов с более высокой долей принятия.

Практический вывод для тех, кто настраивает подобные связки: оптимизировать acceptance в отрыве от стоимости верификации бессмысленно. Смотреть нужно на итоговый tok/s на своём промпте и своём батче, а acceptance использовать как диагностику, а не как цель. Внутренние детали реализации драфтера в 1Cat и Strata в исходных данных не раскрыты, так что оценивать их напрямую не на чем.

Батч-режим: что меняется при параллельных запросах

Сценарии с одновременными запросами, медиана 2 запусков. Для Strata показаны два режима: обычный и batch-MTP.

СценарийСуммарный decode, tok/s (Strata / Strata batch-MTP / 1Cat)Per-stream decode, tok/s (Strata / Strata batch-MTP / 1Cat)
2 запроса, промпт 2,6 тыс. токенов88 / 105 / 17639,4 / 46,0 / 83,2
4 запроса, промпт 8,7 тыс. токенов170 / 186 / 23425,4 / 26,9 / 41,1

На двух запросах 1Cat даёт 176 tok/s суммарно против 88 у обычной Strata и 105 в batch-MTP, то есть двукратный перевес над базовым режимом. Per-stream разница ещё заметнее: 83,2 против 39,4 tok/s, каждый пользователь получает более чем вдвое быстрый вывод.

На четырёх запросах картина мягче, но та же: 234 против 170 и 186 tok/s суммарно, 41,1 против 25,4 и 26,9 tok/s на поток. Перевес 1,38x над обычной Strata и 1,26x над batch-MTP. Включение batch-MTP помогает Strata (88 до 105 и 170 до 186), но не выводит её вперёд.

Для батч-инференса на такой конфигурации 1Cat выглядит предпочтительнее. Оговорка стандартная: цифры сняты на одном стенде, одной модели и одной сборке, а поведение батча сильно зависит от длины ответов и от того, насколько ровно распределены запросы по времени.

Длинный контекст около 100 тыс. токенов: где Strata берёт реванш

Три последовательных запуска промпта около 103 тыс. токенов, текст между прогонами слегка меняли, чтобы обойти кэш prefill:

ПрогонPrefill Strata, tok/sPrefill 1Cat, tok/sDecode Strata, tok/sDecode 1Cat, tok/s
13 3982 73670,899,9
23 3402 75278,9138,4
33 3483 34877,8123,5

По prefill Strata стабильнее: 3 398, 3 340 и 3 348 tok/s, разброс в пределах 2%. У 1Cat 2 736, 2 752 и 2 751 tok/s, разброс ещё меньше, но уровень ниже примерно на 20-22%. По decode всё наоборот: 99,9, 138,4 и 123,5 tok/s у 1Cat против 70,8, 78,9 и 77,8 tok/s у Strata. Разрыв 1,41-1,75x в пользу 1Cat, при этом виден заметный разброс между прогонами, особенно во втором.

Что это значит на практике. Если узкое место в обработке промпта (длинный контекст для RAG, анализ договоров, вопросы по большой кодовой базе), время до первого токена определяется prefill и здесь выигрывает Strata. Если после длинного промпта идёт долгий ответ, decode частично компенсирует отставание: 1Cat выдаёт ответ в 1,4-1,7 раза быстрее. Сколько именно нужно генерировать, чтобы сравняться, зависит от длины ответа, и посчитать это можно только на своём сценарии.

Похожие компромиссы между prefill и decode на слабом железе мы разбирали в материале про Betelgeuse и out-of-core подгрузку экспертов: там рост warm prompt processing тоже достигался ценой компромиссов в других сценариях.

Как воспроизвести тест на своём стенде

Чек-лист, повторяющий условия исходного эксперимента:

  1. Собрать оба форка из исходников под sm_70. Релизные сборки не подходят: ядер под V100 в них нет.
  2. Использовать CUDA 12.9.1 и gcc-14. Для 1Cat дополнительно нужны torch 2.10.0+cu128 и NCCL 2.27.5.
  3. Взять один и тот же файл Qwen3.8-Flash-Next UD-IQ3_XXS для обоих движков, иначе сравнение теряет смысл.
  4. Мерить prefill и decode раздельно. Одна общая цифра tok/s ничего не говорит о том, где движок проседает.
  5. В одиночном режиме брать медиану 3 запусков. Один прогон склонен показывать случайный выброс.
  6. Для длинных промптов слегка менять текст между прогонами, иначе сработает кэш prefill и результат завысится.
  7. В батче фиксировать и суммарный, и per-stream decode, иначе цифры несравнимы между конфигурациями с разным числом запросов.

Даже при точном повторении на другом экземпляре V100 результат может отличаться: сказываются версии драйвера, температура и троттлинг, режим PCIe, версии собираемых коммитов. Промпты из публикации тоже стоит заменить на свои, близкие к реальной задаче.

Что выбрать под свою задачу: практические выводы

Чат и генерация с промптами до 30 тыс. токенов. Decode у 1Cat выше в 1,7-1,9 раза на всём диапазоне длин, и именно эта метрика определяет, как быстро пользователь видит текст. Для интерактивных сценариев на таком стенде выбор очевиден в пользу 1Cat, если сборка поднимается без проблем. Как в реальной работе выглядит переход с облачных моделей на локальные Qwen и DeepSeek с их TPS и TTFT, разбирали в отдельном материале.

Батч-инференс. 1Cat выигрывает и по суммарному, и по per-stream decode в обоих протестированных сценариях, включая сравнение с Strata в режиме batch-MTP. Если сервис обслуживает несколько одновременных запросов на четырёх V100, цифры указывают на 1Cat.

Очень длинные промпты около 100 тыс. токенов. Strata быстрее по prefill примерно на 20%, и для RAG по большим документам это прямо сокращает время до первого токена. Если ответы короткие, преимущество Strata реализуется полностью. Если ответы длинные, decode у 1Cat частично отыгрывает отставание.

Оговорка, без которой выводы неполны: всё это замеры одного пользователя на конкретном железе, со сборками из исходников под sm_70 и одним квантом модели. Независимой проверки нет. Перед выбором прогоните собственный тест на своих промптах, своём батче и своей версии движка. У Strata к тому же есть производные сборки с другими цифрами: например, RustingStrata на чистом Rust заявляет другие результаты на куда более скромной VRAM.

Подписаться на канал