Кто быстрее: короткий ответ по 1Cat-vLLM и Strata
На стенде из четырёх Tesla V100 по 16 ГБ, объединённых через PCIe 3 x16, с процессором Epyc 7543 и 8-канальной DDR4-3200 форк 1Cat-vLLM обходит Strata по скорости decode почти во всех сценариях, включая батч-режим. Модель одна и та же: Qwen3.8-Flash-Next в кванте UD-IQ3_XXS. Единственное место, где Strata забирает победу, это prefill на промптах около 100 тыс. токенов, там перевес примерно 1,2x.
Цифры взяты из одной пользовательской публикации в r/LocalLLaMA (оригинальный пост с таблицами и конфигурацией). Это не независимый бенчмарк: другая сборка, другие флаги запуска или другой квант способны перевернуть картину. Оба движка собраны из исходников под sm_70, готовых бинарников под V100 у них нет.
Техническая подоплёка такая. 1Cat раскладывает модель через tensor parallel на 4 GPU, Strata использует layer split по 4 GPU, tensor parallel для V100 в ней не включён. У 1Cat ниже acceptance MTP-драфтера: 0,45-0,66 против 0,61-0,72 у Strata. Итоговый decode у него всё равно выше в 1,7-1,9 раза, то есть acceptance rate не определяет скорость генерации в одиночку.
Ориентир по сценариям, если нет времени читать таблицы:
| Сценарий | Кто быстрее | Разрыв |
|---|---|---|
| Одиночный поток, decode, промпты 2,6-97 тыс. токенов | 1Cat-vLLM | 1,7-1,9x |
| Одиночный поток, prefill, промпты до 30 тыс. токенов | 1Cat-vLLM | 1,1-2,2x |
| Prefill на промпте около 100 тыс. токенов | Strata | около 1,2x |
| Батч, 2 запроса (промпт 2,6 тыс. токенов) | 1Cat-vLLM | 2x по суммарному decode |
| Батч, 4 запроса (промпт 8,7 тыс. токенов) | 1Cat-vLLM | 1,4x по суммарному decode |
Prefill отвечает за время до первого токена, decode за скорость вывода. Для чата важнее второе, для RAG по большим документам первое. Отсюда и разные победители в разных задачах.
Тестовый стенд и модель: что именно сравнивали
Конфигурация целиком: четыре Tesla V100 по 16 ГБ, каждая подключена по PCIe 3 x16, CPU Epyc 7543, 8-канальная память DDR4-3200. Модель Qwen3.8-Flash-Next в кванте UD-IQ3_XXS, один и тот же файл весов для обоих движков. На стенде нет NVLink, весь обмен между картами идёт через PCIe.
Почему V100 требует сборки под sm_70
sm_70 это обозначение compute capability 7.0, архитектуры Volta, на которой построена V100. В релизных сборках движков ядер под неё нет, поэтому оба форка пришлось собирать из исходников. Использовались CUDA 12.9.1 и gcc-14, для 1Cat в наборе зависимостей указаны также torch 2.10.0+cu128 и NCCL 2.27.5.
Отсюда первое практическое следствие: сравнивать скачанные релизы на V100 бессмысленно, рабочая конфигурация собирается вручную. Второе: версии CUDA, torch и NCCL входят в условия эксперимента, их смена может сдвинуть результат.
Модель Qwen3.8-Flash-Next UD-IQ3_XXS и что значит квант IQ3_XXS
UD-IQ3_XXS это агрессивное квантование семейства IQ3: веса хранятся в низкой разрядности, за счёт чего модель помещается в ограниченную VRAM, а при вычислениях тратится время на распаковку. Такая схема меняет и требования к памяти, и соотношение prefill/decode. Все приведённые ниже цифры относятся только к этому кванту на этом железе. Переносить их на Q4, Q5, Q8 или BF16 без собственных замеров нельзя: там другая пропускная способность памяти и другая нагрузка на вычислители. Как ведут себя другие кванты Qwen 3.8 на 16 ГБ VRAM, мы разбирали в материале про три кванта Qwen 3.8 на AtCoder.
Методика замеров: prefill, decode и режимы нагрузки
Prefill это обработка входного промпта перед генерацией, его скорость измеряется в токенах промпта в секунду. Decode это собственно генерация, она измеряется в токенах ответа в секунду. Метрики независимы, поэтому движок может выигрывать в одной и проигрывать в другой.
В режиме одного потока замеры брались как медиана 3 запусков. Исключение одно: промпт на 96 588 токенов прогнали один раз, чтобы сэкономить время. В батч-режиме замеры это медиана 2 запусков, сценариев два: 2 одновременных запроса с промптом 2,6 тыс. токенов и 4 запроса с промптом 8,7 тыс. токенов. Для Strata отдельно показан режим batch-MTP, включаемый флагами --batch-mtp и переменной STRATA_PIPED_MTP=1: это лучший батч-режим Strata в данной сборке.
Почему меняли промпт на 103 тыс. токенов
Кэш prefill искажает повторные прогоны: если текст не менялся, второй запуск частично попадает в уже посчитанные блоки и показывает завышенный tok/s. Чтобы этого избежать, промпт около 103 тыс. токенов между тремя прогонами слегка правили. Цифры по трём запускам: decode у 1Cat 99,9, 138,4 и 123,5 tok/s против 70,8, 78,9 и 77,8 tok/s у Strata; prefill у Strata 3 398, 3 340 и 3 348 tok/s против 2 736, 2 752 и 2 751 tok/s у 1Cat. Разброс внутри серии заметный, но порядок лидерства не меняется.
Что такое per-stream и суммарный decode в батче
Суммарный decode показывает, сколько токенов в секунду выдаёт весь движок на всех запросах вместе. Per-stream это скорость одного запроса, то есть суммарный показатель, поделённый между потоками. Метрики отвечают на разные вопросы: суммарная нужна для пропускной способности сервиса, per-stream для того, что увидит отдельный пользователь. В разборе ниже приведены обе, чтобы не путать 176 tok/s суммарно с 176 tok/s на один чат.
Результаты в режиме одного потока: где 1Cat обходит Strata
Четыре точки по длине промпта, медиана 3 запусков (кроме промпта 96 588 токенов):
| Промпт, токенов | Prefill Strata, tok/s | Prefill 1Cat, tok/s | Decode Strata, tok/s | Decode 1Cat, tok/s | MTP acceptance Strata / 1Cat |
|---|---|---|---|---|---|
| 2 654 | 861 | 1 850 | 74,8 | 124,9 | 0,61 / 0,45 |
| 8 674 | 1 146 | 2 483 | 79,3 | 140,8 | 0,67 / 0,66 |
| 30 299 | 2 480 | 2 776 | 76,4 | 139,3 | 0,63 / 0,58 |
| 96 588 | 3 384 | 2 649 | 77,2 | 142,6 | 0,72 / 0,62 |
Decode у 1Cat держится в диапазоне 124,9-142,6 tok/s, у Strata 74,8-79,3 tok/s. Разрыв стабилен: 1,67x на коротком промпте, 1,78x на 8,7 тыс., 1,82x на 30 тыс., 1,85x на 96 тыс. токенов. Скорость Strata при этом почти не растёт с длиной промпта, а у 1Cat слегка увеличивается.
Prefill ведёт себя иначе. На коротком промпте 1Cat быстрее более чем вдвое (1 850 против 861 tok/s), на 8,7 тыс. токенов тоже вдвое (2 483 против 1 146). На 30 тыс. разрыв сжимается до 12% (2 776 против 2 480), а на 96 тыс. Strata выходит вперёд: 3 384 против 2 649 tok/s, то есть на 28%. Причина в том, что Strata разгоняется по prefill с ростом длины промпта, а 1Cat на этом участке выходит на плато.
Acceptance MTP-драфтера у 1Cat ниже во всех точках, кроме второй, где значения почти равны (0,66 против 0,67). На итоговый decode это не влияет: 1Cat выигрывает даже там, где проигрывает по acceptance на 0,1-0,16.
Почему tensor parallel в 1Cat обгоняет layer split в Strata
Tensor parallel делит внутри каждого слоя матрицы весов между GPU, и слои считаются совместно. Такая схема нагружает межкарточный обмен на каждом слое: нужны постоянные пересылки и синхронизация (all-reduce). Layer split проще: целые слои распределяются по картам, и данные переезжают между GPU только на границах групп слоёв, то есть реже.
На бумаге для V100 без NVLink, где всё общение идёт по PCIe 3 x16, выгоднее выглядит layer split: меньше трафика, меньше задержек синхронизации. Замеры показывают обратное для decode. Пакет с исходными данными не содержит объяснения от автора, поэтому дальше интерпретация, а не измеренный факт. Одна из причин: при tensor parallel все четыре карты держат одну и ту же последовательность и работают на генерации почти синхронно, а layer split превращает конвейер, где в каждый момент активно меньше карт, и итоговая пропускная способность упирается в самый медленный этап.
Второй фактор: квант IQ3_XXS и распаковка весов. При tensor parallel веса слоя делятся на четыре части и распаковываются параллельно на разных GPU. При layer split каждый слой распаковывает одна карта, и если её память или вычислители заняты, остальные три ждут.
Вывод осторожный: на этой конфигурации и этой модели tensor parallel в 1Cat дал лучший decode несмотря на более интенсивный обмен по PCIe. Утверждать, что стратегия лучше в общем случае, нельзя. На другой модели, другом кванте или при наличии NVLink баланс может сместиться, поэтому выбор между форками стоит проверять на своём профиле нагрузки.
MTP-драфтер: почему низкий acceptance не мешает 1Cat выигрывать
MTP-драфтер работает по схеме спекулятивного декодирования: небольшая голова предлагает несколько токенов вперёд, основная модель их проверяет одним проходом. Acceptance rate показывает долю принятых предложений. Чем он выше, тем больше токенов выдаётся за один шаг верификации, и тем выше ожидаемая скорость при прочих равных.
В тестах acceptance у Strata выше: 0,61 против 0,45 на промпте 2 654 токена, 0,63 против 0,58 на 30 тыс., 0,72 против 0,62 на 96 тыс. Decode при этом ниже у всех точках. Значит, цена одного шага у 1Cat меньше, и она перевешивает более скромный коэффициент принятия. Меньше шагов с более высокой эффективностью дают больше токенов в секунду, чем больше шагов с более высокой долей принятия.
Практический вывод для тех, кто настраивает подобные связки: оптимизировать acceptance в отрыве от стоимости верификации бессмысленно. Смотреть нужно на итоговый tok/s на своём промпте и своём батче, а acceptance использовать как диагностику, а не как цель. Внутренние детали реализации драфтера в 1Cat и Strata в исходных данных не раскрыты, так что оценивать их напрямую не на чем.
Батч-режим: что меняется при параллельных запросах
Сценарии с одновременными запросами, медиана 2 запусков. Для Strata показаны два режима: обычный и batch-MTP.
| Сценарий | Суммарный decode, tok/s (Strata / Strata batch-MTP / 1Cat) | Per-stream decode, tok/s (Strata / Strata batch-MTP / 1Cat) |
|---|---|---|
| 2 запроса, промпт 2,6 тыс. токенов | 88 / 105 / 176 | 39,4 / 46,0 / 83,2 |
| 4 запроса, промпт 8,7 тыс. токенов | 170 / 186 / 234 | 25,4 / 26,9 / 41,1 |
На двух запросах 1Cat даёт 176 tok/s суммарно против 88 у обычной Strata и 105 в batch-MTP, то есть двукратный перевес над базовым режимом. Per-stream разница ещё заметнее: 83,2 против 39,4 tok/s, каждый пользователь получает более чем вдвое быстрый вывод.
На четырёх запросах картина мягче, но та же: 234 против 170 и 186 tok/s суммарно, 41,1 против 25,4 и 26,9 tok/s на поток. Перевес 1,38x над обычной Strata и 1,26x над batch-MTP. Включение batch-MTP помогает Strata (88 до 105 и 170 до 186), но не выводит её вперёд.
Для батч-инференса на такой конфигурации 1Cat выглядит предпочтительнее. Оговорка стандартная: цифры сняты на одном стенде, одной модели и одной сборке, а поведение батча сильно зависит от длины ответов и от того, насколько ровно распределены запросы по времени.
Длинный контекст около 100 тыс. токенов: где Strata берёт реванш
Три последовательных запуска промпта около 103 тыс. токенов, текст между прогонами слегка меняли, чтобы обойти кэш prefill:
| Прогон | Prefill Strata, tok/s | Prefill 1Cat, tok/s | Decode Strata, tok/s | Decode 1Cat, tok/s |
|---|---|---|---|---|
| 1 | 3 398 | 2 736 | 70,8 | 99,9 |
| 2 | 3 340 | 2 752 | 78,9 | 138,4 |
| 3 | 3 348 | 3 348 | 77,8 | 123,5 |
По prefill Strata стабильнее: 3 398, 3 340 и 3 348 tok/s, разброс в пределах 2%. У 1Cat 2 736, 2 752 и 2 751 tok/s, разброс ещё меньше, но уровень ниже примерно на 20-22%. По decode всё наоборот: 99,9, 138,4 и 123,5 tok/s у 1Cat против 70,8, 78,9 и 77,8 tok/s у Strata. Разрыв 1,41-1,75x в пользу 1Cat, при этом виден заметный разброс между прогонами, особенно во втором.
Что это значит на практике. Если узкое место в обработке промпта (длинный контекст для RAG, анализ договоров, вопросы по большой кодовой базе), время до первого токена определяется prefill и здесь выигрывает Strata. Если после длинного промпта идёт долгий ответ, decode частично компенсирует отставание: 1Cat выдаёт ответ в 1,4-1,7 раза быстрее. Сколько именно нужно генерировать, чтобы сравняться, зависит от длины ответа, и посчитать это можно только на своём сценарии.
Похожие компромиссы между prefill и decode на слабом железе мы разбирали в материале про Betelgeuse и out-of-core подгрузку экспертов: там рост warm prompt processing тоже достигался ценой компромиссов в других сценариях.
Как воспроизвести тест на своём стенде
Чек-лист, повторяющий условия исходного эксперимента:
- Собрать оба форка из исходников под sm_70. Релизные сборки не подходят: ядер под V100 в них нет.
- Использовать CUDA 12.9.1 и gcc-14. Для 1Cat дополнительно нужны torch 2.10.0+cu128 и NCCL 2.27.5.
- Взять один и тот же файл Qwen3.8-Flash-Next UD-IQ3_XXS для обоих движков, иначе сравнение теряет смысл.
- Мерить prefill и decode раздельно. Одна общая цифра tok/s ничего не говорит о том, где движок проседает.
- В одиночном режиме брать медиану 3 запусков. Один прогон склонен показывать случайный выброс.
- Для длинных промптов слегка менять текст между прогонами, иначе сработает кэш prefill и результат завысится.
- В батче фиксировать и суммарный, и per-stream decode, иначе цифры несравнимы между конфигурациями с разным числом запросов.
Даже при точном повторении на другом экземпляре V100 результат может отличаться: сказываются версии драйвера, температура и троттлинг, режим PCIe, версии собираемых коммитов. Промпты из публикации тоже стоит заменить на свои, близкие к реальной задаче.
Что выбрать под свою задачу: практические выводы
Чат и генерация с промптами до 30 тыс. токенов. Decode у 1Cat выше в 1,7-1,9 раза на всём диапазоне длин, и именно эта метрика определяет, как быстро пользователь видит текст. Для интерактивных сценариев на таком стенде выбор очевиден в пользу 1Cat, если сборка поднимается без проблем. Как в реальной работе выглядит переход с облачных моделей на локальные Qwen и DeepSeek с их TPS и TTFT, разбирали в отдельном материале.
Батч-инференс. 1Cat выигрывает и по суммарному, и по per-stream decode в обоих протестированных сценариях, включая сравнение с Strata в режиме batch-MTP. Если сервис обслуживает несколько одновременных запросов на четырёх V100, цифры указывают на 1Cat.
Очень длинные промпты около 100 тыс. токенов. Strata быстрее по prefill примерно на 20%, и для RAG по большим документам это прямо сокращает время до первого токена. Если ответы короткие, преимущество Strata реализуется полностью. Если ответы длинные, decode у 1Cat частично отыгрывает отставание.
Оговорка, без которой выводы неполны: всё это замеры одного пользователя на конкретном железе, со сборками из исходников под sm_70 и одним квантом модели. Независимой проверки нет. Перед выбором прогоните собственный тест на своих промптах, своём батче и своей версии движка. У Strata к тому же есть производные сборки с другими цифрами: например, RustingStrata на чистом Rust заявляет другие результаты на куда более скромной VRAM.