PCIe-шина — узкое горлышко для LLM: почему x4 на 3.0 убивает скорость вывода, а x16 на 4.0 спасает

Тихий убийца скорости: почему все игнорируют PCIe, пока не становится поздно

Собираешь сервер для LLM. Берешь две RTX 4090. Или четыре L40S. Или восемь каких-нибудь китайских карт с 24 ГБ памяти. Считаешь терафлопсы, складываешь VRAM, мечтаешь запустить Mixtral 8x22B с контекстом 128K. А потом оказывается, что твоя система выдает 2 токена в секунду вместо ожидаемых 50. И виновата не модель, не vLLM, и даже не драйверы. Виновата та самая шина, на которую все плюют при сборке — PCI Express.

Проблема: ты платишь за GPU, но получаешь скорость PCIe

Вот классический сценарий. У тебя есть старая рабочая станция на Xeon или Ryzen 9. Материнка с парой слотов PCIe 3.0 x16, но когда ты ставишь две карты — они работают в x8/x8. А если добавить третью через райзер — она получает жалкие x4. И вот уже твои дорогие GPU общаются между собой по узкому каналу, который напоминает попытку протолкнуть слона через игольное ушко.

Особенно это заметно в tensor parallelism — когда модель раскидывается по нескольким GPU, и на каждом шаге инференса карты должны обмениваться промежуточными результатами. Каждый токен, который генерирует модель, требует десятков таких обменов. И если PCIe не справляется — GPU просто ждут друг друга.

Тестовый стенд: от бедности к роскоши

Чтобы показать разницу не на бумаге, а в железе, я собрал два стенда. Первый — «бюджетный кошмар», второй — «правильный сервер».

Да, я специально выбрал oculink для первого стенда. Потому что это реальная ситуация: люди берут дешевые адаптеры, подключают вторую карту через внешний бокс, и думают, что получили multi-GPU систему. А получают костыль, который работает в 4 раза медленнее, чем мог бы.

Цифры, которые заставят тебя пересмотреть сборку

Тестируем GLM 4.5 Air (128B параметров, квантованная в FP8). Используем vLLM 0.6.1 с tensor_parallel_size=2. Контекст — 4096 токенов, генерация — 512 токенов. Измеряем tokens/s в двух фазах: prefill (первый проход) и decoding (генерация).

Видишь эти цифры? В 3.7 раза медленнее на decoding. Это не погрешность, не особенность драйверов. Это прямое следствие того, что PCIe 3.0 x4 дает всего 4 ГБ/с пропускной способности в каждую сторону (если считать реальную, а не теоретическую). А PCIe 4.0 x16 — около 25 ГБ/с. Шесть с лишним раз разница в bandwidth.

Что происходит внутри vLLM при tensor parallelism

Чтобы понять, почему шина так важна, заглянем внутрь. Когда vLLM работает с tensor_parallel_size=2:

• Модель разделяется по слоям между GPU
• На forward pass каждого слоя GPU 0 вычисляет свою часть, GPU 1 — свою
• Перед следующим слоем они должны обменяться активациями через all-reduce
• Для GLM 4.5 Air размер этих активаций — от 8 до 20 МБ на batch
• При генерации 30 токенов в секунду это 600-1500 МБ/с обмена

PCIe 3.0 x4 едва выдает 3500 МБ/с в идеальных условиях. В реальности, с overhead драйверов и латентностью — около 2800 МБ/с. И это на все коммуникации. Когда два GPU пытаются обмениваться данными, они делят эту полосу пополам. Получаем 1400 МБ/с на направление. А нужно 1500 МБ/с. Вот и получается, что шина забита под завязку, GPU ждут данных, и скорость падает.

В PCIe 4.0 x16 ситуация обратная: 25 ГБ/с реальной пропускной способности, из которых tensor parallelism использует максимум 3-4 ГБ/с. Шина даже не замечает этой нагрузки.

Oculink — удобно, но смертельно для скорости

Многие сейчас увлекаются oculink-адаптерами. Дешево, можно поставить много карт в один корпус, кабели тонкие. Но есть проблема: большинство адаптеров на рынке — PCIe 3.0. Даже если у тебя материнка с PCIe 5.0, адаптер превращает ее в 3.0. И обычно это x4 линий.

Я тестировал ADT-Link R43SG — один из самых популярных адаптеров. В теории он поддерживает PCIe 3.0 x4. На практике — из-за качества компонентов и длины кабеля реальная скорость еще ниже. В моих тестах пропускная способность между GPU через два таких адаптера была на 15% ниже, чем через один прямой райзер.

Если хочешь использовать oculink для LLM — ищи адаптеры с поддержкой PCIe 4.0. Но готовься платить в 3-4 раза больше. И проверяй, что материнская плата действительно дает 4.0 на этот слот (часто слоты M.2, к которым подключают oculink, работают только в 3.0).

Threadripper Pro vs обычные платформы: в чем разница

Почему я использовал Threadripper Pro в тестах? Не потому, что он быстрее в вычислениях (для LLM это не так важно). А потому, что у него правильная PCIe топология.

Обычный Ryzen 9 5950X имеет 24 линии PCIe 4.0. Но когда ты ставишь две видеокарты, они делят 16 линий (x8/x8). Если добавить третью через чипсет — она получает PCIe 3.0 x4 с огромной латентностью. Threadripper Pro 7995WX дает 128 линий PCIe 5.0. Каждая карта получает полноценные x16. И все карты подключены напрямую к процессору, без промежуточных свитчей.

Разница в латентности P2P (peer-to-peer) коммуникаций между GPU достигает 3-4 раз. Для tensor parallelism это критично.

Когда PCIe перестает быть проблемой

Есть сценарии, где bandwidth шины не так важен:

• Pipeline parallelism вместо tensor parallelism. В этом случае карты обмениваются данными только между соседними этапами, а не на каждом слое.
• Очень большие batch size. Когда ты обрабатываешь 100+ запросов одновременно, overhead коммуникаций amortizes over batch.
• Модели с маленьким hidden dimension. Чем меньше размерность активаций, тем меньше данных нужно передавать.

Но для большинства локальных инференс-сценариев (чаты, код-генерация, RAG) используется маленький batch size и tensor parallelism. Именно здесь PCIe становится узким местом.

Практические рекомендации: как не облажаться со сборкой

1 Проверяй реальную конфигурацию PCIe

Не верь спецификациям материнской платы. Запусти lspci -vv на Linux или GPU-Z на Windows. Посмотри, сколько линий действительно получает каждая карта и в какой версии PCIe она работает.

2 Избегай райзеров и адаптеров для рабочих карт

Если карта будет участвовать в tensor parallelism — она должна быть в нативном слоте x8 или x16. Райзеры добавляют латентность, адаптеры снижают bandwidth. Для LLM это смерть.

3 Считай требуемую пропускную способность

Для своей модели прикинь: размер hidden dimension * batch size * 2 (float16) * количество обменов в секунду. Умножь на 1.5 (overhead). Если получается больше 70% от bandwidth твоей PCIe конфигурации — жди проблем.

4 Рассмотри EPYC/Threadripper Pro для 3+ карт

Для двух карт еще можно выкрутиться на обычной платформе (x8/x8 на PCIe 4.0 = 16 ГБ/с на направление, хватит для большинства моделей). Для трех и больше — только серверные платформы с большим количеством PCIe линий.

А что с PCIe 5.0?

На 2026 год PCIe 5.0 уже не экзотика. Но нужен ли он для LLM? В большинстве случаев — нет. Даже PCIe 4.0 x16 дает избыточную пропускную способность для tensor parallelism. Разница между 4.0 и 5.0 в инференсе LLM редко превышает 5-8%, как показывают наши предыдущие тесты.

Исключение — MoE-модели с активным routing между экспертами. Там обмен данными интенсивнее. Но для классических dense моделей вроде GLM, Llama, Qwen — PCIe 4.0 более чем достаточно.

Выводы, которые сэкономят тебе деньги и нервы

1. PCIe 3.0 x4 — это катастрофа для multi-GPU LLM. Скорость падает в 3-4 раза по сравнению с PCIe 4.0 x16.

2. Tensor parallelism жрет bandwidth как не в себя. Перед сборкой считай требуемую пропускную способность.

3. Oculink-адаптеры убивают производительность. Используй их только для карт, которые не участвуют в параллельных вычислениях.

4. Для 2 карт хватит PCIe 4.0 x8/x8. Для 3+ карт нужна серверная платформа.

5. PCIe 5.0 — overkill для большинства задач. Вложи эти деньги в больше VRAM или более быструю память.

Самая частая ошибка, которую я вижу: люди берут дорогие GPU, но экономят на материнской плате и процессоре. Ставят карты в слоты x4 через адаптеры. А потом удивляются, почему их система работает медленнее, чем одна карта. Не повторяй эту ошибку.

P.S. Если интересно, как NVLink справляется с этой проблемой — у нас есть отдельный разбор с тестами на моделях 800+ ГБ. Спойлер: разница есть, но не всегда она оправдывает цену.