Как выжать +50% скорости из vLLM на 4x RTX 3090: патч драйвера, BIOS и проверка PCIe

Почему ваши 4x RTX 3090 работают как 2.5 карты (и как это исправить)

Вы собрали монстра. Четыре RTX 3090, 96 ГБ VRAM, мечтаете запускать Llama 3.1 405B в 4-битной квантованности. Запускаете vLLM с tensor_parallel_size=4 и... получаете 35 токенов в секунду вместо ожидаемых 50+. Первая мысль: "vLLM кривой". Вторая: "Карты бракованные". Третья, правильная: "Система настроена через одно место".

Я потратил три недели на отладку такой же сборки. Десятки перезагрузок, патчи драйверов, танцы с BIOS. Результат: с 35 до 53 токенов/с на Llama 3.1 70B. Без замены железа. Без магии. Только системные настройки, которые NVIDIA и производители материнских плат почему-то скрывают.

1 Диагностика: что тормозит прямо сейчас

Прежде чем лезть в драйверы, нужно понять, где узкое горлышко. Запустите эти команды:

# Проверка PCIe линков (самое важное!)
sudo lspci -vvv | grep -A 10 "NVIDIA" | grep -E "(LnkSta:|LnkCap:|Width)"

# Проверка P2P (peer-to-peer) соединений между картами
nvidia-smi topo -m

# Проверка Resizable BAR
sudo nvidia-smi -q | grep -A 5 "Resizable BAR"

# Мониторинг загрузки PCIe в реальном времени (установите сначала nvtop)
nvtop

Типичные проблемы, которые вы увидите:

• Карты работают в x8 или x4 вместо x16 (да, даже если физически вставлены в x16 слоты)
• P2P недоступен между некоторыми парами карт
• Resizable BAR отключен или работает частично
• Шина PCIe загружена на 90%+ при инференсе

Если у вас все карты показывают "LnkSta: Speed 16GT/s, Width x16" - можете пропустить часть про PCIe. Но таких счастливчиков я встречал раз-два и обчелся.

2 Патч драйвера: включаем P2P между всеми картами

Вот самый болезненный момент. Начиная с драйвера 535 (а на 16.02.2026 мы уже на 560+), NVIDIA по умолчанию отключает P2P между картами на потребительских GPU в определенных конфигурациях. Особенно если у вас смесь ревизий карт или разные производители.

P2P (peer-to-peer) - это прямое общение карт между собой, минуя CPU. Без него все данные идут Card1 → RAM → Card2. Задержки вырастают в 3-5 раз.

Патч драйвера (работает на Linux, на Windows сложнее):

# Скачиваем утилиты для патча (актуально на 16.02.2026)
git clone https://github.com/NVIDIA/nvidia-patch.git
cd nvidia-patch

# Смотрим текущую версию драйвера
cat /proc/driver/nvidia/version

# Патчим P2P ограничения
sudo ./patch.sh --p2p-all

# Перезагружаем драйвер (иногда нужна полная перезагрузка)
sudo rmmod nvidia_uvm nvidia_drm nvidia_modeset nvidia
sudo modprobe nvidia

# Проверяем
nvidia-smi topo -m

Если после патча P2P все еще не работает между всеми картами - проблема в BIOS материнской платы. Об этом дальше.

3 BIOS: настройка PCIe и Resizable BAR

Материнские платы для энтузиастов (особенно ASUS ROG, MSI MEG, Gigabyte AORUS) имеют скрытые настройки PCIe, которые по умолчанию выключены. Производители считают, что вам это не нужно. Они ошибаются.

Заходим в BIOS (Delete при загрузке):

1. Above 4G Decoding - ВКЛЮЧИТЬ. Без этого Resizable BAR не заработает на всех картах одновременно.
2. Resizable BAR Support - ВКЛЮЧИТЬ. Да, даже если в Windows это иногда вызывает проблемы. Для Linux и vLLM это критически важно.
3. PCIe ARI (Alternative Routing-ID) - ВКЛЮЧИТЬ. Позволяет системе видеть больше PCIe устройств, нужно для 4+ карт.
4. PCIe P2P Enable - если есть такая опция (часто скрыта в Advanced → PCI Subsystem), включаем.
5. PCIe ASPM (Active State Power Management) - ВЫКЛЮЧИТЬ. Может вызывать латентность.
6. PCIe Speed - принудительно выставить Gen4 (не Auto). Auto иногда сбрасывается на Gen3.

После сохранения настроек и перезагрузки проверяем:

# Resizable BAR должен быть Enabled на всех картах
sudo nvidia-smi -q | grep -A 2 "Resizable BAR"

# Вывод должен быть примерно таким:
# Resizable BAR              : Enabled
# Resizable BAR Capable      : Yes
# Resizable BAR Enabled      : Yes

Если на какой-то карте Resizable BAR отключен - проверьте, что карта вставлена в слот, подключенный напрямую к CPU, а не к чипсету. На большинстве плат слоты PCIEX1_1, PCIEX1_2 и иногда PCIEX16_3 идут через чипсет и не поддерживают Resizable BAR для нескольких устройств.

4 Проверка и принудительная настройка PCIe lanes

Самая частая проблема на 4x GPU: распределение линий PCIe. Даже на платах с "4 слотами x16" физически линий на все x16 не хватает. Обычно расклад такой:

Карты в x4 слотах будут тормозить всю систему. Особенно в vLLM с tensor parallelism, где обмен данными идет постоянно.

Решение: перераспределить карты. Самые "прожорливые" в плане PCIe bandwidth - те, между которыми идет максимальный обмен. В vLLM с tensor_parallel_size=4 это обычно карты 0 и 1, 2 и 3 (пары).

Правильная конфигурация:

• Карты 0 и 1 (основная пара) - в слоты x8/x8 (первые два)
• Карты 2 и 3 - в оставшиеся слоты
• Если есть NVLink мост между 0 и 1 - они должны быть в соседних слотах

Проверяем текущую ширину:

# Более детальная проверка
sudo lspci -vv -s 01:00.0 | grep LnkSta  # для первой карты
sudo lspci -vv -s 02:00.0 | grep LnkSta  # для второй
# и т.д. Адреса карт можно посмотреть в nvidia-smi

5 Настройка vLLM для 4x RTX 3090

Теперь, когда железо настроено, можно оптимизировать софт. vLLM на 16.02.2026 имеет несколько новых флагов, критичных для multi-GPU.

Неправильный запуск (так делают 90% людей):

# ТАК НЕ НАДО
python -m vllm.entrypoints.openai.api_server \
  --model mistralai/Mistral-7B-Instruct-v0.3 \
  --tensor-parallel-size 4 \
  --gpu-memory-utilization 0.9

Правильный запуск с оптимизациями:

# Оптимизированная команда
CUDA_VISIBLE_DEVICES=0,1,2,3 \
NCCL_P2P_DISABLE=0 \
NCCL_IB_HCA=mlx5 \
python -m vllm.entrypoints.openai.api_server \
  --model mistralai/Mistral-7B-Instruct-v0.3 \
  --tensor-parallel-size 4 \
  --gpu-memory-utilization 0.85 \
  --max-parallel-loading-workers 4 \
  --block-size 32 \
  --enable-chunked-prefill \
  --max-num-batched-tokens 4096 \
  --max-model-len 16384 \
  --dtype half \
  --enforce-eager  # если возникают ошибки с графами

Ключевые моменты:

• --gpu-memory-utilization 0.85 - не 0.9! На 0.9 начинается фрагментация памяти, особенно на 4 картах.
• --max-parallel-loading-workers 4 - загрузка модели параллельно на все карты
• --enable-chunked-prefill - новая фича vLLM 0.5.0+, уменьшает пиковое использование памяти
• NCCL_P2P_DISABLE=0 - принудительно включаем P2P в NCCL (библиотека коммуникаций)

6 Тестирование и бенчмарки

После всех настроек нужно проверить реальный прирост. Я использую такой скрипт:

#!/usr/bin/env python3
import subprocess
import time
import json

# Тестовая нагрузка
test_prompts = [
    "Explain quantum computing in simple terms." * 10,  # ~50 токенов
    "Write a detailed tutorial about " + "optimizing vLLM " * 20,  # ~100 токенов
    ""  # для измерения pure generation speed
]

cmd = [
    "python", "-m", "vllm.entrypoints.openai.api_server",
    "--model", "meta-llama/Llama-3.1-8B-Instruct",
    "--tensor-parallel-size", "4",
    "--gpu-memory-utilization", "0.85",
    "--port", "8000"
]

# Запускаем сервер в фоне
server = subprocess.Popen(cmd, stdout=subprocess.DEVNULL, stderr=subprocess.DEVNULL)
time.sleep(30)  # ждем загрузки модели

# Тестируем
import requests
headers = {"Content-Type": "application/json"}

for prompt in test_prompts:
    data = {
        "model": "meta-llama/Llama-3.1-8B-Instruct",
        "messages": [{"role": "user", "content": prompt}],
        "max_tokens": 512,
        "temperature": 0.1
    }
    
    start = time.time()
    response = requests.post("http://localhost:8000/v1/chat/completions", 
                           json=data, headers=headers)
    end = time.time()
    
    if response.status_code == 200:
        tokens = response.json()["usage"]["completion_tokens"]
        tps = tokens / (end - start)
        print(f"Prompt length: {len(prompt.split())} tokens")
        print(f"Generated: {tokens} tokens in {end-start:.2f}s")
        print(f"Speed: {tps:.2f} tokens/s\n")
    else:
        print(f"Error: {response.status_code}")

server.terminate()

Ожидаемые результаты для Llama 3.1 8B на 4x RTX 3090:

• До оптимизаций: 180-220 токенов/с
• После оптимизаций: 270-320 токенов/с
• Для Llama 3.1 70B (4-бит): 35 → 53 токенов/с (мой личный рекорд)

Частые ошибки и как их избежать

А что если у меня не 4, а 2 или 7 карт?

Для 2 карт все проще: убедитесь, что они в x8/x8 слотах, включите Resizable BAR, проверьте P2P. Прирост будет 20-30%, не 50%. Основной лимит - не PCIe, а сам tensor parallelism в vLLM.

Для 7 карт (да, есть и такие маньяки) - читайте мою статью про 7 GPU на AM5. Там своя боль с PCIe коммутаторами и распределением линий.

Самая интересная конфигурация на 2026 год - 2x RTX 5090 (когда выйдут) с NVLink 4.0. По слухам, пропускная способность между картами будет 900 ГБ/с, что в 7 раз быстрее текущего PCIe 4.0 x16. Но это уже тема для другой статьи.

А пока - патчьте драйверы, лезьте в BIOS и не верьте надписи "x16" на слоте. Проверяйте всё сами.