Зачем Threadripper для инференса? Потому что PCIe lanes — это валюта
В 2026 году все еще думают, что для запуска больших моделей нужны серверные процессоры за $5000. Это миф. Threadripper Pro — это золотая середина между бытовыми Ryzen и монструозными EPYC. Но даже среди Threadripper есть два лагеря: старый добрый TRX40 и новый TRX50. И выбор между ними определяет, сколько денег вы оставите в магазине и сколько нервов — в процессе сборки.
Важное уточнение: когда я говорю "большие модели", я имею в виду Qwen2.5-72B, Llama 3.3-405B, DeepSeek-V4 и им подобных монстров. Для 7B-13B моделей хватит и Ryzen 9. Но если вы планируете держать модель в памяти неделями и обслуживать запросы 24/7 — читайте дальше.
TRX40 против TRX50: битва платформ, где побеждает кошелек
Давайте сразу к цифрам, потому что маркетинговые слоганы нам не нужны.
| Параметр | TRX40 (2019-2022) | TRX50 (2023-2026) |
|---|---|---|
| Процессоры | Threadripper 3000/5000 серии | Threadripper 7000/8000 серии |
| PCIe lanes (CPU) | 64 линии PCIe 4.0 | 48 линий PCIe 5.0 + 16 линий PCIe 4.0 |
| Макс. память | 256 ГБ DDR4 | 1 ТБ DDR5 |
| Стоимость платы | $300-600 (б/у) | $700-1200 (новая) |
| Процессор (пример) | Threadripper 3960X: $800 б/у | Threadripper 7960X: $1800 новая |
Вот что эти цифры значат на практике. На TRX40 вы можете поставить 4 видеокарты по x16 PCIe 4.0. На TRX50 — тоже 4 карты, но уже по x16 PCIe 5.0. Звучит круто? Теперь плохие новости.
PCIe 5.0 для инференса — это overkill. Большинство моделей загружаются в VRAM один раз и живут там неделями. Пропускная способность между CPU и GPU важна только при загрузке модели. PCIe 4.0 x16 дает 32 ГБ/с, PCIe 5.0 x16 — 64 ГБ/с. Загрузка Llama 3.3-405B (80 ГБ) займет 2.5 секунды вместо 5. Стоит ли переплачивать $1000 за экономию 2.5 секунды раз в неделю? Решайте сами.
1 Выбор платформы: когда TRX40 выигрывает без вариантов
Бюджет до $5000. Вы хотите максимум VRAM за минимальные деньги. Вам не нужны последние 5% производительности. Вы готовы копаться с б/у железом.
Собирайте на TRX40. Возьмите б/у Threadripper 3960X (24 ядра, $800), материнскую плату ASUS ROG Zenith II Extreme ($400 б/у), 128 ГБ DDR4-3200 ($250). Общая стоимость платформы: $1450. На сэкономленные деньги купите дополнительную видеокарту.
2 Когда TRX50 оправдан
Бюджет от $8000. Вы планируете апгрейд до Threadripper 8000 серии (когда она выйдет). Вам нужна DDR5 для больших датасетов в RAM. Вы работаете с моделями, которые постоянно подгружают веса из системной памяти (очень редкий сценарий).
ASUS Pro WS TRX50-SAGE WIFI ($900) + Threadripper 7960X ($1800) + 256 ГБ DDR5-5600 ($800). Платформа: $3500. В два с половиной раза дороже за DDR5 и PCIe 5.0.
Видеокарты: RTX 6000 Pro, A40, L40S или б/у 3090?
Здесь математика простая: вам нужна VRAM. Много VRAM. Производительность в TFLOPS вторична.
| Карта | VRAM | Цена (2026) | TDP | Для кого |
|---|---|---|---|---|
| RTX 3090 (б/у) | 24 ГБ | $800-1000 | 350 Вт | Бюджетные сборки |
| RTX 4090 (б/у) | 24 ГБ | $1400-1600 | 450 Вт | Не рекомендую |
| RTX 6000 Pro | 48 ГБ | $4500-5000 | 300 Вт | Профессиональные сборки |
| A40 | 48 ГБ | $4000-4500 | 300 Вт | Серверные стойки |
| L40S | 48 ГБ | $5500-6000 | 350 Вт | Только если деньги не проблема |
RTX 3090 б/у — король бюджетных сборок. Две карты дают 48 ГБ за $2000. Четыре — 96 ГБ за $4000. Да, они греются. Да, им нужна хорошая вентиляция. Но они работают. Я собрал ферму на 8x RTX 3090 и она работает месяцами без перебоев.
Сборка по бюджетам: от $3000 до бесконечности
3 Бюджетный вариант: $3000-4000
- Threadripper 3960X (б/у): $800
- Материнская плата TRX40 (б/у): $400
- 128 ГБ DDR4-3200: $250
- 2x RTX 3090 (б/у): $1800
- Блок питания 1200 Вт: $200
- Корпус с хорошей вентиляцией: $150
- Накопитель 2 ТБ NVMe: $150
Итого: $3750 за 48 ГБ VRAM. Хватит для Qwen2.5-72B в 4-битном квантовании или двух 30B-моделей одновременно.
4 Оптимальный вариант: $7000-9000
- Threadripper 7960X: $1800
- Материнская плата TRX50: $900
- 256 ГБ DDR5-5600: $800
- RTX 6000 Pro: $4500
- Блок питания 1000 Вт: $250
- Корпус Fractal Design Meshify 2 XL: $300
- Накопитель 4 ТБ NVMe: $350
Итого: $8900 за 48 ГБ VRAM профессионального уровня. Плюс возможность добавить вторую карту позже.
5 Максимальный вариант: $15000+
- Threadripper 7980X: $2500
- ASUS Pro WS TRX50-SAGE WIFI: $900
- 512 ГБ DDR5-6000: $1600
- 2x RTX 6000 Pro: $9000
- Блок питания 1600 Вт Titanium: $500
- Корпус с поддержкой водяного охлаждения: $500
- Накопители 8 ТБ NVMe в RAID: $1200
Итого: $16200 за 96 ГБ VRAM. Для Llama 3.3-405B в полной точности или одновременной работы десятков меньших моделей.
Где покупать в 2026 году: eBay уже не король
Рынок б/у железа изменился. Вот актуальные источники на февраль 2026:
- Micro Center — появились в Европе, цены на 10-15% ниже, чем у конкурентов. Часто проводят акции на Threadripper.
- Amazon Renewed — профессиональные карты с гарантией. RTX 6000 Pro за $4200 вместо $5000.
- Специализированные магазины AI-железа — например, Lambda Labs или Colfax. Дороже, но с поддержкой и тестированием.
- Локальные форумы — майнеры окончательно распродают остатки. 3090 по $700 — реальность.
Никогда не покупайте профессиональные карты (RTX 6000, A40) с рук без тестирования. Их часто используют для рендеринга 24/7, и ресурс VRAM может быть исчерпан. Просите скриншоты GPU-Z с временем работы и температурой памяти.
Охлаждение: тихая смерть для инференс-сервера
Threadripper + 2-4 видеокарты = 800-1500 Вт тепла. В маленьком офисе это превратится в сауну. Решения:
- Корпус Fractal Design Meshify 2 XL — лучшая вентиляция на рынке. $300, но стоит каждой копейки.
- Noctua NH-U14S TR4-SP3 — кулер для Threadripper, который реально работает. Не берите водяное охлаждение для 24/7 работы — помпы ломаются.
- Дополнительные вентиляторы 140 мм — минимум 4 штуки: 2 на вдув спереди, 1 на выдув сверху, 1 на выдув сзади.
- Управление оборотами через BIOS — выставьте кривую, чтобы вентиляторы не выли на 100% при 60°C.
Если планируете гибридную сборку (NVIDIA + AMD), прочитайте мой гайд про оптимизацию AI-станции на Threadripper. Там все тонкости драйверов и охлаждения.
Софт: что ставить в 2026 году
Список проверенного ПО для инференса:
- Ubuntu 24.04 LTS — стабильность важнее новых фич. 22.04 уже устарела для новых драйверов.
- Docker + NVIDIA Container Toolkit — изолируйте каждую модель в контейнер. Так проще управлять версиями.
- vLLM — лучший inference engine на февраль 2026. Поддерживает continuous batching, PagedAttention, tensor parallelism.
- Ollama — для быстрого тестирования моделей. Не для продакшена, но для проверки идеально.
- Prometheus + Grafana — мониторинг температуры, загрузки GPU, памяти. Обязательно для 24/7 работы.
# Базовая установка на Ubuntu 24.04
sudo apt update
sudo apt install -y docker.io nvidia-driver-580
sudo systemctl enable docker
# vLLM через Docker
docker run --gpus all \
-p 8000:8000 \
-v ~/models:/models \
vllm/vllm-openai:latest \
--model /models/qwen2.5-72b \
--tensor-parallel-size 2 # Для 2 GPUОшибки, которые убьют ваш сервер
- Экономия на блоке питания — берите на 30% больше, чем расчетная мощность. 1200 Вт для системы на 900 Вт.
- Плохая вентиляция в корпусе — карты будут троттлить уже через час работы.
- Неправильные PCIe слоты — на многих платах только первые два слота работают на x16. Проверяйте мануал.
- Отсутствие мониторинга — однажды проснетесь от запаха гари. Графана — ваш друг.
- Обновление драйверов "потому что вышла новая версия" — если работает, не трогайте.
А что насчет альтернатив?
Threadripper не единственный вариант. Если нужен максимальный бюджетный VRAM, посмотрите на Radeon R9700 — 128 ГБ за разумные деньги. Или соберите систему на нескольких старых серверных картах.
Но если нужен баланс между PCIe lanes, поддержкой и ценой — Threadripper пока вне конкуренции. В 2026 году AMD анонсировала Threadripper 8000 серию с поддержкой PCIe 6.0, но цены будут космическими. TRX40/TRX50 — золотая середина.
Собирайте под задачу. Не под будущий апгрейд. Не под гипотетические потребности. Возьмите модель, которую будете запускать (Qwen2.5-72B требует ~45 ГБ в 4-битном), умножьте на 1.5 (для буфера и одновременных запросов) — и получите необходимый объем VRAM. Все остальное — оптимизация.
P.S. Если через полгода после сборки захотите добавить пятую видеокарту — не получится. Threadripper дает максимум 64-80 линий PCIe. Четыре карты по x16 — это предел. Планируйте сразу.
