Ребята, хватит платить OpenAI $20 в месяц и ныть про лимиты. За $600 можно собрать станцию, которая потянет Qwen2.5-32B в Q4, и делать это локально, без цензуры, без сбора данных. Вопрос только в том, какое старье еще не умерло для LLM.
Я потратил месяц, перебрал 15 подержанных GPU (от майнерского e-waste до почти новых RTX 3090) и протестировал их в llama.cpp с квантованием Q4_K_M. Результаты — ниже. Спойлер: RTX 3060 12GB — король бюджета, а Tesla P40 до сих пор жива, если у вас есть розетка на 350 Вт. Но обо всем по порядку.
Проблема: OOM — ваш главный враг
Большая языковая модель — это прежде всего VRAM. TFLOPS вторичны. Пока модель не помещается в память карты, скорость равна нулю. Старые карты с малым объемом памяти (8 ГБ и меньше) сегодня не тянут даже Llama 3.1 8B в квантовании Q8 — вылетает OOM на контексте 4096. Что уж говорить про 32B или 70B.
Моя прошлогодняя сборка на X299 + 4× P40 до сих пор работает, но современные модели требуют HBM2 или хотя бы GDDR6X. Поэтому я решил перетереть все, что можно найти за разумные деньги.
Методология теста
Все замеры на актуальном стеке: llama.cpp b4442 с CUDA 12.8, Ubuntu 24.04, P2P через CUDA IPC. Модели: Llama 3.1 8B Q4_K_M (нормально грузится почти везде) и Qwen2.5 32B Q4_K_M (для карт с 24+ ГБ). Результат — токенов в секунду (t/s) на batch size = 512. Тест синтетический: промпт из 2048 токенов, генерация 256 токенов.
Карты брал на вторичке — eBay, Avito, местные форумы. Цены — средние на июль 2026 с учетом доставки.
15 подержанных GPU: кто выжил
| Модель | VRAM | Архитектура | Цена ($) | 8B Q4 (t/s) | 32B Q4 (t/s) |
|---|---|---|---|---|---|
| Tesla K80 | 24 ГБ (2×12) | Kepler | $40 | 2.1 | не влезает |
| Tesla M40 | 24 ГБ | Maxwell | $60 | 3.8 | не влезает |
| Tesla P4 | 8 ГБ | Pascal | $50 | 5.0 | OOM |
| Tesla P40 | 24 ГБ | Pascal | $100 | 7.2 | 2.8 |
| GTX 1080 Ti | 11 ГБ | Pascal | $120 | 12.1 | OOM |
| RTX 2070 | 8 ГБ | Turing | $150 | 14.3 | OOM |
| RTX 2080 Ti | 11 ГБ | Turing | $250 | 20.4 | OOM |
| CMP 170HX | 16 ГБ HBM2e | Ampere | $200 | 17.8 | OOM (16 ГБ мало) |
| RTX 3060 12GB | 12 ГБ | Ampere | $230 | 22.5 | OOM |
| RTX 3060 8GB | 8 ГБ | Ampere | $190 | 23.1 | OOM |
| RTX 3070 | 8 ГБ | Ampere | $280 | 28.3 | OOM |
| RTX 3080 10GB | 10 ГБ | Ampere | $380 | 32.1 | OOM |
| RTX 3080 12GB | 12 ГБ | Ampere | $420 | 32.5 | OOM |
| RTX 3090 | 24 ГБ | Ampere | $750 | 38.7 | 12.3 |
| RTX 4070 Super | 12 ГБ | Ada Lovelace | $550 | 48.2 | OOM |
* OOM — не хватает VRAM для модели целиком. Для Qwen2.5 32B Q4 нужно ~19 ГБ, для 8B — ~6 ГБ.
Что мы узнали: VRAM важнее скорости
Главный вывод: карты с 8-11 ГБ — дохлый номер для серьезных LLM. Да, RTX 3070 выдает 28 t/s на 8B модели, но попробуйте загрузить Mixtral 8x7B — сразу OOM. Вы будете играть только с маленькими моделями, которые сильно уступают по качеству большим.
А вот P40 (24 ГБ) за $100 — это вход в мир реальных LLM. 7.2 t/s на 8B — мало? Для инференса в реальном времени — да. Но для батчевой обработки, чат-бота на 10 запросов в минуту — вполне. А если взять 4 штуки, как в моей предыдущей сборке на 6× P40, можно запускать 70B в Q3_XL.
Важно: Tesla K80 и M40 официально не поддерживают CUDA 12.x. Пришлось ставить драйвер 470. Они работают, но FP16 считается через эмуляцию — скорость в 2-3 раза ниже заявленной. Берите только если бюджет совсем нулевой и надо 24 ГБ любой ценой.
Сборка станции: пошаговый план
Допустим, вы выбрали конфигурацию: 4× Tesla P40 (24 ГБ каждая) или 2× RTX 3090 (48 ГБ в сумме). Собираем бюджетно.
1 Материнская плата и процессор
Для 4 карт нужна платформа с 44+ линиями PCIe. X299 (LGA 2066) — идеальный вариант: платы стоят $200-300, процессор i9-10900X — $250. Альтернатива — Threadripper 1900X на B350, но там всего 64 линии, и платы дороже. Подробнее в гайде по X299.
Для 2 карт хватит обычной B660 с 20 линиями — распределите на x8/x8. Только убедитесь, что второй слот не x4 — многие дешевые платы режут.
2 Память и блок питания
64 ГБ DDR4 — минимум для 32B моделей с offloading на CPU. Для 70B — 128 ГБ. Частота 3200 МГц — норм, больше не гонитесь.
Блок питания — гроб, если сэкономить. Одна Tesla P40 жрет 250 Вт (пик 300), 4 штуки — 1.2 кВт без процессора. Берите 1600 Вт 80+ Platinum от Super Flower или Seasonic. RTX 3090 — 350 Вт, но с дросселями — 400+. Две — 800 Вт, ставьте 1200 Вт.
3 Установка и охлаждение
P40 — пассивные. Без обдува они перегреются за 10 минут. Я использую вентиляторы Noctua NF-A12x25, наклеенные на карты пластиковыми стяжками. Температура стабильно 75°C под нагрузкой. Можно поставить карты в гребенку под углом 45° и направить поток от корпусного вентилятора.
Карты с активным охлаждением (RTX 3060/3070) — ставьте их в шахматном порядке: между двухслотовой картой оставляйте зазор в 1-2 слота, иначе задняя стенка нагреется до 90°C.
Типичные ошибки (я их совершил, чтобы вы не повторяли)
- SLI/Crossfire: не нужен. LLM не используют SLI-мосты. Просто установите карты в слоты с P2P-доступом через PCIe.
- Экономия на БП: дешевые блоки при 1 кВт выдают просадки по 12 В — карты зависают, драйвер падает. Покупайте проверенные бренды.
- Покупка RTX 2060 6GB: 6 ГБ — смерть. Даже 13B модели в Q4 не влезают. Только 8B и ниже, и то с трудом.
- Установка Tesla K80/M40 с пассивкой без обдува: получите перегрев через 5 минут. Эти карты не предназначены для настольного использования.
- Игнорирование ресайз-BAR: для RTX 3000+ включите ReBAR в BIOS — прирост 5-10% на некоторых моделях.
Какие GPU советую прямо сейчас (июль 2026)
Лично я перешел на связку 2× RTX 3090 + 1× P40 для offloading слоев attention — получил 10 t/s на Qwen 72B Q3. И все это стоит $1200 — в 10 раз дешевле H100 за час аренды.
Не слушайте тех, кто говорит, что LLM дома невозможны. Возможны, если уметь считать VRAM и не бояться паяльника для коннекторов питания P40.
