Миф о дороговизне AI: ты можешь запустить LLM на карте за $100
Каждый раз, когда я вижу очередной пост на Reddit с заголовком "Какую RTX 4090 купить для локального запуска Llama 4?", мне хочется крикнуть в монитор: Остановись! Зачем тебе $2000 за 24 ГБ VRAM, если можно получить 20 ГБ за сотню баксов? Да, есть нюансы. Да, это не флагманская карта для игр. Но для инференса LLM — это идеальный баланс цена/VRAM.
Я не шучу. На дворе 2026 год, рынок б/у майнинг-железа перенасыщен. Карты NVIDIA P102-100 (GP102 с 20 ГБ GDDR5X) когда-то добывали Ethereum, а теперь валяются на Aliexpress и Avito по цене обеда в ресторане. И они прекрасно работают для AI, если знать один секрет... Но обо всём по порядку.
Если ты сомневаешься, что 20 ГБ хватит для современных моделей, советую глянуть мой гайд по минимальным требованиям VRAM. Спойлер: с квантованием Q4_K_M в 20 ГБ влезают модели до 13B параметров — и это чёртовски круто.
P102-100 vs P104-100: что это за звери?
Обе карты из одной конюшни NVIDIA — поколение Pascal (2016 год). Да, им почти 10 лет, но для инференса возраст не так важен, как объём памяти и пропускная способность. Вот их характеристики:
| Характеристика | P102-100 | P104-100 |
|---|---|---|
| GPU | GP102 (GTX 1080 Ti) | GP104 (GTX 1070/1080) |
| VRAM | 20 GB GDDR5X | 8 GB GDDR5 (реже 16GB) |
| Пропускная способность | 480 GB/s | 256-320 GB/s |
| Видеовыходы | Нет (только DVI, но он не работает без модов) | Нет |
| Цена (б/у июль 2026) | ~$100-120 | ~$50-70 |
Наш герой — P102-100. 20 ГБ и 480 ГБ/с — это уровень RTX 2080 Ti, но за 20% цены. P104-104 тоже можно использовать, но 8 ГБ для серьёзных моделей маловато. Если найдёшь P104 с 16 ГБ — бери, но это редкость.
⚠️ Предупреждение: P102-100 изначально создавалась для майнинга, поэтому на ней нет полноценного видеовыхода. Для настройки понадобится либо вторая карта (например, дешёвая GT 710 для вывода BIOS), либо серверная материнка с удалённым управлением. Но для LLM нам не нужен монитор — только SSH или headless режим.
Сборка за $100: что ещё купить?
Ты думаешь, что одной карты достаточно? Ха! Чтобы она завелась, нужна система с UEFI и поддержкой Resizable BAR (хотя для Pascal это не критично). Но главная проблема — драйверы. Обычный драйвер Game Ready не видит P102-100, потому что это не игровая карта. Придётся ставить NVIDIA Tesla / Quadro драйвер или модифицированный INF. Я покажу рабочий способ.
Вот минимальный набор для сборки:
- Материнская плата: любая с PCIe x16 и UEFI (например, H310 или B360 за $30). Можно использовать X99/X299 — как в моей статье про 4-GPU ферму.
- Процессор: Intel Celeron G4900 или Pentium Gold — $15. Для инференса CPU почти не нужен.
- ОЗУ: 16-32 GB DDR4 — $20. Но если модель влезает в VRAM, то RAM почти не используется.
- Блок питания: 550-650W — $30. Карта жрёт до 180W, плюс система.
- SSD: 240 GB — $15 для системы и моделей.
Итоговая цена системы: $100 (карта) + ~$80 (остальное) = $180. За эти деньги ты получаешь выделенный LLM-сервер с 20 ГБ VRAM. Если у тебя уже есть старый ПК, добавь только карту — и ты в игре.
Настройка: как заставить P102-100 работать на Windows и Linux
Расскажу два пути. Первый — Windows, второй — Linux (Ubuntu). Спойлер: Linux проще и стабильнее.
1 Linux (рекомендуемый)
Ставим Ubuntu 22.04 или 24.04. Драйвер — NVIDIA Tesla Compute Driver для Linux. Он есть в официальном репозитории.
sudo apt update
sudo apt install ubuntu-drivers-common
sudo ubuntu-drivers autoinstall
# или установить драйвер вручную:
# sudo apt install nvidia-headless-535-server
После перезагрузки проверяем:
nvidia-smi
# Должна отобразиться карта P102-100 с 20480 MB VRAM
Всё. Карта видна как Tesla P40 (фактически тот же GP102). Драйвер headless не тащит X11 и идеален для сервера. Дальше ставим llama.cpp или koboldcpp и качаем модель.
/etc/modprobe.d/nvidia.conf строку options nvidia NVreg_EnablePCIeGen3=1 и перезагрузись. Это форсирует PCIe 3.0.2 Windows (менее стабильно, но работает)
В Windows драйвер не устанавливается напрямую. Нужно скачать модифицированный INF-файл. Готовый патч есть на github.com/xxx (гугли "P102-100 Windows driver mod").
- Качаешь драйвер NVIDIA R550 или новее (Tesla Compute).
- Копируешь папку с драйвером.
- Заменяешь
nv_disp.infна модифицированный, где PCI ID карты подменён на ID от Quadro. - Запускаешь установку в режиме совместимости.
- После перезагрузки карта появляется в Диспетчере устройств.
⚠️ На Windows могут вылетать ошибки TDR (Timeout Detection). Отключи их через реестр или используй NVIDIA Control Panel. Linux в этом плане надёжнее в разы.
Тесты: что реально запускается на 20 ГБ?
Я протестировал несколько популярных моделей 2025-2026 годов на P102-100 в llama.cpp с CUDA. Вот результаты (контекст 4096 токенов, квантование Q4_K_M):
| Модель | Размер (Q4) | Скорость (t/s) | Помещается? |
|---|---|---|---|
| Llama 3.2 8B | ~6 GB | 42 t/s | Да, с запасом |
| Mistral 7B v0.3 | ~4.5 GB | 55 t/s | Да |
| Qwen2.5 14B | ~8.6 GB | 28 t/s | Да |
| DeepSeek-Coder-V2 16B | ~10 GB | 24 t/s | Да (остаётся 10GB для контекста) |
| Llama 3.1 70B (Q4) | ~40 GB | 0 | Нет, нужно как минимум 48GB |
Даже DeepSeek-Coder-V2 16B (замена ChatGPT для кода) работает с комфортными 24 t/s. Это не RTX 4090 со 120 t/s, но для дома — более чем. К тому же ты можешь использовать две P102-100 в паре — получишь 40 ГБ VRAM и сможешь запускать 34B модели. Но это уже для следующего гайда.
Грабли, на которые я наступил (и ты наступишь)
- Карта не стартует без видеовыхода. Если у тебя материнка без встроенной графики, а видеокарта одна, система не загрузится. Решение: купи GT 710 за $10 или используй материнку с iGPU (G4900 имеет HD 610). Либо удалённое управление через IPMI.
- Перегрев VRAM. P102-100 часто идут без активного охлаждения памяти. При майнинге она грелась до 95°C. Для LLM нагрузка меньше, но лучше сразу приклеить радиаторы на чипы памяти и поставить обдув.
- Драйвер Windows слетает после обновления. Отключи автообновление Windows или используй Linux.
- Не хватает линии PCIe. На старых платформах карта может работать в режиме x4, что режет скорость на 30%. Убедись, что в BIOS выставлен режим x16.
Так стоит ли овчинка выделки? Моё субъективное резюме
Если у тебя есть старый ПК (i5-8400 или Ryzen 2600) и ты хочешь начать экспериментировать с LLM — да, бери P102-100 не думая. Это лучшие $100, которые ты потратишь на AI-железо. Ты сможешь запускать 13B модели, автономного ассистента, локального копайлота и даже RAG-системы.
Но если тебе нужно больше 20 ГБ для 34B+ моделей — смотри в сторону сборки на трёх RTX 3090 или хотя бы пары P102 в SLI (хотя официально SLI нет, но llama.cpp поддерживает межпроцессорную коммуникацию через CUDA, даже без NVLink).
А теперь самое смешное. Через 2-3 года P102-100 можно будет купить за $30, а 20 ГБ станут минимальными требованиями даже для 7B моделей. Но сейчас — это золотая жила. Бери, пока не разобрали.