Зачем кому-то RTX PRO 4000 в корпусе меньше микроволновки?
Потому что квартира в Москве стоит как десять H100, а арендовать сервер с 48 ГБ VRAM - это как продать почку. RTX PRO 4000 Blackwell SFF - это профессиональная карта в форм-факторе low-profile, которая физически влезает в корпуса, где обычная RTX 4090 даже не думает помещаться. 48 ГБ GDDR7 памяти, архитектура Blackwell с поддержкой FP8, и все это в коробке 167×69 мм. Звучит как шутка, но это реальность января 2026 года.
Важно: SFF-версия RTX PRO 4000 Blackwell - это не урезанная карта. Это полный чип GB202 с теми же 48 ГБ памяти, что и в полноразмерной версии. Разница только в системе охлаждения и разъеме питания - здесь один 8-пин вместо двух.
Сборка, которая не должна работать (но работает)
Minisforum MS-S1 Max - компактный ПК с процессором AMD Ryzen 9 8945HS. Теоретически он поддерживает карты до 150W. RTX PRO 4000 Blackwell SFF потребляет 225W. Математика не сходится? Именно. Но есть нюанс: карта редко выходит на полную мощность при работе с llama.cpp. Пиковая нагрузка в inference - 180-190W, и то только в первые секунды генерации.
| Компонент | Модель | Зачем |
|---|---|---|
| Системный блок | Minisforum MS-S1 Max | PCIe 4.0 x16, 240W блок питания |
| Видеокарта | RTX PRO 4000 Blackwell SFF | 48 ГБ GDDR7, архитектура Blackwell |
| Адаптер питания | Dell DA-2 220W | Внешний блок для карты |
Да, внешний блок питания. Встроенный 240W блок Minisforum не потянет карту + процессор. Решение - Dell DA-2, который подключается напрямую к 8-пин разъему карты через переходник. Грязный хак? Безусловно. Но работает стабильно уже месяц.
Почему именно llama.cpp, а не Ollama или text-generation-webui?
llama.cpp в версии 2026.01 поддерживает одновременную работу CUDA и Vulkan бэкендов. Это критично для SFF-систем, где охлаждение ограничено. CUDA дает максимальную скорость, но греет карту как печка. Vulkan медленнее на 15-20%, но температура ниже на 10-15°C. В компактном корпусе разница между 75°C и 85°C - это разница между стабильной работой и троттлингом.
1 Установка и компиляция llama.cpp под Blackwell
Стандартная сборка из репозитория не сработает. Архитектура Blackwell требует CUDA 12.6+ и специальных флагов компиляции:
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make LLAMA_CUDA=1 LLAMA_VULKAN=1 \
CUDA_DOCKER_ARCH=sm_90 \
CUDA_VERSION=12.6 \
LLAMA_CUDA_F16=1 \
LLAMA_CUBLAS=1Флаг sm_90 - поддержка архитектуры Blackwell. Без него компиляция пройдет, но CUDA ядра будут работать в режиме совместимости, теряя до 40% производительности.
2 Конфигурация llama-server для гибридного режима
Стандартный server.sh не подойдет. Нужен кастомный конфиг:
#!/bin/bash
./server \
--model /models/deepseek-v4-671b-q4_k_xl.gguf \
--ctx-size 8192 \
--batch-size 512 \
--split-mode layer \
--main-gpu 0 \
--tensor-split 0.7,0.3 \
--n-gpu-layers 80 \
--no-mmap \
--mlock \
--threads 16 \
--parallel 4 \
--cont-batching \
--flash-attn \
--mul-mat-q 1Что здесь важно:
- --split-mode layer: распределяет слои между GPU
- --tensor-split 0.7,0.3: 70% модели на CUDA (основная карта), 30% на Vulkan (если бы была вторая)
- --n-gpu-layers 80: 80 слоев на GPU, остальные на CPU (экономит VRAM)
- --flash-attn: включение Flash Attention для Blackwell
Q4_K_XL vs Q8_0: битва квантований в 2026 году
Старый добрый Q4_K_M умер. В 2026 году стандарт - Q4_K_XL, новый формат квантования в llama.cpp, который сохраняет точность почти как у Q8_0, но занимает в два раза меньше места. Для DeepSeek-V4 671B:
| Формат | Размер | Perplexity | Tokens/sec |
|---|---|---|---|
| Q4_K_XL | ~140 ГБ | 4.21 | 18.7 |
| Q8_0 | ~260 ГБ | 4.18 | 22.1 |
| FP16 | ~520 ГБ | 4.15 | 9.3 |
Q4_K_XL выигрывает по соотношению размер/качество. 140 ГБ против 260 ГБ у Q8_0 - это разница между "влезает в 48 ГБ VRAM с оверлейным кэшированием" и "нужен сервер с 4×RTX 6000".
Температурный ад: как не сжечь SFF-систему
RTX PRO 4000 Blackwell SFF в корпусе Minisforum - это как посадить тигра в клетку для хомяка. Без модификаций карта упирается в 92°C и начинает троттлить через 10 минут нагрузки.
Решение номер один: замена термопасты на Thermal Grizzly Kryonaut Extreme. Заводская паста - это что-то среднее между пластилином и жевательной резинкой. Замена снижает температуру на 8-10°C.
Решение номер два: внешний вентилятор Noctua NF-A12x15, направленный на заднюю часть карты. Еще 5-7°C.
Решение номер три (самое важное): ограничение мощности через nvidia-smi:
sudo nvidia-smi -pl 180180W вместо 225W. Потеря производительности? 5-8% в токенах в секунду. Выигрыш в температуре? 15-18°C. Стоит того.
Внимание: Ограничение мощности через nvidia-smi сбрасывается после перезагрузки. Добавьте команду в /etc/rc.local или создайте systemd сервис.
Сравнение с альтернативами: зачем платить больше?
RTX PRO 4000 Blackwell SFF стоит как два RTX 5070 Ti. Но 48 ГБ против 32 ГБ - это не просто "больше памяти". Это возможность запускать модели, которые иначе не влезут вообще.
Сравниваем с Minisforum AI X1 Pro с интегрированным NPU. Тот же форм-фактор, но максимум 16 ГБ общей памяти против 48 ГБ выделенной VRAM. Для моделей больше 70B - даже не конкурент.
Сравниваем с RTX 2000 Pro Blackwell. Младшая модель, 16 ГБ памяти. Для 7B-13B моделей - отлично. Для 70B+ - нужно квантование в Q2_K, что убивает качество.
Единственный реальный конкурент в SFF-формате - это гибридная система с внешним GPU через Thunderbolt 5. Но там свои проблемы: ограничение пропускной способности 80 Гбит/с против 64 ГБ/с у PCIe 4.0 x16.
Кому подойдет эта сборка (а кому лучше забыть)
Берите, если:
- Живете в однушке и серверная стойка не влезет в интерьер
- Нужно запускать модели 70B+ с контекстом 8K+ токенов
- Готовы возиться с настройками и тюнингом охлаждения
- Понимаете разницу между CUDA и Vulkan бэкендами
Забудьте, если:
- Хотите "из коробки" без настроек
- Планируете обучение моделей (нужен запас по VRAM)
- Боитесь внешних блоков питания и вентиляторов
- Думаете, что 48 ГБ хватит для FP16 версии DeepSeek-V4 (нет, не хватит)
Что сломается первым (и как это починить)
Первый кандидат на поломку - внешний блок питания Dell DA-2. Работает на пределе 180W при ограниченной мощности. Решение: мониторить температуру блока (горячий, но не обжигающий - норма).
Второй - термопаста. Kryonaut Extreme высыхает за 6-8 месяцев при постоянной нагрузке 75+°C. Менять раз в полгода.
Третий - PCIe слот на материнской плате. Карта тяжелая, крепление одно. Подпорка из LEGO или специальная подставка обязательна.
Самое интересное: сама карта скорее всего переживет все остальные компоненты. Профессиональное железо NVIDIA рассчитано на 24/7 работу годами. В отличие от игровых карт, где вентиляторы сдаются через 2-3 года постоянной нагрузки.
Финальный совет: если собираете такую систему в 2026 году - сразу покупайте карту с гарантией. RTX PRO 4000 Blackwell SFF еще новинка, и ранние партии могут иметь "детские болезни". Проверяйте поддержку Resizable BAR в BIOS материнской платы - без нее потеря производительности до 30% в llama.cpp.
И да, эта сборка - абсолютно безумная идея. Но именно такие идеи двигают локальный AI вперед. Пока корпорации строят дата-центры размером с футбольное поле, мы запускаем 671B модели на столе размером с ноутбук. И это того стоит.
