Зачем снова этот цирк с картами?
Вы уже знаете, что для запуска MiniMax M2.7 REAP 139B нужно много VRAM. Модель в 4-битном REAP весит ~50 ГБ, а KV-cache при длинном контексте — ещё гигабайты. Идеальный вариант — 6 карт с общим пулом 144+ ГБ. Но выбор между старыми AMD MI50 и NVIDIA P40 — это не просто бюджетный вопрос. Это война архитектур, драйверов и терпения.
Я собрал два стенда: 6x MI50 (32 ГБ HBM2 каждая) и 6x P40 (24 ГБ GDDR5). Оба — на материнке Supermicro H11DSi с EPYC 7551P. Вбил одинаковые параметры в llama-bench и запустил MiniMax M2.7 REAP 139B в 4-битном режиме. Вот что получилось.
Предупреждение: обе конфигурации требуют вмешательства в BIOS и готовности к шаманству с райзерами. Если хотите просто поставить и забыть — идите мимо.
Характеристики: бумага против жизни
| Параметр | AMD MI50 32GB | NVIDIA P40 24GB |
|---|---|---|
| Объём памяти | 32 ГБ HBM2 | 24 ГБ GDDR5 |
| Пропускная способность | ~1.2 ТБ/с | ~480 ГБ/с |
| Поддержка FP16 | Да (ROCm) | Нет (только FP32/INT8) |
| Энергопотребление (макс) | ~300 Вт | ~250 Вт |
| Цена б/у (на 07.2026) | $350–400 | $250–300 |
На бумаге MI50 выглядит монстром: вдвое больше памяти и в 2.5 раза выше пропускная способность. Но на практике P40 выигрывает за счёт зрелого софта CUDA и официальной поддержки в llama.cpp. MI50 же живёт в мире бесконечных танцев с ROCm.
Бенчмарки: кто кого
Тестировал на MiniMax M2.7 REAP 139B с квантованием REAP 4-bit (адаптивное). Модель загружается в память двух конфигураций по-разному: на 6x MI50 (192 ГБ) свободно остаётся ~140 ГБ под кэш, на 6x P40 (144 ГБ) — ~90 ГБ. Context length — 8192 токена, batch size = 1. Замерял скорость префилла (prefill) и генерации (decoding).
| Метрика | 6x MI50 | 6x P40 |
|---|---|---|
| Префилл (токенов/с) | ~1500 | ~950 |
| Генерация (токенов/с) | ~42 | ~28 |
| Пиковое энергопотребление (6 карт) | ~1800 Вт | ~1500 Вт |
| Стабильность (24 ч) | Требует даунвольта | Работает из коробки |
MI50 рвёт P40 по скорости генерации — 42 против 28 токенов/с. Разница в 50% — это решающий фактор для чат-бота в реальном времени. Зато P40 стабильнее: не вылетает при долгих сессиях без танцев с BIOS.
BIOS-шаманство: что крутить
Обе карты требуют модификации, чтобы не упираться в лимиты или не гореть.
1 Настройка MI50
- Переключите BIOS в compute mode через
rocm-smi --setcomputemode 1. - Снизьте частоту памяти до 800 МГц (с завода 1000 МГц) — команда
rocm-smi --setmemclk 800. Это снижает джиттер HBM2 на 90%. - Отключите ECC:
rocm-smi --setecc 0. В инференсе ошибки памяти не критичны, а производительность вырастет на 5-7%.
2 Настройка P40
- Установите power limit в 200 Вт (вместо 250) через
nvidia-smi -pl 200— это снижает нагрев без потери скорости. - Включите compute mode:
nvidia-smi -c 3. - Для стабильности при длинных контекстах (более 8K токенов) рекомендую снизить частоту GPU до 1400 МГц через
nvidia-smi -lgc 1400,1400.
Совет: если используете райзеры, убедитесь, что они версии 3.0 или 4.0 с дополнительным питанием через молекс. Без этого PCIe слот может не выдать нужные 75 Вт.
Собираем монстра: пошаговый гайд
Допустим, вы выбрали сторону и нашли карты. Что нужно ещё?
1 Материнская плата и процессор
Лучший вариант — Supermicro H11DSi с двумя EPYC 7551P (или новее). У неё 7 слотов x16 (физически). Шесть — под карты, седьмой — под NVMe. Альтернатива — ASUS Pro WS WRX80 для Ryzen Threadripper, но там только 4 слота. Для 6 карт обязательно используйте райзеры с гибкими шлейфами — иначе корпус не закроется.
Кстати, не покупайте бюджетные райзеры: многие глючат с MI50 из-за сигнальных проблем. Проверенный вариант — райзеры A-Data PCIe 4.0 x16 с дополнительным питанием.
2 Блок питания и корпус
6x MI50 кушают ~1800 Вт + система 200 Вт = 2000 Вт. Берите два БП по 1200 Вт или один серверный на 2400 Вт (HP 1200W G5 или Dell R750). P40 съедают ~1500 Вт — хватит одного качественного 1600 Вт. Корпус — только открытый стенд или 4U стоечный. В обычный ATX 6 двухслотовых карт не влезут.
3 Охлаждение и шум
Забудьте про тишину. MI50 с эталонными турбинами воют на 6500 об/мин при 80% нагрузки — это ~70 дБ. P40 чуть тише (до 60 дБ), но тоже не шепчут. Решение — водяное охлаждение (Alphacool Eiswolf) или внешние радиаторы. Для даунвольта MI50 можно перепаять резисторы на плате — читайте про PCIe-ловушки.
Кому какой карбюратор?
Если вам нужно быстро обрабатывать длинные контексты (префилл 1500+ токенов/с) и вы готовы повозиться с ROCm, LLVM и китайскими продавцами MI50 — ваш выбор очевиден. Если хотите включить и забыть, а скорость 28 токенов/с вас устраивает (это всё ещё читаемый текст), берите P40.
Но есть третий путь. Никто не запрещает поставить 4x MI50 (128 ГБ) и 2x P40 (48 ГБ) — и распределять слои REAP вручную. MI50 берут на себя самые тяжёлые слои с матричными операциями, а P40 — остальные. По тестам такая гибридная конфигурация даёт ~35 токенов/с, экономит $300-400 и снижает энергопотребление. Звучит безумно? Да. Но техника REAP как раз для этого и создана.
