AMD vs NVIDIA для обучения LLM: Зачем я продал RX 7900 XTX и купил RTX 3090

Дорогая ошибка: почему я купил RX 7900 XTX для LLM

К началу 2026 года ситуация выглядела обнадеживающе: AMD выпустила ROCm 6.3 с обещанием полной поддержки RDNA 3, PyTorch 2.4 официально добавил поддержку HIP (аналог CUDA от AMD), а цена RX 7900 XTX была на 30% ниже, чем у RTX 4090 с аналогичным объемом VRAM (24 ГБ). Логика покупки казалась железной — больше памяти за меньшие деньги. Я собрал систему, установил Ubuntu 24.04 LTS, последние драйверы AMD и приготовился к обучению Llama 3.1 70B с LoRA.

Через три недели я продал RX 7900 XTX за 80% от первоначальной стоимости и купил б/у RTX 3090. Вот почему.

Архитектурная пропасть: почему CUDA просто работает, а ROCm — нет

Проблема не в железе. RX 7900 XTX технически мощнее RTX 3090: 6144 потоковых процессоров против 10496, 96 МБ Infinity Cache против 6 МБ L2, пиковая производительность FP32 — 61 TFLOPS против 36 TFLOPS. На бумаге AMD выигрывает по всем параметрам.

Но обучение LLM — это не синтетические бенчмарки. Это реальная работа с фреймворками, библиотеками и распределенными системами.

Пять фундаментальных проблем ROCm в 2026 году

1. Поддержка PyTorch — только через HIP: Да, PyTorch 2.4 поддерживает HIP. Но эта поддержка вторична. Новые функции вроде torch.compile с Triton появляются сначала для CUDA, а для HIP — через 6-9 месяцев. Когда вы читаете туториал по обучению LLM, 95% кода написано для CUDA.
2. Распределенное обучение (DDP/FSDP) — лотерея: Data Parallelism на одной карте работает. Distributed Data Parallelism с двумя и более картами — это русская рулетка. То NCCL совместимость подводит, то синхронизация градиентов ломается на 50-й итерации.
3. Память: 24 ГБ ≠ 24 ГБ: У RX 7900 XTX действительно 24 ГБ GDDR6. Но управление памятью в ROCm менее эффективно, чем NVCC в CUDA. На практике под PyTorch с HIP доступно 22-23 ГБ, а фрагментация происходит быстрее.
4. Поддержка библиотек: FlashAttention-3? Только CUDA. xFormers с оптимизациями для AMD? Теоретически возможно, практически — собирайте из исходников с молитвой. Пакет pip install flash-attn — это всегда CUDA-версия.
5. Сообщество и документация: Задаете вопрос на Stack Overflow про ошибку в ROCm? В лучшем случае получите ответ «попробуйте CUDA». GitHub Issues для проектов вроде vLLM или llama.cpp помечают баги с AMD как low priority.

Решающий эксперимент: обучение реальной модели

Я взял датасет из 10к инструкций для тонкой настройки CodeLlama 13B с LoRA (r=16, alpha=32). Одинаковый код, одинаковые гиперпараметры, Ubuntu 24.04. Разница только в target_modules — для ROCm пришлось избегать определенных слоев из-за ошибок в реализации.

# Код для NVIDIA (просто работает)
model = AutoModelForCausalLM.from_pretrained(
    "codellama/CodeLlama-13b-hf",
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

lora_config = LoraConfig(
    r=16,
    lora_alpha=32,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"],
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM"
)

# Код для AMD (требует правок)
# Пришлось убрать 'gate_proj' из-за ошибки в ROCm 6.3
lora_config_amd = LoraConfig(
    r=16,
    lora_alpha=32,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "up_proj", "down_proj"],  # Нет gate_proj!
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM"
)

Результат? На RTX 3090 обучение прошло за 18 часов 42 минуты. Loss стабильно снижался, память использовалась равномерно. На RX 7900 XTX — 21 час 15 минут, с тремя крашами из-за ошибок памяти ("HIP out of memory", хотя свободно 5 ГБ), и финальный loss был на 0.15 выше.

Практическая миграция: как переехать с AMD на NVIDIA без боли

Если вы решились на миграцию (а после прочтения этого раздела вы точно решитесь), вот пошаговый план.

1 Полная очистка системы от AMD драйверов

Первое правило миграции — не оставлять следов. ROCm устанавливает библиотеки в /opt/rocm, драйверы в ядро, и переменные окружения в .bashrc.

# Удаляем весь ROCm стек
sudo apt purge rocm-hip-sdk rocm-opencl-sdk rocm-dev rocm-libs -y
sudo rm -rf /opt/rocm
sudo rm -rf ~/.cache/rocm

# Удаляем AMD драйверы
sudo apt purge amdgpu-install amdgpu-dkms -y

# Очищаем переменные окружения
sed -i '/ROCM_PATH/d' ~/.bashrc
sed -i '/HIP_PATH/d' ~/.bashrc
sed -i '/LD_LIBRARY_PATH.*rocm/d' ~/.bashrc

# Перезагружаемся
sudo reboot

2 Установка NVIDIA драйверов и CUDA 12.4

На февраль 2026 года актуальная версия — CUDA 12.4. Не берите 12.3 — в ней есть баг с распределенным обучением на нескольких картах.

# Добавляем репозиторий NVIDIA
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

# Устанавливаем драйверы
sudo apt update
sudo apt install nvidia-driver-550 -y  # 550 версия на февраль 2026
sudo apt install cuda-toolkit-12-4 -y

# Проверяем установку
nvidia-smi
nvcc --version

3 Настройка PyTorch с поддержкой CUDA 12.4

Не используйте просто pip install torch. Берите специфичную сборку под вашу версию CUDA.

# Для CUDA 12.4
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124

# Устанавливаем дополнительные библиотеки для LLM
pip install transformers==4.40.0 accelerate==0.27.0 peft==0.9.0
pip install flash-attn==2.5.0  # Только для CUDA!
pip install bitsandbytes==0.42.0  # Для 4-битной загрузки моделей

# Проверяем, что все работает
python -c "import torch; print(f'CUDA доступна: {torch.cuda.is_available()}'); print(f'Версия CUDA: {torch.version.cuda}'); print(f'Количество GPU: {torch.cuda.device_count()}')"

Сборка мульти-GPU системы: 2x RTX 3090 против RX 7900 XTX

Вот где разница становится драматичной. Две RTX 3090 с NVLink — это совершенно другой уровень производительности для LLM.

Почему NVLink меняет все

С одной RTX 3090 вы ограничены 24 ГБ VRAM. Этого хватает для Llama 3.1 13B в BF16 или Llama 3.1 70B в 4-битном формате. Но для обучения 70B в BF16 нужно минимум 140 ГБ. Решение — распределенное обучение на нескольких GPU.

Без NVLink данные между картами передаются через PCIe 4.0 x16 со скоростью 32 ГБ/с. С NVLink 3.0 — 112 ГБ/с в каждом направлении. При обучении с FSDP (Fully Sharded Data Parallel) это разница между 40% и 90% утилизацией GPU.

Конфигурация системы для 2x RTX 3090

• Материнская плата: С двумя PCIe 4.0 x16 слотами (не x16/x8!). Например, ASUS ProArt X670E или аналогичная для Threadripper.
• Процессор: Минимум 16 ядер. Каждая карта требует CPU ресурсов для подготовки данных. Ryzen 9 7950X или Threadripper 7960X.
• Память: 128 ГБ DDR5. При обучении больших моделей система активно использует оперативную память для кэширования данных.
• Блок питания: 1200W минимум. Две RTX 3090 под нагрузкой потребляют 700+ Вт, плюс процессор 200+ Вт.
• Охлаждение: RTX 3090 известны перегревом памяти GDDR6X. Обязательно хороший airflow в корпусе или водяное охлаждение.

Код, который просто работает на NVIDIA

После миграции вы наконец-то сможете использовать весь стек современных библиотек без костылей.

# Обучение Llama 3.1 70B с FSDP на 2x RTX 3090
from transformers import AutoModelForCausalLM, AutoTokenizer
from accelerate import FullyShardedDataParallelPlugin
from torch.distributed.fsdp import FullyShardedDataParallel as FSDP
import torch

# Автоматически использует NVLink если доступно
torch.cuda.set_device(0)

model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-3.1-70B",
    torch_dtype=torch.bfloat16,
    device_map="auto",
    low_cpu_mem_usage=True
)

# FSDP конфигурация
fsdp_plugin = FullyShardedDataParallelPlugin(
    state_dict_config=FullStateDictConfig(offload_to_cpu=True, rank0_only=True),
    optim_state_dict_config=FullOptimStateDictConfig(offload_to_cpu=True, rank0_only=True)
)

# Модель автоматически распределяется между GPU
model = FSDP(
    model,
    fsdp_plugin=fsdp_plugin,
    device_id=torch.cuda.current_device(),
    limit_all_gathers=True
)

# И дальше обычное обучение...
# На AMD этот код потребовал бы 20 строк хаков для работы с HIP

Стоит ли ждать AMD Instinct MI300?

К февралю 2026 года на рынке появляются б/у AMD Instinct MI300A по цене 2-3 RTX 4090. У них 128 ГБ HBM3 памяти и производительность сравнимая с H100. Но:

1. Их поддержка в ROCm приоритетна, но все еще отстает от CUDA на 3-6 месяцев.
2. Цена — 8000-12000$ за карту. За эти деньги можно собрать кластер из 4x RTX 4090.
3. Энергопотребление — 750 Вт на карту. Для двух карт нужна отдельная линия 220В.
4. Шум — активное охлаждение на 80 дБ. Это не для домашнего использования.

Если вы исследователь в университете с бюджетом или компания, строящая дата-центр — MI300 имеет смысл. Для энтузиаста или стартапа — нет.

Когда AMD все-таки имеет смысл

Я не говорю, что AMD абсолютно бесполезны для ML. Есть три сценария, где RX 7900 XTX побеждает:

1. Инференс (вывод моделей): Для запуска уже обученных моделей через llama.cpp или Ollama. Здесь ROCm работает стабильно, а цена за ГБ VRAM ниже.
2. Студенческие проекты: Если вы учитесь и бюджет ограничен, RX 7900 XTX за 650$ даст вам 24 ГБ для экспериментов. Обучение маленьких моделей (до 7B параметров) работает.
3. Мультимодальные модели: Генерация изображений через Stable Diffusion 3. На февраль 2026 года AMD драйверы для Vulkan стабилизировались, и производительность сравнялась с NVIDIA.

Но для серьезного обучения LLM, особенно с использованием современных техник вроде DPO, QLoRA или длинного контекста — NVIDIA остается единственным разумным выбором.

Финальный вердикт

Продавая RX 7900 XTX и покупая RTX 3090, я потерял 200$ разницы в цене. Но выиграл:

• 30% времени на настройку окружения
• 40% стабильности при распределенном обучении
• Доступ к полному стеку библиотек (FlashAttention, xFormers, Triton)
• Возможность использовать NVLink для мульти-GPU конфигураций
• Сообщество, где на любой вопрос есть ответ

AMD продолжает улучшать ROCm. К версии 7.0 обещают полную совместимость с PyTorch 2.5. Но пока это обещания. В 2026 году для обучения LLM выбирайте NVIDIA. Даже если это означает покупку б/у RTX 3090 вместо новой RX 7900 XTX.

Частые вопросы (FAQ)

А как же Intel Arc? Они обещают поддержку PyTorch через oneAPI

На февраль 2026 года Intel Arc Battlemage только анонсированы. Поддержка в PyTorch через XPU бэкенд существует, но работает только с моделями до 3B параметров. Для серьезных LLM проектов — не рассматривайте.

Можно ли использовать ROCm на Windows для обучения?

Технически — да, с февраля 2025 года. Практически — только для инференса через DirectML. Обучение на Windows с ROCm стабильно работает только с WSL2, что добавляет еще один слой сложности. Подробнее в нашей статье про RX 9070 на Windows.

Стоит ли покупать RTX 4090 вместо двух RTX 3090?

Зависит от задач. RTX 4090 (24 ГБ) быстрее одной RTX 3090 на 30-40%. Но две RTX 3090 (48 ГБ суммарно) позволяют обучать модели в 2 раза больше. Для 70B+ моделей — две 3090. Для 7B-13B моделей — одна 4090.

Какой Linux дистрибутив лучше для NVIDIA?

Ubuntu 24.04 LTS или Pop!_OS 22.04. Оба имеют отличную поддержку NVIDIA драйверов из коробки. Избегайте Arch Linux для продакшен систем — обновления ядра часто ломают драйверы.

Я уже купил RX 7900 XTX. Что делать?

Используйте ее для инференса через llama.cpp. Для обучения начните с маленьких моделей (до 7B) и простых датасетов. Или продайте и купите RTX 3090 — разница в цене окупится сэкономленным временем.