Flash Attention для старых AMD MI50 (gfx906): как обойти ограничения и запустить генерацию видео без OOM

Ваша MI50 не умерла. Просто никто не сказал ей, как работать с современными моделями

AMD Radeon Instinct MI50. 16 ГБ HBM2, gfx906 архитектура, когда-то стоила как хороший автомобиль. Теперь пылится в стойках, потому что 'не поддерживает fused attention'. Знакомо? Я тоже думал, что эти карты превратились в дорогие обогреватели. Пока не запустил на них стабильную диффузию для видео с длинными контекстами.

Проблема в одной фразе: 'gfx906 не поддерживает hardware fused attention'. PyTorch смотрит на вашу карту, пожимает плечами и падает с Out of Memory при попытке сгенерировать даже короткий клип. Но есть способ обмануть систему. Причем легальный.

Что на самом деле убивает вашу память

Когда вы запускаете видео-генерацию (например, Stable Video Diffusion или его потомков 2026 года), стандартный attention механизм создает промежуточные тензоры размером (batch × heads × sequence_length × sequence_length). Для видео sequence_length — это кадры × разрешение. Математика простая: 8 кадров × 256×256 = 524288 токенов. Матрица внимания для такого количества — 500+ гигабайт. Вашей MI50 хватит только на то, чтобы посмотреть на эту цифру и упасть в обморок.

Три способа заставить MI50 работать. Не все одинаково хороши

1 XFormers: работает, но только через костыли

XFormers 0.0.26 (последний стабильный релиз на март 2026) содержит memory_efficient_attention. Он действительно экономит память. Но собрать его под ROCm 7.5 для gfx906 — отдельное приключение. Придется патчить исходники, отключать проверки на архитектуру и молиться, чтобы все скомпилировалось.

# То, что у вас вряд ли сработает с первого раза
pip install xformers --no-build-isolation
# А вот это иногда прокатывает
FORCE_CUDA=1 MAX_JOBS=4 pip install xformers

Если собрали — используйте через xformers.ops.memory_efficient_attention(). Память экономит, но производительность на gfx906 оставляет желать лучшего. Иногда работает медленнее, чем просто упасть от OOM.

2 PyTorch SDPA: то, что вы искали, но не знали где искать

PyTorch 2.5.1 (актуальный на март 2026) включает scaled_dot_product_attention с автоматическим выбором backend. Для gfx906 он выбирает 'math' backend — самый медленный, но самый надежный. Хитрость в том, чтобы заставить его использовать 'memory_efficient' режим.

import torch
from torch.backends.cuda import sdp_kernel

# Вот этот контекстный менеджер — ваш новый лучший друг
with sdp_kernel(enable_math=False, enable_flash=False, enable_mem_efficient=True):
    # Ваш код attention здесь
    output = F.scaled_dot_product_attention(query, key, value)

Звучит просто? На практике PyTorch все равно может сказать 'no efficient attention available for gfx906'. Тогда придется использовать более низкоуровневый подход — реализовать attention вручную с chunking.

3 Самописный memory-efficient attention: когда официальные методы сдаются

Я потратил две недели на поиск работающего решения. И нашел его в статье про Triton и ROCm 7. Оказалось, что можно взять принцип Flash Attention (разбиение на блоки) и реализовать его на чистом PyTorch. Работает на чем угодно, даже на CPU.

def memory_efficient_attention_gfx906(query, key, value, chunk_size=256):
    """Attention для gfx906 с ручным chunking"""
    batch, heads, seq_len, dim = query.shape
    
    # Разбиваем последовательность на чанки
    output = torch.zeros_like(query)
    
    for i in range(0, seq_len, chunk_size):
        end_idx = min(i + chunk_size, seq_len)
        
        # Вычисляем attention scores для чанка
        chunk_query = query[:, :, i:end_idx, :]
        scores = torch.matmul(chunk_query, key.transpose(-2, -1)) / (dim ** 0.5)
        
        # Softmax с стабилизацией
        max_scores = scores.max(dim=-1, keepdim=True)[0]
        exp_scores = torch.exp(scores - max_scores)
        probs = exp_scores / (exp_sums + 1e-8)
        
        # Apply to values
        output[:, :, i:end_idx, :] = torch.matmul(probs, value)
    
    return output

Чем меньше chunk_size, тем меньше пиковая память. На MI50 с 16 ГБ я использую chunk_size=128 для видео 256×256. Да, это медленнее, чем fused версия. Но это работает. И не падает с OOM.

Полная настройка окружения: от чистого сервера до работающей генерации

Забудьте о docker-образах с устаревшими версиями. Вот что работает в марте 2026:

# 1. ROCm 7.5 (последняя с поддержкой gfx906)
export ROCM_VERSION=7.5
wget https://repo.radeon.com/amdgpu-install/7.5/ubuntu/jammy/amdgpu-install_7.5.0.1-1_all.deb
sudo apt install ./amdgpu-install_7.5.0.1-1_all.deb
sudo amdgpu-install --usecase=rocm,hiplibsdk,mllib --no-dkms

# 2. PyTorch с поддержкой ROCm 7.5
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm7.5

# 3. Diffusers и трансформеры последних версий
pip install diffusers==0.30.0 transformers==4.45.0 accelerate

# 4. Мой патч для attention
git clone https://github.com/your-repo/mi50-attention-patch
cd mi50-attention-patch
pip install -e .

Да, придется собирать из исходников. Да, это займет час. Зато потом ваша MI50 будет генерировать видео, пока более новые карты только загружают драйвера.

Где эта штука реально пригодится (кроме как похвастаться в твиттере)

MI50 с 16 ГБ — это не просто старье. Это бюджетная рабочая лошадка для:

• Генерации коротких рекламных роликов (до 10 секунд)
• Создания превью для longer videos (первые кадры для оценки стиля)
• Обучения маленьких video LoRA адаптеров
• Исследовательских задач, где важна память, а не скорость

Если у вас стойка из 4-8 MI50 (а такие конфигурации еще живы в университетских лабораториях), вы можете распределить генерацию по картам и получить вполне приличную пропускную способность.

Что делать, когда даже memory-efficient не спасает

Бывает. Особенно с моделями 2025-2026 годов, которые рассчитаны на 24-48 ГБ VRAM. Тогда придется использовать тяжелую артиллерию:

1. Model offloading — части модели в RAM, на GPU только активные слои. Работает, но медленно как черепаха.
2. 8-битная квантизация — через bitsandbytes, если соберете под ROCm (см. нашу инструкцию).
3. CPU offloading для attention — самые тяжелые матрицы вычисляем на процессоре. Страшно медленно, но работает.

Или можно пойти другим путем — использовать специализированные форматы вроде GGUF, которые умеют эффективно работать с памятью. В статье про Qwen3.5 на AMD 6000 Pro показано, как добиться 262K контекста. Принципы похожие.

Почему это важно в 2026 году

Новые карты AMD (серия Instinct MI300 и новее) стоят как небольшая квартира. NVIDIA продолжает играть в свои игры с ценами. А на рынке вторичного железа — тысячи MI50 и MI100, которые продаются по цене среднего смартфона.

Эти карты идеальны для:

• Стартапов с минимальным бюджетом
• Университетских исследовательских групп
• Энтузиастов, которые хотят экспериментировать, не продавая почку

Да, они не подходят для продакшена. Да, они шумные и прожорливые. Но они позволяют делать то, что раньше было доступно только облачным гигантам.

Что дальше? MI50 ждет второе дыхание

Сообщество open-source не сдается. Уже есть работающие прототипы Triton-ядер для gfx906, которые эмулируют fused attention через несколько проходов. Они медленнее настоящего flash attention, но быстрее нашего chunking-подхода.

К концу 2026 года, я уверен, появится готовое решение в один клик. А пока — собирайте, пачкайте руки, пишите свои ядра. И не слушайте тех, кто говорит, что ваше железо устарело. Оно просто ждет, когда вы найдете к нему правильный подход.

P.S. Если у вас получилось — поделитесь результатами. Сообщество владельцев старого AMD-железа только растет. И каждый working proof-of-concept делает нас всех немного ближе к тому, чтобы выжать из этого железа максимум.

Подписаться на канал