RTX 5090 против Microsoft VibeVoice: как заставить их работать вместе на Windows

RTX 5090 не видит VibeVoice. Что пошло не так?

Вы купили RTX 5090. Ожидали, что теперь любые модели будут летать. Скачали Microsoft VibeVoice - современную TTS-систему с эмоциональным окрашиванием речи. Запустили... и получили ошибку CUDA version mismatch. Или хуже - RuntimeError: CUDA out of memory на карте с 24 ГБ.

Чёрт. Снова эти проблемы совместимости.

Архитектура Blackwell принесла не только производительность, но и головную боль с библиотеками. PyTorch ещё не обновился для полноценной поддержки, Docker контейнеры не видят новые CUDA драйверы, а Transformers и Diffusers ведут себя так, будто вы пытаетесь запустить их на Pentium III.

Почему стандартные инструкции не работают

Откройте любой гайд по установке VibeVoice. Там написано: "Установите Docker, скачайте образ, запустите". Просто? Теоретически да. На практике вы столкнётесь с этим:

docker run --gpus all microsoft/vibevoice:latest

Error response from daemon: could not select device driver "" with capabilities: [[gpu]]

Или так:

RuntimeError: CUDA error: no kernel image is available for execution on the device
CUDA kernel errors might be asynchronously reported at some other API call

Это происходит потому что:

• Docker не видит драйверы NVIDIA для Windows 11 с WSL2
• PyTorch в контейнере скомпилирован под старую архитектуру GPU
• Библиотеки Transformers и Diffusers требуют специфических версий torch
• Windows добавляет свои грабли в виде проблем с путями и разрешениями

1Подготовка Windows: что нужно сделать до Docker

Пропустите этот шаг - и будете биться головой об стену. Windows не Linux. Здесь свои правила.

Сначала убедитесь, что у вас установлено:

Установите WSL2 с Ubuntu 22.04:

# В PowerShell от администратора
wsl --install -d Ubuntu-22.04

# После перезагрузки установите NVIDIA Container Toolkit в WSL
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
  sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
  sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

2Сборка своего Docker образа для RTX 5090

Официальный образ Microsoft VibeVoice не подойдёт. Собираем свой. Это не так страшно, как кажется.

Создайте файл Dockerfile:

# Используем базовый образ с PyTorch для CUDA 12.4
FROM pytorch/pytorch:2.4.0-cuda12.4-cudnn9-runtime

# Устанавливаем системные зависимости
RUN apt-get update && apt-get install -y \
    ffmpeg \
    libsndfile1 \
    git \
    wget \
    && rm -rf /var/lib/apt/lists/*

# Устанавливаем специфичные версии библиотек для совместимости с RTX 5090
RUN pip install --no-cache-dir \
    torch==2.4.0+cu124 \
    torchaudio==2.4.0+cu124 \
    torchvision==0.19.0+cu124 \
    --index-url https://download.pytorch.org/whl/cu124

# Устанавливаем transformers и diffusers с совместимыми версиями
RUN pip install --no-cache-dir \
    transformers==4.45.0 \
    diffusers==0.29.0 \
    accelerate==0.32.0 \
    datasets==3.0.0 \
    soundfile==0.12.1 \
    scipy==1.13.0 \
    numpy==1.26.0

# Клонируем VibeVoice (если репозиторий публичный)
# Если приватный - лучше скопировать локальную копию
RUN git clone https://github.com/microsoft/VibeVoice /app/vibevoice
WORKDIR /app/vibevoice

# Устанавливаем зависимости проекта
RUN pip install -r requirements.txt

# Фиксим проблему с совместимостью архитектур
ENV TORCH_CUDA_ARCH_LIST="8.0 8.6 8.9 9.0"
ENV CUDA_VISIBLE_DEVICES=0

# Запускаем приложение
CMD ["python", "app.py"]

Соберите образ:

# В терминале WSL Ubuntu
docker build -t vibevoice-rtx5090:latest .

3Обход ошибок PyTorch и Transformers

Даже с правильно собранным образом могут возникнуть проблемы. Вот самые частые и их решения.

Ошибка 1: "CUDA error: no kernel image is available for execution on the device"

# Добавьте это в начало вашего Python скрипта VibeVoice
import torch
import os

# Принудительно указываем архитектуру
os.environ["TORCH_CUDA_ARCH_LIST"] = "8.0 8.6 8.9 9.0"

# Перезагружаем кэш JIT
if hasattr(torch, 'cuda'):
    torch.cuda.empty_cache()
    # Эта магия помогает с совместимостью Blackwell
    torch.backends.cuda.matmul.allow_tf32 = True
    torch.backends.cudnn.allow_tf32 = True

Ошибка 2: "RuntimeError: Expected all tensors to be on the same device" в Diffusers

Проблема в том, что Diffusers пытается загрузить веса на CPU, а потом переместить на GPU. Фикс:

# Вместо стандартной загрузки модели
from diffusers import DiffusionPipeline

# Делаем так:
import torch
from diffusers import DiffusionPipeline

# Явно указываем устройство перед загрузкой
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
torch.cuda.set_device(device)

# Загружаем с явным указанием устройства
pipe = DiffusionPipeline.from_pretrained(
    "microsoft/vibevoice",
    torch_dtype=torch.float16,
    device_map="auto",
    low_cpu_mem_usage=True
).to(device)

# Принудительно отправляем все компоненты на GPU
for component in [pipe.text_encoder, pipe.vocoder, pipe.model]:
    if hasattr(component, 'to'):
        component.to(device)

4Запуск и оптимизация для RTX 5090

Blackwell архитектура любит специфичные настройки. Стандартные параметры VibeVoice не раскроют потенциал RTX 5090.

Создайте скрипт запуска с оптимизациями:

#!/usr/bin/env python3
# optimized_vibevoice.py

import torch
import time
from diffusers import DiffusionPipeline
import soundfile as sf

# Настройки для RTX 5090
torch.backends.cuda.matmul.allow_tf32 = True
torch.backends.cudnn.allow_tf32 = True
torch.backends.cuda.enable_flash_sdp(True)  # Включаем flash attention для Blackwell
torch.backends.cuda.enable_mem_efficient_sdp(True)  # Экономия памяти

# Оптимальный dtype для Blackwell - bfloat16 если поддерживается
if torch.cuda.is_bf16_supported():
    dtype = torch.bfloat16
    print("Используем bfloat16 для RTX 5090")
else:
    dtype = torch.float16
    print("Используем float16")

# Загрузка модели с оптимизациями
print("Загружаем VibeVoice...")
start_time = time.time()

pipe = DiffusionPipeline.from_pretrained(
    "microsoft/vibevoice",
    torch_dtype=dtype,
    variant="fp16",
    device_map="auto",
    low_cpu_mem_usage=True,
    use_safetensors=True  # Обязательно для безопасности и скорости
)

# Включаем xformers для ускорения (если установлен)
try:
    pipe.enable_xformers_memory_efficient_attention()
except:
    print("xformers не установлен, используем стандартное внимание")

print(f"Модель загружена за {time.time() - start_time:.2f} секунд")

# Генерация речи с оптимизированными параметрами
text = "Привет, это тест голосовой модели на RTX 5090."

with torch.inference_mode():
    with torch.cuda.amp.autocast(enabled=True, dtype=dtype):
        audio = pipe(
            text,
            num_inference_steps=30,  # Уменьшаем для скорости без потери качества
            guidance_scale=3.0,
            length_penalty=1.0,
            temperature=0.7,
            repetition_penalty=1.1,
            max_length=512,
            num_beams=3  # Оптимально для Blackwell
        ).audios[0]

# Сохранение результата
sf.write("output.wav", audio, 24000)
print("Аудио сохранено в output.wav")

Docker Compose для лёгкого управления

Запускать всё вручную - прошлый век. Используйте docker-compose.yml:

version: '3.8'

services:
  vibevoice:
    build: .
    image: vibevoice-rtx5090:latest
    container_name: vibevoice-rtx5090
    runtime: nvidia  # Критически важно для GPU в Docker
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    environment:
      - TORCH_CUDA_ARCH_LIST=8.0 8.6 8.9 9.0
      - CUDA_VISIBLE_DEVICES=0
      - NVIDIA_VISIBLE_DEVICES=all
      - NVIDIA_DRIVER_CAPABILITIES=compute,utility
      - PYTHONUNBUFFERED=1
    volumes:
      - ./data:/app/data  # Для сохранения аудиофайлов
      - ./models:/app/models  # Для кэширования моделей
      - ./cache:/root/.cache  # Кэш huggingface
    ports:
      - "7860:7860"  # Gradio интерфейс
      - "8000:8000"  # API порт
    stdin_open: true
    tty: true
    shm_size: '8gb'  # Очень важно для PyTorch
    mem_limit: 20g
    mem_reservation: 16g
    restart: unless-stopped

networks:
  default:
    name: vibevoice-network

Запускаете одной командой:

docker-compose up --build

Что делать, если ничего не помогает

Бывает. RTX 5090 - новинка, поддержка сыровата. Вот экстренные меры:

Способ 1: Запуск через CPU fallback (медленно, но работает)

# Принудительно запускаем на CPU
import os
os.environ["CUDA_VISIBLE_DEVICES"] = ""
# Теперь модель будет работать на CPU
# Скорость будет в 50 раз медленнее, но хоть что-то

Способ 2: Использование более старой карты для вычислений

Если у вас есть ещё одна карта (например, RTX 4090), можно сделать так:

# Указываем конкретную карту
CUDA_VISIBLE_DEVICES=1 python app.py  # Использует вторую карту в системе

Способ 3: Временный откат драйверов

Иногда помогает установка драйверов NVIDIA версии 555.xx вместо 560.xx. Меньше оптимизаций под Blackwell, но лучше совместимость.

Проверка работоспособности

После запуска проверьте, что всё работает:

# Внутри контейнера или в WSL
python -c "import torch; print(f'PyTorch: {torch.__version__}'); print(f'CUDA доступна: {torch.cuda.is_available()}'); print(f'CUDA версия: {torch.version.cuda}'); print(f'Устройство: {torch.cuda.get_device_name(0)}'); print(f'Архитектура: {torch.cuda.get_device_capability(0)}')"

# Должно вывести что-то вроде:
# PyTorch: 2.4.0+cu124
# CUDA доступна: True
# CUDA версия: 12.4
# Устройство: NVIDIA GeForce RTX 5090
# Архитектура: (9, 0)

Производительность: чего ожидать от RTX 5090

После всех танцев с бубнами - что мы получили? Цифры:

Blackwell реально быстрее. Но только если правильно настроить.

Альтернативы: если VibeVoice упорно не запускается

Потратили 6 часов, а VibeVoice всё ещё выдаёт ошибки? Есть варианты:

1. Piper TTS - проще, легче, работает из коробки. Качество хуже, но для большинства задач достаточно.

2. Coqui TTS - открытая альтернатива с поддержкой русского.

3. Запустить VibeVoice на облачном инстансе с A100, а результаты скачивать локально. Дорого, но работает.

Или подождать месяц. Microsoft точно выпустит обновление для Blackwell. Ранний доступ - всегда боль.

Чего не стоит делать никогда

• Не устанавливайте CUDA через conda на Windows для Docker. Это гарантированно сломает совместимость.
• Не используйте Docker Desktop без WSL2 backend. Нативный Windows Docker не дружит с NVIDIA.
• Не обновляйте драйверы NVIDIA в день выхода. Подождите неделю, посмотрите, что пишут на форумах.
• Не запускайте VibeVoice вместе с другими тяжёлыми моделями вроде LLM для RTX 5080. RTX 5090 мощная, но память всё равно ограничена.
• Не используйте Windows Defender для сканирования папки с моделями. Добавьте исключение, иначе загрузка будет тормозить в 10 раз.

RTX 5090 - прекрасная карта. VibeVoice - отличная модель. Заставить их работать вместе - задача нетривиальная, но решаемая. Главное - не сдаваться после первой ошибки CUDA.

P.S. Если через месяц всё заработает само собой после обновления PyTorch - не удивляйтесь. Так бывает с новым железом.