397 миллиардов параметров на вашем ПК: запускаем Qwen3.5-397B локально через Unsloth и GGUF

Когда 397 миллиардов параметров перестают быть страшной цифрой

Представьте модель, которая по размерам превосходит GPT-4 Turbo, стоит рядом с Claude Opus 4.5, но при этом запускается на вашем железе. Qwen3.5-397B-A17B - это не просто очередная большая модель. Это архитектурный эксперимент, который доказывает: MoE (Mixture of Experts) работает не только в дата-центрах Google.

Почему 397B, а не что-то поменьше?

Здесь работает простая математика. Qwen3.5-32B дает хорошие результаты. Qwen3.5-72B - отличные. Но 397B - это качественный скачок. Не линейный рост, а экспоненциальный. Особенно в задачах, требующих глубокого понимания контекста: код-ревью, научные статьи, многошаговое планирование.

Железо: что нужно для запуска монстра

Здесь начинается самое интересное. Все думают, что для 397B нужен суперкомпьютер. На деле - достаточно умного подхода.

Видите разницу? 800 GB против 200 GB. Это как разница между «нужен серверный шкаф» и «хватит рабочей станции». Если у вас есть опыт запуска 235-миллиардных моделей на 3x3090, то 397B покажется логичным следующим шагом.

1 Скачиваем модель в GGUF формате

Первое, что нужно понять: оригинальная модель весит терабайты. Нам это не нужно. Ищем квантованные версии на Hugging Face. Ключевые слова: Qwen3.5-397B-A17B-GGUF или Qwen3.5-397B-A17B-Q4_K_M.

# Скачиваем через huggingface-hub
pip install huggingface-hub

huggingface-cli download Qwen/Qwen3.5-397B-A17B-GGUF \
  --local-dir ./qwen397b-gguf \
  --local-dir-use-symlinks False \
  --include "*Q4_K_M*"

2 Подготавливаем llama.cpp

Не используйте старые версии llama.cpp. Для Qwen3.5 нужны специфические патчи. К счастью, к 2026 году все уже замерджили.

# Клонируем актуальную версию
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

# Собираем с поддержкой CUDA и Metal
make LLAMA_CUDA=1 LLAMA_METAL=1 -j

Если у вас Mac с Apple Silicon - включите LLAMA_METAL. Для NVIDIA - LLAMA_CUDA. Для чисто CPU-запуска - просто make. Помните про историю с патчами для Qwen3.5 в llama.cpp? Теперь все работает из коробки.

3 Запускаем через llama.cpp

Здесь начинается магия. 200 GB модели нужно загрузить в RAM. Да, именно в оперативную память.

# Запуск на CPU с 256 GB RAM
./main -m ./qwen397b-gguf/Qwen3.5-397B-A17B-Q4_K_M.gguf \
  -n 512 \
  -t 32 \
  --temp 0.7 \
  --repeat-penalty 1.1 \
  -p "Translate the following technical documentation to Russian:"

Ключевые параметры:

• -t 32: количество потоков. Для AMD Threadripper или Xeon можно ставить 64-128
• --mlock: принудительно удерживает модель в RAM (если хватает)
• --mmap: использует memory mapping для частичной загрузки

Unsloth: когда скорость важнее всего

Llama.cpp хорош для CPU. Но если у вас есть GPU с 48+ GB VRAM (2xRTX 4090, A6000, H100), то Unsloth покажет, на что способна эта архитектура.

4 Устанавливаем Unsloth

# Устанавливаем актуальную версию на 16.02.2026
pip install unsloth
pip install "unsloth[colab-new]" torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124

Не пытайтесь использовать старые версии Unsloth. Для Qwen3.5-397B нужны специфические оптимизации, которые появились только в версиях 2025 года.

5 Загружаем модель через Unsloth

from unsloth import FastLanguageModel
import torch

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "Qwen/Qwen3.5-397B-A17B",
    max_seq_length = 8192,
    dtype = torch.float16,
    load_in_4bit = True,  # Критически важно!
    token = "your_hf_token",
)

Ошибки, которые сломают ваш запуск

Я видел десятки попыток запустить 397B. 90% провалов происходят из-за этих ошибок:

• Нехватка swap space: Linux по умолчанию выделяет 2 GB swap. Для 397B нужно минимум 100 GB. sudo fallocate -l 100G /swapfile && sudo mkswap /swapfile && sudo swapon /swapfile
• Неправильная версия llama.cpp: Берете версию месячной давности - получаете «unsupported tensor type». Всегда git pull перед сборкой.
• Попытка запустить на Windows без WSL2: Native Windows llama.cpp не поддерживает mmap для больших моделей. Только WSL2 или Linux.
• Забыли про контекст: 397B по умолчанию использует 32k контекст. Если у вас 16k - пересобирайте с правильными параметрами.

Сравнение с коммерческими гигантами

Зачем все это? Чтобы понять разницу между «хорошо» и «почти как GPT-5.2».

Разница в 3-4 процентных пункта на бенчмарках. На практике? Для 80% задач вы не заметите разницы. Особенно если учитывать, что 235B уже конкурировала с ChatGPT Pro.

Оптимизации, которые реально работают

Запустили модель, но она думает 10 секунд на токен? Вот что можно сделать:

1. Слойный offload: В llama.cpp используйте --ngl 40. 40 слоев на GPU, остальные на CPU. Баланс между скоростью и потреблением VRAM.
2. Flash Attention 3: В Unsloth это включено по умолчанию. Если собираете сами - проверьте, что используете torch.nn.functional.scaled_dot_product_attention.
3. Paged Attention: Для очень длинных контекстов (32k+). llama.cpp поддерживает через --flash-attn.
4. Speculative decoding: Запустите маленькую модель (Qwen3.5-3B) параллельно с большой. Маленькая «предсказывает» токены, большая только проверяет. Ускорение в 1.5-2x.

Что делать, если нет 256 GB RAM?

Реальность такова, что у большинства нет рабочей станции за $10k. Но есть обходные пути:

• Аренда в облаке: Oracle Cloud дает 256 GB RAM за $400/месяц. Добавьте инструкцию по настройке - и получите удаленный AI-сервер.
• Меньшая модель: Qwen3.5-72B дает 85% качества при 25% требований к железу.
• Онлайн инференс: Replicate, Hugging Face Inference Endpoints, Banana Dev. Запускаете модель один раз, потом только API-запросы.
• Ждать: Через 6 месяцев появятся более эффективные 4-bit квантования. Через год - 2-bit, которые сократят требования вдвое.

Будущее, которое уже здесь

Qwen3.5-397B - это не конечная точка. Это демонстрация того, что открытые модели достигли уровня, когда для большинства задач коммерческие API больше не нужны. Да, нужно железо. Да, нужно время на настройку. Но результат - полный контроль, нулевая стоимость за токен, приватность данных.

Через год появятся модели с 500B параметрами, которые будут работать на 128 GB RAM. Через два - на 64 GB. Прогресс в квантовании и архитектуре MoE движется быстрее, чем рост требований к железу.

Сейчас кажется, что 397B - это много. Через полгода будет казаться нормой. А через год - «почему так мало?».