Забери GigaChat домой: как запустить Ultra-Preview и Lightning на своем ноутбуке

Русский ИИ на вашем железе: зачем это нужно

Сбер выложил две свои флагманские модели в открытый доступ. Не через API, не через облачный сервис - настоящие веса, которые можно качать и запускать где угодно. Ultra-Preview (MoE-128B) и Lightning (MoE-14B) - это не очередные адаптации западных моделей под русский язык. Это архитектура Mixture of Experts, где на каждый запрос активируется только часть нейронов. В теории это значит высокое качество при относительно скромных требованиях к железу. На практике... давайте проверим.

Что вам понадобится перед началом

Забудьте про "запустится на любой видеокарте". Технические требования:

• Ultra-Preview (128B): минимум 80 ГБ VRAM в FP16 или 40 ГБ в 8-bit. Или 64 ГБ оперативки для CPU-режима
• Lightning (14B): от 10 ГБ VRAM для полной точности, 6 ГБ для 8-bit
• Python 3.10+ (новее - лучше)
• CUDA 11.8+ если есть NVIDIA-карта
• Место на диске: 240 ГБ для Ultra-Preview, 28 ГБ для Lightning

Шаг 1: качаем веса - не там, где вы думаете

Официальный репозиторий на Hugging Face выглядит так: ai-forever/gigachat-moe-ultra-preview. Но если попробовать скачать через стандартный интерфейс - приготовьтесь к 12 часам ожидания. И это если повезет с соединением.

Вместо этого используйте HuggingFace Downloader v2.3.0. Утилита умеет возобновлять загрузку и качает в 5-10 раз быстрее за счет мультитрединга.

# Установка сканера
pip install hfd

# Скачивание Lightning (более реалистичный вариант для ноутбука)
hfd download ai-forever/gigachat-moe-lightning --local-dir ./gigachat-lightning

# Если очень хочется попробовать Ultra-Preview
hfd download ai-forever/gigachat-moe-ultra-preview --local-dir ./gigachat-ultra

Первая команда скачает 28 ГБ. Вторая - 240 ГБ. Убедитесь, что на диске достаточно места. Нет, серьезно, проверьте еще раз.

Шаг 2: настраиваем окружение без головной боли

1 Создаем виртуальное окружение

python -m venv gigachat_env
source gigachat_env/bin/activate  # Linux/Mac
gigachat_env\Scripts\activate     # Windows

2 Ставим зависимости (осторожно с версиями!)

# Основные библиотеки
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install transformers>=4.40.0 accelerate sentencepiece protobuf

# Для квантования (если мало памяти)
pip install bitsandbytes

# Опционально: для более плавного запуска
pip install vllm  # если есть много VRAM

Шаг 3: пишем код запуска (три варианта на выбор)

Вариант 1: базовый, для теста

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "./gigachat-lightning"  # путь к скачанным весам
tokenizer = AutoTokenizer.from_pretrained(model_name)

# Настройка загрузки в зависимости от доступной памяти
if torch.cuda.is_available():
    # Для карт с 10+ ГБ VRAM
    model = AutoModelForCausalLM.from_pretrained(
        model_name,
        torch_dtype=torch.float16,
        device_map="auto"
    )
else:
    # CPU-режим (очень медленно!)
    model = AutoModelForCausalLM.from_pretrained(
        model_name,
        torch_dtype=torch.float32,
        device_map="cpu"
    )

# Промпт на русском - это важно
prompt = "Объясни, что такое Mixture of Experts, простыми словами:"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=200,
        temperature=0.7,
        do_sample=True
    )

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Вариант 2: с квантованием для слабого железа

# Для ноутбуков с 6-8 ГБ VRAM
model = AutoModelForCausalLM.from_pretrained(
    "./gigachat-lightning",
    load_in_8bit=True,  # или load_in_4bit=True для совсем слабых карт
    device_map="auto",
    torch_dtype=torch.float16
)

Вариант 3: через vLLM для максимальной скорости

# Только если VRAM больше, чем нужно модели
from vllm import LLM, SamplingParams

llm = LLM(
    model="./gigachat-lightning",
    tensor_parallel_size=1,  # для одной карты
    gpu_memory_utilization=0.9
)

sampling_params = SamplingParams(temperature=0.7, max_tokens=200)
outputs = llm.generate(["Напиши код Hello World на Python:"], sampling_params)

for output in outputs:
    print(output.outputs[0].text)

Что делать, если все тормозит и ничего не работает

Типичные проблемы и их решения:

Если ничего не помогает - запустите модель через CPU. Да, это будет медленно (5-10 слов в минуту для Lightning), но хотя бы заработает. Или посмотрите гайд по типичным ошибкам при запуске LLM.

GigaChat против альтернатив: кому что подойдет

Вы скачали 28 ГБ, потратили три часа на настройку... и теперь думаете: "А не проще ли было использовать Llama 3.3?" Сравним:

• GigaChat Lightning (14B): Лучшее качество на русском, отлично для креатива и анализа текстов. Но только 32К контекст и нет мультимодальности.
• Llama 3.3 8B: Универсальнее, есть инструменты, мультиязычность. Русский - не родной, чувствуется. Зато скачать и запустить проще.
• MiniMax-M2.1: Компактнее (2.1B), запустится на чем угодно. Но и возможностей меньше. Есть в GGUF, работает даже на телефоне.

Мой вердикт: GigaChat берет качеством работы с русским языком. Если ваша задача - анализ русских текстов, генерация контента на русском, работа с юридическими или техническими документами - это ваш выбор. Для всего остального есть более удобные варианты.

А что насчет Ultra-Preview? Стоит ли игра свеч?

Честно? Для 99% пользователей - нет. 240 ГБ весов, требования как у небольшого дата-центра, а прирост качества над Lightning не всегда заметен на бытовых задачах.

Но если вы:

• Исследователь, который хочет потестировать состояние арта в русскоязычном NLP
• Разработчик корпоративного решения с доступом к серверу с 4х A100
• Просто любите запускать на своем железе самое большое, что можете найти

...тогда да, качайте Ultra-Preview. Только приготовьтесь к настоящему админству. И прочитайте гайд по запуску на нескольких видеокартах - он пригодится.

Что дальше: куда развивать локальный GigaChat

Запустили модель? Отлично. Теперь сделайте из нее что-то полезное:

1. Создайте простой веб-интерфейс на Gradio или Streamlit. Чтоб не в консоли общаться.
2. Настройте RAG (Retrieval-Augmented Generation) с вашими документами. Модель умеет работать с контекстом.
3. Интегрируйте в Traw или другой AI-браузер для автоматизации workflow.
4. Экспортируйте в GGUF для запуска через Ollama или llama.cpp.

Самое интересное: GigaChat поддерживает инструменты (tools) через систему, похожую на OpenAI function calling. Можно научить модель работать с калькулятором, поиском в интернете, вашим API. Это уже не просто чат-бот, а основа для агентной системы.

И последнее: если весь этот процесс кажется слишком сложным, посмотрите в сторону one-click установщиков для LLM. Там нет GigaChat (пока), но есть десятки других моделей, которые запускаются в два клика.

Русскоязычный локальный ИИ перестал быть экзотикой. Теперь это рабочий инструмент. Пусть и требующий немного крови, пота и 28 гигабайт свободного места.