Helios: запуск Gemma 4 12B на Mac с MLX — обзор и гайд | AiManual
AiManual Logo Ai / Manual.
04 Июл 2026 • Инструмент

Запуск Gemma 4 12B на Mac с MLX: открытый проект Helios

Проект Helios — оптимизированный запуск Gemma 4 12B на Mac через MLX. Сравнение с llama.cpp, примеры кода, тесты скорости на M5. Бесплатно и открыто.

Запустить 12-миллиардную модель на Mac — задача с привкусом безумия. 24 GB весов в FP16? Забудьте. Даже 4-битное квантование выжимает 6 GB — и это только модель, без контекста. Два месяца назад мы разбирали, как гонять Gemma 4 через llama.cpp, и это работало. Но было медленно. Особенно на Mac — CPU тянул, GPU простаивал, Metal API ругался. А теперь появился Helios — open-source прослойка, которая выжимает из MLX всё, до последнего ядра M5.

Суть: Helios — это набор fused-операций для MLX, написанных на Metal Shading Language. Он перехватывает вычисления attention, слои нормализации и проекции, склеивая их в один проход. Потери точности — ноль, прирост токенов в секунду — до 35%.

Почему Helios, а не просто MLX?

MLX от Apple Research — штука гибкая. Вы можете загрузить веса Gemma 4 12B, сжать их в 4 бита и получить инференс. Без Helios — 6–8 токенов в секунду на M5 Max (64 GB). С Helios — 10–11 токенов/с. Для интерактивного чата разница колоссальная: вместо «жди 3 секунды» — «ответ пришёл мгновенно».

Вот что делает Helios:

  • Fused attention — Q, K, V, softmax и output projection выполняются за один kernel launch. MLX по умолчанию делает 4–5 запусков.
  • Асинхронная загрузка весов — квантованные таблицы (LUT) подгружаются в общую память warp, а не в registry. Экономия VRAM ~15%.
  • Автоматический выбор блока — Helios определяет конфигурацию GPU (M4, M5, M5 Max) и подбирает размер threadgroup и количество register. Без шаманства.
  • Поддержка Multi-Query Attention — для 12B модели это даёт ещё 10% ускорения за счёт общего KV-кеша.

Предупреждение: Helios не магия. Если у вас MacBook Air M1 с 8 GB — чуда не будет. 12B потребует 18–20 GB RAM после квантования Q4_K_M. Минималка — 24 GB unified memory. На M5 MacBook Air с 24 GB 12B модель идёт со скоростью 5 токенов/с — терпимо для оффлайна.

Установка: три команды и кофе

Helios ставится как питон-пакет с дополнительным плагином MLX. Сначала убедитесь, что у вас Xcode 16.4 (иначе Metal компилятор выплюнет древние шейдеры).

pip install helios-mlx  # этот пакет собирает .metallib на лету
mlx-download google/gemma-4-12b-it --quantize q4_0  # уже знакомая команда

Теперь запускаем. Вместо родного mlx_lm.generate используем обёртку Helios:

from helios import HeliosModel, HeliosConfig

config = HeliosConfig(
    model_path="models/gemma-4-12b-it-q4_0",
    context_length=8192,
    max_batch_size=1
)
model = HeliosModel(config)

response = model.generate("Объясни квантовую запутанность за 10 секунд.")
print(response)

Под капотом Helios сам выбирает fused-kernel для attention, подгружает веса через mmap и запускает инференс на всех доступных GPU-ядрах. Если у вас M5 Ultra (96 ядер) — будете наблюдать 25 токенов/с. Честно.

Сравнение с другими подходами

Мы прогнали Gemma 4 12B на одном и том же Mac Studio M5 Max (40 ядер GPU, 48 GB) в трёх конфигурациях. Результаты — таблица ниже. Верить или нет — ваше дело, но замеры делали через time и логи MLX.

Инструмент Квантование Токенов/с Пиковое потребление RAM Температура GPU
llama.cpp (IQ4_XS) 4-bit 7.2 ~21 GB 68°C
MLX (mlx-lm) Q4_0 8.8 ~20 GB 65°C
Helios + MLX Q4_0 + fused 11.5 ~17 GB 71°C

Helios выигрывает не только в скорости, но и в экономии памяти — fused-операции не плодят временные тензоры. В прошлом сравнении Gemma 4 против Qwen 3.5 MLX-версия отставала от llama.cpp на 10%, но с Helios разрыв исчез.

А что с качеством? Стало хуже?

Fused-операции — это не квантование. Они не меняют веса, только перегруппировывают вычисления. Мы прогнали тест MMLU-Pro (5-shot) на трёх вариантах — результаты совпали с плавающей точностью (разница < 0.1%). Так что да, Helios абсолютно безопасен для качества. Главный риск — если у вас старая версия MLX (до 0.22.0) — будет падение с ошибкой Metal, потому что API шейдеров изменился.

💡
Helios поддерживает не только Gemma 4, но и другие модели на базе архитектуры Gemma (например, CodeGemma, RecurrentGemma). Но для 12B версии оптимизация максимальная — авторы проекта явно затачивали под этот размер.

Кому это вообще нужно?

  • Разработчикам AI-ассистентов — локальный инференс без облачных счетов за токены. Helios даёт приемлемую скорость для чата в реальном времени.
  • Исследователям, которым лень покупать NVIDIA — на M5 Ultra 12B модель работает быстрее, чем RTX 4090 с тем же квантованием. Серьёзно, проверено.
  • Параноикам конфиденциальности — все данные остаются на вашём Mac. Никаких запросов к API Google.
  • Но не подойдёт, если у вас MacBook Air M1 с 8 GB — даже Helios не спасёт 12B модель от свопа в SSD. Для таких машин лучше смотреть запуск на Raspberry Pi 5 — там свои фишки с оффлайном.

В итоге Helios — редкий случай, когда open-source проект реально улучшает UX, а не просто переупаковывает существующее. Если вы на M-серии и хотите локальный LLM без компромиссов — это ваш вариант.

Подписаться на канал

←
На главную