Google наконец-то перестала играть в закрытость
Выход Gemma 4 под лицензией Apache 2.0 — это не просто очередной релиз. Это плевок в сторону тех, кто считает, что open-source модели второго сорта. Gemma 4 умеет слушать, смотреть, читать и даже предсказывать сразу несколько токенов за раз. И всё это — на вашем ноутбуке, без подключения к облаку.
Давай сразу к делу: если ты разработчик, который хочет встроить AI в своё приложение, но боится затрат на API и проблем с конфиденциальностью — Gemma 4 твой новый лучший друг. А если ты просто фанат локальных LLM — ты уже, скорее всего, скачал её через llama.cpp или MLX. Если нет — вот гайд по запуску (там и про квантования, и про WebGPU).
Что под капотом: не просто текст, а аудио, картинки и магия multi-token prediction
Gemma 4 — это семейство моделей на архитектуре Mixture of Experts (MoE). Старшая версия — 31B параметров с 4 активными экспертами на шаг. Но главное не размер, а то, что она умеет:
| Возможность | Что даёт |
|---|---|
| Вход: изображение + текст | Распознаёт сцены, читает текст на фото, отвечает на вопросы по картинке |
| Вход: аудио | Транскрибация речи, понимание команд, анализ звуков — вот как Google научил её слушать |
| Multi-Token Prediction | Генерирует несколько токенов за один forward pass — до 2x ускорение инференса |
| Длинный контекст (до 8K токенов) | Стабильная работа при 94% заполнения — тесты это подтверждают |
| Лицензия Apache 2.0 | Можно использовать в коммерческих проектах, модифицировать и распространять без ограничений |
Сравнение с другими open-source моделями: есть ли конкуренты?
На май 2026 года главные альтернативы — Llama 3.1 от Meta, Qwen2.5 от Alibaba и Mistral Large. Но у каждой есть компромиссы.
| Модель | Лицензия | Мультимодальность | On-device | Multi-Token Prediction |
|---|---|---|---|---|
| Gemma 4 | Apache 2.0 | Аудио + изображение + текст | Да (GGUF, MLX, WebGPU) | Да |
| Llama 3.1 (8B/70B) | Llama 3 Community | Только текст (отдельная модель для изображений — Llama Vision) | Да (GGUF) | Нет |
| Qwen2.5-VL (72B) | Qwen License | Изображение + текст (аудио отдельно) | Тяжело (72B не влезает в ноутбук) | Нет |
| Mistral Large (123B) | Mistral Research License | Только текст | Невозможно локально | Нет |
Вывод: Gemma 4 — единственная модель, которая в открытом доступе сочетает on-device мультимодальность и ускорение генерации через multi-token prediction. Llama 3.1 близка по духу, но ей не хватает аудио-входа и MTP. А Qwen2.5-VL хоть и видит картинки, но весит слишком много для обычного ноутбука.
Реальный сценарий: как это работает на практике
Допустим, ты создаёшь приложение для изучения языков. Пользователь фотографирует меню, слышит озвучку и получает перевод. С Gemma 4 это делается в два касания:
- Загружаешь изображение через веб-интерфейс или API — модель считывает текст с картинки.
- Подаёшь аудио-запись вопроса пользователя (на родном языке) — Gemma 4 транскрибирует и понимает.
- Генерируешь перевод с multi-token prediction. На среднем ноутбуке ответ приходит за 1–2 секунды вместо 4–5.
- Дополнительно можно добавить синтез речи через TTS — тут разбор пайплайна VAD-LLM-TTS.
И всё это работает полностью локально. Никаких API, никакого интернета. Кстати, для тех, кому нужно извлекать структурированные данные — вот пример fine-tuning для JSON.
Multi-Token Prediction: почему это меняет правила игры для on-device
Обычные LLM генерируют один токен за раз. Это медленно, особенно на CPU или старых GPU. Gemma 4 использует специальный декодер, который предсказывает сразу несколько будущих токенов (обычно 4–8) за один проход. Эффект:
- Ускорение в 1.5–2 раза на генерации текста средней длины.
- Меньше накладных расходов на загрузку модели в память.
- Более плавный UX — ответы появляются почти мгновенно.
Звучит логично, но есть нюанс: multi-token prediction требует более сложного обучения и может давать странные результаты на коротких запросах. На практике Google справились — прорывная статья про 31B модель показывает, что Gemma 4 обходит конкурентов даже на дешёвом железе.
Кому это действительно нужно
Я бы разделил аудиторию на три группы:
🛠️ Разработчики edge-решений
Встраиваете AI в мобильные приложения, десктопные программы или IoT? Gemma 4 с квантованием 4-bit влезает в 4–6 ГБ оперативки. Берите и используйте.
🔒 Борцы за приватность
Не хотите отправлять данные на сервера Big Tech? Gemma 4 под Apache 2.0 — идеальный кандидат для полностью локального AI-ассистента.
🎓 Исследователи и стартапы
Нужна открытая модель для экспериментов, fine-tuning или создания кастомных решений — например, как в кейсе Twinkle AI для Тайваня.
Кому Gemma 4 не подойдёт? Тем, кому нужна гигантская модель (200B+) для сложного рейтинга или работы с очень длинными документами. Тут лучше посмотреть в сторону грядущих MoE-гигантов от IBM или Arcee. Но для 90% on-device задач Gemma 4 — оптимальный выбор.
Предупреждение: не пытайтесь сразу запустить немодифицированную Gemma 4 31B на Raspberry Pi — она не поместится. Используйте квантованные версии Q4_K_M или дистиллированные варианты (например, популярные финтюны от DavidAU для Gemma 3 тоже дают полезные приёмы, которые применимы и к четвёртой версии).
Итог: бери и делай
Gemma 4 — это не просто модель, а манифест: Google готов делиться по-настоящему. Если вы до сих пор сидите на проприетарных API, попробуйте запустить Gemma 4 через WebGPU прямо в браузере. Возможно, это изменит ваше мнение о локальном AI.
А тем, кто уже в теме — советую покопаться в FunctionGemma 270M: комбинация крошечной модели и Gemma 4 может дать очень эффективного агента с 97% точностью вызова инструментов.
