Project Maya запускает GLM-5.3-Flash на вашей собственной видеокарте вместо датацентра. Модель от zai-org распространяется под лицензией MIT: 321 млрд параметров, около 18 млрд активных на каждый токен, контекст до 1 млн токенов. Движок рассчитан на одну NVIDIA GPU или связку до 16 карт, а данные не покидают машину.
Работает это за счёт разреженной архитектуры и иерархии памяти. Движок держит нужные эксперты модели на GPU, следующие по востребованности в RAM, остальные на NVMe SSD, и перемещает их по ходу диалога, подстраиваясь под измеренные характеристики железа.
Ниже разбор механики, заявленных цифр и ограничений. Все числа производительности и точности приведены как заявления проекта (исходный пост в r/LocalLLaMA), независимых замеров на 11 октября 2026 года нет.
Что такое Project Maya и почему 321B-модель вообще влезает на локальное железо
Maya это специализированный движок под одну конкретную модель. Он не пытается быть универсальным раннером для десятков архитектур, а оптимизирован под GLM-5.3-Flash и её структуру экспертов. Именно поэтому 321B-модель, для которой обычно арендуют кластер, оказывается доступна на домашнем железе.
Заявленная поддержка железа: одна NVIDIA GPU или до 16 карт. AMD и Windows помечены как экспериментальные платформы. Данные не покидают машину пользователя, что для многих сценариев важнее пары десятков токенов в секунду.
Почему MoE-архитектура меняет правила игры
GLM-5.3-Flash построена как смесь экспертов (MoE). Из 321 млрд параметров на обработку одного токена тратится только около 18 млрд: маршрутизатор выбирает несколько экспертов из множества, остальные в вычислении не участвуют. Разреженность даёт практический эффект - вся модель не обязана одновременно находиться в VRAM. Достаточно держать под рукой те блоки, которые нужны прямо сейчас.
Обратная сторона в том, что набор активных экспертов меняется от токена к токену. Запрос про код тянет одни блоки, ответ про юридический текст другие. Кто-то должен решать, какие эксперты лежат в быстрой памяти, какие ждут в системной, а какие отправляются на диск. Maya берёт эту задачу на себя.
Масштаб для наглядности: 321 млрд параметров даже в 4-битном представлении занимают порядка 160 ГБ весов. Столько VRAM нет ни у одной потребительской карты, поэтому иерархия памяти превращается из детали в основу всей конструкции.
Чем Maya отличается от универсальных движков
llama.cpp, vLLM и Ollama рассчитаны на десятки разных моделей. Maya построен под одну. Это позволяет жёстко зашить в движок знание о структуре конкретной MoE-сети: сколько в ней экспертов, как они группируются, какие слои вызываются чаще. Универсальные движки тоже умеют выгружать слои и экспертов в RAM, но их решения обязаны подходить широкому классу архитектур.
Цена специализации очевидна: поменять модель на другую в Maya не получится без смены движка. Если нужна песочница для экспериментов с десятком моделей подряд, это не тот инструмент.
Как Maya управляет экспертами: GPU, RAM и NVMe SSD
Логика трёхуровневая. Эксперты, которые диалогу нужны чаще всего, живут в VRAM. Следующий по частоте слой лежит в оперативной памяти. Наименее востребованные остаются на NVMe SSD. По ходу разговора Maya перемещает блоки между уровнями, ориентируясь на то, какие эксперты реально вызываются.
Раскладка не статична и перестраивается прямо во время диалога. Это ключевое отличие от схемы, где слои жёстко распределяются один раз при запуске и дальше не меняются.
Что значит «автоматически подстраивается под железо»
Maya измеряет характеристики GPU, CPU, RAM и SSD и настраивает размещение под них. На практике это означает, что вручную прописывать, сколько слоёв выгрузить на CPU или сколько экспертов оставить на диске, не нужно. Поставил, запустил, движок сам подобрал конфигурацию.
Оговорка важна: подстройка не отменяет физики. На медленном SATA-накопителе или при малом объёме RAM поведение будет другим, и никакая автоконфигурация этого не компенсирует. Какие именно метрики движок замеряет и по какому алгоритму принимает решения, в источнике не указано.
Почему без NVMe SSD не обойтись
Часть экспертов физически хранится на диске и подгружается по ходу разговора. Значит, скорость случайного чтения становится узким местом, которое напрямую влияет на отзывчивость модели. NVMe здесь часть архитектуры, без него схема не работает. Точных требований к скорости чтения или объёму накопителя в источнике нет, но логика простая: чем быстрее накопитель, тем короче пауза при подгрузке редкого эксперта.
Требования к железу и заявленная производительность
Заявлено: до 118 токенов/с на четырёх RTX 4090 и 30+ токенов/с на одной RTX 5090. Поддерживается одна NVIDIA GPU или до 16 карт, AMD и Windows отмечены как экспериментальные. Это цифры проекта, а не результат независимого тестирования.
Сколько VRAM нужно для GLM-5.3-Flash
Точных требований по VRAM в источнике нет, и это не случайность: Maya рассчитан на работу при нехватке видеопамяти, вынося экспертов в RAM и на SSD. Практический ориентир дают сами заявленные конфигурации: одна RTX 5090 это нижняя рабочая граница, четыре RTX 4090 комфортный сценарий. Планировать сборку стоит от измеренной скорости на похожем железе, а не от таблицы гигабайтов, которой просто не существует.
Если сравниваете варианты по объёму памяти, полезен отдельный разбор моделей, комфортно помещающихся в 16-24 ГБ VRAM: там сопоставлены tool calling, скорость, длина контекста и квантизация.
Одна карта против четырёх: что меняется на практике
Разрыв между 30+ и 118 токенами/с примерно четырёхкратный, что близко к отношению числа карт. Логика проста: больше VRAM, больше экспертов держится на GPU, реже обращения к RAM и диску. Масштабирование на несколько карт обычно упирается в пропускную способность шины и балансировку нагрузки между устройствами, но конкретных данных о поведении Maya на 8 или 16 картах в источнике нет. Заявленный потолок в 16 GPU остаётся заявлением без цифр.
Кванты Maya: сколько точности теряется
Заявлено, что собственные кванты Maya сохраняют 97,7-99,2% zero-shot точности FP8-версии модели. Потеря укладывается в диапазон 0,8-2,3%. В обычных задачах (пересказ, генерация кода, ответы по документу) такое расхождение чаще всего не видно. На сложных бенчмарках с длинными цепочками рассуждений разрыв проявляется заметнее.
Названий квантов, их размеров и точных условий замера в источнике нет. Цифры приведены как заявление разработчика, независимых прогонов не публиковалось.
Что такое FP8 и почему сравнение идёт именно с ним
FP8 это 8-битный формат с плавающей точкой, уже сжатый относительно FP16 и BF16. Сравнивая свои кванты с FP8, разработчик показывает, сколько теряется при переходе на ещё более агрессивное сжатие, а не относительно полной точности модели. Практический смысл прост: FP8 сам по себе не эталон качества, это удобная точка отсчёта для локального запуска, где полная точность всё равно не помещается в память домашней машины.
Установка и запуск: что входит в комплект
Установка заявлена одной командой, но её текст в источнике не приводится - смотреть в репозитории mw00/project-maya. В комплект входят браузерный чат, живой монитор, работа с изображениями, уровни «размышления» и API. Отдельный клиент не нужен: интерфейс открывается в браузере.
OpenAI-совместимый API для локальной LLM: как подключить кодинг-агента
Maya отдаёт OpenAI- и Anthropic-совместимый API с поддержкой вызова инструментов (tool calls). Для кодинг-агентов это главное: агент, умеющий работать с одним из этих API, может обращаться к локальной GLM-5.3-Flash вместо облачной модели. Код, промпты и содержимое репозитория при этом не уходят наружу.
Конкретные агенты, проверенные с Maya, в источнике не названы. Гарантированно работает только совместимость форматов протокола, всё остальное придётся проверять на своей связке.
Браузерный чат и монитор: что это даёт
Чат и монитор открываются в браузере, дополнительный клиент ставить не нужно. Какие именно метрики показывает монитор, в источнике не сказано: судя по назначению, это телеметрия движка, но описывать конкретные графики не будем. Работа с изображениями заявлена как встроенная функция, как и уровни «размышления» - их внутреннюю логику источник тоже не детализирует.
Кому подходит Maya, а кому нет
Подходит владельцам одной-четырёх карт уровня RTX 4090 или RTX 5090 с NVMe и заметным объёмом RAM. Отдельная аудитория - те, кому важно, чтобы данные не покидали машину: внутренний код, юридические тексты, чувствительная документация. Ещё один сценарий - контекст до 1 млн токенов, когда в поле зрения нужно держать большой репозиторий или объёмный корпус документов.
Не подходит тем, у кого одна слабая GPU и SATA SSD, кто меняет модели каждую неделю или не готов мириться с экспериментальным статусом AMD и Windows. Переход на крупную локальную модель не всегда оправдан, и опыт владельца RTX 5090 с Qwen 3.8 27B и Flash Next хорошо показывает, где выигрыш в размере оборачивается потерей времени.
Ограничения, о которых стоит знать заранее
- Движок заточен под одну модель: другую MoE-сеть на нём не запустить.
- AMD и Windows заявлены как экспериментальные платформы.
- Цифры производительности и точности квантов идут от разработчика, независимых бенчмарков на момент публикации нет.
- Требования к объёму RAM и SSD в источнике не приводятся.
- Публичный пользовательский отзыв пока один, и его автор сам пишет, что тестирование продолжается.
Пользовательский опыт и что говорят первые тесты
В том же посте r/LocalLLaMA пользователь /u/inthesearchof сообщил, что до Maya получал на GLM-5.3-Flash около 10 токенов/с и считал такой режим практически непригодным, а после запуска Maya вышел на 30 токенов/с. Он же отметил, что даже в низком кванте модель субъективно приятнее qwen 3.8 flash, но тестирование ещё продолжается.
Это единичный отзыв на одной конфигурации, а не системный бенчмарк. Само железо автора в посте не расписано, так что переносить его результат на другую сборку нельзя.
Почему 10 токенов/с ощущается как «практически непригодно»
Дело в восприятии темпа. Развёрнутый ответ на 800 токенов при скорости 10 токенов/с печатается больше минуты, и диалог превращается в переписку с паузами. На 30 токенах/с тот же ответ приходит примерно за полминуты, что уже читается как интерактивная работа. Для кодинг-агента, который делает десятки вызовов подряд, разница умножается на число шагов. Порог комфорта зависит от задачи: для фоновой генерации 10 токенов/с терпимо, для правок в редакторе нет.
Чтобы не оценивать новые движки на глаз, пригодится чек-лист по быстрой оценке AI-новинок, а устроенные по-другому открытые замеры локальных LLM разобраны в материале про краудсорсинговый бенчмарк locallm.top.
Итог: стоит ли ставить Project Maya
Maya решает узкую задачу: запустить GLM-5.3-Flash на 321 млрд параметров (около 18 млрд активных на токен, контекст до 1 млн токенов, лицензия MIT) на своём железе, раскладывая экспертов по GPU, RAM и NVMe и подстраиваясь под измеренные характеристики машины. Заявленные скорости: до 118 токенов/с на четырёх RTX 4090, 30+ на одной RTX 5090. Кванты Maya, по заявлению, держат 97,7-99,2% zero-shot точности FP8.
Ставить стоит, если есть NVMe, хотя бы одна мощная NVIDIA GPU, достаточный объём RAM и задача именно под эту модель: приватный кодинг-агент через OpenAI- или Anthropic-совместимый API, работа с длинным контекстом, чувствительные данные. Нужна универсальность под разные модели или железо слабое - выгода сомнительна.
Следующий шаг: открыть репозиторий mw00/project-maya, прикинуть свою конфигурацию по RAM и накопителю и решить, какой скорости ожидать на одной карте против четырёх. Независимых замеров пока нет, поэтому реальные цифры на своём железе придётся получать самому.