Groot - серия MoE-моделей от команды GrootTeam. На Hugging Face опубликованы четыре карточки с суффиксом 261023 в названии: Groot-19B-A3B-261023, Groot-65B-A6B-261023, Groot-238B-A18B-261023 и Groot-280B-A16B-261023. Ссылки на все четыре собраны в посте «I'm Groot?» в r/LocalLLaMA. Ни отчёта об обучении, ни датасета, ни репозитория с кодом там не упоминается: речь идёт о весах и карточках моделей.
Главное, что нужно знать до скачивания: это не одна модель в четырёх размерах и не новая архитектура. По уточнению в том же обсуждении, Groot получены методом REAP на основе разных моделей DeepSeek и Qwen. То есть перед вами прореженные версии уже существующих MoE-моделей, а не обученные с нуля сети. Отсюда практический вывод: Groot наследует сильные и слабые стороны своих баз, новой архитектуры здесь нет.
Заявления авторов тоже стоит держать в голове с поправкой на источник. Младшая версия, по их данным, набирает больше баллов, чем Qwen3.6-35B-A3B и Gemma-4-26B-A4B, и отвечает короче обеих. Названий бенчмарков, абсолютных цифр и независимых прогонов в доступных материалах нет.
Что такое Groot и что именно выложили на Hugging Face
Четыре версии и что значат цифры в названии
Нотация стандартная для mixture-of-experts: первое число - общее количество параметров, число после A - сколько параметров активно на каждый токен. 19B-A3B означает 19 млрд общих и примерно 3 млрд активных, 65B-A6B - 65 и 6 млрд, 238B-A18B - 238 и 18 млрд, 280B-A16B - 280 и 16 млрд.
| Версия | Общих параметров | Активных на токен | Веса FP16, расчёт | Веса Q4, расчёт |
|---|---|---|---|---|
| Groot-19B-A3B | 19 млрд | ~3 млрд | ~38 ГБ | ~10 ГБ |
| Groot-65B-A6B | 65 млрд | ~6 млрд | ~130 ГБ | ~33 ГБ |
| Groot-238B-A18B | 238 млрд | ~18 млрд | ~476 ГБ | ~119 ГБ |
| Groot-280B-A16B | 280 млрд | ~16 млрд | ~560 ГБ | ~140 ГБ |
Здесь есть неочевидный момент, на котором легко ошибиться. У 280B-A16B общих параметров больше, чем у 238B-A18B, но активных меньше: 16 против 18 млрд. «Старшая по размеру» версия не обязательно старшая по объёму вычислений на токен.
Два числа нужны потому, что отвечают за разное. Общее количество параметров определяет, сколько памяти займут веса, а значит, влезет ли модель на ваше железо хоть в каком-то квантовании. Активные параметры определяют, сколько вычислений тратится на каждый токен: скорость и стоимость инференса. У MoE эти величины расходятся сильно. 280B-A16B хранит 280 млрд параметров, но на каждом шаге работает примерно с 16 млрд.
В том же обсуждении старшая версия подаётся как «лучшая модель до 500B параметров». Это формулировка автора поста, а не независимая оценка, и проверять её стоит на своих задачах.
REAP: как из DeepSeek и Qwen получили Groot
Формулировка из обсуждения на Reddit звучит так: «apparently they're REAPs of various DeepSeek/qwen models». Слово apparently здесь ключевое: уточнение сделал участник дискуссии, а не команда GrootTeam в официальном заявлении. Описания процедуры от разработчиков в обсуждении тоже не приводится.
Что именно делает REAP, в доступных материалах не раскрыто. Общий принцип прореживания MoE-модели выглядит так. В MoE-слое десятки или сотни экспертов, роутер на каждом токене выбирает нескольких. Часть экспертов после обучения отвечает за узкие случаи и срабатывает редко. Их можно удалить или слить с соседними, роутер перенастроить. Общее число параметров падает, память под веса тоже, вычисления на токен сокращаются. При аккуратном отборе качество проседает умеренно, при грубом - заметно.
Чем прореженная MoE отличается от обученной с нуля
Два пути дают разный баланс. Обучение с нуля: полный контроль над данными, токенизатором и распределением экспертов, но счёт идёт на месяцы работы и миллионы долларов вычислений. Прореживание: берём готовую сильную модель, отбрасываем лишнее, получаем компактный вариант за часы или дни. Второй путь дешевле на порядки, поэтому такие модели и появляются пачками.
Плата за дешевизну конкретная. Прореженная модель теряет то, за что отвечали отсечённые эксперты: редкие языки, узкие домены, нестандартные форматы вывода. Где именно просядет конкретный Groot, заранее не скажет никто, пока вы не прогоните свои задачи. И ещё один пробел: в материалах не указано, какие именно модели DeepSeek и Qwen стали базой для каждой из четырёх версий. Без этого оценить, насколько агрессивно прошло прореживание, невозможно.
Что это значит для доверия к бенчмаркам
Производная от известной модели ведёт себя предсказуемо в общих чертах: тот же стиль, тот же формат ответов, похожие сильные стороны на типовых задачах. Конкретные цифры авторов остаются заявленными, пока кто-то не воспроизвёл их на своём стенде. Минимальный чек-лист перед тем, как строить на Groot что-то рабочее:
- длина ответов на ваших типовых промптах, в токенах, а не «на глаз»;
- поведение на длинном контексте: не теряет ли модель начало диалога раньше заявленного лимита;
- качество на русском, особенно на длинных многошаговых инструкциях;
- стабильность формата: держит ли JSON или разметку с первого раза;
- скорость генерации и prompt processing на вашем железе.
Заявленные результаты: Groot-19B-A3B против Qwen3.6-35B-A3B и Gemma-4-26B-A4B
Формулировка авторов: Groot-19B-A3B «scores higher than the larger Qwen3.6-35B-A3B and Gemma-4-26B-A4B, and it gives shorter answers than both». Разбирать здесь нужно два разных утверждения. Первое про баллы: модель с 19 млрд общих и 3 млрд активных параметров обходит конкурентов, которые крупнее по обоим числам. Второе про длину: ответы короче, чем у обеих моделей.
Ни названий тестов, ни абсолютных значений в материалах нет. Есть только относительное сравнение и статус «по данным авторов». По Qwen3.6-35B-A3B при этом есть сторонние замеры на потребительских картах, и с ними полезно сверяться, когда будете сравнивать свою сборку Groot с этим конкурентом: в разборе тесты Qwen3.6 35B-A3B MoE на 12 ГБ VRAM дают ориентир по скорости и характеру ошибок для MoE такого класса.
Почему короткие ответы - палка о двух концах
Краткость экономит токены, а значит время и деньги. Для чат-ассистента, классификации, извлечения полей из документов это плюс: меньше генерации, быстрее ответ, проще парсинг. Для аналитики, объяснений «почему», генерации кода с комментариями и пошаговых инструкций краткость оборачивается потерянными деталями. Модель, которая на просьбу «разбери архитектуру» выдаёт три абзаца тезисов, экономит ваши токены и не экономит ваше время.
Проверять это стоит своими промптами, а не формулировкой из карточки. Возьмите 5-10 задач, которые реально гоняете каждый день, прогоните через Groot-19B-A3B и через вашу текущую модель, сравните длину ответа и полноту. Если разница в длине достигается за счёт выброшенных шагов рассуждения, вы увидите это на второй-третьей задаче.
Требования к VRAM: сколько нужно для каждой версии
Официальных требований к памяти в материалах нет, поэтому дальше идут расчётные оценки, а не измерения. Логика простая: вес модели примерно равен числу параметров, умноженному на байты на параметр. FP16 - около 2 байт на параметр, 8-битное квантование - около 1, Q4 - около 0.5. Сверху добавляются KV-кэш под контекст и служебные буферы, и на длинном контексте они съедают несколько гигабайт.
Пометка к таблице выше: это арифметика по числу параметров. Реальный расход зависит от типа квантизации, размера KV-кэша, длины контекста и того, как рантайм держит экспертов в памяти. Про то, как кэш экспертов и KV-кэш влияют на расход, есть отдельный разбор: экономия VRAM в llama.cpp.
19B-A3B и 65B-A6B: что реально влезает в домашнюю видеокарту
19B-A3B в Q4 - около 10 ГБ под веса. Карта на 16 ГБ берёт модель с запасом на контекст, 24 ГБ позволяют поднять контекст длиннее и держать больше кэша. Карта на 12 ГБ: веса влезут, но свободного места под KV-кэш останется мало, и на длинных диалогах вы упрётесь в лимит быстро. В FP16 те же 19 млрд требуют около 38 ГБ, одной потребительской карты уже не хватает.
65B-A6B в Q4 - порядка 33 ГБ только под веса. Это либо две карты по 24 ГБ, либо 48 ГБ суммарно, либо агрессивная квантизация до Q3/Q2 с заметной потерей качества. Одна карта на 24 ГБ тут на грани и без запаса под контекст.
Выгрузка части слоёв на CPU работает, но скорость падает на порядок. Для MoE это менее болезненно, чем для плотных моделей, потому что активных параметров мало. Запуск MoE на 120 и 176 млрд параметров на 11 ГБ VRAM возможен, и эксперимент с GTX 1080 Ti показывает, чего такой конфигурации стоит держать контекст 32K и 128K. Рабочим из трёх моделей там оказался один вариант, и это честная иллюстрация цены компромисса.
238B-A18B и 280B-A16B: зона серверного железа
238B в Q4 - около 119 ГБ, 280B - около 140 ГБ. Даже в 4-битном квантовании это несколько карт по 48-80 ГБ или серверная конфигурация. В FP16 счёт идёт на 476 и 560 ГБ, домашним сценарием такое не бывает.
При этом активных параметров у старших версий 16-18 млрд, столько же, сколько у средних MoE. Если память есть, генерация на токен будет вполне рабочей: узкое место здесь память под веса, а не вычисления. Практический вывод: 238B и 280B имеет смысл смотреть, когда у вас уже есть мульти-GPU стенд или доступ к аренде сервера. Аренда в зарубежном облаке обычно требует карты иностранного банка, и для таких платежей иногда заводят виртуальную карту зарубежного банка с пополнением в рублях.
Кому и зачем нужен Groot на практике
Серия имеет смысл в трёх случаях. Первый: вы уже работаете с DeepSeek или Qwen и хотите более компактный вариант под своё железо, сохраняя привычное поведение модели. Второй: вам важны короткие ответы и экономия токенов на потоковых задачах вроде классификации или извлечения данных. Третий: вы готовы сами прогнать тесты и вам интересен сам подход прореживания как эксперимент.
Пробовать не стоит, если нужна проверенная модель под продакшн с независимыми бенчмарками и гарантированной поддержкой. Если у вас одна карта на 8-12 ГБ и задачи требуют длинного контекста, вариантов немного, кроме самого агрессивного квантования 19B. Если нужна документация, описание обучения и предсказуемое поведение на редких языках, оригинальные DeepSeek и Qwen остаются более надёжной базой.
Groot не заменяет оригинальные модели, а даёт их облегчённую версию. Это различие определяет всё: вы получаете те же фамильные черты с меньшим аппетитом к памяти и с неизвестным числом потерянных деталей.
С чего начать, если решили попробовать
Начните с Groot-19B-A3B-261023: это самая лёгкая версия, и именно по ней авторы дают сравнение с Qwen и Gemma. Веса берите со страницы модели на Hugging Face, запускайте в привычном рантайме с поддержкой MoE и квантизации. Дальше три шага: прогнать 5-10 своих типовых задач, замерить длину ответов в токенах и скорость генерации, сравнить с текущей моделью на тех же промптах. Если 19B хватает по качеству, переходить на 65B имеет смысл только ради заметного прироста, а не ради самого факта «модель больше».
Бюджет памяти под конкретную задачу удобнее считать заранее, чем после первого OOM. В разборе как выбрать модель по бюджету VRAM для кода, скрапинга и tool use разобраны три оси, которые на это влияют: битность квантования, архитектура и требования задачи.
Ограничения подхода и что остаётся непроверенным
Собираем оговорки в одном месте.
- Превосходство Groot-19B-A3B над Qwen3.6-35B-A3B и Gemma-4-26B-A4B заявлено авторами. Названий тестов, цифр и независимых воспроизведений нет.
- Происхождение через REAP указано как уточнение в обсуждении, а не как официальное заявление команды.
- Не указано, какие именно модели DeepSeek и Qwen стали базой для каждой из четырёх версий.
- Официальных требований к VRAM нет, все цифры памяти выше - расчёт по числу параметров.
- Практического опыта в обсуждении не появилось: вопрос «has anyone tried these?» в приведённом тексте остался без ответа.
Отдельно про поведение. Прореживание бьёт по тем областям, где отсечённые эксперты были нужны: редкие языки, узкие домены, нестандартные форматы вывода, длинный контекст. Это гипотеза, а не факт из источника, и проверить её можно только на своих задачах.
Практический вывод: Groot стоит рассматривать как эксперимент и способ сэкономить память, а не как модель по умолчанию. Если нужен облегчённый вариант DeepSeek или Qwen под конкретную карту, начните с 19B-A3B, прогоните свои промпты и решайте по результатам, а не по формулировкам из карточки.