Короткий ответ: в 24 ГБ VRAM влезает только Nemotron 3.5 Bolt
По заявленным характеристикам в 24 ГБ видеопамяти помещается одна модель из четырёх релизов недели: NVIDIA Nemotron 3.5 Bolt. Это MoE-модель на 74 млрд параметров при 9 млрд активных на токен, обученная с учётом квантизации вплоть до 2 бит. Веса занимают 22 ГБ, визуальный проектор добавляет 1,7 ГБ. NVIDIA прямо пишет, что модель строили под 24 ГБ, и в день релиза вышли GGUF от Unsloth плюс поддержка в llama.cpp, Ollama и LM Studio.
Остальные три в этот объём не влезают, и разрыв измеряется порядками. Muse Spark Open от Meta: 816 млрд параметров при 42 млрд активных и контекст 1 млн токенов, а под «локальный запуск» подразумевается связка из двух M5 Ultra Mac Studio по 512 ГБ или четырёх по 256 ГБ примерно за $38 000. Reflection Beam: 501 млрд параметров при 23 млрд активных, при этом минимальный официальный чекпоинт в NVFP4 весит 294 ГБ. DeepSeek V4.1 Flash 1017: репозиторий занимает 510 ГБ.
Сравнение идёт по заявленным размерам весов и официальным чекпоинтам, а не по квантам, которых вендоры не выпускали. И 22 + 1,7 ГБ - не весь бюджет VRAM: контекст и накладные расходы рантайма тоже живут в видеопамяти. Об этом ниже, в разделе про запуск.
Что именно вышло за неделю: четыре модели и их заявленные характеристики
Сводка по релизам и одному анонсу. Цифры взяты из описаний моделей и репозиториев, независимой проверки в источнике нет: обзор четырёх открытых релизов за 72 часа в r/LocalLLaMA.
| Модель | Параметры | Минимальный официальный чекпоинт | Лицензия |
|---|---|---|---|
| NVIDIA Nemotron 3.5 Bolt | 74B total / 9B active | 22 ГБ + 1,7 ГБ визуальный проектор | в источнике не указана |
| Meta Muse Spark Open | 816B total / 42B active, контекст 1M | кластер Mac Studio: 2 × 512 ГБ или 4 × 256 ГБ, около $38 000 | кастомная: обязательная атрибуция, отдельное соглашение при выручке свыше $20M |
| Reflection Beam | 501B total / 23B active | NVFP4, 294 ГБ | Apache 2.0 |
| DeepSeek V4.1 Flash 1017 | в источнике не приводятся | репозиторий 510 ГБ | MIT |
| Mistral Large 4 («Le Chonk») | 1T total | анонс: веса до конца месяца | не объявлена |
Muse Spark Open. Флагманский масштаб: 816 млрд параметров при 42 млрд активных и контекст 1 млн токенов. В модельной карточке Meta модель стоит на 39 месте в индексе Artificial Analysis, позади GLM 5.3 (45) и Kimi K3 (44).
Nemotron 3.5 Bolt. 74 млрд параметров при 9 млрд активных, обучение с учётом квантизации до 2 бит. 22 ГБ весов плюс 1,7 ГБ визуального проектора. Единственная модель в подборке, у которой целевой объём видеопамяти заявлен явно.
Reflection Beam. 501 млрд параметров при 23 млрд активных и самая простая лицензия в квартете, Apache 2.0. Минимальный официальный чекпоинт: NVFP4 на 294 ГБ.
DeepSeek V4.1 Flash 1017. Лицензия MIT, репозиторий 510 ГБ. Число параметров в источнике не приводится, зато есть вендорская таблица: 77.0 на DeepSWE против 74.0 у Opus 5.
Mistral Large 4. Пока анонс: Mistral заявляет, что веса «Le Chonk» с 1 трлн параметров выйдут до конца месяца. Точная дата не подтверждена, условия лицензии не объявлены.
Почему 24 ГБ - это жёсткий потолок, а не рекомендация
В VRAM живут три вещи: веса, KV-кэш под контекст и накладные расходы рантайма. От 24 ГБ отнимаем 23,7 ГБ под веса и проектор, остаётся порядка 0,3 ГБ. Это бюджет на всё остальное.
Порядок величин важнее деталей. 294 ГБ чекпоинта Reflection Beam в NVFP4 - примерно в 12 раз больше 24 ГБ. Репозиторий DeepSeek V4.1 Flash 1017 на 510 ГБ - примерно в 21 раз. Чтобы уложить такое в одну карту, нужна точность около 1 бита на параметр, а весов с такими коэффициентами вендоры не публиковали. Reflection Beam показателен: 294 ГБ - уже самый маленький официальный чекпоинт, меньше компания не предлагает.
Nemotron 3.5 Bolt устроен наоборот. Двухбитная точность заложена на этапе обучения, а не получена сжатием готовых весов, поэтому 22 ГБ - цель дизайна, а не побочный эффект. Логику того, как контекст и кэш съедают остаток бюджета, разбирает материал про KVCache и Engram: часть цифр там остаётся предположениями, но арифметика бюджета применима к любой модели.
Nemotron 3.5 Bolt на 24 ГБ: чем запускать и что останется на контекст
Привязки к одному рантайму нет: GGUF от Unsloth, llama.cpp, Ollama и LM Studio поддерживают модель с первого дня. Выбор зависит от того, сколько времени вы готовы потратить на настройку.
GGUF от Unsloth, llama.cpp, Ollama и LM Studio: что выбрать
llama.cpp - низкоуровневый путь: бинарник, флаги запуска, ручное управление числом слоёв на GPU и размером контекста. Больше контроля, больше параметров, которые можно испортить. Ollama - самый короткий маршрут до первого ответа: команда, загрузка GGUF, запуск. LM Studio - графический интерфейс для тех, кто не хочет держать в голове аргументы командной строки. GGUF от Unsloth во всех трёх случаях остаётся источником весов.
Критерий простой. Нужен рабочий чат сегодня - Ollama или LM Studio. Нужно выжать конкретную раскладку слоёв и контекста под свою карту - llama.cpp.
Что останется от 24 ГБ после весов и проектора
22 ГБ весов плюс 1,7 ГБ проектора дают 23,7 ГБ. На карте с 24 ГБ остаётся около 0,3 ГБ, а KV-кэш и оверхед рантайма тоже требуют видеопамяти. Значит, контекст придётся держать скромным либо выносить часть слоёв на CPU.
Три практических хода. Ограничить размер контекста до значений, которые ваша карта реально держит. Включить offload части слоёв на CPU, если скорость генерации не критична. Не загружать визуальный проектор, когда картинки не нужны: это сразу возвращает 1,7 ГБ. Похожий приём с выносом mmproj в RAM разобран в материале про GGUF-сборку Qwen 27B с поддержкой зрения, там же видно, насколько результат зависит от конкретной конфигурации.
Про 2 бита честно: экономия памяти оплачена качеством. Модель обучена с учётом такой точности, но ждать от неё поведения полных 74 млрд параметров не стоит. Компактность под 24 ГБ - отдельная инженерная задача со своими компромиссами.
Muse Spark Open: что на самом деле значит «локальный запуск»
816 млрд параметров при 42 млрд активных и контекст 1 млн токенов - флагманский масштаб. «Локально» здесь означает не одну видеокарту, а отдельный класс железа: два M5 Ultra Mac Studio по 512 ГБ или четыре по 256 ГБ. Ориентир по цене для второй конфигурации - примерно $38 000, такую сборку описывает обзор релизов недели. Стоимость машин на 512 ГБ Apple на момент публикации ещё не объявила.
Деньги не гарантируют лидерство. В модельной карточке Meta Muse Spark Open занимает 39 место в индексе Artificial Analysis, позади GLM 5.3 (45) и Kimi K3 (44). Для сравнения масштаба задач: конфигурации на четырёх H100 под западные open-модели класса 120B+ разбирает отдельный материал, и там речь идёт о серверном железе, а не о настольном.
Что будет с качеством на квантованных весах, которых Meta не выпускала, источник не рассматривает. Строить прогнозы на этот счёт смысла мало.
Лицензии: MIT и Apache 2.0 против атрибуции с порогом по выручке
В квартете три разных режима. DeepSeek V4.1 Flash 1017 идёт под MIT, Reflection Beam - под Apache 2.0, Muse Spark Open - под кастомной лицензией Meta. Первые две привычны для коммерческих продуктов: сохраняйте уведомления, не приписывайте себе авторство модели. Кастомная добавляет два условия: обязательную атрибуцию «Built with Muse Spark Open» и отдельное соглашение, когда выручка превышает $20M.
Практические следствия для продукта. Атрибуцию нужно встроить в интерфейс или документацию, а не держать в голове разработчика. Порог выручки стоит держать на радаре финансовой команды. Как именно считается выручка и что происходит после пересечения порога, в источнике не раскрыто, так что это пересказ условий, а не юридическая консультация.
Для владельца карты на 24 ГБ вопрос в основном теоретический: Muse Spark Open на таком железе всё равно не запускается. Для продуктовой команды, которая выбирает лицензию заранее, разница принципиальная.
Качество против размера: как читать бенчмарки этих моделей
В источнике есть два набора цифр, и оба требуют поправки. Вендорская таблица DeepSeek показывает 77.0 на DeepSWE у V4.1 Flash 1017 против 74.0 у Opus 5; сам источник советует относиться к этим числам с осторожностью, поскольку их публикует разработчик модели. Карточка Meta ставит Muse Spark Open на 39 место в Artificial Analysis index против 45 у GLM 5.3 и 44 у Kimi K3.
По Nemotron 3.5 Bolt и Reflection Beam сравнительных цифр в источнике нет. Приводить для них оценки качества не из чего, и подставлять числа соседних моделей тоже не нужно.
Корректное сравнение для 24 ГБ выглядит иначе: не «Nemotron против Opus 5», а «Nemotron против того, что уже работает на вашей карте». Логику выбора между плотной моделью и MoE с агрессивным квантованием разбирает сравнение Qwen3.8-27B IQ3_XXS и Qwen3.6-35B-A3B Q4_K_M: там показано, как битность и архитектура меняют ответ на один и тот же вопрос, и подход переносится на карту любого размера.
Mistral Large 4 и что это значит для владельцев 24 ГБ
Mistral заявляет, что веса Large 4 под кодовым именем «Le Chonk» с 1 трлн параметров выйдут до конца месяца. Дата в источнике не подтверждена, лицензия не объявлена: тот же обзор релизов.
Тренд очевиден. 1 трлн параметров - ещё дальше от 24 ГБ, чем 501 млрд у Reflection Beam или 816 млрд у Muse Spark Open. Крупные лаборатории соревнуются в масштабе, и открытые веса флагманов остаются историей про серверы и кластеры.
Практический вывод для владельца 24-гигабайтной карты: смотреть на релизы, где вендор явно называет целевой объём VRAM и выкладывает GGUF в день старта. Nemotron 3.5 Bolt - ровно такой случай. Ждать «флагман в миниатюре» от следующего большого релиза не стоит, в источнике таких планов нет.
Кому это всё вообще нужно: стоит ли запускать LLM на 24 ГБ
Локальный запуск оправдан, когда данные не должны покидать вашу машину, когда нужна независимость от чужого API и предсказуемые расходы на железо. API выигрывает, когда важнее максимальное качество ответа и не хочется возиться с квантованием, контекстом и выгрузкой слоёв.
24 ГБ - рабочая конфигурация для компактных MoE-моделей, спроектированных под этот объём. Для флагманов недели она не подходит, и это не вопрос терпения или правильных флагов запуска.
Чек-лист перед скачиванием любой новой модели:
- заявленный размер чекпоинта и целевой объём VRAM в описании модели;
- наличие GGUF в день релиза, а не «когда-нибудь»;
- поддержка в llama.cpp, Ollama или LM Studio;
- условия лицензии, если модель пойдёт в продукт;
- запас VRAM под KV-кэш и контекст сверх весов.
Если пункт про размер чекпоинта не сходится с вашими 24 ГБ, дальнейшие шаги можно не планировать.