Что вошло в Basalt 0.4.0: коротко о главном
Basalt 0.4.0 вышел 15 ноября 2026 года. Главное в релизе: у проекта появилась первая dense-модель, Qwen 3.8 27B. По заявлению автора, квантизованная версия показывает top-1 92.8% относительно полной BF16-модели при KLD 0.0262, а в одиночном потоке на RTX 5090 выдаёт до 776 tok/s на структурированном выводе.
Для диалога автор называет 262 tok/s, для прозы 194 tok/s. Prefill доходит до 12 000 tok/s при контексте 4k и замедляется с его ростом. Модель заявлена с чатом, инструментами, режимом размышлений, изображениями и видео, контекст до 262K токенов. Исходный текст релиза в r/LocalLLaMA.
Все цифры выше - self-reported. Независимых прогонов, описания методики и тестового стенда, кроме одной RTX 5090 и одиночного потока, в источнике нет. Это не повод игнорировать релиз, но повод не строить на нём бюджет проекта.
Basalt - проект вокруг моделей: рантайм, формат весов и обвязка для локального инференса. Путать его с самой моделью не надо. В 0.4.0 к проекту добавили:
- первую dense-модель Qwen 3.8 27B и dense-ядра под неё;
- поддержку нескольких моделей и роутинг (появились ещё до этого релиза, стартовали с DeepSeek V4.1 Flash);
- поддержку видео;
- файлы в чатах;
- набор исправлений и улучшений.
Dense-модель Qwen 3.8 27B: чем она отличается от MoE и зачем это Basalt
В dense-модели каждый токен проходит через все параметры. В MoE-модели роутер выбирает несколько экспертов, и на токен работает только их часть: суммарных параметров может быть в разы больше, активных заметно меньше. Отсюда разница в поведении на локальном железе.
Dense даёт предсказуемую нагрузку. Вы заранее знаете, сколько вычислений и сколько чтений весов приходится на каждый токен, и не получаете скачков из-за того, что роутер отправил запрос в другого эксперта. У MoE обратная сторона: в памяти приходится держать всех экспертов, даже если на конкретном токене работает малая часть.
Qwen 3.8 27B - первая dense-модель в Basalt. Для 27 млрд параметров в BF16 только веса занимают порядка 54 ГБ, если считать по 2 байта на параметр. Это арифметика по имени модели, не замер: точные форматы и размеры файлов автор в релизе не назвал.
Почему Basalt начал с dense, а не с ещё одного MoE
Автор объясняет мотивацию одной фразой: релиз сделан «in preparation for Qwen 4, so we had a headstart on the dense kernels». То есть dense-ядра понадобятся под будущую модель, и проект решил отработать их заранее. Деталей про сами ядра, их отличия от MoE-путей и то, что именно пришлось переписывать, в источнике нет.
Логика релиза видна по последовательности шагов. Сначала Basalt умел одну модель, затем добавил мультимодельность и роутинг, теперь закрывает второй архитектурный класс. Проект движется от движка под конкретную модель к стеку, где модели переключаются.
Практический вывод для выбора: dense-путь интересен тем, кому нужна стабильность времени ответа и предсказуемое потребление VRAM под конкретную карту. Если считать бюджет по памяти, MoE позволяет держать модель с большим числом суммарных параметров, платя за это местом под неактивных экспертов. Basalt теперь даёт выбор из двух вариантов, и это полезнее, чем один.
Квантизация Qwen 3.8 27B: что реально означают top-1 92.8% и KLD 0.0262
Две цифры из релиза легко прочитать неверно. Разберём их по отдельности.
top-1 92.8% - доля позиций, где квантизованная модель выбрала тот же самый вероятный следующий токен, что и полная BF16-версия. Не точность на бенчмарке и не «качество модели». Метрика говорит о том, насколько аккуратно прошло сжатие весов.
KLD 0.0262 - расхождение распределений вероятностей между квантизованной и BF16-версией. Чем ниже значение, тем ближе квантизованная модель к оригиналу по поведению.
Из 92.8% следует, что примерно в 7% случаев топ-токен отличается. На коротком ответе это часто незаметно, на длинной генерации расхождения накапливаются: один другой токен меняет дальнейшую траекторию. При этом метрика ничего не говорит о том, стал ли ответ хуже по смыслу, часть расхождений нейтральна.
Сравнение с BF16 ставит эталоном саму полную модель. Если BF16-версия ошибается, квантизация может быть близка к ней и всё равно давать слабый результат. Воспринимайте пару top-1/KLD как индикатор аккуратности квантизации, а не как рейтинг модели.
Почему сравнение с BF16 - не то же самое, что оценка качества
Basalt применял такую схему и раньше: в разборе Basalt 0.2.0 проект приводил KLD и top-1 для разных форматов квантования относительно BF16, и там же была видна цена выбора: NVFP4-DQ8 давал KLD 0.0561 против 0.0624 у DQ6_K и стоил примерно 7% скорости на прозе. Логика та же: измеряется близость к эталону, а не абсолютное качество.
Что важно для 0.4.0: автор не назвал формат квантизации, размер файла и разрешение, при которых получены 92.8% и 0.0262. Сравнивать эти числа с другими квантами из сторонних таблиц корректно только при совпадающих условиях, а их в тексте релиза нет.
Скорость на RTX 5090: как читать 776, 262 и 194 tok/s
Три числа относятся к разным типам вывода в одиночном потоке на одной RTX 5090:
- до 776 tok/s - структурированный вывод: JSON, код, разметка, жёсткий формат;
- 262 tok/s - диалог;
- 194 tok/s - проза.
Разрыв объясним. На структурированном выводе пространство кандидатов узкое: внутри поля JSON или после открытой скобки модель выбирает из ограниченного набора токенов, шаблоны повторяются. Проза требует держать открытым широкое распределение, и каждое следующее слово стоит дороже. Разница почти в четыре раза между 776 и 194 - это разница режимов, а не «ускорение модели».
Чего эти цифры не покрывают: батч, число параллельных слотов, сэмплинг, формат квантизации. Всего этого в релизе нет. На другой карте, в батче из нескольких запросов или с другим контекстом значения будут иными, и переносить 776 tok/s на RTX 4090 или 5060 Ti нельзя: замеров для них не приводится.
Prefill 12 000 tok/s при 4k: что это значит для длинного контекста
Prefill - обработка входного промпта до первого токена ответа. 12 000 tok/s заявлены только для контекста 4k. Автор прямо пишет, что с ростом контекста скорость падает, но конкретных значений для 8k, 32k или 128k не приводит.
Практический вывод: на длинных документах, стенограммах и видео первый токен придёт заметно позже, чем на коротком вопросе. Агентные сценарии с большим системным промптом планируйте с запасом по времени ожидания. Оценить этот запас по релизу невозможно, нужны свои прогоны.
Поместится ли Qwen 3.8 27B на ваше железо: VRAM, контекст и связки из двух карт
27B dense - модель, где в вычислениях участвуют все параметры. Требования к VRAM и пропускной способности памяти у неё выше, чем у MoE с тем же числом суммарных параметров: у MoE на токен читается только часть весов.
Основной способ уложить такую модель в разумный объём памяти - квантизация. Какие форматы Basalt поддерживает для Qwen 3.8 27B и сколько весит каждый, автор не указал, поэтому прикидывать «влезет или нет» придётся по факту после загрузки.
Единственный замер в релизе, который показывает работу на двух картах, относится к другой модели: DeepSeek V4.1 Flash в IQ1_M на связке RTX 5090 + RTX 5060 Ti выдаёт 90 tok/s в диалоге и 246 tok/s на структурированном выводе. Это подтверждает, что Basalt умеет распределять модель по двум GPU, но к Qwen 3.8 27B эти цифры не относятся. Как длина контекста и выбор кванта меняют картину на ограниченной VRAM, видно в отдельном разборе: кейс с четырьмя RTX 3080.
Почему 262K контекста - это не бесплатно
KV-кэш растёт вместе с длиной контекста и занимает VRAM постоянно, пока идёт генерация. Заявленные 262K токенов означают, что модель поддерживает такой контекст, но не то, что он комфортно живёт на любой карте. Автор не раскрыл ни требований к памяти, ни скорости на длинном контексте, поэтому это открытый вопрос, а не недостаток.
Косвенная точка отсчёта есть в другом материале AI-Manual: GGUF-сборка Qwen на 27B с поддержкой зрения заняла меньше 17 ГБ и уместилась в 32 ГБ VRAM вместе с контекстом 262k по данным пользователя с двумя RTX 5060 Ti. Это сторонний отчёт о другой сборке и других настройках, переносить его на Basalt напрямую нельзя. Он показывает масштаб задачи: под полный контекст нужен отдельный запас памяти сверх весов.
Мультимодельность и роутинг: DeepSeek V4.1 Flash и что это меняет
Поддержка нескольких моделей и роутинг появились в Basalt до 0.4.0. Первой моделью, добавленной вместе с ними, стал DeepSeek V4.1 Flash: автор приводит для него 90 tok/s в диалоге и 246 tok/s на структурированном выводе в квантизации IQ1_M на связке RTX 5090 + RTX 5060 Ti.
Смысл мультимодельности в локальном стеке простой: разные задачи требуют разных моделей. Быстрая модель на структурированном выводе дешевле для парсинга, извлечения полей и генерации кода по шаблону, более крупная нужна для рассуждений и сложных ответов. Роутер избавляет от ручного переключения. Какие именно правила маршрутизации реализованы в Basalt, в источнике не описано, поэтому рассчитывать на автоматический выбор по типу задачи без проверки не стоит.
Замеры DeepSeek V4.1 Flash на другом железе показывают, насколько результат зависит от конфигурации: на восьми NVIDIA A40 TensorSharp получил 40,3-40,7 tok/s в Q2_K и 31-32,5 tok/s в Q4_K_M. Другие карты, другие кванты, другой рантайм, и скорость отличается в разы от 90 tok/s на связке 5090 + 5060 Ti.
Чат, инструменты, размышления, изображения и видео: что заявлено в Qwen 3.8 27B
Список возможностей из релиза: чат, вызов инструментов (tools), режим размышлений (thinking), работа с изображениями и видео, контекст до 262K токенов. В самом Basalt к этому добавились поддержка видео и файлов в чатах, это возможности рантайма и интерфейса, а не самой модели.
Относиться к списку стоит как к заявленным возможностям: независимых тестов на изображениях, видео и многошаговых вызовах инструментов нет. Формулировки вроде «работает с видео» без примеров и замеров ничего не гарантируют.
Практический угол: для агентных сценариев важнее всего tools и структурированный вывод, и именно там автор показывает максимальную скорость. Если ваш кейс - вызовы функций, JSON-ответы и код по шаблону, 0.4.0 выглядит уместно. Если нужен разбор видео, сначала прогоните свои файлы.
Кому стоит смотреть на Basalt 0.4.0, а кому пока рано
Смотреть в сторону релиза имеет смысл в нескольких случаях:
- у вас RTX 5090 или связка из двух карт, и вы готовы мерить скорость сами;
- нужен локальный стек с несколькими моделями и роутингом вместо движка под одну модель;
- критична скорость структурированного вывода: агенты, JSON, генерация кода;
- вы следите за подготовкой к Qwen 4 и хотите заранее познакомиться с dense-путём.
Подождать разумно, если:
- нет запаса VRAM под 27B dense в квантизации;
- нужен рантайм с независимыми бенчмарками и историей стабильности;
- вы работаете на картах вне заявленной конфигурации и вам важны цифры именно для них;
- основной сценарий - длинный контекст, а скорость prefill за пределами 4k неизвестна.
Ограничения релиза держите рядом с любым решением: метрики self-reported, замеры только на RTX 5090 в одиночном потоке, поведение на длинном контексте не раскрыто.
Что остаётся открытым вопросом
Пробелы релиза, которые стоит закрыть до того, как строить на нём выводы:
- нет независимой проверки top-1, KLD и скоростей;
- нет данных о скорости на других GPU, в батче и при параллельных слотах;
- не названы конкретные значения prefill при контексте больше 4k;
- не раскрыты требования к VRAM для 262K контекста;
- не указаны форматы квантизации Qwen 3.8 27B и размеры файлов;
- про dense-ядра под Qwen 4 сказано только в общих словах.
Пока эти пункты открыты, релиз полезно читать как заявку на будущее: направление понятно, цифры предстоит перепроверить на своём железе. Первый шаг для проверки - прогнать свою типовую задачу (JSON, код, диалог, длинный документ) на одной карте и сравнить время до первого токена и скорость генерации с тем, что обещает автор релиза Basalt 0.4.0.