Перейти к содержанию
Публикация AiManual

Basalt 0.4.0: первая dense-модель Qwen 3.8 27B, до 776 tok/s на RTX 5090 и что это значит на практике

Basalt 0.4.0 добавил первую dense-модель Qwen 3.8 27B: автор заявляет top-1 92.8% к BF16 при KLD 0.0262 и до 776 tok/s на RTX 5090. Разбираем, что значат эти ме

Коротко

Что будет в материале

  1. 01

    Что вошло в Basalt 0.4.0: коротко о главном

  2. 02

    Dense-модель Qwen 3.8 27B: чем она отличается от MoE и зачем это Basalt

  3. 03

    Квантизация Qwen 3.8 27B: что реально означают top-1 92.8% и KLD 0.0262

  4. 04

    Скорость на RTX 5090: как читать 776, 262 и 194 tok/s

Что вошло в Basalt 0.4.0: коротко о главном

Basalt 0.4.0 вышел 15 ноября 2026 года. Главное в релизе: у проекта появилась первая dense-модель, Qwen 3.8 27B. По заявлению автора, квантизованная версия показывает top-1 92.8% относительно полной BF16-модели при KLD 0.0262, а в одиночном потоке на RTX 5090 выдаёт до 776 tok/s на структурированном выводе.

Для диалога автор называет 262 tok/s, для прозы 194 tok/s. Prefill доходит до 12 000 tok/s при контексте 4k и замедляется с его ростом. Модель заявлена с чатом, инструментами, режимом размышлений, изображениями и видео, контекст до 262K токенов. Исходный текст релиза в r/LocalLLaMA.

Все цифры выше - self-reported. Независимых прогонов, описания методики и тестового стенда, кроме одной RTX 5090 и одиночного потока, в источнике нет. Это не повод игнорировать релиз, но повод не строить на нём бюджет проекта.

Basalt - проект вокруг моделей: рантайм, формат весов и обвязка для локального инференса. Путать его с самой моделью не надо. В 0.4.0 к проекту добавили:

  • первую dense-модель Qwen 3.8 27B и dense-ядра под неё;
  • поддержку нескольких моделей и роутинг (появились ещё до этого релиза, стартовали с DeepSeek V4.1 Flash);
  • поддержку видео;
  • файлы в чатах;
  • набор исправлений и улучшений.

Dense-модель Qwen 3.8 27B: чем она отличается от MoE и зачем это Basalt

В dense-модели каждый токен проходит через все параметры. В MoE-модели роутер выбирает несколько экспертов, и на токен работает только их часть: суммарных параметров может быть в разы больше, активных заметно меньше. Отсюда разница в поведении на локальном железе.

Dense даёт предсказуемую нагрузку. Вы заранее знаете, сколько вычислений и сколько чтений весов приходится на каждый токен, и не получаете скачков из-за того, что роутер отправил запрос в другого эксперта. У MoE обратная сторона: в памяти приходится держать всех экспертов, даже если на конкретном токене работает малая часть.

Qwen 3.8 27B - первая dense-модель в Basalt. Для 27 млрд параметров в BF16 только веса занимают порядка 54 ГБ, если считать по 2 байта на параметр. Это арифметика по имени модели, не замер: точные форматы и размеры файлов автор в релизе не назвал.

Почему Basalt начал с dense, а не с ещё одного MoE

Автор объясняет мотивацию одной фразой: релиз сделан «in preparation for Qwen 4, so we had a headstart on the dense kernels». То есть dense-ядра понадобятся под будущую модель, и проект решил отработать их заранее. Деталей про сами ядра, их отличия от MoE-путей и то, что именно пришлось переписывать, в источнике нет.

Логика релиза видна по последовательности шагов. Сначала Basalt умел одну модель, затем добавил мультимодельность и роутинг, теперь закрывает второй архитектурный класс. Проект движется от движка под конкретную модель к стеку, где модели переключаются.

Практический вывод для выбора: dense-путь интересен тем, кому нужна стабильность времени ответа и предсказуемое потребление VRAM под конкретную карту. Если считать бюджет по памяти, MoE позволяет держать модель с большим числом суммарных параметров, платя за это местом под неактивных экспертов. Basalt теперь даёт выбор из двух вариантов, и это полезнее, чем один.

Квантизация Qwen 3.8 27B: что реально означают top-1 92.8% и KLD 0.0262

Две цифры из релиза легко прочитать неверно. Разберём их по отдельности.

top-1 92.8% - доля позиций, где квантизованная модель выбрала тот же самый вероятный следующий токен, что и полная BF16-версия. Не точность на бенчмарке и не «качество модели». Метрика говорит о том, насколько аккуратно прошло сжатие весов.

KLD 0.0262 - расхождение распределений вероятностей между квантизованной и BF16-версией. Чем ниже значение, тем ближе квантизованная модель к оригиналу по поведению.

Из 92.8% следует, что примерно в 7% случаев топ-токен отличается. На коротком ответе это часто незаметно, на длинной генерации расхождения накапливаются: один другой токен меняет дальнейшую траекторию. При этом метрика ничего не говорит о том, стал ли ответ хуже по смыслу, часть расхождений нейтральна.

Сравнение с BF16 ставит эталоном саму полную модель. Если BF16-версия ошибается, квантизация может быть близка к ней и всё равно давать слабый результат. Воспринимайте пару top-1/KLD как индикатор аккуратности квантизации, а не как рейтинг модели.

Почему сравнение с BF16 - не то же самое, что оценка качества

Basalt применял такую схему и раньше: в разборе Basalt 0.2.0 проект приводил KLD и top-1 для разных форматов квантования относительно BF16, и там же была видна цена выбора: NVFP4-DQ8 давал KLD 0.0561 против 0.0624 у DQ6_K и стоил примерно 7% скорости на прозе. Логика та же: измеряется близость к эталону, а не абсолютное качество.

Что важно для 0.4.0: автор не назвал формат квантизации, размер файла и разрешение, при которых получены 92.8% и 0.0262. Сравнивать эти числа с другими квантами из сторонних таблиц корректно только при совпадающих условиях, а их в тексте релиза нет.

Скорость на RTX 5090: как читать 776, 262 и 194 tok/s

Три числа относятся к разным типам вывода в одиночном потоке на одной RTX 5090:

  • до 776 tok/s - структурированный вывод: JSON, код, разметка, жёсткий формат;
  • 262 tok/s - диалог;
  • 194 tok/s - проза.

Разрыв объясним. На структурированном выводе пространство кандидатов узкое: внутри поля JSON или после открытой скобки модель выбирает из ограниченного набора токенов, шаблоны повторяются. Проза требует держать открытым широкое распределение, и каждое следующее слово стоит дороже. Разница почти в четыре раза между 776 и 194 - это разница режимов, а не «ускорение модели».

Чего эти цифры не покрывают: батч, число параллельных слотов, сэмплинг, формат квантизации. Всего этого в релизе нет. На другой карте, в батче из нескольких запросов или с другим контекстом значения будут иными, и переносить 776 tok/s на RTX 4090 или 5060 Ti нельзя: замеров для них не приводится.

Prefill 12 000 tok/s при 4k: что это значит для длинного контекста

Prefill - обработка входного промпта до первого токена ответа. 12 000 tok/s заявлены только для контекста 4k. Автор прямо пишет, что с ростом контекста скорость падает, но конкретных значений для 8k, 32k или 128k не приводит.

Практический вывод: на длинных документах, стенограммах и видео первый токен придёт заметно позже, чем на коротком вопросе. Агентные сценарии с большим системным промптом планируйте с запасом по времени ожидания. Оценить этот запас по релизу невозможно, нужны свои прогоны.

Поместится ли Qwen 3.8 27B на ваше железо: VRAM, контекст и связки из двух карт

27B dense - модель, где в вычислениях участвуют все параметры. Требования к VRAM и пропускной способности памяти у неё выше, чем у MoE с тем же числом суммарных параметров: у MoE на токен читается только часть весов.

Основной способ уложить такую модель в разумный объём памяти - квантизация. Какие форматы Basalt поддерживает для Qwen 3.8 27B и сколько весит каждый, автор не указал, поэтому прикидывать «влезет или нет» придётся по факту после загрузки.

Единственный замер в релизе, который показывает работу на двух картах, относится к другой модели: DeepSeek V4.1 Flash в IQ1_M на связке RTX 5090 + RTX 5060 Ti выдаёт 90 tok/s в диалоге и 246 tok/s на структурированном выводе. Это подтверждает, что Basalt умеет распределять модель по двум GPU, но к Qwen 3.8 27B эти цифры не относятся. Как длина контекста и выбор кванта меняют картину на ограниченной VRAM, видно в отдельном разборе: кейс с четырьмя RTX 3080.

Почему 262K контекста - это не бесплатно

KV-кэш растёт вместе с длиной контекста и занимает VRAM постоянно, пока идёт генерация. Заявленные 262K токенов означают, что модель поддерживает такой контекст, но не то, что он комфортно живёт на любой карте. Автор не раскрыл ни требований к памяти, ни скорости на длинном контексте, поэтому это открытый вопрос, а не недостаток.

Косвенная точка отсчёта есть в другом материале AI-Manual: GGUF-сборка Qwen на 27B с поддержкой зрения заняла меньше 17 ГБ и уместилась в 32 ГБ VRAM вместе с контекстом 262k по данным пользователя с двумя RTX 5060 Ti. Это сторонний отчёт о другой сборке и других настройках, переносить его на Basalt напрямую нельзя. Он показывает масштаб задачи: под полный контекст нужен отдельный запас памяти сверх весов.

Мультимодельность и роутинг: DeepSeek V4.1 Flash и что это меняет

Поддержка нескольких моделей и роутинг появились в Basalt до 0.4.0. Первой моделью, добавленной вместе с ними, стал DeepSeek V4.1 Flash: автор приводит для него 90 tok/s в диалоге и 246 tok/s на структурированном выводе в квантизации IQ1_M на связке RTX 5090 + RTX 5060 Ti.

Смысл мультимодельности в локальном стеке простой: разные задачи требуют разных моделей. Быстрая модель на структурированном выводе дешевле для парсинга, извлечения полей и генерации кода по шаблону, более крупная нужна для рассуждений и сложных ответов. Роутер избавляет от ручного переключения. Какие именно правила маршрутизации реализованы в Basalt, в источнике не описано, поэтому рассчитывать на автоматический выбор по типу задачи без проверки не стоит.

Замеры DeepSeek V4.1 Flash на другом железе показывают, насколько результат зависит от конфигурации: на восьми NVIDIA A40 TensorSharp получил 40,3-40,7 tok/s в Q2_K и 31-32,5 tok/s в Q4_K_M. Другие карты, другие кванты, другой рантайм, и скорость отличается в разы от 90 tok/s на связке 5090 + 5060 Ti.

Чат, инструменты, размышления, изображения и видео: что заявлено в Qwen 3.8 27B

Список возможностей из релиза: чат, вызов инструментов (tools), режим размышлений (thinking), работа с изображениями и видео, контекст до 262K токенов. В самом Basalt к этому добавились поддержка видео и файлов в чатах, это возможности рантайма и интерфейса, а не самой модели.

Относиться к списку стоит как к заявленным возможностям: независимых тестов на изображениях, видео и многошаговых вызовах инструментов нет. Формулировки вроде «работает с видео» без примеров и замеров ничего не гарантируют.

Практический угол: для агентных сценариев важнее всего tools и структурированный вывод, и именно там автор показывает максимальную скорость. Если ваш кейс - вызовы функций, JSON-ответы и код по шаблону, 0.4.0 выглядит уместно. Если нужен разбор видео, сначала прогоните свои файлы.

Кому стоит смотреть на Basalt 0.4.0, а кому пока рано

Смотреть в сторону релиза имеет смысл в нескольких случаях:

  • у вас RTX 5090 или связка из двух карт, и вы готовы мерить скорость сами;
  • нужен локальный стек с несколькими моделями и роутингом вместо движка под одну модель;
  • критична скорость структурированного вывода: агенты, JSON, генерация кода;
  • вы следите за подготовкой к Qwen 4 и хотите заранее познакомиться с dense-путём.

Подождать разумно, если:

  • нет запаса VRAM под 27B dense в квантизации;
  • нужен рантайм с независимыми бенчмарками и историей стабильности;
  • вы работаете на картах вне заявленной конфигурации и вам важны цифры именно для них;
  • основной сценарий - длинный контекст, а скорость prefill за пределами 4k неизвестна.

Ограничения релиза держите рядом с любым решением: метрики self-reported, замеры только на RTX 5090 в одиночном потоке, поведение на длинном контексте не раскрыто.

Что остаётся открытым вопросом

Пробелы релиза, которые стоит закрыть до того, как строить на нём выводы:

  • нет независимой проверки top-1, KLD и скоростей;
  • нет данных о скорости на других GPU, в батче и при параллельных слотах;
  • не названы конкретные значения prefill при контексте больше 4k;
  • не раскрыты требования к VRAM для 262K контекста;
  • не указаны форматы квантизации Qwen 3.8 27B и размеры файлов;
  • про dense-ядра под Qwen 4 сказано только в общих словах.

Пока эти пункты открыты, релиз полезно читать как заявку на будущее: направление понятно, цифры предстоит перепроверить на своём железе. Первый шаг для проверки - прогнать свою типовую задачу (JSON, код, диалог, длинный документ) на одной карте и сравнить время до первого токена и скорость генерации с тем, что обещает автор релиза Basalt 0.4.0.

Подписаться на канал