15 октября 2026 года в сообществе r/LocalLLaMA появился пост о FP4 QAD-кванте модели Qwen3.8-Flash-Next. Заявленный размер сборки - 102 ГБ. Для сравнения в том же сообщении указан официальный NVFP4-вариант nvidia/Qwen3.8-Flash-Next-NVFP4 объёмом 133 ГБ. Разница - 31 ГБ, и именно она стала поводом для обсуждения.
Суть коротко: две 4-битные сборки одной и той же модели, разница в 31 ГБ размера файлов, источник - публикация пользователя в сообществе, а не официальный анонс. Бенчмарков, замеров скорости и сравнений качества в исходном посте нет, поэтому вопрос «какая сборка лучше» пока открыт. Есть цифры по объёму и пожелание автора увидеть поддержку кванта в специализированных движках.
Дальше - что известно о самом кванте, что означают FP4 и QAD в этом контексте, чем сборка отличается от официального NVFP4 и что из этого следует для локального запуска.
Что случилось: FP4 QAD-квант Qwen3.8-Flash-Next на 102 ГБ
Кто и где сообщил о кванте
Автор публикации, пользователь /u/rerri, разместил её в сабреддите r/LocalLLaMA. Пост датирован 15 октября 2026 года. Это ключевой момент для оценки достоверности: первоисточник относится к сообществу пользователей локальных LLM, а не к пресс-релизам NVIDIA или команды Qwen.
Чего в публикации нет: номера версии модели, даты сборки кванта, сведений о калибровочном наборе данных и расшифровки самого термина QAD. Без этих деталей нельзя судить ни о качестве, ни о воспроизводимости результата. Размер 102 ГБ - единственная измеримая характеристика, которую даёт автор поста.
Почему разница в 31 ГБ важна
Вес модели определяет, где она вообще может жить. Если веса не помещаются в VRAM, часть слоёв уходит в оперативную память или на SSD, а скорость генерации падает: обмен по PCIe идёт на порядки медленнее, чем доступ к памяти GPU.
31 ГБ - не абстрактная цифра. Это объём, который освобождается под KV-кэш, буферы активаций и служебные структуры движка. На длинном контексте KV-кэш растёт быстро, и запас в 31 ГБ может означать разницу между рабочим контекстом и постоянным сбросом в host RAM.
Оговорка, без которой вывод получится неверным: из меньшего размера файла не следует, что сборка на 102 ГБ заработает там, где не помещается 133 ГБ. Обе цифры подразумевают несколько GPU или сервер. Итог зависит от схемы оффлоада, длины контекста и того, какие слои квантованы агрессивнее.
Что такое QAD-квантование в формате FP4
Начать придётся с честного ограничения: в доступных материалах определения QAD нет. Расшифровка аббревиатуры, схема квантования и требования к калибровке не раскрыты. Любое толкование за пределами слова «квантование» будет догадкой, поэтому дальше речь пойдёт о том, что известно точно.
FP4 простыми словами
FP4 означает 4 бита на параметр в формате с плавающей точкой. Для сравнения: в FP16 один параметр занимает 16 бит, в FP8 - 8 бит. Сокращение вдвое против 8-битного формата даёт примерно половину размера файла, и поэтому 4-битные кванты стали стандартом для локального запуска больших моделей.
Плата за компактность - точность представления. Четыре бита позволяют хранить только 16 различных значений, поэтому рядом с весами держат масштабы: множители, которые возвращают числа в рабочий диапазон. Качество вывода определяется сочетанием двух факторов: сколько бит уходит на сами веса и насколько аккуратно подобраны масштабы.
Второй фактор практичнее первого. Две сборки с одинаковым средним числом бит на параметр могут выдавать заметно разный результат, если в одной из них чувствительные слои оставлены в более высокой точности. Как квантизация влияет на качество и почему сравнение «по битам» ничего не гарантирует, разобрано в материале про выбор кванта Qwen3.8 27B для 16 ГБ VRAM.
Почему QAD может давать меньший размер
Механизм экономии 31 ГБ в первоисточнике не описан. Логика подсказывает возможные направления, но подчеркну: это предположения, а не подтверждённые детали.
- Разная доля слоёв в высокой точности. Если QAD-сборка держит в FP8 или FP16 меньше слоёв, например не квантует часть проекций или нормализации, файл получится меньше.
- Разные схемы хранения масштабов. Метаданные и множители тоже занимают место, а на модели с сотнями миллиардов параметров они складываются в гигабайты.
- Разные форматы упаковки весов. Способ группировки параметров в блоки меняет накладные расходы на служебные значения.
Какое из объяснений верное, покажет документация автора кванта. До её появления разумная позиция такая: считать 102 ГБ фактом о размере и не выводить из него суждения о качестве.
FP4 QAD против NVFP4: в чём разница
NVFP4 и FP4 QAD объединяет одно: 4 бита на параметр. Различаются происхождение сборок и объём того, что о них известно.
| Параметр | nvidia/Qwen3.8-Flash-Next-NVFP4 | FP4 QAD-квант |
|---|---|---|
| Размер | 133 ГБ | 102 ГБ |
| Формат | NVFP4 | FP4 |
| Кто выпустил | официальная сборка NVIDIA | публикация /u/rerri в r/LocalLLaMA |
| Поддержка в движках | в первоисточнике не уточняется | автор просит добавить её в специализированные движки |
| Замеры качества и скорости | в доступных материалах отсутствуют | в доступных материалах отсутствуют |
Официальный NVFP4 на 133 ГБ
NVFP4 - 4-битный формат весов от NVIDIA, и сборка nvidia/Qwen3.8-Flash-Next-NVFP4 выпущена именно в нём. Официальное происхождение даёт два практических плюса: предсказуемую совместимость с инструментами NVIDIA и больше шансов на своевременную поддержку в движках. Минус тоже очевиден: 133 ГБ против 102 ГБ, то есть на 31 ГБ больше диска, трафика и памяти.
Как NVFP4-сборки ведут себя в реальной работе, видно на примере меньшей модели: в статье про переход с Qwen 3.8 27B на Flash Next на RTX 5090 NVFP4-вариант запускался через Ninfer, и разница ощущалась не столько в размере файла, сколько в поведении модели.
Сообщественный FP4 QAD на 102 ГБ
Об этой сборке известно ровно три вещи: размер 102 ГБ, формат FP4 и то, что её обсуждают в сообществе. Нет ни данных о perplexity, ни замеров токенов в секунду, ни списка поддерживающих движков. Вывод о том, что 102 ГБ лучше или хуже 133 ГБ, делать не из чего: сравнение идёт по одной характеристике из нескольких значимых.
Что это значит для локального запуска на GPU
Требования к VRAM и диску
102 ГБ весов - уровень не одной потребительской карты. Даже с учётом выноса части слоёв в RAM такая модель целиком помещается в память GPU только на конфигурации из нескольких ускорителей с суммарными 100+ ГБ VRAM. Сверху нужен запас на KV-кэш, активации и сам движок.
Разница в 31 ГБ проявляется в двух местах:
- Диск. 133 ГБ против 102 ГБ - это ещё и время скачивания, и свободное место при распаковке. Объём сопоставим с отдельной 4-битной моделью среднего размера.
- Бюджет памяти. Если конфигурация находится на границе, 31 ГБ решают, уйдёт часть слоёв в host RAM или нет. Как только это происходит, скорость генерации определяется пропускной способностью DDR, а не GPU.
Логика подсчёта бюджета одинакова для моделей любого размера, и её удобно разобрать на меньшей задаче: в материале про запуск Qwen3.8 27B в true Q4_K_M на RTX 5080 с 16 ГБ показано, как складывается бюджет весов, KV-кэша и служебных буферов и почему фактический расход всегда выше размера файла.
Отдельный нюанс - аппаратная поддержка FP4-вычислений. 4-битные форматы рассчитаны на ускорение в новых поколениях GPU, и на старом железе такой квант может работать без обещанного прироста скорости. Проверить это до загрузки 100+ ГБ дешевле, чем после.
Стоит ли ждать поддержки в движках
Автор публикации прямо пишет, что хотел бы увидеть поддержку этой сборки в специализированных движках для Qwen3.8-Flash-Next. Формулировка «хотел бы» указывает на то, что на момент поста поддержки, скорее всего, ещё нет. Точных данных об этом первоисточник не даёт, поэтому воспринимайте как индикатор, а не как подтверждённый факт.
Статус поддержки в инференс-движках
Почему поддержка движков критична
Квант - это файл с весами в конкретном формате. Чтобы его использовать, движок должен уметь три вещи: прочитать структуру файла, корректно восстановить числа из масштабов и выполнить вычисления с приемлемой скоростью. Если хотя бы один пункт не поддержан, файл скачается и не запустится. Бывает и мягкий вариант: модель открывается, но считает медленно, потому что вместо быстрых ядер работает резервный медленный путь.
Отсюда практический вывод: новость о новом кванте и новость о его поддержке в движках - разные события. Первое уже произошло, второе пока под вопросом.
Что известно о специализированных движках для Qwen3.8-Flash-Next
В исходной публикации специализированные движки упомянуты без названий. Конкретный список, версии и сроки в доступных материалах отсутствуют, поэтому перечислять проекты по памяти не стоит: это будет догадка. Общий контекст по форматам квантов и их совместимости с движками разобран в статье про новые imatrix-кванты GGUF для Qwen3.8 Flash Next, где показано, как формат сборки влияет на список поддерживающих её инструментов.
Риски и ограничения информации из сообщества
Исходные данные для этого разбора - один пост в r/LocalLLaMA. Из этого следуют ограничения, которые стоит держать в голове:
- Информация не подтверждена официальными источниками. Ни NVIDIA, ни команда Qwen в доступных материалах размер 102 ГБ не комментировали.
- Нет деталей квантования: схемы, калибровочного набора, списка слоёв в высокой точности. Без них невозможно оценить, чем заплатили за экономию 31 ГБ.
- Нет ни одного замера качества или скорости. Утверждения вида «этот квант сохраняет качество» на таких данных не проверяются.
- Размер может измениться. Сборки в сообществе обновляют, перезаливают и дополняют.
Это не повод игнорировать новость, а повод не строить на ней закупку железа. Оригинальный пост доступен по ссылке, и читать его стоит целиком, включая комментарии: там обычно всплывают детали, которых нет в самом тексте.
Практические выводы: кому и зачем нужен FP4 QAD-квант
Если у вас есть конфигурация с запасом памяти, где 133 ГБ помещаются без оффлоада, официальный NVFP4 выглядит логичнее: его выпустила NVIDIA, а значит выше шансы на поддержку в движках и предсказуемое поведение. Экономия 31 ГБ в этом сценарии ничего не решает.
Если 133 ГБ не помещаются, а 102 ГБ попадают в бюджет, FP4 QAD-квант заслуживает внимания, но при трёх условиях: появится поддержка в вашем движке, найдутся независимые замеры качества и вы готовы потратить трафик и диск на эксперимент. До этого момента это резерв, а не рабочий вариант.
Что проверить, когда квант появится в движках:
- Читает ли движок формат без конвертации и предупреждений.
- Сколько памяти занимает модель с вашей длиной контекста, а не только веса.
- Скорость генерации и обработки промпта на реальных задачах.
- Качество на ваших промптах против NVFP4-сборки при одинаковых настройках.
Следить стоит за двумя местами: страницей сборки nvidia/Qwen3.8-Flash-Next-NVFP4 и репозиториями движков, которые вы используете. Появление формата в списке поддерживаемых - более надёжный сигнал, чем любой пост в сообществе.