Unsloth выпустил обновлённый набор GGUF-квантований для Qwen3.8-Flash-Next и пометил его версией V3.1. Документация релиза лежит на unsloth.ai по пути /docs/models/qwen3.8-next, а в анонсе обещано повышение точности примерно на 15% относительно предыдущей версии квантов.
Сразу рамка: 15% - это цифра из анонса. Методики замера в публикации нет: не сказано, на каких задачах считали, какая метрика использовалась и с чем именно сравнивали. Независимого бенчмарка тоже нет, поэтому цифру стоит держать в голове как ориентир от авторов сборки, а не как измеренный результат.
Практический смысл новости для тех, кто запускает Qwen3.8-Flash-Next локально, простой: появилась новая ревизия файлов, которые можно скачать вместо старых. Что изменилось внутри, кроме заявленной точности, в анонсе не раскрыто, так что решение об обновлении придётся принимать по своим задачам. Ниже: что подтверждено, как выбрать квант под VRAM, как запустить файлы в llama.cpp и как проверить обещание на своих промптах.
Что случилось: Unsloth выпустил GGUF V3.1 для Qwen3.8-Flash-Next
О релизе сообщили в обсуждении на r/LocalLLaMA: новая версия квантов доступна для скачивания, детали вынесены в документацию Unsloth. Модель в тексте сокращают до QFN, это же сокращение встречается в заголовках файлов и обсуждениях, так что путаницы добавляет немного, но понимать его полезно.
Формулировка анонса короткая: новая версия для скачивания плюс «15% higher accuracy». Ни таблицы квантов, ни списка задач, ни параметров сэмплирования, ни размеров файлов. Для новости такого формата это нормально, но для выбора сборки под своё железо данных мало.
Что подтверждено, а что нет
- Подтверждено: факт выпуска V3.1 и доступность новой версии для загрузки.
- Подтверждено: документация размещена на unsloth.ai по пути /docs/models/qwen3.8-next.
- Подтверждено: в анонсе есть формулировка «15% higher accuracy».
- Не подтверждено: методика замера, набор задач, конкретный бенчмарк и метрика.
- Не подтверждено: перечень квантов внутри V3.1, размеры файлов и требования к VRAM.
- Не подтверждено: любые отличия от прошлой версии, кроме заявленной точности.
Дата в заголовке первоисточника - 4 ноября 2026 года, в самом тексте анонса она отдельно не подтверждается. Воспринимайте её как дату публикации поста, а не как проверенный факт о сборке.
Чем GGUF V3.1 отличается от предыдущей версии
Из анонса следует одно содержательное отличие: заявление о более высокой точности. Размер файлов, изменения в упаковке тензоров, совместимость с конкретными раннерами и прочие детали в публикации не раскрыты. Если эти параметры для вас критичны, смотрите их в документации и на странице загрузки, а не выводите из номера версии.
Версия квантов ≠ версия модели
Qwen3.8-Flash-Next - это сама модель. GGUF V3.1 - версия набора квантованных файлов, которые Unsloth подготовил для этой модели. Аналогия простая: программа осталась той же, изменилась упаковка и, по заявлению авторов, качество квантования. Никакой новой архитектуры, дополнительных модальностей или другого контекста в V3.1 не появляется, потому что речь о файлах весов, а не о новой модели.
GGUF - формат хранения квантованных весов, с которым работают llama.cpp и совместимые раннеры. Внутри одного набора обычно лежит несколько файлов разной битности, и вы качаете ровно один под свой объём памяти. Если вы конвертируете веса сами, а не берёте готовые файлы, следите за изменениями в конвертере llama.cpp: про объединение тензоров Qwen при конвертации в GGUF мы разбирали в материале PR #31028, и там же объясняется, когда переконвертация оправдана.
Какие кванты доступны и как выбрать размер под VRAM
Точный список квантов V3.1 в анонсе не приведён. Актуальный перечень смотрите в документации Unsloth по пути /docs/models/qwen3.8-next. Дальше - общая рамка выбора по типовым обозначениям GGUF, она не привязана к размерам файлов этого конкретного релиза.
В названии кванта число означает биты на вес (bpw), буквы и цифры после него - схему квантования. Чем выше битность, тем больше файл и тем меньше потерь относительно полной точности, но и памяти он съедает больше.
- Q3_K_M и ниже, а также IQ-схемы на 2-3 бита - когда VRAM в обрез и лучше запустить модель, чем не запустить её вовсе. Качество на сложных задачах проседает заметнее всего.
- Q4_K_M - типовой рабочий вариант, где размер и качество сбалансированы. Чаще всего именно с него начинают знакомство с моделью.
- Q5_K_M - если после загрузки Q4 остаётся запас памяти и хочется уменьшить потери без перехода на 8 бит.
- Q8_0 - 8 бит на вес: файл примерно вдвое меньше BF16, а потери точности заметно ниже, чем у 4-битных схем. Цена - память и скорость загрузки.
Практическое правило выбора
Сначала выясните, сколько VRAM реально свободно в момент запуска, с учётом того, что память занимают не только веса. Дальше берите максимальный квант, который влезает с запасом по памяти. Запас нужен на KV-кэш контекста, буферы вычислений и драйвер: длинный контекст съедает гигабайты, и «влезло на пустом промпте» ничего не гарантирует.
Если память упирается в потолок, есть два рычага: снизить квант или сократить контекст и вынести часть слоёв на CPU. Второй путь медленнее, но иногда позволяет остаться на более высоком кванте. Крайний случай экономии памяти и его реальные компромиссы мы разбирали в сравнении UD IQ1_S против UD Q4: там видно, когда ультранизкая квантизация помогает, а когда предсказуемее взять Q4.
Как скачать и запустить Qwen3.8-Flash-Next локально в llama.cpp
- Откройте документацию: unsloth.ai/docs/models/qwen3.8-next.
- Найдите раздел с GGUF и убедитесь, что речь именно о версии V3.1, а не о более ранней публикации.
- Скачайте один квант под свою память. Готовые GGUF чаще всего распространяются через Hugging Face, конкретное расположение файлов для V3.1 указано в документации Unsloth.
- Запустите файл в llama.cpp или в совместимом раннере.
Минимальный шаблон запуска выглядит так: имя файла подставляете то, которое скачали, гадать по нему не нужно.
llama-cli -m /путь/к/скачанному-файлу.gguf -c 8192 -ngl 99 -p "Ваш промпт"Здесь -ngl 99 просит выгрузить все слои на GPU, -c 8192 задаёт длину контекста, а уменьшение этого значения - самый быстрый способ освободить память, если загрузка падает с ошибкой выделения. Для работы через HTTP API используют llama-server с теми же флагами. Другие раннеры, читающие GGUF, обычно принимают те же файлы, но набор поддерживаемых флагов у них свой.
Как убедиться, что вы скачали именно V3.1
Сверяйте имя файла и описание релиза с документацией Unsloth. Если маркировка версии в источнике не указана явно, это повод заглянуть в документацию, а не угадывать по дате загрузки: старые файлы никто не удаляет, и они спокойно лежат рядом. Перед скачиванием десятков гигабайт полезно ещё раз проверить, что модель вообще корректно работает в вашей сборке llama.cpp, - чек-лист совместимости и типичные ошибки загрузки разобраны в материале про Qwen 3.8 Flash в llama.cpp.
Можно ли верить 15%: как обычно проверяют такие улучшения
Формулировка «15% higher accuracy» без метрики и набора задач ничего не измеряет. 15% чего именно: доли верных ответов, pass rate на задачах с кодом, оценки модели-судьи? В анонсе ответа нет, поэтому цифру нельзя ни подтвердить, ни опровергнуть со стороны.
Аккуратная проверка качества квантов выглядит иначе. Берут фиксированный набор задач, фиксируют параметры сэмплирования, сравнивают старую и новую версию на одном и том же типе кванта, делают несколько прогонов и смотрят разброс между ними. Отдельно выбирают метрику: точное совпадение ответа, прохождение тестов, оценка человеком или моделью-судьёй. Без этого «плюс 15%» остаётся строчкой в описании релиза.
Как проверить улучшение на своих задачах
Соберите 10-20 реальных промптов из своей работы: те, где вы видите разницу между хорошим и плохим ответом. Прогоните их на старой и новой версии с одинаковыми настройками, включая температуру, длину контекста и один и тот же тип кванта. Ответы перемешайте и оцените вслепую, не зная, какая версия их выдала. Такой прогон не заменяет бенчмарк и не обобщается на другие задачи, но отвечает на конкретный вопрос: стало ли лучше на вашем сценарии.
Стоит ли обновляться: сценарии «да» и «подождать»
Обновляться имеет смысл, если вы регулярно работаете с Qwen3.8-Flash-Next локально, у вас есть свободная VRAM под тот же квант и время на скачивание с последующей проверкой. В этом случае вы получаете новую ревизию файлов с заявленным, но не подтверждённым улучшением, и проверить его можно на своих промптах за один вечер.
Подождать разумно, если текущая версия закрывает задачи, канал медленный или диск занят другими моделями. Независимых подтверждений улучшения нет, а значит спешить некуда: файлы никуда не денутся, а спокойная проверка через неделю даст больше, чем гонка за релизом.
Риски и что держать в голове
- Заявленный прирост точности не подтверждён независимо: методика замера в анонсе не раскрыта.
- Возможны регрессии на специфических задачах: квантование по-разному влияет на код, длинный контекст и работу с инструментами.
- Дата в заголовке первоисточника не подтверждается текстом анонса, относитесь к ней как к ориентиру.
- Перечень квантов и требования к памяти сверяйте с документацией Unsloth, а не со сторонними пересказами.
- Держите старую версию рядом: если новая покажет себя хуже, откат займёт минуту вместо повторного скачивания.
Итог: что делать дальше
V3.1 - обновление набора GGUF-квантов от Unsloth для Qwen3.8-Flash-Next. Документация лежит на unsloth.ai по пути /docs/models/qwen3.8-next, заявленные 15% взяты из анонса и методикой не подкреплены.
Дальше три шага. Откройте документацию и посмотрите актуальный список квантов. Выберите вариант под свободную VRAM с запасом на KV-кэш. Скачайте файл, запустите его в llama.cpp на своих промптах и сравните ответы со старой версией вслепую. Если разницы нет, спокойно оставайтесь на том, что уже работает.