Unsloth выпустил Dynamic v3.1 GGUF для Qwen3.8-Flash-Next: обновлённые файлы квантов и новый процесс engram switching. По заявлению авторов, новые кванты точнее на 10-15% на DeepSWE, Terminal Bench, Aider Polyglot и других бенчмарках, если сравнивать с GSQ-RCO. Файлы выложены в репозитории unsloth/Qwen3.8-Flash-Next-GGUF на Hugging Face.
Практически выбор сводится к компромиссу между размером файла и относительной ошибкой к BF16: Q8_0 занимает 54.4 GB при RMSE 0.0053, Q5_1 - 38.4 GB при 0.0376, IQ4_NL - 28.8 GB при 0.0757. Эталонный BF16 весит 102.4 GB, его ошибка равна нулю по определению.
Оговорки здесь весят не меньше цифр. Бенчмарки авторы сами называют зашумлёнными и прогоняли их многократно, а обновлёнными сейчас остаются только кванты меньше UD-Q4_K_XL. Релиз развивает предыдущую работу DeepSeek-V4.1-Flash UD3.1, где заявляли прирост 10-20%.
Что выпустил Unsloth: суть обновления Dynamic v3.1 GGUF
Обновление касается Qwen3.8-Flash-Next, модели с длинным контекстом, которую обычно запускают локально через llama.cpp-совместимые раннеры. Unsloth пересобрала линейку Dynamic до версии v3.1 и добавила engram switching: набор engram-файлов в четырёх форматах плюс процесс переключения между ними.
Главное обещание - рост точности на 10-15% против GSQ-RCO на агентных и кодовых бенчмарках. В анонсе явно названы DeepSWE, Terminal Bench и Aider Polyglot; полный список шире, но именно эти три бенчмарка авторы выделяют как основные.
Какие кванты обновлены сейчас, а какие - позже
Граница проходит по UD-Q4_K_XL: все кванты меньше него уже пересобраны, сам UD-Q4_K_XL и более крупные файлы могут обновить позже. Сроков в анонсе нет, а формулировка про планы звучит как "might plan", то есть намерение без обязательств.
Для пользователя это делит выборку на две части. Те, кто держит модели в бюджете 24-48 ГБ памяти, получают свежие файлы первыми. Те, кому нужен UD-Q4_K_XL или крупный Q5/Q6/Q8, пока работают на предыдущей версии и ждут отдельного обновления.
Чем Dynamic v3.1 отличается от GSQ-RCO по заявлению авторов
GSQ-RCO в этом релизе - базовая линия сравнения, а не общепринятый отраслевой эталон. 10-15% относятся к конкретному набору бенчмарков при фиксированных параметрах сэмплирования и длинном контексте, а не к любой задаче в любом раннере. На коротких чатах разница может оказаться в пределах шума, и авторы это косвенно признают, когда говорят о зашумлённости замеров.
Ещё один ориентир - прошлый релиз для DeepSeek-V4.1-Flash UD3.1, где заявляли прирост 10-20% над другими сборками. Нынешняя работа продолжает ту же линию: похожие метрики, другой набор моделей.
Что такое engram switching и как он работает
В анонсе процесс описан коротко: для всех квантов доступны engram-файлы в форматах BF16, Q8_0, Q5_1 и IQ4_NL, между которыми можно переключаться. Внутреннюю механику авторы не раскрывают, так что дальше речь о том, что видно из таблицы размеров и ошибок.
Набор форматов подсказывает сценарий: один и тот же рабочий процесс можно вести с разной точностью. Тяжёлую агентную сессию с длинным контекстом удобно держать на формате побольше, рутинные прогоны и проверки - на компактном, если память ограничена. Как именно устроено переключение, в тексте релиза не раскрыто: это остаётся на стороне инструментов, которые поддерживают такие файлы.
| Формат engram-файла | Размер | Относительная RMSE к BF16 |
|---|---|---|
| BF16 | 102.4 GB | 0 |
| Q8_0 | 54.4 GB | 0.0053 |
| Q5_1 | 38.4 GB | 0.0376 |
| IQ4_NL | 28.8 GB | 0.0757 |
Ключевая деталь: RMSE в таблице - относительная ошибка к BF16, а не абсолютная метрика качества и не сравнение с GSQ-RCO. Путать эти величины нельзя. Q8_0 отклоняется от эталона примерно на 0,53%, IQ4_NL - на 7,57%. Разрыв больше чем на порядок, и он же объясняет 25,6 GB разницы между самым компактным и самым точным вариантом.
BF16, Q8_0, Q5_1 или IQ4_NL: как выбрать квант под свою VRAM
Четыре формата закрывают четыре разных бюджета памяти. Ориентир ниже дан по размеру файла; запас на KV-кеш и накладные расходы раннера считается отдельно.
- BF16, 102.4 GB. Эталон с нулевой ошибкой. Смысл имеет на машинах, где больше 100 GB доступно только под веса, и когда нужна максимальная близость к оригиналу.
- Q8_0, 54.4 GB, RMSE 0.0053. Файл вдвое меньше эталона при почти нулевом отклонении. Разумный выбор для конфигураций на 80-96 ГБ, где остаётся место под контекст.
- Q5_1, 38.4 GB, 0.0376. Компромисс для 48 ГБ-класса: ошибка заметно выше, чем у Q8_0, зато примерно вдвое ниже, чем у IQ4_NL.
- IQ4_NL, 28.8 GB, 0.0757. Экономит почти 73% объёма BF16. Подходит для 24-32 ГБ, если агентные прогоны на 256K контекста не в приоритете.
Для кода и tool use бюджет памяти часто упирается не в веса, а в контекст и архитектуру: у MoE и плотных моделей схожего размера требования различаются. Разбор выбора между Qwen3.8-27B IQ3_XXS и Qwen3.6-35B-A3B Q4_K_M показывает, как считать этот бюджет под конкретную задачу скрапинга или tool use.
Почему размер файла не равен требуемой VRAM
Размер скачанного файла не равен всей памяти, которая понадобится при запуске. К весам добавляется KV-кеш: промежуточные данные, объём которых растёт вместе с длиной контекста, плюс накладные расходы самой программы запуска. При 256K контекста, на котором Unsloth гоняла агентные бенчмарки, запас должен быть заметно больше размера файла.
Отсюда практическое следствие: файл на 28.8 GB комфортно живёт на 32 ГБ только при скромном контексте. Сравнение высокого кванта и длинного контекста на 20 ГБ VRAM показывает, что качество модели в такой сборке оказалось важнее длины окна: длинный контекст стоит памяти, но не всегда окупается результатом.
Когда переплата памятью за Q8_0 оправдана
Разрыв в ошибке между Q8_0 и IQ4_NL больше чем на порядок: 0.0053 против 0.0757. Для сложного кода, длинных инструкций и агентных цепочек, где отклонение накапливается по шагам, это может выйти боком. Если память позволяет, Q8_0 даёт почти эталонное поведение при вдвое меньшем файле.
Обратная сторона: более точный формат не гарантирует лучшего результата на каждом задании, а квантование не добавляет модели знаний. Если Qwen3.8-Flash-Next путается в задаче на BF16, Q8_0 это не исправит.
Насколько можно доверять заявленным 10-15%: разбор методики бенчмарков
Условия замеров описаны в анонсе подробнее, чем обычно. Все бенчмарки шли при 256K контекста для агентных задач и 128K для остальных. Параметры сэмплирования: temperature 1.0, top_p 0.95, top_k 20, min_p 0, без presence и repetition penalty, с включёнными preserve_thinking и xhigh reasoning.
Суммарный бюджет - 26,2 млрд токенов. Из них 18,1 млрд ушло на DeepSWE и 5,2 млрд на Terminal Bench: агентный сценарий доминирует в выборке, и это стоит учитывать, перенося выводы на чат или генерацию текста.
Почему шум в бенчмарках важен для интерпретации
Авторы прямо пишут, что бенчмарки зашумлённые. При повторных прогонах результат колеблется, поэтому одиночный замер легко даёт завышенную или заниженную разницу. Многократные прогоны и большой токенный бюджет снижают неопределённость, но не убирают её: LiveCodeBench запускали 3 раза, HMMT и другие - 8-16 раз, агентные бенчмарки прогоняли несколько раз.
Отсюда практическое правило: 10-15% стоит читать как "заметно лучше в этом наборе условий", а не как гарантированные 15% в вашем пайплайне. Разброс между прогонами способен съесть часть заявленного прироста.
Что именно измеряли: DeepSWE, Terminal Bench, Aider Polyglot и другие
Классы задач разные. DeepSWE и Terminal Bench - агентные сценарии с командами, файлами и длинными цепочками шагов. Aider Polyglot - мультиязычное редактирование кода через Aider. LiveCodeBench проверяет решение задач по программированию, HMMT - математику.
Чем ближе ваша работа к агентному коду, тем релевантнее цифры. Для чата и общих вопросов перенос осторожнее. Aider-прогон Swift-1.5-Qwen3.8-Flash-Next даёт полезный контекст: там разница между версиями уложилась меньше чем в процент, а такие величины чувствительны к условиям теста.
Практика: подходит ли Dynamic v3.1 для агентных задач и длинного контекста
Агентные прогоны на 256K контекста упираются в память быстрее, чем обычный чат. KV-кеш растёт с длиной окна, и на таких дистанциях компактный квант освобождает ровно ту память, которой не хватает для контекста. Обратная сторона - накопление ошибки в длинных цепочках: чем больше шагов, тем выше шанс, что отклонение весов проявится в неудачном вызове инструмента.
Параметры preserve_thinking и xhigh reasoning из методики тоже влияют на поведение. Тесты Qwen3.8-Flash-Next на кодинге, pandas и локальном RAG отмечают склонность модели к переразмышлению, а прогон трёх квантов на 16 ГБ VRAM показывает, что повышение thinking effort почти не добавляет решённых задач, зато тратит токены и время.
Вывод для практики: выбранный квант стоит прогнать на своих задачах, прежде чем строить на нём агентный пайплайн. Общие цифры помогают сузить выбор до одного-двух форматов, финальное решение даёт собственный набор тестов.
Ограничения релиза: о чём стоит знать до скачивания
- Обновлены не все файлы: UD-Q4_K_XL и более крупные кванты остались на предыдущей версии, сроки их обновления не названы.
- 10-15% - цифра из бенчмарков авторов, независимой проверки в релизе нет.
- RMSE показывает отклонение от BF16, а не превосходство над GSQ-RCO; это разные метрики.
- Квантование не улучшает знания модели и не гарантирует лучшего результата на каждом задании.
- Не все форматы одинаково хорошо работают на разных CPU и GPU, поэтому поддержку стоит проверить в своей программе запуска до скачивания десятков гигабайт.
- Запас памяти сверх размера файла обязателен: KV-кеш на 256K контекста весит немало.
Стоит ли переходить на Dynamic v3.1: практический вывод
Обновление имеет смысл, если вы работаете на квантах меньше UD-Q4_K_XL и ваши задачи близки к агентному коду: DeepSWE, Terminal Bench и Aider Polyglot как раз про это. Свежие файлы лежат в репозитории unsloth/Qwen3.8-Flash-Next-GGUF на Hugging Face.
Ждать стоит тем, кому нужен UD-Q4_K_XL или более крупный квант: для них версия пока прежняя. Если память впритык, сначала посчитайте KV-кеш под свой контекст, а потом выбирайте между Q5_1 и IQ4_NL: разница в 9,6 GB часто решает, влезет модель или нет.
Заявленные 10-15% полезны как ориентир при выборе между GSQ-RCO и Dynamic v3.1, но не отменяют проверку на своих промптах. Один прогон типичной задачи в двух форматах скажет о вашем сценарии больше, чем сводная таблица бенчмарков.