Квант IQ_3S GSQ RCO для Qwen 3.8 Flash Next набирает 99,0% от качества BF16 в среднем по 12 бенчмаркам. BF16 принят за 100%, поэтому потеря составляет около 1%. Цифры опубликовал Unsloth, разбор появился в обсуждении Qwen 3.8 Flash Next GSQ RCO quant as good as BF16 на r/LocalLLaMA.
Там же новый квант UD v3.1 описан как примерно на 15% лучший, чем IQ_3S GSQ RCO, при почти одинаковом размере файла. Это сравнение двух квантов между собой, а не с BF16. Прогон, на котором получены результаты, занял около 30 млрд токенов.
Для практики: если IQ_3S GSQ RCO уже запущен локально, менять веса немедленно не нужно. Если веса ещё не скачаны, UD v3.1 выглядит предпочтительнее. Дальше разбираем, что стоит за этими процентами и где они могут ввести в заблуждение.
Что показало сравнение квантов Qwen 3.8 Flash Next
Сводка результатов от Unsloth выглядит компактно:
| Показатель | Значение |
|---|---|
| BF16, базовая линия | 100% |
| IQ_3S GSQ RCO | 99,0% от BF16 |
| UD v3.1 против IQ_3S GSQ RCO | примерно на 15% лучше |
| Размер файлов | почти одинаковый |
| Усреднение | 12 бенчмарков |
| Объём прогона | около 30 млрд токенов |
Источник этих цифр - публикация Unsloth, пересказанная в обсуждении на r/LocalLLaMA.
Ключевая цифра для тех, кто уже работает с IQ_3S GSQ RCO, - 99,0%. Она означает, что в среднем по выбранным тестам квант почти не уступает полной модели. Автор поста в источнике называет результат успокаивающим для локального запуска. Оговорка: речь именно о среднем, а не о каждой отдельной задаче.
BF16, IQ_3S GSQ RCO и UD v3.1: что за форматы и чем они отличаются
BF16 - 16-битный формат чисел с плавающей точкой. В тестах он служит эталоном: модель в BF16 считается исходной, её качество принимают за 100%. Квантование переводит веса в менее точное представление. Файл занимает меньше памяти, модель быстрее грузится и работает, но часть информации о весах теряется.
IQ_3S GSQ RCO и UD v3.1 - два разных рецепта такого сжатия для одной и той же модели Qwen 3.8 Flash Next. IQ_3S GSQ RCO читатель мог встретить в локальных сборках, в том числе при запуске через Strata. UD v3.1 - новый квант от Unsloth. Источник не раскрывает точные размеры файлов, число бит и полный состав бенчмарков. Поэтому сравнивать эти кванты можно только по опубликованным относительным цифрам, без предположений о внутренней кухне.
На практике низкобитные кванты Qwen 3.8 уже сравнивали на ограниченной VRAM: в материале GSQ против ByteShape: сравнение низкобитных квантов Qwen 3.8 27B на RTX 3060 12GB разобраны GSQ-RCO-IQ3-XXS и ByteShape IQ3-XXS, включая расход токенов и скорость.
Что означают 99,0% от BF16 на практике
Среднее по 12 бенчмаркам удобно для сводки, но оно скрывает разброс. На одних тестах квант может почти не отличаться от BF16, на других потеря будет заметнее. Особенно если задача требует длинного контекста, точного следования инструкциям, генерации кода или работы с редкими языками. Один процент потери в среднем не гарантирует, что в вашем сценарии разница останется на том же уровне.
Почему 99% не гарантируют идентичного поведения
Усреднение по 12 тестам не показывает распределение результатов. Два кванта с одинаковым средним могут вести себя по-разному на конкретных промптах. Источник не приводит детали методики, состав бенчмарков и точные размеры файлов, поэтому выводы ограничены опубликованными формулировками. Если задача чувствительна к качеству, проверьте квант на своих промптах. Практический ориентир - прогнать 10-20 типовых запросов и сравнить ответы с BF16 или более крупным квантом. Это дешевле, чем перекачивать десятки гигабайт вслепую.
Пример подхода к таким проверкам - разбор теста локальных моделей на кодинге, pandas и RAG, где отдельно отмечено поведение iq3 GSQ-RCO: тест Qwen3.8 27B и других моделей: кодинг, pandas, анализ данных и локальный RAG.
Как читать усреднение по 12 бенчмаркам
Среднее по 12 бенчмаркам даёт одну цифру, по которой легко сравнивать кванты. Минус в том, что она не показывает, насколько результаты разъехались между тестами. Прогон около 30 млрд токенов говорит о серьёзном объёме вычислений. Это аргумент в пользу того, что сравнение не построено на паре случайных запросов. Объём прогона не гарантирует одинакового поведения в любой задаче: набор тестов остаётся конкретным и не раскрытым в деталях.
Другой пример разбора квантов Flash Next с размерами файлов и требованиями к памяти - материал Swift 1.5 Flash Next Heretic: что дают новые кванты IQ4_XS и IQ3_S при локальном запуске. Там видны практические компромиссы между объёмом весов и качеством.
UD v3.1 против IQ_3S GSQ RCO: что значит «на 15% лучше»
Формулировка «примерно на 15% лучше» относится к сравнению UD v3.1 с IQ_3S GSQ RCO. Против BF16 эти 15% считать нельзя: базовая линия в опубликованном сравнении другая. Размер файла у квантов почти одинаковый, значит выигрыш не связан с тем, что UD v3.1 занимает заметно больше места. Источник не уточняет, в чём именно измерены 15%: в процентах качества, баллах бенчмарков или другой метрике. Поэтому корректная формулировка звучит так: по опубликованным результатам UD v3.1 примерно на 15% лучше IQ_3S GSQ RCO.
Из этих цифр нельзя вывести, сколько процентов от BF16 набирает UD v3.1. Источник даёт только два ориентира: 99,0% у IQ_3S GSQ RCO и относительное преимущество UD v3.1. Арифметически складывать их было бы ошибкой. Если вы уже запускаете IQ_3S GSQ RCO, 15% - это аргумент в пользу UD v3.1 при выборе новых весов, но не повод срочно удалять рабочий квант. Подробности сравнения собраны в исходном обсуждении.
Стоит ли перекачивать веса: практический ориентир
Решение зависит от того, скачаны ли веса и насколько задача чувствительна к качеству.
| Ситуация | Что разумно сделать | Почему |
|---|---|---|
| Веса ещё не скачаны | Брать UD v3.1 | При почти одинаковом размере файла он примерно на 15% лучше IQ_3S GSQ RCO по опубликованным результатам |
| IQ_3S GSQ RCO уже работает | Не спешить с перекачкой | Квант даёт 99,0% от BF16 в среднем по 12 бенчмаркам, потеря около 1% |
| Задача чувствительна к качеству: код, длинный контекст, точные инструкции | Проверить на своих промптах или взять UD v3.1 | Среднее по бенчмаркам не гарантирует идентичного поведения |
| Мало свободного места | Сравнить размеры файлов перед скачиванием | Источник не приводит точные размеры, ориентироваться нужно на конкретную сборку |
Категоричной рекомендации здесь нет. Перекачка весов занимает время и место, а выигрыш в 15% измерен на опубликованном наборе тестов. Если текущий квант закрывает задачи, срочности нет. Если вы готовите запас на будущее или упираетесь в качество, UD v3.1 - логичный кандидат.
Итог: что запомнить о квантизации Qwen 3.8 Flash Next
- IQ_3S GSQ RCO набирает 99,0% от BF16 в среднем по 12 бенчмаркам, потеря около 1%.
- UD v3.1 примерно на 15% лучше IQ_3S GSQ RCO при почти одинаковом размере файла. Это сравнение квантов между собой, не с BF16.
- 99% - усреднённая цифра. Она не гарантирует идентичного поведения на длинном контексте, коде, редких языках и точных инструкциях.
- Новым пользователям логичнее брать UD v3.1. Тем, у кого IQ_3S GSQ RCO уже работает, перекачка не обязательна.
- Все цифры взяты из публикации Unsloth, а не из собственного тестирования AI-Manual.
Если сомневаетесь, начните с проверки на своих промптах: 10-20 типовых задач покажут больше, чем одна усреднённая цифра. Для новых установок берите UD v3.1, для действующих конфигураций с IQ_3S GSQ RCO спешить некуда.