30 октября 2026 года автор модели Swift-1.5-Flash-Next-Heretic-ReverseEngineer, известный на Reddit под ником jjusko20, выложил на Hugging Face два дополнительных кванта: IQ4_XS на 94,7 ГБ и IQ3_S на 85 ГБ. Базовым остаётся IQ4_NL на 109 ГБ - по словам автора, лучший компромисс между производительностью и размером. Файлы лежат в репозитории trubisky/Swift-1.5-Flash-Next-Heretic-ReverseEngineer, рецепты и цифры описаны в посте релиза на r/LocalLLaMA.
Практический смысл релиза в двух числах. IQ4_XS экономит около 14,3 ГБ диска относительно базового кванта и собран на той же imatrix: приоритеты точности те же, меняется в основном битность. IQ3_S экономит 24 ГБ, но приоритеты сдвинуты осознанно. Больше бюджета точности уходит на способности к reverse engineering и рассуждению, меньше - на общие знания.
Название модели прямо указывает на специализацию: reverse engineering. Для локального запуска это значит, что кванты имеет смысл оценивать не по среднему баллу на общих тестах, а по тому, насколько сборка сохраняет разбор кода, бинарников и протоколов. Часть таких способностей у IQ3_S заявлена целью рецепта, а не измеренным результатом, и это стоит держать в голове.
Что вышло и почему это важно для локального запуска
Релиз не отменяет базовой рекомендации автора, он расширяет выбор. Три сборки закрывают три бюджета памяти, и разница между ними не только в гигабайтах, но и в том, какие веса квантователь бережёт точнее.
Три кванта в двух словах: IQ4_NL, IQ4_XS, IQ3_S
Сводка по данным автора релиза:
| Формат | Размер на диске | Рецепт | Кому подойдёт |
|---|---|---|---|
| IQ4_NL | 109 ГБ | Оригинальный квант автора, imatrix та же, что у IQ4_XS | Максимум качества, когда место есть |
| IQ4_XS | 94,7 ГБ | Unsloth IQ4_xS плюс около 1 ГБ overhead | Экономия ~14,3 ГБ без смены карты важности |
| IQ3_S | 85 ГБ | Кастомный рецепт на данных модели, imatrix 80/20, база ISTALab | Reverse engineering и рассуждение при жёстком лимите памяти |
Все три цифры - размер файлов на диске, а не требования к видеопамяти. Это различие дальше разобрано отдельно, потому что именно на нём чаще всего возникает путаница при выборе кванта.
Почему автор вообще добавил новые форматы
Причины, которые автор называет прямо: запросы пользователей («At request I've released a few more formats») и тот факт, что IQ3_S оказался самым востребованным форматом, в посте он помечен как «most requested». Мотивов, которых в источнике нет, приписывать не стоит.
Наблюдение со стороны: спрос смещается к сборкам поменьше, потому что 109 ГБ на диске и сопоставимый объём памяти при инференсе есть не у всех. Это логика железа, а не заявление автора. Но она объясняет, зачем понадобились именно 94,7 и 85 ГБ, а не ещё один вариант около базового размера.
Как читать цифры: размер на диске, VRAM и квантование MoE-модели
Размер GGUF-файла и потребление видеопамяти - разные величины, и путать их дорого: скачивание 85-109 ГБ занимает часы. В файле лежат веса. При запуске к ним добавляются KV-кэш под длину контекста, буферы вычислений и служебные расходы рантайма. Чем длиннее контекст, тем больше KV-кэш, и для модели такого масштаба прирост заметный.
Отсюда простая арифметика. Целиком на GPU сборка живёт, когда в VRAM помещаются веса плюс запас на контекст. Если веса не влезают, включается offload: часть слоёв остаётся в оперативной памяти, считает CPU. Скорость падает, и тем сильнее, чем больше слоёв ушло из видеопамяти. Отдельный риск - нехватка RAM: тогда недостающие веса читаются с диска, и это самый медленный режим из возможных.
Точных требований к VRAM для каждого кванта автор релиза не приводит, есть только размеры на диске. Конкретные цифры придётся получать самому, на своей длине контекста и своём рантайме. Как считать бюджет памяти под задачу, разобрано в материале про выбор модели под код, скрапинг и tool use.
Почему IQ3_S на 85 ГБ - это не «модель для 24 ГБ VRAM»
На карте с 24 ГБ вроде RTX 4090 поместится лишь часть весов такой сборки, остальное уйдёт в RAM. Рабочий сценарий выглядит так: 96-128 ГБ оперативной памяти, offload большой доли слоёв, готовность к невысокой скорости генерации. Это оценка по арифметике памяти, а не замер: замеров для этой конкретной сборки в источниках нет.
Практика запуска IQ3_S на 16 ГБ VRAM и поведение модели в разных режимах рассуждений разобраны в статье про три кванта на задачах AtCoder. Там же видно, что повышенное thinking effort само по себе не гарантирует новых решений, зато добавляет время и расход токенов.
Что такое imatrix и почему её распределение меняет качество
imatrix (importance matrix) - матрица важности весов, собранная на калибровочных данных. Квантователь использует её как подсказку: веса, которые сильнее влияют на предсказания, получают более высокую точность, второстепенные сжимаются грубее. Поэтому две сборки с одинаковой номинальной битностью могут вести себя по-разному: у них разные карты важности.
Автор описывает imatrix через распределение при слиянии: у IQ4-сборок это 70/30, у IQ3_S 80/20. Речь о том, с какой долей в итоговую матрицу важности входит каждый источник данных при слиянии. Сдвиг в сторону данных, собранных с самой модели, и даёт перекос в пользу reverse engineering и рассуждений. Для IQ3_S это осознанный выбор: при 3 битах бюджет точности ограничен, и его тратят на профильные задачи.
IQ4_XS: рецепт Unsloth и экономия 14,3 ГБ
IQ4_XS собран по рецепту Unsloth IQ4_xS с добавкой около 1 ГБ overhead там, где автор счёл прирост качества оправданным. imatrix взята та же, что у IQ4_NL. Итог: 94,7 ГБ против 109 ГБ у базового кванта, экономия примерно 14,3 ГБ.
Вторая цифра от автора: около 9,7% снижения массы ошибки квантования экспертов при +0,96 GiB относительно обычного рецепта UD-IQ4_XS. Метрика считает суммарную ошибку квантования по экспертным весам, меньшее значение лучше. Оговорка обязательна: 9,7% - оценка автора, независимых замеров нет. Цифра описывает расхождение весов с исходником, а не качество ответов на ваших задачах.
Упоминание экспертов неслучайно: в модели со смесью экспертов значительная часть весов приходится на экспертные слои, поэтому их ошибка квантования сильнее всего влияет на поведение. Рецепт, который точечно добавляет точность там, даёт более предсказуемый результат, чем равномерное сжатие всей модели. Как сильное квантование сказывается на качестве в целом, разобрано в материале про IQ3_XXS Flash и Q8_0 27B.
Почему +1 ГБ overhead - это не расточительство
Логика автора прослеживается на обоих релизах. IQ3_S занимает 85 ГБ против 83,6 ГБ у ISTA GSQ-RCO IQ3_S, то есть 1,4 ГБ overhead, и автор прямо пишет, что это оправдано ради точности. Тот же принцип в IQ4_XS: гигабайт добавляется не целиком, а там, где даёт наибольший выигрыш.
Вывод для пользователя: сравнивать кванты только по размеру недостаточно. Два файла с разницей в 1-1,5 ГБ могут заметно отличаться по точности, если один собран с приоритетом на важные слои. При бюджете в сотню гигабайт полтора гигабайта погоды не делают, а разница в ответах может быть ощутимой.
IQ3_S: агрессивный imatrix 80/20 ради reverse engineering
IQ3_S автор называет самым запрашиваемым форматом. Рецепт кастомный, на данных, собранных с самой модели, так же сделаны и остальные кванты. За основу взят рецепт ISTALab с несколькими корректировками. На диске сборка занимает 85 ГБ, это на 24 ГБ меньше, чем IQ4_NL.
Ключевое отличие от IQ4-сборок в распределении imatrix: 70/30 там и 80/20 здесь. Автор формулирует результат так: лучше reverse engineering и рассуждение ценой части общих знаний и точности. Формулировка честная, потому что описывает обмен, а не бесплатный прирост.
Что значит «сохраняет reverse engineering ценой общих знаний»
Перевод на язык задач. Разбор бинарников, анализ чужого кода, восстановление логики протоколов, вопросы «что делает этот фрагмент» - та область, под которую настраивали карту важности. Широкие фактологические вопросы, длинные точные формулировки, справочные мелочи из общих знаний - то, где 3 бита и смещённый imatrix дают усадку.
Проверка простая: возьмите 5-10 своих реальных задач профиля и прогоните их на IQ3_S и на IQ4_XS. Если разница в ваших сценариях не видна, экономия 10 ГБ оправдана. Если модель начинает путать детали в общих вопросах, которых в работе большинство, лучше вернуться на 4 бита.
Как выбрать квант под свою задачу и железо
Матрица выбора по данным автора и логике памяти:
| Ситуация | Выбор | Почему |
|---|---|---|
| Место есть, нужен максимум качества | IQ4_NL, 109 ГБ | Базовый квант автора, лучший компромисс производительность/размер |
| Не хватает 10-15 ГБ, важна предсказуемость | IQ4_XS, 94,7 ГБ | Та же imatrix, что у IQ4_NL, экономия ~14,3 ГБ |
| Упор на reverse engineering, памяти в обрез | IQ3_S, 85 ГБ | imatrix 80/20, лучше RE и рассуждение, слабее общие знания |
Рекомендации условны: итог зависит от объёма VRAM и RAM, допустимой скорости и длины контекста. Ниже три сценария подробнее.
Сценарий 1: максимум качества и есть место на диске
109 ГБ не проблема, значит IQ4_NL. Автор называет его любимым квантом и лучшим по соотношению производительности и размера, а новые сборки подаёт как альтернативы для стеснённых условий, не как замену. Для общих задач и работы с фактами начинать логично с него.
Сценарий 2: не хватает 10-15 ГБ и важна предсказуемость
IQ4_XS. imatrix та же, что у базового кванта, поэтому меняется в основном битность, а не карта важности. Это самый предсказуемый способ сэкономить около 14,3 ГБ. Оценка ~9,7% снижения ошибки экспертов относительно обычного UD-IQ4_XS работает аргументом в пользу этой сборки, если выбираете между ней и стандартным рецептом того же размера.
Сценарий 3: reverse engineering на минимальном бюджете памяти
IQ3_S, 85 ГБ. Цена обозначена прямо: часть общих знаний и точности. На потребительской видеокарте всё равно потребуется offload, так что реальная скорость будет определяться не квантом, а процессором и объёмом RAM. Если задача не про реверс и рассуждение, экономия 24 ГБ вряд ли окупит просадку в общих знаниях. Сравнение крайностей, когда памяти совсем мало, разобрано в статье про IQ1_S и Q4.
Ограничения и на что не стоит рассчитывать
Все цифры релиза идут из одного источника, поста автора. Для свежих квантов это нормальная ситуация, но она означает, что независимой проверки нет.
Где заканчиваются факты и начинаются оценки
Подтверждено описанием автора: размеры файлов (109, 94,7 и 85 ГБ), рецепты (Unsloth для IQ4_XS, ISTALab как база для IQ3_S), распределения imatrix 70/30 и 80/20, калибровочные данные из самой модели, авторство сборок. Оценки: 9,7% снижения массы ошибки квантования экспертов и утверждение о лучших способностях к reverse engineering и рассуждению у IQ3_S.
- Требований к VRAM автор не приводит, есть только размеры на диске.
- Сравнение с ISTA GSQ-RCO IQ3_S ограничено размером: 85 ГБ против 83,6 ГБ, качество никто не сопоставлял.
- Прирост «reverse engineering и рассуждение» заявлен целью рецепта, а не результатом бенчмарка.
- «Heretic» в названии относится к характеру модели, к качеству квантования отношения не имеет.
- Рецепты квантования MoE-моделей меняются быстро, сборки Unsloth и ISTALab обновляются, поэтому описанные пропорции привязаны к релизу от 30 октября 2026 года.
Отдельно про метрику массы ошибки: она измеряет расхождение весов, а не качество ответов. Меньшая ошибка квантования обычно означает меньшую деградацию, прямой гарантии для ваших задач нет. Если есть возможность, прогоните свои промпты на двух квантах до того, как освобождать место под третий.
Как забрать и запустить: практические шаги
Файлы лежат в репозитории trubisky/Swift-1.5-Flash-Next-Heretic-ReverseEngineer на Hugging Face, анонс с описанием рецептов есть в посте автора. Это GGUF-кванты, они запускаются стандартными инструментами вроде llama.cpp и совместимых оболочек. Конкретные версии и команды зависят от вашего рантайма, в описании релиза их нет.
Чек-лист перед скачиванием
- Свободное место на диске с запасом: 85, 94,7 или 109 ГБ только под файл модели, плюс место под кэш и систему.
- Понимание, что размер файла не равен требованиям к VRAM: сверху добавляются KV-кэш и буферы, запас зависит от длины контекста.
- Оценка RAM: при offload веса должны помещаться в оперативку, иначе начнётся чтение с диска.
- Проверка инструмента: поддерживает ли ваш рантайм GGUF и нужный формат кванта.
- Формулировка задачи: reverse engineering и рассуждение или общие знания и точные формулировки.
Дальше порядок простой: выберите квант по матрице, начните с небольшого контекста, проверьте, сколько весов реально ушло в VRAM, и увеличивайте контекст, пока есть запас памяти. Если скорость не устраивает, переход с IQ3_S на IQ4_XS даёт более спокойный баланс, но требует ещё 9,7 ГБ диска и больше памяти при инференсе. Качать 109 ГБ «на всякий случай» имеет смысл только тогда, когда задача чувствительна к общим знаниям и точности формулировок.