Что вышло: GGUF-кванты и abliterated-версия DeepSeek V4.1 Flash 1017
DeepSeek V4.1 Flash 1017 появилась 16 октября 2026 года, а на следующий день в r/LocalLLaMA вышел пост с готовыми сборками (DeepSeek V4.1 Flash 1017 [GGUF + Abliterated]). Автор mrfakename0 выложил на Hugging Face Hub GGUF-кванты сразу для двух версий: базовой и abliterated. Отдельно опубликован LoRA-адаптер для GGUF, чтобы не перекачивать веса целиком.
Цифры, ради которых стоит читать дальше: на исходной модели отказывали 97 промптов из 100 в чат-режиме и 98 из 100 в think-режиме. После abliteration осталось 4 из 100 и 9 из 100. imatrix-кванты пока в работе, их в релизе нет.
Приоритет автор сформулировал прямо: сохранить модель целой, а не вычистить все отказы до нуля. Он собрал несколько итераций и выбрал ту, где баланс между податливостью и качеством оказался лучшим. Это важная рамка для всех ожиданий ниже.
Кто такой mrfakename0 и где лежат файлы
mrfakename0 - автор abliterated-версии и GGUF-квантов. Публикация идёт через Hugging Face Hub, файлы лежат в репозиториях автора. Точные имена репозиториев и списки файлов смотрите на его странице: придумывать их по памяти не стоит, иначе легко скачать чужую сборку с похожим названием.
Статус на момент публикации: базовые GGUF готовы, abliterated GGUF готовы, LoRA для GGUF готова, imatrix-кванты в работе. Если ждёте именно imatrix, подпишитесь на обновления репозитория, чтобы не проверять вручную каждые пару дней.
Что такое abliteration и почему одного направления отказов оказалось мало
Abliteration - точечная правка весов, снимающая направление, которое отвечает за отказы. Схема такая: берут набор промптов, где модель стабильно отказывает, ловят разницу активаций между отказом и нормальным ответом, получают вектор, а затем вычитают проекцию на него из матриц весов. Переобучения здесь нет: меняется несколько слоёв, остальные параметры остаются как были.
В V4.1 обнаружилась деталь, которая ломает наивный подход с одним вектором. Автор пишет, что чат-режим и think-режим отказывают по разным направлениям. Вектор, снятый по чату, почти не задевает think-ветку, и наоборот.
Чат-режим и think-режим: почему отказы идут по разным направлениям
В чат-режиме модель выдаёт ответ сразу. В think-режиме перед ответом идёт цепочка рассуждений, и решение об отказе вызревает внутри неё, на другой траектории активаций. Отсюда и разные направления: у прямого ответа и у рассуждения свои паттерны.
Решение автора: измерить оба направления и удалить rank-2 подпространство, которое они образуют (пост с описанием метода). Проще говоря, вместо одной оси вырезается плоскость, натянутая на два вектора отказов. Одна операция накрывает оба режима.
Гарантий тут нет: удаление подпространства снижает вероятность отказа, но не отменяет её. Ниже видно, где остаются хвосты.
Цифры отказов: что реально значат 4/100 и 9/100
Замеры автора простые: 100 промптов, доля отказов до и после правки.
| Режим | Базовая V4.1 | После abliteration |
|---|---|---|
| Чат | 97/100 | 4/100 |
| Think | 98/100 | 9/100 |
Читать таблицу нужно правильно. Это доля отказов на конкретном наборе из 100 промптов, а не вероятность отказа на любом запросе. Другой набор, другой системный промпт, другой раннер - и цифры поедут. Независимой проверки этих чисел в Research Pack нет, они взяты из сообщения автора сборки.
Ключевое: автор сознательно не гнался за нулём. Он писал, что искал баланс и сохранял модель, а не убивал все отказы. Отсюда 4/100 и 9/100 вместо 0/100.
Почему think-режим отказывает чаще чат-режима
Разрыв сохраняется и после правки: 9 против 4. Think-режим - отдельная траектория рассуждений, снятое подпространство закрывает основную часть отказов, а не всю. Автор это признаёт: результат не будет идеальным, о найденных проблемах он просит сообщать (исходный пост).
GGUF на практике: зачем он нужен и что даёт imatrix
GGUF - формат хранения квантованных весов для локального инференса: llama.cpp и совместимые с ним раннеры и обёртки. В файле лежат веса в выбранной битности и метаданные, поэтому запуск сводится к загрузке одного файла без конвертации из safetensors на месте.
Выбор битности - всегда компромисс: 8 бит почти не отличить от оригинала, 2-3 бита экономят память и бьют по качеству. Как агрессивное сжатие выглядит на практике и какие компромиссы оно навязывает, разбирали в материале про DeepSeek-V4-Flash, сжатый до 54 ГБ через IQ2_XXS.
Чем imatrix-кванты отличаются от обычных GGUF
imatrix (importance matrix) - матрица важности весов, которую считают на калибровочном тексте и передают квантователю. Тензоры, чувствительные к потере точности, получают более щедрую битность, остальные - более скромную. На низких битностях разница с обычным квантом обычно заметна.
Для V4.1 Flash 1017 imatrix-кванты пока в работе (WIP). Конкретных замеров качества по этой модели нет, поэтому обещать прирост «на X%» смысла не имеет. Практический вывод: нужен запуск сегодня - берите готовые GGUF; критично качество на агрессивном кванте - дождитесь imatrix.
LoRA для GGUF: как не перекачивать веса
Отдельная abliterated-сборка - это второй полный набор весов. У V4.1 Flash 1017 GGUF-файлы весят десятки гигабайт, и качать их повторно ради изменённого поведения мало кому хочется. Автор выпустил LoRA для GGUF, чтобы этого не делать: адаптер накладывается поверх уже скачанного базового кванта.
Смысл в весе: LoRA хранит низкоранговые матрицы правок, и сам адаптер заметно меньше полного набора весов. Экономия идёт на трафике и на диске, а не на памяти под инференс.
Когда LoRA удобнее отдельной abliterated-сборки
Три типовых сценария: базовый GGUF уже лежит на диске; канал узкий и повторная загрузка дорога; нужно быстро переключаться между базовым и abliterated поведением в рамках тестов.
Честная оговорка: в Research Pack нет деталей о том, какие раннеры поддерживают этот адаптер и как именно он применяется. Синтаксис команд выдумывать не будем, точные шаги смотрите в карточке репозитория у mrfakename0. И не стоит ждать, что LoRA даст ровно те же 4/100 и 9/100, что полная abliterated-сборка: таких замеров для адаптера нет.
EXL3 2.9 bpw и Engram-таблицы: альтернативный путь и его подводные камни
Параллельно с GGUF существует EXL3-квант DeepSeek-V4.1-Flash-1017 с 2.9 bpw: 196.3 GiB (210.7 GB) в 43 шардах safetensors (карточка на Hugging Face). Такой объём - уровень серьёзного сервера, о железе ниже.
Потери измерены: perplexity на отложенном тексте выше неквантованной модели на 1.8% для кода и на 0.4% для прозы. На коде квант сказывается сильнее, на обычном тексте почти незаметен.
Отдельная история - Engram. В DeepSeek-V4.1 добавили две n-gram lookup-таблицы Engram: они используются неквантованными и берутся из базового чекпоинта. В релизе 1017 эти таблицы новые.
Почему старые шарды Engram нельзя переиспользовать
Автор карточки прямо предупреждает: шарды из предыдущего релиза нельзя переиспользовать с 1017. Если на диске лежат старые файлы Engram, подмена даст битую или несогласованную загрузку, и разбираться в ошибках придётся дольше, чем скачать заново.
Совместимость тоже под вопросом: апстрим exllamav3 пока не имеет класса DeepseekV41 и не может загрузить этот чекпоинт напрямую (описание ограничений). Нужен патч, отдельная сборка или ожидание. Вывод: EXL3 - вариант для тех, кто готов разбираться с совместимостью и держит под это железо. GGUF сегодня беспроблемнее.
Кому подойдёт abliterated-версия, а кому базовая
Abliterated оправдана там, где отказы мешают делу: red-teaming, исследования поведения моделей, работа с чувствительными темами в закрытом контуре. Базовая версия уместна в продакшене, публичных сервисах и любых сценариях, где важна предсказуемость и минимальное вмешательство в веса. Если выбираете между DeepSeek и другими открытыми моделями 2026 года, пригодится разбор почему DeepSeek отстал в гонке открытых LLM.
Правка весов меняет поведение модели, и цена у неё есть по определению: чем агрессивнее снимаются отказы, тем выше шанс задеть что-то ещё. Автор выбрал умеренный вариант именно поэтому.
Ограничения, которые остаются
- Остаточные отказы: 4/100 в чате и 9/100 в think. Ноль не обещан.
- Разное поведение режимов: think-режим осторожнее чата, и это стоит учитывать в агентных сценариях, где модель рассуждает перед ответом.
- imatrix-квантов на момент публикации нет, качество на низких битностях пока не вылизано.
- Побочные эффекты правки весов возможны. Автор сам просит сообщать о проблемах, значит безупречным результат не считает.
- Снятие отказов не снимает ответственности за использование: законы, правила сервисов и договорённости с заказчиком остаются в силе.
Требования к железу и выбор кванта под VRAM
Ориентир по масштабу: EXL3 2.9 bpw весит 196.3 GiB, это 210.7 ГБ на диске и 43 шарда. Такой объём - удел серверов и сборок из нескольких GPU. Домашняя карта на 24 ГБ сюда не влезает даже близко.
Для GGUF точных размеров квантов в Research Pack нет, выдумывать не будем. Смотрите карточку репозитория и считайте от доступной VRAM и RAM: веса плюс запас под KV-кэш и контекст. Как этот запас считают и почему MoE-модели ведут себя нелинейно, разбирали в материале про ускорение MoE-инференса в llama.cpp. Пример запуска крупной DeepSeek-модели на двух картах по 32 ГБ с реальными токенами в секунду есть в разборе DeepSeek-V4-Flash на двух Radeon AI PRO R9700.
Почему размер кванта - не единственный фактор
Модель может влезть в память и всё равно работать плохо. Контекст на 32K требует своего KV-кэша, агрессивный квант экономит гигабайты и проседает на сложных задачах, часть слоёв может уходить в CPU и ронять скорость. LoRA сокращает трафик, но не требования к памяти под саму модель: базовый квант всё равно должен поместиться целиком.
Итог: стоит ли качать DeepSeek V4.1 Flash 1017 уже сейчас
Расклад на 17 октября 2026 года: GGUF для базовой и abliterated-версии опубликованы, LoRA для GGUF есть, imatrix в работе, EXL3 требует возни с exllamav3. Если нужна локальная V4.1 Flash с меньшим числом отказов и вы готовы к тому, что think-режим останется осторожнее чата, качать есть что.
Короткий чек-лист перед скачиванием
- Определите режим, который вам нужен: чат, think или оба. Для агентов с рассуждением смотрите на 9/100, а не на 4/100.
- Решите, нужна ли abliterated-версия под задачу. Для продакшена с публичными пользователями берите базовую.
- Посчитайте память с запасом под контекст и KV-кэш, а не только под веса.
- Если базовый GGUF уже скачан, начните с LoRA и только потом качайте полную abliterated-сборку.
- imatrix пока WIP: подпишитесь на обновления репозитория, если качество на низком кванте критично.
- Для EXL3 проверьте совместимость exllamav3: класса DeepseekV41 в апстриме нет, а старые шарды Engram переиспользовать нельзя.
Финальная оговорка: abliteration убирает часть отказов, но не делает модель безотказной и не отменяет ответственности за то, что вы с её помощью делаете. Автор сам просит сообщать о проблемах, так что 4/100 и 9/100 - рабочая точка на текущей итерации, а не финальная цифра.