Что даёт Delta Inference Engine v0.93 и кому это адресовано
Delta Inference Engine v0.93 запускает квантованную DeepSeek-V4.1-Flash на одной RTX 3090 с 24 ГБ видеопамяти. Движок открытый, под лицензией MIT, рассчитан на Windows и представляет собой порт Xolotl на базе Strata. Требования к системе непривычные: узкое место смещается в оперативную память. Рабочие ступени - 64, 96, 128 и 192 ГБ RAM. Веса стримятся с NVMe в память, GPU держит активную часть.
Что изменилось в v0.93: 64, 96 и 128 ГБ RAM превратились из «может, заведётся» в рабочие режимы. Появился нативный ридер Engram-таблиц для новых квантов Unsloth, и на UD-IQ2_XXS движок выдаёт те же 41 tok/s при 192 ГБ, что и раньше. Первый токен приходит примерно на 40% быстрее, чтение длинных промптов доходит до 740 tok/s, добавились базовый multi-GPU, поддержка EXL3, публичный CI и выбор собственных моделей. Полный список изменений автор приводит в посте на r/LocalLLaMA.
Кому это полезно: владельцам RTX 3090 с большим объёмом DDR5, которые хотят держать модель локально, не платить за токены и готовы принять отставание в 2 балла от полной модели. Сразу оговорка: все цифры ниже взяты из авторского бенчмарка разработчика на одной конфигурации, независимых прогонов на других платформах нет.
Ключевые изменения v0.93 в двух словах
- RAM 64, 96 и 128 ГБ стали рабочими режимами, а не теоретической возможностью.
- Нативный ридер Engram-таблиц плюс доработки CPU-ядер: те же 41 tok/s на UD-IQ2_XXS при 192 ГБ.
- Первый токен примерно на 40% быстрее: промпт около 180 токенов отвечает за 2,3 с вместо 3,8 с.
- Чтение длинных промптов: до 740 tok/s при 192 ГБ и 600 tok/s при 128 ГБ на контексте около 64K токенов.
- ds4 Q2 при 128 ГБ RAM ускорился с 33 до 36 tok/s.
- Сэмплирование драфтера даёт около +3,5% на настройках по умолчанию.
- Агентские ходы читаются примерно на 12% быстрее.
- EXL3: доступен вариант 2.5 bpw, GPU-ядро примерно в 2 раза быстрее.
- Релизные zip-архивы собираются в GitHub Actions, сборка публичная.
Требования: какое железо реально нужно для DeepSeek-V4.1-Flash на RTX 3090
Чек-лист перед скачиванием выглядит так:
- ОС: Windows 10 или 11, автор тестировал нативно, без WSL.
- GPU: NVIDIA от 12 ГБ VRAM, целевая карта для замеров - RTX 3090 24 ГБ.
- Драйвер: NVIDIA 580 или новее.
- RAM: от 64 ГБ, рабочие ступени 64, 96, 128 и 192 ГБ.
- Накопитель: NVMe со свободным местом под квант, от 233 до 395 ГБ.
- Не поддерживается: AMD GPU.
Объём RAM важнее объёма VRAM, потому что большая часть весов живёт на диске и раскладывается в оперативную память, а GPU держит только активную часть экспертов. Отсюда и размеры: UD-IQ1_S занимает около 233 ГБ, UD-IQ2_XXS около 301 ГБ, UD-Q2_K_XL около 335 ГБ, UD-IQ3_XXS около 395 ГБ плюс дефолтная модель.
Тестовая конфигурация автора: i5-13600K, четыре планки по 48 ГБ DDR5-5600, NVMe PCIe 4.0, Windows без WSL, одна RTX 3090 24 ГБ. Это ориентир по классу железа, а не обязательный набор комплектующих.
Минимум против комфорта: 64, 96, 128 или 192 ГБ RAM
64 ГБ - рабочий, но медленный режим: 21,0 tok/s на UD-IQ2_XXS. Режим вытягивают SSD read-ahead (+22% при 64 ГБ) и чтение промптов в порядке файлов (на 18-20% быстрее при малом объёме RAM).
96 ГБ - 29,3 tok/s на том же кванте. Промежуточная ступень для тех, кто уже собрал 64 ГБ и докупил ещё пару планок.
128 ГБ - 34,0 tok/s на UD-IQ2_XXS, и здесь же заметен прогресс прошлого дефолта: ds4 Q2 вырос с 33 до 36 tok/s.
192 ГБ - 41 tok/s, потолок конфигурации. Разница между 64 и 192 ГБ почти двукратная на одном и том же кванте, так что апгрейд памяти окупается скоростью напрямую.
Скорость по квантам и объёму RAM: таблица и как её читать
Замеры сделаны на одной RTX 3090 24 ГБ в жадном режиме, по одному чату за раз. Строки 128, 96 и 64 ГБ получены на том же ПК с искусственно ограниченным объёмом памяти, то есть это один стенд с разным потолком, а не четыре разные машины.
| Квант | Размер на диске | 64 ГБ | 96 ГБ | 128 ГБ | 192 ГБ |
|---|---|---|---|---|---|
| UD-IQ1_S, 1-bit | ~233 ГБ | 30,6 | 36,5 | 40,6 | 41,0 |
| UD-IQ2_XXS, 2-bit | ~301 ГБ | 21,0 | 29,3 | 34,0 | 41 |
| UD-Q2_K_XL, 2-bit | ~335 ГБ | 15,2 | 22,9 | 26,6 | 31,3 |
| UD-IQ3_XXS, 3-bit | ~395 ГБ + дефолт | 11,7 | 18,3 | 22,8 | 28,2 |
Значения в tok/s, жадный режим, один чат за раз.
Читать таблицу стоит по двум осям. По вертикали виден компромисс между качеством кванта и скоростью: на 192 ГБ разрыв между 1-битным UD-IQ1_S (41,0 tok/s) и 3-битным UD-IQ3_XXS (28,2 tok/s) около 30%, а на 64 ГБ он вырастает примерно в 2,6 раза (30,6 против 11,7). По горизонтали видна цена памяти: UD-IQ2_XXS даёт 21,0 tok/s на 64 ГБ и 41,0 на 192 ГБ.
Скорость чтения промптов важна не меньше: до 740 tok/s при 192 ГБ и 600 tok/s при 128 ГБ на промптах около 64K токенов. Для RAG и длинных агентских контекстов это значит, что основное время уходит на генерацию, а не на разбор входных данных.
Состав квантов Unsloth и работу с engram-шардами мы разбирали отдельно в материале про PR #1225 и доступные квантованные сборки.
Почему на 192 ГБ все кванты упираются в 41 tok/s
Когда памяти достаточно, узким местом становится вычисление, а не подкачка весов с NVMe. Автор связывает выход на прежние 41 tok/s на новых квантах Unsloth с нативным ридером Engram-таблиц и доработками CPU-ядер. Выше этого потолка конфигурация не прыгает: и 1-битный, и 2-битный кванты сходятся к одной цифре.
Другое железо даёт другие числа. На восьми NVIDIA A40 в TensorSharp квант Q2_K показывает 40,3-40,7 tok/s, но это другая модель, другой движок и другой класс оборудования, поэтому напрямую сравнивать нельзя (разбор замеров TensorSharp).
Качество: насколько UD-IQ2_XXS хуже полной DeepSeek-V4.1-Flash
Авторский бенчмарк из 99 сложных вопросов с жадным режимом и бюджетом 43K токенов дал такие результаты: UD-IQ2_XXS - 57 правильных ответов, прошлый дефолт ds4 Q2 - 52, полная модель через API DeepSeek - 59. Qwen 3.8 Flash-Next через API набрал 44. Разрыв между 2-битным квантом и полной моделью составляет 2 балла, и ни на одном наборе квант не выступил хуже ds4 Q2, работая на той же скорости. За прогон UD-IQ2_XXS потратил на 11% меньше токенов.
По категориям у UD-IQ2_XXS: знания 12, математика 10, рассуждения 25, код 10, сложный код 0. У полной модели на сложном кодинге 1 балл. Потеря видна конкретно здесь: задачи, где нужно удержать несколько связанных ограничений в коде, квант проваливает.
Где квант проседает сильнее всего
Точнее показывает деградацию метрика согласия с API DeepSeek по следующему токену.
| Квант | Общий текст | Код и математика | Агентские задачи |
|---|---|---|---|
| UD-IQ2_XXS | 91,1% | 94,5% | 95,9% |
| ds4 Q2 | 89,9% | 93,1% | 95,1% |
| UD-Q2_K_XL | 92,5% | 95,3% | 97,0% |
| UD-IQ3_XXS | 92,7% | 95,9% | 97,4% |
| UD-IQ1_S | 89,1% | 91,5% | 95,3% |
Слабее всего совпадение на общем тексте (91,1%), выше на коде и математике (94,5%), максимально на агентских задачах (95,9%). Два хоста полной модели между собой согласились на 98,3% и 98,9%, это верхняя граница, к которой можно стремиться. По этой мере Unsloth IQ2 примерно на 20% ближе к полной модели, чем старый ds4 Q2.
Практический вывод с оговоркой: для кода и вызова инструментов 2-битный квант держится устойчивее, чем ждёшь от двух бит, но выборка в 99 вопросов мала и независимой проверки нет. Там, где важна каждая формулировка, смотрите на UD-IQ3_XXS при 192 ГБ (28,2 tok/s, согласие 92,7% / 95,9% / 97,4%) или на API. Детали методики и оговорки автор приводит в исходном посте.
Что ускорилось и что починили в v0.93
Первый токен. Промпт примерно на 180 токенов получил ответ за 2,3 с вместо 3,8 с, это около 40% ускорения. Короткий промпт начинает отвечать примерно за 2 с. В диалоге и агентских циклах, где запросов много, разница накапливается.
Чтение длинных промптов. До 740 tok/s при 192 ГБ и 600 tok/s при 128 ГБ на контексте около 64K токенов.
Агентские ходы. Читаются примерно на 12% быстрее, а вызовы инструментов, которые низкобитные модели записывают с небольшими ошибками, теперь распознаются как вызовы инструментов. Для пайплайнов с function calling это важнее любого прироста tok/s.
Сэмплирование по умолчанию. Drafter теперь сэмплирует свои черновики, на дефолтных настройках это даёт около +3,5%.
Работа с памятью. При 128 ГБ скорость ds4 Q2 выросла с 33 до 36 tok/s. Для 64 и 96 ГБ добавили SSD read-ahead (+22% при 64 ГБ), увеличенную память экспертов и чтение промптов в порядке файлов (на 18-20% быстрее при малом объёме RAM).
Исправления. Контексты длиннее 65 535 токенов больше не ломаются. Полный список правок в источнике обрывается, других подтверждённых пунктов там нет.
Multi-GPU, EXL3 и публичный CI: что это даёт на практике
Multi-GPU базовый. На связке 3060 + 3090 прирост 7%. Это бонус для тех, у кого вторая карта уже стоит в корпусе.
EXL3. Доступен вариант 2.5 bpw, GPU-ядро примерно в 2 раза быстрее. Формат пригодится тем, кто уже собирает модели в EXL3, но конкретных замеров tok/s для 2.5 bpw на RTX 3090 в источнике нет.
Публичный CI. Релизные zip-архивы теперь собирает GitHub Actions, и видно, как собран каждый. Для открытого проекта под Windows это снимает часть вопросов о содержимом архива.
Выбор моделей. При первом запуске движок показывает, какая модель подходит под объём RAM, можно взять другую или указать свою. Вкладка Setup на странице чата меняет модель, режим скорость/качество и вторую GPU.
Стоит ли рассчитывать на multi-GPU с тремя-четырьмя картами
Нет. Автор прямо пишет, что за пределами двух карт масштабирование плохое, и для сборок на 3-4+ GPU отсылает к Project Maya. Цифра 7% на паре 3060 + 3090 это подтверждает: вторая карта добавляет немного, а не удваивает скорость.
Как запустить: от скачивания до первого запроса
- Проверить систему: Windows 10/11, драйвер NVIDIA 580+, карта с 12 ГБ VRAM и выше, от 64 ГБ RAM.
- Освободить место на NVMe под выбранный квант: около 233 ГБ для UD-IQ1_S, 301 ГБ для UD-IQ2_XXS, 335 ГБ для UD-Q2_K_XL, 395 ГБ для UD-IQ3_XXS.
- Скачать релизный zip. Архивы собирает GitHub Actions, происхождение сборки видно в публичном CI.
- Запустить движок: при первом старте он покажет, какая модель подходит под ваш объём RAM.
- Выбрать модель: предложенную, другую из списка или собственную.
- Открыть вкладку Setup на странице чата и настроить модель, режим скорость/качество и вторую GPU, если она есть.
- Отправить первый запрос и сверить скорость: при 192 ГБ RAM на UD-IQ2_XXS ориентир 41 tok/s, при 64 ГБ - 21 tok/s.
Флаги командной строки, пути установки и имена файлов в источнике не расписаны, эти детали смотрите в документации репозитория.
Ограничения и честные оговорки
- Все замеры сделаны на одной конфигурации: i5-13600K, 4x48 ГБ DDR5-5600, NVMe PCIe 4.0, Windows без WSL, одна RTX 3090 24 ГБ. Независимых прогонов нет.
- AMD GPU не поддерживаются. На двух Radeon AI PRO R9700 работает другой движок (affinity), и там свои рамки: только RDNA4 и максимум две карты (разбор сборки на Radeon).
- Multi-GPU плохо масштабируется за пределы двух карт, для 3-4+ GPU автор советует Project Maya.
- 64 ГБ - рабочий, но медленный режим: 21,0 tok/s на UD-IQ2_XXS и 11,7 tok/s на UD-IQ3_XXS.
- 3-битный квант требует около 395 ГБ диска и на малой RAM теряет смысл: 11,7 tok/s на 64 ГБ против 28,2 на 192 ГБ.
- Бенчмарк авторский: 99 вопросов, жадный режим, бюджет 43K токенов. Независимой оценкой это не считается.
- Цифры 41 / 34 / 29,3 / 21 tok/s получены на одном железе и не переносятся автоматически на другую платформу.
- Строки 128, 96 и 64 ГБ сняты на том же ПК с искусственно ограниченной памятью, а не на отдельных машинах с таким объёмом.
- Движок рассчитан на Windows, о Linux-сборках в источнике речи нет.
- Замеры сделаны в жадном режиме по одному чату за раз, многопользовательскую нагрузку они не отражают.
Полные таблицы и оговорки автор приводит в своём посте.
Кому подходит Delta v0.93, а кому проще взять API
Владельцу RTX 3090 с 128-192 ГБ RAM движок подходит, если важны приватность и предсказуемые расходы: 34-41 tok/s на UD-IQ2_XXS и отставание от полной модели в 2 балла на авторском бенчмарке. Это рабочий темп для чата, RAG и агентских сценариев.
Владельцу 64 ГБ RAM стоит оценить трезво: 21 tok/s на 2-битном кванте и 11,7 на 3-битном. SSD read-ahead (+22%) и чтение промптов в порядке файлов (18-20% быстрее) вытягивают режим, но потолок остаётся низким. Если память докупить нельзя, а задачи требовательные, 3-битные кванты лучше не рассматривать вовсе.
Тем, кто считает экономику, полезно сравнить с чужими замерами: на RTX 5090 с 64 ГБ DDR5 пользователь получил около 10 tok/s и пришёл к выводу, что API дешевле электричества (разбор кейса). 41 tok/s на 3090 вчетверо выше, и граница рентабельности сдвигается в пользу локали.
Агентные пайплайны с жёсткими требованиями к точности: разрыв с API 2 балла и 0 на сложном коде. Если ошибка в вызове инструмента дороже подписки, берите API DeepSeek (59 баллов) или UD-IQ3_XXS при 192 ГБ.
Владельцам AMD или сборок на 3-4 GPU Delta v0.93 не подходит: первые не поддерживаются, для вторых автор советует Project Maya.
Проверка перед скачиванием простая: 64 ГБ и непритязательные задачи, пробовать; 128-192 ГБ и локальность важна, брать; точность важнее приватности, API.