Суть кейса: что сравнивали на 4x RTX 3080
Конфигурация из 128 ГБ DDR4 и четырёх RTX 3080 по 20 ГБ VRAM (именно так указано в сообщении), одна практическая задача - вернуть к жизни HDMI-дисплей. DeepSeek-V4.1-Flash в квантовании IQ2-XXS довёл её до результата примерно за 15 минут. Qwen3.8-Flash-Next в GGUF-варианте IQ3-S запускали дважды, оба раза без результата, и каждый раз модель долго приходила к выводу. Об этом сообщает автор кейса в исходном посте.
По сырым цифрам производительности выигрывал как раз Qwen: около 100 токенов в секунду на декодировании против 37 у DeepSeek и промпт-процессинг 1400-1500 ток/с против 150-300. То есть на генерации ответа быстрая модель опережала медленную примерно в 2,7 раза, на обработке входа - в 5-10 раз. Задачу при этом закрыла та, что печатала медленнее.
Сразу о статусе материала: это наблюдение одного пользователя, а не воспроизводимый бенчмарк. Методика замеров decode и PP в сообщении не описана, прогонов мало, а модели различаются сразу по нескольким параметрам. Дальше - что из этого опыта следует для выбора модели и где проходят границы выводов.
| Модель | Квантование | Контекст | Decode | Prompt processing | Результат |
|---|---|---|---|---|---|
| Qwen3.8-Flash-Next | GGUF IQ3-S | 256K | около 100 ток/с | 1400-1500 ток/с | два прогона, задача не решена |
| DeepSeek-V4.1-Flash | IQ2-XXS | 1M | около 37 ток/с | 150-300 ток/с | задача решена примерно за 15 минут |
Параметры запуска: Qwen3.8-Flash-Next IQ3-S и DeepSeek-V4.1-Flash IQ2-XXS
Названия моделей и квантований привожу так, как они даны в исходном сообщении: Qwen3.8-Flash-Next-GSQ-RCO-GGUF IQ3-S с контекстом 256K, decode около 100 ток/с, PP 1400-1500 ток/с. Второй участник - DeepSeek-V4.1-Flash-1017-GSQ-RCO IQ2-XXS с контекстом 1M, decode около 37 ток/с, PP 150-300 ток/с. Обе модели запускались на одной и той же сборке из четырёх карт.
Условия нельзя назвать идентичными: разные квантования, разные окна контекста, разная архитектура. Автор не описывает, чем мерил скорость, какой был промпт, сколько токенов ушло на ответ и как именно выглядел критерий «дисплей заработал». Этих данных нет, и подставлять вместо них оценки по памяти нельзя.
Задача с HDMI-дисплеем: почему такой тест показателен
Восстановление работы дисплея - типичный сценарий «доведи до результата». Симптом неоднозначный, гипотез несколько: кабель, порт, драйвер, режим вывода, настройки композитора, порядок инициализации при загрузке. Проверка каждой гипотезы - отдельный шаг, и модель должна удержать план, отбросить тупиковые ветки и выдать следующее конкретное действие.
Здесь ценится не скорость печати, а дисциплина рассуждения. Модель, которая быстро генерирует длинные разборы и возвращается к уже проверенным версиям, тратит больше времени, чем медленная, идущая по короткому плану. Именно это, судя по итогу, и произошло: Qwen пробовали дважды, оба раза безуспешно и с долгим выводом, DeepSeek дошёл до решения примерно за 15 минут. Какие именно команды и проверки предлагали модели, в сообщении не раскрыто, поэтому восстановить точку, где Qwen свернул не туда, невозможно.
Почему Qwen был быстрее, но не справился
Decode и prompt processing: что эти метрики реально показывают
Decode (tg/s) - сколько токенов модель выдаёт в секунду, пока формирует ответ. Метрика заметна в интерактивной работе: чем она выше, тем меньше пауза между словами на экране. Prompt processing (PP) - скорость обработки входного промпта и истории диалога перед первым выданным токеном. Высокий PP важен для длинных запросов, подстановок из RAG и больших логов: на промпте в 30 тысяч токенов разница между 1500 и 200 ток/с означает примерно 20 секунд ожидания против двух с половиной минут.
Обе метрики измеряют пропускную способность железа и рантайма. Ни одна не отвечает на вопрос, доведёт ли модель многошаговую задачу до конца. В кейсе разрыв по обеим в пользу Qwen, а итоговый результат в пользу DeepSeek. Это не опровержение метрик, а напоминание, что скорость генерации и качество решения - разные плоскости.
Размер контекста 256K против 1M: когда он помогает, а когда нет
Окно на миллион токенов полезно, когда в запрос надо уложить документацию, простыню логов, историю переписки или фрагмент кодовой базы. Для диагностики HDMI-дисплея 256K у Qwen покрывают любой разумный объём входных данных, так что размер окна здесь вряд ли был ограничителем. Большой контекст ещё и стоит памяти: KV-кэш растёт вместе с длиной окна, а это прямо влияет на скорость обработки промпта. Разрыв 1400-1500 против 150-300 ток/с отчасти объясняется именно этим.
Окно не улучшает рассуждение, оно только снимает лимит на объём входа. Если модель зациклилась или выбрала неверную гипотезу, дополнительные 750K токенов запаса ничего не меняют. Плюс сравнение не изолирует эффект контекста: помимо размера окна участники различаются архитектурой, обучением и уровнем квантования.
Квантование под ограниченную VRAM: IQ3-S против IQ2-XXS
GGUF-квантование снижает точность весов, чтобы модель поместилась в память. IQ3-S - уровень около трёх бит на вес с относительно аккуратным сохранением точности. IQ2-XXS - агрессивное двухбитное сжатие: файл заметно меньше, но часть информации о весах теряется. В кейсе Qwen работал на IQ3-S, DeepSeek на IQ2-XXS, и победила более сжатая модель.
Из этого не следует, что IQ2 лучше IQ3. Сильное сжатие чаще бьёт по задачам, где нужны длинные цепочки рассуждений, и реже по типовым шаблонным запросам. На другом наборе задач картина может перевернуться, поэтому выбирать квантование по одному прогону нельзя. Как сильное сжатие влияет на качество и чем рискует компактная модель, разобрано в материале про IQ3_XXS и Q8_0 на моделях Qwen3.8.
Как считать бюджет VRAM для 4x RTX 3080 по 20 ГБ
Четыре карты дают 80 ГБ видеопамяти, плюс 128 ГБ DDR4 как буфер под выгрузку слоёв. В этот бюджет должны уложиться три вещи: веса модели, KV-кэш под выбранный контекст и оверхед рантайма (буферы вычислений, графы, служебные структуры). Веса при агрессивном квантовании сжимаются предсказуемо, а KV-кэш растёт линейно с длиной контекста и числом слоёв. На окнах в сотни тысяч токенов кэш способен занять больше памяти, чем сами веса.
Порядок действий простой: прикинуть размер файла модели, посчитать KV-кэш под реально нужный контекст, оставить запас на оверхед, и только потом выбирать квантование. Контекст на 1M стоит держать включённым, когда он действительно нужен. Выгрузка части слоёв в DDR4 работает, но бьёт по скорости: пропускная способность системной памяти ниже видеопамяти, и PP проседает первым. Как это выглядит на практике с разными уровнями сжатия, показывает тест трёх квантов Qwen 3.8 на 16 ГБ VRAM.
Что этот кейс не доказывает
- Это опыт одного автора, а не воспроизводимый бенчмарк: нет ни числа прогонов, ни фиксированного промпта, ни скрипта проверки.
- Методика измерения decode и PP не описана, поэтому цифры нельзя напрямую сравнивать с чужими замерами.
- Сравнение смешивает факторы: квантование, размер контекста, архитектура и обучение моделей меняются одновременно.
- Вывод о превосходстве DeepSeek в задаче с HDMI-дисплеем нельзя переносить на кодинг, анализ данных, RAG или другие конфигурации.
- Названия моделей и квантований приведены как в исходном сообщении; проверять их стоит по карточкам конкретных сборок.
Один успешный прогон - это сигнал проверить гипотезу на своём железе. Готового вердикта «модель A лучше модели B» здесь нет и быть не может.
Как выбрать модель под свою задачу на локальном железе
Начните с критерия успеха, а не с токенов в секунду. Для задачи с дисплеем критерий звучит как «картинка появилась и держится после перезагрузки», для кодинга - «тесты проходят», для анализа данных - «цифры сходятся с контрольным расчётом». Дальше прогоните двух-трёх кандидатов в реалистичном для вашей памяти квантовании на одинаковом промпте и одинаковом лимите контекста.
- Зафиксируйте версию рантайма и точное имя файла модели, иначе сравнение потеряет смысл.
- Задайте одинаковый промпт и одинаковый лимит контекста для всех участников.
- Замеряйте время до результата, а не только tg/s: в кейсе Qwen печатал почти втрое быстрее и всё равно проиграл.
- Записывайте, с какой попытки задача решена. Два неудачных прогона - такой же результат, как и один.
- Не поднимайте контекст выше реальной потребности: каждые лишние десятки тысяч токенов окна забирают память у весов.
Такой подход ближе к реальности, чем сравнение чужих цифр без методики. Пример похожего домашнего теста на девяти моделях с фиксацией времени и tok/s разобран в материале про один промпт на RTX 3060 12GB. А про то, как скорость локального инференса соотносится с экономикой и стоит ли вообще держать модель дома, есть отдельный разбор DeepSeek V4.1 Flash на RTX 5090 с 10 ток/с.
Чек-лист собственного мини-теста на 4x RTX 3080
- Соберите бюджет памяти: 80 ГБ VRAM плюс 128 ГБ DDR4, отдельно посчитайте веса и KV-кэш.
- Возьмите две модели в сопоставимом по размеру квантовании, чтобы не сравнивать сжатое с полным.
- Поставьте одинаковый контекст, например 32K или 64K, и поднимайте его только после успешного прогона.
- Включите логи и сохраняйте полные ответы: по ним видно, где модель ушла в цикл.
- Повторите каждый прогон минимум дважды: нестабильность результата на одном и том же промпте встречается часто.
Вывод: скорость и контекст не гарантируют результат
На сборке из 128 ГБ DDR4 и четырёх RTX 3080 по 20 ГБ VRAM более быстрый Qwen3.8-Flash-Next (около 100 ток/с на декодировании, PP 1400-1500 ток/с, контекст 256K) дважды не справился с задачей восстановления HDMI-дисплея. Более медленный DeepSeek-V4.1-Flash (около 37 ток/с, PP 150-300 ток/с, контекст 1M, квантование IQ2-XXS) решил её примерно за 15 минут.
Практический вывод: модель и квантование выбирают под задачу и проверяют на своём железе, а не по одним лишь ток/с и размеру окна. Скорость определяет комфорт работы, контекст определяет, сколько данных влезет в запрос, а до результата доводит способность модели держать план. Этот кейс - наблюдение автора, а не подтверждённый бенчмарк, поэтому следующий шаг простой: возьмите свою типовую задачу, прогоните на ней два кандидата в реалистичном квантовании и сравните время до результата и число попыток.