Что именно запустили и с какой скоростью: суть кейса
Пользователь /u/DeMischi опубликовал в r/LocalLLaMA короткий отчёт о запуске DeepSeek V4.1 Flash 8K с квантованием Strata на ПК с RTX 5090, NVMe-накопителем Lexar на 4 ТБ и 64 ГБ DDR5 под Windows 10. Скорость генерации, которую он приводит, около 10 токенов в секунду. Исходный пост с замером занимает несколько абзацев, и это всё, что автор счёл нужным сообщить.
Там же он делает вывод: при такой скорости дешевле пользоваться API, чем оплачивать электричество для локального инференса. При этом пишет, что рад самому факту запуска такой модели на своём ПК. Оба тезиса стоит держать в голове. Первый требует расчёта, которого в отчёте нет. Второй хорошо объясняет, зачем вообще люди возятся с локальным запуском, когда рядом есть облако.
Методика замера не описана вообще: неизвестны длина промпта, длина генерации, число прогонов и способ подсчёта. Нет ни точных параметров квантования Strata, ни версии модели, ни объёма видеопамяти, который заняли веса и KV-кэш. Что означает суффикс «8K» в названии (обычно так обозначают длину контекста), в посте тоже не поясняется. Поэтому 10 tok/s полезны как ориентир для похожей сборки и не годятся как бенчмарк для сравнения с другими конфигурациями.
| Параметр | Значение из отчёта | Статус |
|---|---|---|
| Модель | DeepSeek V4.1 Flash 8K | указана, версия не уточнена |
| Квантование | Strata | без битности и схемы |
| GPU | RTX 5090 | указана, объём VRAM не приведён |
| Накопитель | Lexar NVMe 4 ТБ | указан, скорость не приведена |
| Память | 64 ГБ DDR5 | указана, частота не приведена |
| ОС | Windows 10 | указана |
| Скорость | около 10 tok/s | одно измерение без методики |
Какие данные в отчёте есть, а каких не хватает
Подтверждено ровно семь пунктов из таблицы: модель, метод квантования, видеокарта, накопитель, объём памяти, операционная система и сама цифра скорости. Всё остальное читателю приходится домысливать, а домысливать здесь опасно, потому что каждая из недостающих деталей напрямую меняет результат.
- Нет методики: сколько токенов сгенерировано, на каком промпте, сколько прогонов и как усреднялось.
- Нет параметров Strata: битность, схема квантования разных групп весов, размер файла.
- Нет распределения памяти: какая часть весов осталась в VRAM, какая ушла в DDR5, какая подгружалась с NVMe.
- Нет настроек инференса: длина контекста, размер батча, параметры offload, включён ли спекулятивный декодинг.
- Нет времени до первого токена: 10 tok/s описывают только генерацию, но не ожидание ответа.
- Нет данных о потреблении, тарифе на электричество и цене API, к которой автор апеллирует.
- Нет ни слова о качестве ответов: связность, ошибки в фактах, поведение на длинных промптах.
Схожая проблема разобрана в материале о том, как проверять громкие цифры про эффективность GPU: без сценария, методики и условий запуска одно число почти ничего не говорит. К отчёту про 10 tok/s это применимо полностью.
10 токенов в секунду - это много или мало
tok/s описывает скорость декодирования, то есть темп, с которым модель выдаёт новые токены после того, как обработала промпт. Один токен в русском тексте это примерно 2-3 символа, то есть при 10 tok/s на экране появляется около 3-5 слов в секунду. Читать такой поток глазами комфортно: он опережает обычное чтение.
Проблема в другом. Полезная арифметика: ответ на 500 токенов при 10 tok/s генерируется примерно 50 секунд, на 1500 токенов уже около двух с половиной минут, а на 5000 токенов, типичных для длинной цепочки рассуждений, уходит больше восьми минут. Это расчёт по заявленной скорости, а не замер, но он показывает порядок ожидания.
Второй фактор, который отчёт не покрывает, это время до первого токена. Обработка длинного промпта (prefill) на модели такого класса обычно тяжелее генерации, а сколько занял prefill в этом кейсе, автор не сообщил. Если вы работаете с большим контекстом, реальное ожидание ответа будет заметно больше, чем следует из одной цифры 10 tok/s.
Для сравнения масштаба: в разборе замеров DeepSeek V4.1 Flash в GGUF на восьми NVIDIA A40 речь идёт о 40,3-40,7 tok/s в Q2_K и 31-32,5 tok/s в Q4_K_M. Это другая модель в другой сборке, другой квант и другой движок, поэтому напрямую сравнивать с 10 tok/s на одной RTX 5090 нельзя. Цифры полезны только как граница: 10 tok/s это нижний, а не типичный край спектра для этой модели.
Почему 10 tok/s - правдоподобный, но не универсальный результат
На похожем железе легко получить и заметно больше, и заметно меньше. Разброс определяется несколькими факторами, и ни один из них в отчёте не зафиксирован.
- Объём VRAM под веса и KV-кэш. Если модель с выбранным квантом целиком помещается в видеопамять, декодирование идёт на полной скорости GPU. Как только часть слоёв уходит в системную память, пропускная способность DDR5 становится ограничителем.
- Параметры Strata. Более агрессивное квантование уменьшает размер весов и позволяет больше оставить на карте, но добавляет деквантование на лету. Без битности сравнивать нечего.
- Длина контекста. KV-кэш растёт вместе с контекстом и при неудачной настройке съедает VRAM, вытесняя веса на CPU.
- NVMe. Если эксперты или крупные таблицы подгружаются с диска по ходу генерации, скорость упирается в накопитель и в шину.
- ОС и драйверы. Windows 10 указана как система, сравнения с Linux в отчёте нет, поэтому вклад платформы оценить невозможно.
Вывод простой: 10 tok/s на RTX 5090 с 64 ГБ DDR5 это точка отсчёта для похожей сборки, а не гарантия повторяемости. Меняется один параметр, меняется и результат.
Что в конфигурации на RTX 5090 влияет на скорость
RTX 5090 в отчёте фигурирует как вычислительная платформа, на которой запуск состоялся. Автор не приводит ни объём видеопамяти, который заняла модель, ни утилизацию GPU, поэтому судить о том, где прошла граница между VRAM и остальной системой, нельзя.
64 ГБ DDR5 это системная память. В локальном инференсе она нужна по двум причинам: как буфер для слоёв, выгруженных из VRAM, и как хранилище для весов при нехватке видеопамяти. Использовалась ли она так в этом кейсе, отчёт не говорит. Частота памяти тоже не указана, а для сценария с offload она критична: пропускная способность DDR5 напрямую ограничивает темп декодирования, когда часть вычислений идёт на CPU.
NVMe Lexar на 4 ТБ нужен прежде всего как хранилище файла модели: квантованные веса больших MoE-моделей занимают десятки и сотни гигабайт. Другая роль накопителя, стриминг весов по требованию, превращает диск в узкое место, потому что задержки NVMe на порядки выше, чем у VRAM. Как именно использовался диск, в отчёте не раскрыто.
Windows 10 указана как ОС. Платформа влияет на доступные бэкенды, работу драйверов и управление памятью, но сравнения с другими системами автор не приводил, так что приписывать части падения скорости именно Windows было бы догадкой.
Роль квантования Strata в этом запуске
Квантование снижает разрядность весов, чтобы модель занимала меньше памяти и быстрее читалась из неё. Плата за это известна: часть точности теряется, а при агрессивных схемах страдает качество ответов. Strata в отчёте названа методом квантования без единого параметра: нет ни средней битности, ни описания, какие группы весов сжаты сильнее.
Из этого следует практический запрет на сравнения. Если кто-то получил 20 tok/s на той же модели, но с другим квантом и другим контекстом, это не значит, что его сборка быстрее. Сравнивать запуски одной модели корректно только при совпадающих кванте, длине контекста, движке и настройках offload. В отчёте про 10 tok/s не зафиксировано ни одного из этих условий, кроме названия метода.
Локальный запуск или API: как считать экономику
Автор отчёта пишет прямо: при такой скорости дешевле платить за API, чем за электричество. Это оценка человека, который знает свой тариф и свой счёт, а не расчёт, пригодный для переноса. В посте нет ни потребления системы, ни цены киловатт-часа, ни стоимости API за сопоставимый объём токенов. Поэтому утверждение стоит читать как «у меня получилось так», а не как «локальный запуск всегда дороже».
Считать нужно по своей рамке, и она состоит из четырёх величин. Первая: сколько ватт потребляет система под нагрузкой и сколько часов в сутки она реально работает. Вторая: ваш тариф на электричество. Третья: стоимость API за миллион токенов у выбранного провайдера, с учётом входных и выходных токенов по отдельности. Четвёртая: амортизация железа, ведь видеокарта и накопитель стоят денег независимо от того, крутится на них инференс или нет.
Ориентир по третьей величине можно взять из разбора цены DeepSeek V4 Flash на уровне $0,09 за миллион токенов. Это другая модель и другие условия, но порядок цифр показывает, с чем конкурирует домашний сервер. При 10 tok/s вы получаете примерно 36 тысяч токенов в час непрерывной генерации, и это лучший случай без учёта prefill и простоев.
Какие статьи затрат обычно забывают учесть
- Амортизация GPU и накопителя. Карта и диск окупаются только если работают годами под нагрузкой, а не простаивают.
- Время на настройку. Сборка, подбор кванта, борьба с падениями и танцы с драйверами стоят часов, которые в API не нужны.
- Простои и недогрузка. Домашняя система редко загружена на 100% круглосуточно, а электричество в простое всё равно расходуется.
- Охлаждение, шум и место. Для домашнего сервера это ощутимые издержки, особенно если он стоит в жилой комнате.
Есть и обратная сторона: локальный запуск даёт приватность, отсутствие лимитов и квот, работу без сети и полный контроль над версией модели. Если данные нельзя отправлять наружу, вопрос цены электричества перестаёт быть главным.
Для каких задач 10 токенов в секунду уже пригодны
Скорость около 10 tok/s делит сценарии на две группы очень чисто.
Пригодно: пакетная обработка, когда модели отдают десятки задач в фоне и никто не смотрит на экран; черновики и суммаризация документов, результат которых вы прочитаете через минуту; ночные прогоны по списку файлов; эксперименты и сравнение квантов; сценарии, где данные не должны покидать машину. Во всех этих случаях ожидание в десятки секунд на ответ не мешает.
Непригодно: интерактивный чат с быстрым откликом, автодополнение кода, агентные циклы, где модель вызывается последовательно десятки раз, голосовые интерфейсы и всё, что требует ответа в реальном времени. Длинная цепочка рассуждений на 5000 токенов займёт больше восьми минут, и это без учёта prefill.
Критерий, которым удобно пользоваться: если задача допускает ожидание десятков секунд и не требует многошагового диалога, 10 tok/s хватает. Если нужен отклик в темпе разговора, не хватает. Про качество ответов DeepSeek V4.1 Flash 8K в этой сборке отчёт не сообщает ничего, поэтому брать скорость за доказательство пригодности модели для продакшн-задач нельзя.
Стоит ли повторять такую сборку на RTX 5090
Из отчёта следует ровно один вывод: модель такого класса на RTX 5090 с 64 ГБ DDR5 запускается и выдаёт около 10 tok/s. Покупать карту ради этой конкретной модели с такой скоростью смысла мало, если только вам не нужен именно локальный запуск по причинам приватности или автономности.
Перед покупкой стоит ответить на три вопроса. Сколько видеопамяти займут веса в выбранном кванте вместе с KV-кэшем на нужной вам длине контекста. Какая часть модели уйдёт в DDR5 и на диск, если видеопамяти не хватит. И сколько будет стоить ваш объём запросов через API, чтобы сравнение шло не с абстракцией, а с вашим счётом.
Если цель именно запустить большую MoE-модель дома, посмотрите альтернативные пути. В разборе запуска DeepSeek-V4-Flash на двух Radeon AI PRO R9700 описана сборка с готовым квантом 2.875 bpw и стримингом экспертов из оперативной памяти: там другие карты, другой движок и другие цифры. Это не рекомендация, а пример того, что итоговая скорость определяется связкой целиком, а не одной видеокартой.
Что осталось за кадром отчёта
Ограничения кейса стоит перечислить честно, потому что именно они задают границы применимости.
- Один пользовательский отчёт без повторных измерений и без подтверждения со стороны.
- Нет методики замера: длина промпта, длина генерации, число прогонов, способ подсчёта.
- Нет параметров квантования Strata и версии модели, поэтому сравнение с другими запусками DeepSeek V4.1 Flash 8K некорректно.
- Нет данных о занятой VRAM, настройках контекста, батча и offload.
- Нет потребления, тарифа и цен API, поэтому вывод про дороговизну электричества остаётся оценкой автора.
- Нет сведений о качестве ответов и поведении модели на других задачах.
Практическая ценность кейса в другом: это редкая точка данных о том, как ведёт себя большая модель на одной потребительской карте с 64 ГБ системной памяти. Отчёт /u/DeMischi даёт отправную цифру, которую можно проверить на своей сборке. Дальше начинается ваша работа: замерить свой prefill и decode на своих промптах, посчитать электричество по своему счётчику и сравнить с ценой API на вашем объёме токенов. Только после этого вывод «дешевле API» станет вашим, а не чужим.