Перейти к содержанию
Публикация AiManual

RTX 3090 и локальные LLM: что известно о «предупреждении» и скрытых ограничениях GPU

В r/LocalLLaMA просят владельцев RTX 3090 проверить странное поведение карты в локальных LLM, причём автор поста сам признаёт, что карты у него нет. Разбираем,

Коротко

Что будет в материале

  1. 01

    Что на самом деле известно: пост, гипотеза и отсутствие подтверждений

  2. 02

    Какие механизмы GPU реально могут влиять на локальные LLM

  3. 03

    Как проверить свою RTX 3090 в реалистичных сценариях с LLM

  4. 04

    Распространяется ли это на другие видеокарты

21 октября 2026 года в r/LocalLLaMA появился короткий пост «Now that 3090 frenzy warning post makes sense». Автор под ником /u/sn2006gy сразу оговаривается: «I don't have a 3090 to confirm, but curious if the anyone in this community can back this up». Карты, о которой пишет, у него нет, замеров он не делал, и он просит владельцев RTX 3090 проверить наблюдение самостоятельно.

Короткий ответ на главный вопрос: подтверждённого скрытого ограничения RTX 3090, которое мешало бы локальным LLM, в этом материале нет. Есть запрос на проверку и догадка про «хак» против майнинга, который будто бы дожил до 2026 года. Ни механизма, ни названий моделей, ни версий драйверов, ни цифр в посте не приводится. Первоисточник состоит из нескольких фраз и вопроса к сообществу.

Практическая польза от этой истории всё же есть: это повод проверить собственную карту по воспроизводимой методике и понять, где у вашей 3090 реально заканчивается производительность в LLM-задачах, а где начинаются троттлинг, нехватка VRAM и настройки софта.

Что на самом деле известно: пост, гипотеза и отсутствие подтверждений

Пост делится на три смысловые части. Сначала автор честно говорит, что не может подтвердить наблюдение. Затем ссылается на некий ранее опубликованный «warning post» про 3090, содержание которого не раскрывает. И наконец выдвигает догадку про меры против майнинга.

«I have a long vague memory of some hacks done to prevent mining demand that could be fixed and help LLMs. I wonder if this was one that lived on?»

Ключевое слово здесь - «wonder», то есть «интересно, может быть». Так формулируют гипотезу, а не результат проверки. Вторая фраза того же поста: «Good win for 3090 and curious if that translates to other GPUs». Это оценочное суждение и открытый вопрос, а не измерение.

Отдельно стоит зафиксировать: в тексте нет ни одного упоминания о том, какая именно модель запускалась, какой был контекст, какая квантизация и какая версия драйвера. Без этих данных воспроизвести наблюдение невозможно даже теоретически.

Что подтверждено, что остаётся предположением

УтверждениеСтатусЧто это значит на практике
В r/LocalLLaMA есть пост с просьбой проверить поведение RTX 3090ФактПервоисточник доступен, его можно прочитать целиком
Автор поста не владеет RTX 3090 и не проводил замеровФакт, сказано им самимНаблюдение не подтверждено даже автором
Существует конкретное ограничение или особенность карты, влияющая на LLMНеизвестноМеханизм не назван, деталей нет
Причина связана с антимайнинговыми мерамиПредположение автораСформулировано через «I wonder», без доказательств
Эффект воспроизводится на других 3090НеизвестноВ материале нет ни одного отчёта других владельцев
Эффект есть на других GPUОткрытый вопросАвтор сам его задаёт и не отвечает
«Good win for 3090»Оценка автораНе результат теста и не прирост производительности

Почему такие обсуждения вообще возникают

RTX 3090 остаётся популярной картой для локальных LLM из-за 24 ГБ GDDR6X: этот объём позволяет держать в памяти модели класса 27-32B в 4-битной квантизации вместе с заметным контекстом. Карта давно ушла с первичного рынка, её массово покупают б/у, а значит, в сообществе постоянно сравнивают результаты машин с очень разной историей: прошивки, термоинтерфейсы, блоки питания, условия охлаждения корпуса.

Дальше работает обычная статистика любительских замеров. Один и тот же файл модели на двух 3090 может давать разницу в скорости в разы, если на одной карте слои целиком на GPU, а на другой часть уехала в оперативную память. Разные версии llama.cpp, разные флаги, разный контекст, разный драйвер: наблюдения расходятся, и появляется пространство для гипотез вроде «карта ведёт себя не так, как должна».

Какие механизмы GPU реально могут влиять на локальные LLM

Если карта выдаёт неожиданно низкую скорость или странные результаты, у этого почти всегда есть измеримая причина. Ни один из перечисленных механизмов не подтверждает гипотезу из поста, но каждый способен создать ощущение «скрытого ограничения».

  • Троттлинг по питанию. У 3090 энергопотребление платы в районе 350 Вт, и производитель ставит лимит, который можно менять. Проверка: сравните power.draw и power.limit в nvidia-smi под нагрузкой. Если карта упирается в лимит и держит пониженные частоты, разница в токенах в секунду объясняется этим, а не прошивкой.
  • Переполнение VRAM. 24 ГБ не бесконечны: вес модели, KV-кэш и буферы контекста складываются. При нехватке llama.cpp выгружает часть слоёв в RAM, и скорость падает в разы. В логе это видно как «offloaded N/M layers to GPU» с числом меньше общего.
  • Размер контекста. Рост окна контекста увеличивает и память, и время обработки промпта, причём нелинейно. Замеры на 4K и на 32K токенов сравнивать бессмысленно.
  • Квантизация. Q4_K_M, Q5_K_M, Q8_0 и FP16 дают разный размер файла и разную скорость. При равном железе разница в формате иногда объясняет больше, чем смена драйвера.
  • Версия софта и бэкенд. llama.cpp и Ollama обновляются часто, меняются ядра, поддержка CUDA graphs, flash attention. Два отчёта на разных сборках сравнивать нельзя.
  • Частичная выгрузка и PCIe. Когда слои уходят в RAM, обмен идёт по шине, и пропускная способность PCIe начинает влиять на результат сильнее, чем вычислительные блоки GPU.
  • Нагрев памяти GDDR6X. Температуру чипов памяти стоит смотреть отдельно: в GPU-Z это Memory Junction Temperature, через nvidia-smi на потребительских GeForce она обычно недоступна. Троттлинг памяти бьёт по скорости заметнее, чем кажется.
  • ECC. У потребительских GeForce коррекции ошибок памяти нет, она доступна на профессиональных картах. Ошибки проявляются как «модель понесла чушь» или падение процесса, а не как ровная просадка токенов в секунду.

Скорость инференса при генерации упирается в пропускную способность памяти, поэтому разгон VRAM меняет цифры заметнее, чем разгон ядра. Это хорошо видно по пользовательскому отчёту о разгоне CMP 170HX, где генерация выросла почти вдвое вслед за частотой памяти.

Антимайнинговые меры: что это было и почему связь с LLM неочевидна

В 2021 году NVIDIA вводила Lite Hash Rate (LHR): драйвер урезал хешрейт на алгоритме ethash у части моделей RTX 30. RTX 3090 в список карт с LHR не входила, флагман продавался без этого ограничения. Позже NVIDIA сняла лимит драйвером. Ограничение работало на уровне программного обеспечения, а не кремния, и это принципиально: лимитер на RTX 3060 на старте обходился бета-версией драйвера, что показывает, где именно сидело ограничение.

Дальше начинается техническая нестыковка версии из поста. LHR ограничивал конкретную хеш-функцию в майнинге. Инференс LLM - это матричные умножения и работа с памятью, другой профиль нагрузки. В первоисточнике нет ни одного аргумента, почему механизм 2021 года мог дожить до 2026-го и проявиться именно в локальных моделях. Автор сам называет это «long vague memory».

Что чаще всего путают с «скрытым ограничением»

  • Prompt processing и генерацию. Обработка промпта распараллеливается хорошо и ускоряется от ширины вычислений, генерация упирается в память. Разные профили дают разный прирост от одних и тех же настроек.
  • Холодную и прогретую карту. Первые десятки секунд после старта частоты выше, дальше включается тепловой режим.
  • Полную и частичную выгрузку слоёв. Отчёт «на 3090 медленно» часто означает «половина слоёв на CPU».
  • Windows и Linux. Разные драйверы, разные накладные расходы, разное поведение планировщика.
  • Энергосбережение. Профиль питания «Prefer maximum performance» в панели NVIDIA и настройки ASPM меняют поведение карты в простое и под нагрузкой.
  • Фоновые процессы. Браузер с аппаратным ускорением и открытые вкладки съедают VRAM незаметно.

Как проверить свою RTX 3090 в реалистичных сценариях с LLM

Проверка строится вокруг одной идеи: одинаковые условия и повторяемые замеры. Без фиксации окружения любой результат превращается в ещё один разрозненный отчёт.

  1. Запишите окружение: ОС и версию ядра, версию драйвера NVIDIA, версию llama.cpp или Ollama, точное имя файла модели и её квантизацию.
  2. Зафиксируйте параметры запуска: число слоёв на GPU (-ngl 99 для полной выгрузки), размер контекста (-c), размер батча, при необходимости flash attention.
  3. Прогрейте карту одним прогоном на 2-3 минуты, чтобы выйти на рабочие температуры и частоты.
  4. Снимите метрики в фоне на время замеров.
  5. Сделайте 3-5 повторов на одном и том же промпте и одинаковой длине генерации, берите медиану, а не первый результат.

Минимальный набор метрик и команд

Мониторинг состояния карты на время прогона:

nvidia-smi --query-gpu=timestamp,name,driver_version,temperature.gpu,clocks.sm,clocks.mem,power.draw,power.limit,utilization.gpu,memory.used,memory.total --format=csv -l 1

Более компактный вариант с теми же полями:

nvidia-smi dmon -s pucvmet -d 1

Замер через встроенный бенчмарк llama.cpp, отдельно для обработки промпта и для генерации:

llama-bench -m ./models/model-q4_k_m.gguf -p 512 -n 128 -ngl 99 -r 5

В обычном логе llama.cpp появятся строки вида «prompt eval time» и «eval time» с числом токенов в секунду. В Ollama те же цифры печатает запуск с флагом --verbose: там отдельно указаны prompt eval rate и eval rate.

Что записывать: температуру ядра и памяти, power draw против power limit, текущие частоты ядра и памяти, занятую VRAM, загрузку GPU, токены в секунду для промпта и для генерации. Если карта ведёт себя нестабильно (зависания, ошибки драйвера в журнале), стоит посмотреть разбор зависаний GPU с ошибкой Xid 8: там показано, как отличать проблему софта от проблемы железа.

Как оформить результат, чтобы сообщество могло его проверить

Поле отчётаПример заполнения
Карта и её состояниеRTX 3090, б/у, термоинтерфейсы менялись или нет, power limit
ОкружениеОС, версия ядра, версия драйвера NVIDIA
Софтllama.cpp или Ollama, версия или коммит, бэкенд CUDA
МодельИмя файла, квантизация, размер в гигабайтах
Параметры запускаngl, контекст, батч, flash attention, температура сэмплирования
МетрикиТокены в секунду для промпта и генерации, медиана из N прогонов
Режим картыТемпература, power draw, частоты, занятая VRAM
НаблюдениеЧто именно показалось странным и как это проявлялось

Такой отчёт можно сравнить с чужим. Отчёт в стиле «у меня 3090 тормозит» сравнить не с чем.

Распространяется ли это на другие видеокарты

В исходном материале данных о других GPU нет, вопрос остаётся открытым. Автор поста сам его задаёт и не отвечает. Переносить гипотезу на другие карты без замеров нет смысла.

Если проверять, то логично начинать с карт той же линейки: RTX 3080 с 10 или 12 ГБ, RTX 3080 Ti с 12 ГБ, RTX 3090 Ti с 24 ГБ. Дальше идут соседние поколения: RTX 4090 с теми же 24 ГБ, но другой архитектурой и другим энергопотреблением, и карты AMD, где стек софта (ROCm, Vulkan) отличается настолько, что прямое сравнение цифр почти ничего не даёт.

Методика проверки при этом не меняется: те же фиксированные условия, те же метрики, те же повторы. Разница только в доступных инструментах мониторинга и в поддержке конкретного бэкенда.

Стоит ли брать RTX 3090 под локальные LLM: трезвый взгляд

Главный аргумент карты остаётся прежним: 24 ГБ VRAM. Этого объёма хватает, чтобы держать в памяти модель класса 27-32B в 4-битной квантизации с рабочим контекстом, и это заметно расширяет список моделей по сравнению с 12-16 ГБ. Для многих домашних сценариев объём памяти важнее скорости: модель, которая не влезает, работает в разы медленнее независимо от вычислительной мощности.

Минусы тоже конкретные. Энергопотребление в районе 350 Вт требует нормального блока питания и продуманного корпуса. GDDR6X греется, а на б/у картах термоинтерфейсы часто уже требуют замены. История эксплуатации неизвестна: карта могла годами работать на майнинге с изменённой прошивкой или урезанным лимитом мощности.

RTX 4090 при тех же 24 ГБ быстрее и экономичнее по энергопотреблению на выполненную работу, но дороже на вторичном рынке. Выбор зависит от бюджета и от того, насколько важна скорость: если задача - запускать модели, которые влезают в 24 ГБ, и не гнаться за максимальным токен-в-секунду, 3090 остаётся рабочим вариантом. Если нужен максимум скорости и есть бюджет, разница в пользу 4090 ощутима. Подробнее о том, как считать требования к карте под конкретную модель, квантизацию и KV-кэш, разобрано в материале о выборе бюджетной GPU для локальных LLM.

Отдельная тема - вторая карта. Если 24 ГБ уже не хватает, две 3090 дают 48 ГБ, но ускорение получают не все сценарии: часть нагрузки упирается в PCIe и в поддержку multi-GPU в конкретном софте, а часть остаётся на одной карте. Что именно даёт вторая 3090, разбирается в отдельной статье с чек-листом.

Риски «фиксов» и когда гипотезу можно считать подтверждённой

Как только появляется разговор про «скрытое ограничение», появляются и предложения его «снять». Модификация vBIOS, скрипты, обещающие разблокировку, драйверы из непонятных источников: без подтверждённого механизма такие действия не оправданы ничем. Прошивка карты при неудаче превращает её в кирпич, гарантия при модификации пропадает, а откатить изменения на б/у карте без резервной копии оригинала бывает нечем.

Гипотезу можно считать подтверждённой, когда выполнены несколько условий: эффект воспроизводится на нескольких разных картах одной модели, условия замеров у всех одинаковые и описаны, отчёты приходят от независимых людей, а альтернативные объяснения (троттлинг, нехватка VRAM, версия софта, настройки запуска) проверены и исключены. Пока этого нет, статус остаётся «гипотеза». Похожая логика разбора применима к любым громким заявлениям о железе, включая случаи вроде заявлений о «100% эффективности GPU», где цифра без методики ничего не значит.

Вывод: что делать владельцу 3090 прямо сейчас

Менять прошивку, искать «разблокирующие» скрипты и верить в скрытый лимит не нужно. Подтверждённого ограничения нет, есть запрос сообщества на проверку и догадка автора поста, которую он сам не может проверить.

Полезное действие одно: измерить свою карту по шаблону выше. Зафиксируйте драйвер, версию llama.cpp или Ollama, файл модели и параметры запуска, снимите температуру, power draw, частоты и токены в секунду на промпте и на генерации, повторите 3-5 раз. Если цифры совпадают с ожидаемыми для вашей конфигурации, вопрос закрыт. Если нет, у вас на руках набор данных, по которому можно искать причину: лимит мощности, троттлинг памяти, выгрузка слоёв в RAM или настройки софта.

Именно такие отчёты, а не пересказ слухов, позволяют сообществу подтвердить или опровергнуть гипотезу. Пока их нет, RTX 3090 остаётся тем, чем была: картой с 24 ГБ VRAM, высоким энергопотреблением и хорошей отдачей в локальных LLM при условии, что вы понимаете её реальные ограничения.

Подписаться на канал