Короткий ответ: сначала считайте VRAM, потом пропускную способность памяти, потом поддержку пониженных форматов на тензорных ядрах, и только в конце смотрите на число CUDA-ядер и пиковые FLOPS. В 2026 году такой порядок экономит больше денег, чем любой обзор с таблицами бенчмарков: цены на карты искажены дефицитом памяти, а переплата за лишние вычислительные блоки редко возвращается приростом скорости на локальных LLM.
Логика фильтров простая. Объём VRAM решает, поместится ли модель. Пропускная способность памяти задаёт, с какой скоростью эта модель будет генерировать токены. Пониженные форматы вроде FP8 и FP4 ускоряют то, что уже загрузилось. Экосистема CUDA, ROCm, MLX или XPU определяет, сколько вечеров уйдёт на настройку окружения. Ошибка на первом шаге обнуляет остальные: модель, которая не помещается в видеопамять, либо не запустится, либо будет работать очень медленно из-за выгрузки в оперативную память [RSS0].
Что на самом деле определяет пригодность видеокарты для нейросетей
Нейросети держатся на матричных умножениях: и обучение, и генерация токенов сводятся к огромному числу операций с матрицами весов. У процессора несколько десятков мощных ядер, у видеокарты тысячи простых и очень быстрая память, поэтому такие параллельные вычисления она выполняет в десятки и сотни раз быстрее [RSS0]. Для инференса LLM это означает, что CPU годится как аварийный вариант, а не как основной инструмент.
Почему CPU не конкурент, а VRAM — первый фильтр
В память GPU должны поместиться веса модели, активации, состояния оптимизатора, а для LLM ещё и KV-кэш. Это первый фильтр при любом выборе [RSS0]. Проверять нужно именно его, а не паспортную частоту ядра: карта с подходящим объёмом памяти на слабом чипе даст рабочий результат, а быстрая карта с нехваткой VRAM не даст ничего.
Дальше вступает вторая характеристика. Скорость генерации токенов примерно равна отношению пропускной способности памяти к размеру модели в памяти. Формула грубая, но объясняет большинство практических разочарований: две карты с одинаковыми 24 ГБ показывают разную скорость на одной и той же модели, если у них разная шина и пропускная способность.
Третий фильтр — тензорные ядра и поддерживаемые ими форматы: FP16, BF16, FP8, а с поколения Blackwell и FP4. Четвёртый — программная экосистема. Ниже разбираем каждый пункт по порядку, с цифрами памяти и ценами, которые придётся сверять самостоятельно.
Сколько VRAM нужно для локальных LLM: считаем на пальцах
Оценки, от которых можно отталкиваться при покупке: LLM на 32 млрд параметров в 4 битах требует около 21 ГБ видеопамяти, модель на 70 млрд параметров в тех же 4 битах — около 43 ГБ, а полное дообучение требует примерно 16 байт памяти на каждый параметр [RSS0].
| Сценарий | Оценка памяти | Что это значит на практике |
|---|---|---|
| LLM 32 млрд параметров, 4 бита | около 21 ГБ | нужна карта на 24 ГБ, остаток уходит на KV-кэш и накладные расходы рантайма |
| LLM 70 млрд параметров, 4 бита | около 43 ГБ | реально нужно 48 ГБ и больше |
| Полное дообучение | около 16 байт на параметр | 70B: порядка терабайта памяти, на одной потребительской карте нереально |
Отсюда практическое правило: 24 ГБ хватает на хорошую LLM на 32 млрд параметров, а для моделей на 70 млрд нужно 48 ГБ и больше [RSS0]. Если модель не помещается, задачу не запустить вовсе или она будет работать очень медленно с выгрузкой в оперативную память [RSS0].
Почему 4 бита — не волшебство: что ещё съедает память
Веса в 4 битах занимают меньше места, но память расходуется не только на них. KV-кэш растёт с длиной контекста и с числом одновременных запросов, активации зависят от размера батча, сам рантайм добавляет служебные буферы. Поэтому расчёт «70B умножить на 0,5 байта» даёт заниженную цифру: на практике выходит около 43 ГБ.
Планируйте запас 10–20% сверх расчётного размера весов. На карте в 24 ГБ это означает, что модель на 21 ГБ будет работать, но длинный контекст и параллельные запросы упрутся в лимит заметно раньше, чем хотелось бы.
Отдельно про качество: 4-битное квантование оплачивается просадкой точности, и на сложных задачах она видна. Для чата и черновиков кода это приемлемая плата за вдвое меньший объём памяти, для аккуратной аналитики стоит проверить 8-битный вариант или модель поменьше.
Полное дообучение против LoRA: 16 байт на параметр и когда это не нужно
Полное дообучение требует примерно 16 байт на параметр: в память ложатся сами веса, градиенты и два момента оптимизатора Adam в FP32 [RSS0]. Для 70B это порядка терабайта, то есть один потребительский GPU здесь ничего не решает, нужен кластер или облако.
LoRA и другие параметрически эффективные методы снижают требования, потому что обучают небольшие надстройки, а основные веса держат в замороженном виде. Конкретные цифры сильно зависят от реализации, размера адаптера и фреймворка, поэтому считать их по одной формуле нельзя. Вывод для дома: реалистичны LoRA на моделях до 32B и полное дообучение небольших моделей, серьёзное обучение дешевле арендовать.
Собрать конфигурацию под конкретный бюджет помогают разборы реальных сборок для локального инференса: сколько реально нужно потратить на GPU для локального запуска моделей в 2026 году.
Пропускная способность памяти: почему карта с большой VRAM может быть медленной
При генерации каждого нового токена LLM читает все веса модели. Поэтому токены в секунду ограничены пропускной способностью памяти, делённой на размер модели [RSS0]. Не пиковая арифметика, не число ядер, а именно гигабайты в секунду, делённые на гигабайты весов.
Следствие первое: модель, которая занимает больше памяти, читается дольше, и скорость падает почти линейно. Следствие второе: узкая шина памяти портит впечатление от карты даже с солидным объёмом VRAM, потому что веса физически нечем быстро прокачивать.
Картина меняется при батчинге. Несколько параллельных запросов переиспользуют уже прочитанные веса, узкое место смещается от памяти к вычислениям, и тогда вес тензорных ядер и поддержки пониженных форматов растёт. Для домашнего сценария с одним пользователем приоритет остаётся за пропускной способностью памяти.
Тензорные ядра и форматы FP8/FP4: за что доплачивать
С 2017 года в видеокартах NVIDIA есть тензорные ядра, блоки для умножения матриц в пониженной точности: FP16, BF16, FP8, а начиная с поколения Blackwell и FP4 [RSS0]. Пониженная точность экономит и время, и память, но работает только там, где её поддерживает фреймворк и сама модель.
Практический смысл: FP16 и BF16 стали нормой и поддерживаются почти везде, где есть CUDA. FP8 заметно полезнее на новых архитектурах, но требует, чтобы рантайм и веса были к нему готовы. FP4 даёт максимальный выигрыш по памяти, однако на потребительских картах результат зависит от конкретного рантайма и модели, поэтому обещать универсальное ускорение нельзя.
Главное: FP8 и FP4 не отменяют VRAM и пропускной способности. Если модель не помещается, пониженная точность не поможет, разве что вы согласитесь на более агрессивное квантование с потерей качества.
CUDA, ROCm, MLX или XPU: что выбрать под свои задачи
NVIDIA с CUDA остаётся самым надёжным выбором: максимум поддерживаемых инструментов и минимум сюрпризов при установке. При этом AMD ROCm, Apple MLX и Intel XPU уже подходят для многих задач [RSS0], и разрыв не абсолютный. Цена ухода от CUDA измеряется не в гигагерцах, а в часах отладки.
Где чаще всего ломается совместимость вне NVIDIA
Типовые зоны риска выглядят так: поддержка квантованных форматов в конкретном рантайме, готовность слоёв ускорения под нужный фреймворк и задержка между выходом новой модели и её рабочим запуском на неосновной платформе. Названия версий и багов меняются каждые пару месяцев, поэтому проверять нужно свою связку: модель, формат квантования, рантайм.
Сценарии выбора. Нужен минимум возни и максимум поддерживаемых инструментов: берите NVIDIA. Уже есть Mac с большим объединённым объёмом памяти: MLX жизнеспособен для локальных LLM и часто удобнее, чем отдельная карта. AMD интересна ценой за гигабайт VRAM, но готовность читать логи и разбираться с окружением обязательна.
Реальные цены 2026 года: почему RTX 5090 стоит как несколько карт
Рекомендованная цена RTX 5090 — $1,999. Во второй половине 2026 года карта продавалась за $4,000–9,000 из-за дефицита DRAM [RSS0]. Полезное следствие этого разброса: ориентироваться на цену из обзора полугодовой давности бессмысленно, проверять нужно в момент покупки.
Кастомные версии добавляют к цене ещё больше. Asus ROG Astral BTF OC Edition оценена в $3,499.99, это примерно на 75% дороже рекомендованной цены [S7]. Параллельно GeForce RTX 5080 в США подорожала до уровня рекомендованной цены RTX 5090, около $2,000, в том числе из-за нехватки памяти GDDR7 объёмом 16 ГБ [S7].
Были и обратные сигналы: Walmart в США снизил стоимость RTX 5090 до рекомендованных $2,000 [S7]. Разброс объясняется разными периодами и разными условиями продажи, поэтому диапазон $4,000–9,000 нельзя считать стабильным ориентиром. Как читать такие новости и настраивать мониторинг, разбираем в материале о том, что на самом деле показывают цены на видеокарты в 2026 году.
Отдельно стоит держать в голове слухи вокруг поставок: сообщения о сворачивании производства RTX 5090 официально не подтверждены, но сама тема влияет на настроения продавцов и на цены. Что подтверждено, а что остаётся домыслом, разобрано в материале о том, что значит возможное сворачивание производства RTX 5090 для локального AI.
Б/у RTX 3090 и другие разумные компромиссы
Б/у RTX 3090 с 24 ГБ остаётся разумной альтернативой для старта и средних моделей: 24 ГБ хватает на LLM на 32 млрд параметров, а цена обычно в разы ниже флагмана по реальным ценам 2026 года. Риски стандартные и вполне проверяемые: остаток гарантии, состояние памяти, история эксплуатации карты, качество системы охлаждения.
Сравнивать варианты имеет смысл по цене за гигабайт VRAM, а не по абсолютной цифре на ценнике. Подставляйте актуальные цены на момент покупки: соотношение меняется быстро, особенно когда новая карта уходит за $4,000–9,000.
Почему кастомные версии не дают пропорциональной отдачи
Заводской разгон, три вентилятора и подсветка не влияют на объём памяти и её пропускную способность, а именно они решают в AI-задачах. Наценка в 75% за версию Asus с ценой $3,499.99 [S7] покупает акустический комфорт и внешний вид, а не дополнительные токены в секунду. Если карта нужна для вычислений, ищите версии, близкие к рекомендованной цене.
Если сравниваете потребительский флагман с профессиональной картой, полезен отдельный разбор: RTX 5090 или рабочая станция для локального инференса LLM, с ценой за гигабайт и сценариями файнтюнинга.
Покупать или арендовать: когда GPU окупается, а когда дешевле облако
Аренда H100 стоит примерно $2–7 в час, и для разовых крупных задач это выгоднее покупки [RSS0]. Класс облачных ускорителей для тяжёлых сценариев шире: H100, H200, B200. Считать их экономику по памяти не нужно, достаточно сравнить почасовую ставку с ценой карты.
Арифметика точки безубыточности. Возьмём реальную цену 2026 года в $4,000 и ставку $5 в час: покупка соответствует 800 часам аренды, то есть 100 полным восьмичасовым дням загрузки. Если GPU считает что-то каждый день по много часов, покупка отбивается за считанные месяцы. Если это пара вечеров в месяц, аренда выигрывает с большим отрывом.
В стоимость владения входят электричество, охлаждение, шум, время на настройку драйверов и моральный износ. Часть этих расходов видна сразу, часть проявляется через полгода. Похожая логика с профессиональными картами разобрана в материале о том, почему RTX 6000 PRO по-прежнему покупают за $16 000 и где проходит точка безубыточности.
Ориентиры по выбору под бюджет и задачи
| VRAM | Что реально делать | Ограничения |
|---|---|---|
| 12–16 ГБ | квантованные модели, чьи веса укладываются в 10–14 ГБ, эмбеддинги, реранкеры, небольшие агентные сценарии | 32B в 4 битах сюда не влезает, длинный контекст съедает запас быстро |
| 24 ГБ | LLM на 32 млрд параметров в 4 битах с запасом на KV-кэш | 70B не помещается, длинный контекст требует компромиссов |
| 48 ГБ | LLM на 70 млрд параметров в 4 битах | параллельные запросы и очень длинный контекст упираются в лимит |
| 48–128 ГБ | крупные модели, длинный контекст, несколько параллельных потоков, LoRA-обучение | цена и энергопотребление растут быстрее, чем отдача в домашних задачах |
12–16 ГБ — это компромисс, а не «хватит на всё». Такой карты достаточно, чтобы начать, прогнать свои задачи и понять реальные требования. Дальше решение принимается по модели, длине контекста и готовности возиться с софтом, а не по красивой цифре в спецификации.
Мини-чеклист перед покупкой
- Посчитайте память под свою модель в конкретном квантовании и добавьте запас 10–20% на KV-кэш и накладные расходы.
- Сверьте пропускную способность памяти, а не только объём: именно она задаёт токены в секунду.
- Проверьте, что модель и формат работают в выбранной экосистеме: CUDA, ROCm, MLX или XPU.
- Сравните актуальную цену с арендой на нужное число часов: 800 часов при ставке $5 в час эквивалентны карте за $4,000.
- Учтите электричество, охлаждение и шум: карта на 24 ГБ и больше заметно меняет требования к корпусу и блоку питания.
- Для б/у проверьте гарантию, состояние памяти и историю эксплуатации до оплаты.
Если коротко: считайте память под свою модель, смотрите на гигабайты в секунду, проверяйте совместимость до покупки и сверяйте цену с арендой по часам. Эти четыре проверки отсекают почти все неудачные покупки GPU для нейросетей в 2026 году.