Когда 8 ГБ VRAM - это не 8 ГБ, или Почему ваша модель не влезает
Вы скачали свежую Qwen2.5-32B-Instruct-GGUF, запустили через llama.cpp, а система выдает Out of Memory. Знакомо? В 2026 году эта проблема никуда не делась - только усугубилась. Модели растут быстрее, чем память видеокарт. RTX 5060 Ti с её 16 ГБ уже не кажется бездонной бочкой, когда пытаешься запихнуть туда 70-миллиардную модель.
Самый частый вопрос в чатах по локальным LLM: "У меня RTX 4070 Super 12 ГБ, что я могу запустить?" Ответ никогда не бывает простым. Зависит от квантования, контекста, batch size и ещё десятка параметров.
Что это за инструмент и как он работает
WhatModelsCanIRun.com - калькулятор, который делает одну простую вещь: показывает, какие модели ИИ вы можете запустить на своём железе. Вводите параметры GPU (память, архитектура), выбираете тип модели (текстовая, мультимодальная, Stable Diffusion), и получаете список вариантов.
1Выбор железа: от ноутбуков до серверов
База данных обновляется постоянно. На 08.02.2026 там есть всё: от интегрированной графики Intel Arc до H100. Особенно полезны предустановленные профили для популярных конфигураций - RTX 4060 Ti 16GB, RX 7800 XT, даже Apple Silicon.
Можно указать несколько GPU для распределённой загрузки. Хотите использовать 2x RTX 4070 вместо одной дорогой карты? Калькулятор покажет, какие модели влезут и как их лучше разбить.
2Типы моделей и квантования
Здесь кроется главная магия. Инструмент знает разницу между:
- Полноразмерными моделями (FP16/BF16)
- Квантованными версиями (GPTQ, AWQ, EXL2)
- GGUF с разными уровнями квантования (Q4_K_M, Q8_0, IQ4_XS)
- Специфичными форматами вроде MLX для Mac
Для каждого типа своя формула расчёта памяти. Qwen2.5-72B в GGUF Q4_K_M займёт примерно 42 ГБ, а та же модель в EXL2 4.65bpw - около 38 ГБ. Разница в 4 ГБ может быть решающей.
Чем отличается от ручных расчётов
Можно взять калькулятор вроде того, что мы описывали ранее, и посчитать вручную. Но WhatModelsCanIRun.com экономит время на трёх фронтах:
| Что считать | Вручную | WhatModelsCanIRun |
|---|---|---|
| Базовый размер модели | 5 минут поиска | Встроенная база |
| Накладные расходы | Экспериментально | Уже учтены |
| Совместимость форматов | Читать документацию | Фильтр по фреймворкам |
Реальные примеры использования
Сценарий 1: У вас RTX 4060 Ti 16GB (та самая, про которую есть отдельный гайд). Хотите запускать модели для coding assistant.
Что предлагает калькулятор:
- DeepSeek-Coder-33B-instruct-GGUF (Q4_K_M) - влезает с контекстом 16K
- CodeQwen1.5-32B-GPTQ - можно с batch size 2
- Magicoder-S-DS-33B-EXL2 (4.65bpw) - оптимальный баланс качества и скорости
Сценарий 2: Ноутбук с RTX 4050 6GB. Да, такие ещё существуют в 2026. Хочется хоть что-то запустить.
Варианты:
- Qwen2.5-7B-Instruct-GGUF (Q8_0) - для качественных ответов
- Llama-3.2-3B-Instruct-GPTQ - максимальная скорость
- Phi-4 - если нужна поддержка function calling (о совместимости с llama.cpp читайте здесь)
Чего не хватает (пока)
Инструмент отличный, но идеальных нет. Что раздражает:
1. Нет учёта CPU+GPU гибридного режима. Когда модель частично в системной памяти, частично в VRAM - это отдельная магия. Особенно актуально для ноутбуков с 4 ГБ VRAM.
2. Не учитывает новые архитектуры вроде MoE. Модели типа Kimi 2.5 (про которую у нас есть материал) загружают только активные эксперты, экономя память. Калькулятор считает их как обычные dense модели.
3. Для Stable Diffusion и мультимодальных моделей расчёты слишком упрощённые. Не учитывается разрешение изображений, контрольные сети, LoRA. Хотя для базовой генерации сойдёт.
Разработчики обещают добавить поддержку MoE-архитектур в следующем обновлении - следите за анонсами на сайте.
Альтернативы: есть ли выбор?
Прямых аналогов с таким же охватом моделей и точностью расчётов нет. Но есть инструменты для смежных задач:
- Models Explorer - для поиска моделей по задачам, но без расчёта совместимости
- Hugging Face Model Cards - иногда указывают требования к памяти, но данные несистематизированы
- Ручные калькуляторы от сообщества - формулы в Google Sheets, которые быстро устаревают
Что интересно: некоторые фреймворки (llama.cpp, vLLM) имеют встроенные оценки памяти, но они работают уже после загрузки модели. Что, согласитесь, немного поздно.
Кому этот инструмент спасет нервы
Новичкам в локальных LLM. Вместо недели проб и ошибок - 5 минут с калькулятором. Узнаете, что ваша GTX 1660 Ti 6GB потянет только модели до 7B параметров, и сэкономите 50 ГБ трафика на скачивание 70B-версий.
Опытным пользователям, которые хотят оптимизировать настройки. Можно поиграть с параметрами: увеличить контекст, добавить больше слоёв в GPU, сравнить разные квантования.
Тем, кто выбирает железо. Планируете апгрейд? Вбейте параметры RTX 5070 (гипотетические на 08.02.2026) и посмотрите, насколько расширятся возможности.
Особенно полезно для AMD-пользователей. С совместимостью там всегда отдельная история. Калькулятор учитывает особенности ROCm и DirectML.
Как не превратить калькулятор в костыль
Главная опасность - слепо доверять цифрам. Реальная память зависит от драйверов, версии CUDA/ROCm, настроек BIOS, даже температуры GPU (при троттлинге память может работать медленнее).
Всегда оставляйте запас 1-2 ГБ. Особенно если запускаете что-то ещё - браузер с 50 вкладками, OBS для стрима, игру на втором мониторе.
И помните: калькулятор показывает "можно запустить", а не "будет летать". Модель может влезть в память, но выдавать 1 токен в секунду. Для оценки скорости смотрите бенчмарки сообщества.
Что дальше? Думаю, скоро появятся аналогичные инструменты, интегрированные прямо в лаунчеры вроде Open WebUI или Faraday. Или в облачные сервисы - "загрузите модель, а мы подберём инстанс с нужным GPU". Но пока WhatModelsCanIRun.com остаётся самым удобным способом не наступать на грабли с нехваткой VRAM.
Попробуйте сегодня. Потратьте 10 минут, чтобы сэкономить 10 часов завтра. И не скачивайте 400-гигабайтную модель, которая никогда не запустится на вашей карте. (Да, такое тоже бывает. Особенно с мультимодальными моделями, которые анализируют сотни изображений).
