Почему размер модели — это не просто цифры?
Вы наверняка видели таблицы: Llama 3.1 70B занимает 140 ГБ в fp16, а Qwen3.5 230B — почти 460 ГБ. Но в реальности никто не грузит модели в полной точности. Квантование режет вес модели в 2–6 раз, и вот тут начинается магия. Проблема в том, что новички смотрят на число параметров и покупают RTX 4060 под 70B, а потом плачут. Или, наоборот, берут 2×3090 и удивляются, что 30B летает, но толку от такой модели мало. Я перебрал десятки сборок (от бюджетных до серверных) и составил точную карту: какая модель на какой конфигурации действительно работает, а где вы просто выбросите деньги на ветер.
Ключевая идея: не параметры, а количество бит на параметр и суммарная VRAM/RAM. Каждый бит квантования даёт ~10–15% потерь качества (на Q4 они почти незаметны, на Q2 — уже провал). Оптимальный баланс — Q4_K_M (4-bit с улучшенным распределением) или Q5_K_M.
Как читать таблицу совместимости
Прежде чем перейти к конкретным размерам, запомните формулу: Объём памяти (ГБ) ≈ Число параметров (млрд) × Битность / 8 плюс overhead на KV-cache и системные нужды (~2–4 ГБ). Для 30B в Q4: 30 × 4 / 8 = 15 ГБ + 2 ГБ = 17 ГБ. Значит, 16 ГБ видеокарте — впритык, 24 ГБ — комфортно. Для 70B в Q4: 70 × 4 / 8 = 35 ГБ + 4 ГБ = 39 ГБ — уже нужно две карты по 24 ГБ или одна 48 ГБ.
Дальше идут тонкости: тип квантования (GGUF, AWQ, GPTQ), размер контекста (чем больше, тем жирнее KV-cache) и скорость инференса. Для простоты я опираюсь на самые популярные форматы GGUF (Q4_K_M, Q5_K_M, Q8_0, FP16) и современные модели начала 2026 года — Qwen3.5, Llama 4, Mistral 2.5, Nemotron.
30B моделей (28–34B) — золотая середина для энтузиастов
30-миллиардные модели — это то, с чего стоит начинать, если у вас одна consumer-видеокарта с 16–24 ГБ. Например, Qwen2.5 32B, Mistral Small 3.1 30B, Llama 3.2 30B. В квантовании Q4_K_M они занимают около 17–20 ГБ, плюс запас под контекст. Отличная производительность на уровне GPT-3.5 в задачах кода, резюмирования, чата.
| Конфигурация | Квантование | Скорость (токен/с) | Вывод |
|---|---|---|---|
| RTX 4060 Ti 16GB | Q4_K_M | ~8–12 | Граничит с недостатком памяти при контексте 8K+ |
| RTX 4070 Ti Super 16GB | Q5_K_M | ~12–15 | Комфортно, контекст до 16K |
| RTX 3090/4090 24GB | Q8_0 | ~20–30 | Идеально, можно даже 32K context |
| MacBook Pro M3 Max 48GB (RAM) | Q4_K_M | ~10–14 | Хорошо, но скорость ниже из-за shared memory |
Если у вас 16 ГБ — берите 30B в Q4_K_M, но не задирайте контекст выше 8K. Для 24 ГБ — можно Q8_0, разница в умственных способностях модели (потеря при Q4 — ~1–2% по MMLU).
Подробнее о выборе конкретных моделей для кодинга и старта — читайте в гайдах Локальные LLM в 2025: с чего начать и Локальные модели 20-100B для кодинга.
70B моделей (68–72B) — вот где начинается мясо
70B — порог, за которым модель резко умнеет. Llama 3.1 70B, Qwen3.5 72B, Nemotron 4 72B, Mistral 2.5 70B. В Q4 К_М такая модель жрёт ~39–42 ГБ. То есть нужна видеокарта с 48 ГБ (например, RTX 6000 Ada или A6000) или две карты по 24 ГБ (3090/4090) через объединение памяти. Ещё вариант — сервер с 4×24 ГБ, но для дома это редкость.
Самый популярный сетап на 2026 год — 2×RTX 3090 (48 ГБ сумм.) + Q4_K_M. Стоимость ~$2000–2500 (бу). Вы получаете скорость ~18–25 токен/с и качество на уровне GPT-4o (mini). Если брать одну карту — только RTX 5090 с 32 ГБ (но она не выйдет до 2027, хотя ходят слухи) или профессиональные решения типа A100 40GB (но это уже серверный бюджет).
Подробности про сборку с двумя 3090 — в статье про коллективную покупку сервера.
120B моделей (110–130B) — переход в тяжёлый вес
120B — это район Qwen2.5 110B, DeepSeek V3 120B? Нет, DeepSeek V3 сейчас 685B, но 120B-модели типа Llama 4 120B (MoE) или Yi-Lightning 110B. Здесь работает только квантование Q4_K_M или даже Q3_K_M, иначе не влезет никуда, кроме серверов. 120B в Q4: 120×4/8=60 ГБ. Две 3090 по 24 ГБ суммой дают 48 ГБ — мало. Три 3090 (72 ГБ) — уже можно, но это 3 карты, тепло, шум, нужно материнка с 3 слотами. Альтернатива: одна A100 80GB (или H100) — тогда модель в Q4 помещается целиком, скорость 30+ токен/с. Стоимость такой карты — от $15 000, что автоматически отсекает 99% энтузиастов.
Ошибка новичка: увидеть 120B в Q2 (2-bit) на 4-битной карте и радоваться. Не делайте так. Q2 — это уровень «модель поломана». Лучше взять 70B в Q8, чем 120B в Q2. Потеря качества при Q2 может достигать 30% по бенчмаркам.
Для дома 120B имеет смысл только если у вас есть доступ к облачным GPU (через RunPod, Vast.ai) или вы собрали мощную станцию за $15 000. Или если вы используете Mac Studio с 192 ГБ Unified Memory — тогда модель в Q4_K_M помещается, хотя скорость будет ~8–12 токен/с (медленно, но терпимо). Как выбрать ОЗУ для MacBook Pro — там похожие расчёты.
230B моделей (200–270B) — для тех, у кого денег куры не клюют
230B (Qwen3.5 230B, GLM-4.7 268B, Gemini 2.5 Pro? Нет, Gemini не локальная) — это уровень датацентров. Даже в Q4: 230×4/8=115 ГБ. Одна A100 80GB не вмещает, нужна H100 80GB×2 или A100 80GB×2. Либо 4×RTX 4090 (96 ГБ сумм.) — всё равно мало, нужно Q3_K_M: 230×3/8=86 ГБ — уже влезает в 96 ГБ, но с огромным риском OOM. Реальный минимум — две A100 80GB (160 ГБ) для Q4 с запасом на контекст.
Есть интересный лайфхак — MoE (Mixture of Experts) модели, где активны не все параметры. GLM-4.7-REAP-268B-A32B — это 268B, но в FP16 занимает 80 ГБ, потому что только A32B активны. Cerebras запихнула 268B в локальную память за счёт архитектуры. Если вам нужно 230B+ качество, ищите MoE версии.
Для 99% пользователей 230B — это избыточно. 70B достаточно для 95% задач кодинга и рерайтинга. Разве что вы пишете диссертацию по квантовой физике — тогда да, 230B даст более глубокие рассуждения.
Таблица быстрого выбора (квантование Q4_K_M)
| Размер модели | Требуемая VRAM/RAM | Минимальное оборудование | Рекомендуемое оборудование |
|---|---|---|---|
| 30B | ~18 ГБ | RTX 4060 Ti 16GB (впритык) | RTX 3090/4090 24GB |
| 70B | ~40 ГБ | 2×RTX 3090 (48 ГБ) | 1×A6000 48GB / 2×4090 |
| 120B | ~62 ГБ | 3×RTX 3090 (72 ГБ) | 1×A100 80GB |
| 230B | ~115 ГБ | 4×A100 80GB (или H100) | 2×H100 80GB (160 ГБ) |
| 230B MoE (активных ~60B) | ~70 ГБ (Q4) | 2×RTX 3090 | 1×A100 80GB |
Что не стоит делать: типичные ошибки
- Игнорировать KV-cache. Контекст 128K может сожрать ещё 10–15 ГБ. Считайте с запасом.
- Смешивать карты разных поколений. RTX 3090 + RTX 4070 через NVLink? Не работает, будет падать скорость. Лучше одинаковые.
- Покупать 16 ГБ под 70B. Даже Q4 не поместится. Проверяйте по формуле.
- Гнаться за максимальным Q. Q8 на 70B стоит больше, чем Q4 на 120B. Лучше взять модель побольше в Q4, чем поменьше в Q8 — качество часто выше.
- Забывать про CPU offloading. Если VRAM чуть-чуть не хватает, можно часть слоёв выгрузить в RAM, но скорость упадёт в разы. Лучше купить ещё одну карту.
Пример из жизни: знакомый купил Mac Mini M2 с 16 ГБ Unified Memory и хотел запустить Qwen3.5 72B в Q4. Результат — 0.5 токен/с и постоянный swap. Бюджетный апгрейд до Mac Mini M2 Pro с 32 ГБ решил проблему для 30B, но не для 70B. Так что считайте сразу.
Сводка: какую модель выбрать под ваш бюджет
Если у вас одна consumer-карта 8–16 ГБ — забудьте про 30B+, берите 7B–14B. Если 24 ГБ — 30B в Q8 или 70B в Q3 (но Q3 — уже компромисс). Две 3090/4090 — ваш топчик для 70B в Q4. Три 3090 — 120B в Q4. Четыре — 120B в Q5 или 230B в Q3. Серверные A100/H100 — 230B в Q4.
Не забудьте, что есть ещё нецензурированные модели, которые могут быть полезны для конкретных сценариев. И обязательно сверяйтесь с таблицей в руководстве по RAM от 8 до 128 ГБ — там есть датасет проверенных конфигураций.
Бонусный совет: не верьте разработчикам, которые говорят «наша модель работает на любой видеокарте». Тестируйте сами на малом контексте. И помните: даже 7B модель в Q8 может быть умнее 70B в Q2. Битность важнее параметров, когда архитектура слабая. Но это уже совсем другая история.
