Почему гигантские модели не живут на вашем столе: главные цифры
Прямой ответ: локальный запуск моделей с числом параметров от 2 триллионов на пользовательском оборудовании в 2026 году технически возможен, но практически бесполезен. Скорость генерации падает до единиц токенов в минуту, что исключает интерактивную работу.
Возьмем Kimi K3 от Moonshot AI - открытую модель с 2.8 трлн параметров, которая по бенчмаркам приблизилась к топовым проприетарным системам. В родном формате FP16 она требует примерно 5.6 ТБ видеопамяти. Сравните с самыми экстремальными пользовательскими конфигурациями: 4× RTX 6000 Max-Q дают 192 ГБ, 7× RX 7900 XTX - 168 ГБ, 5× модифицированных RTX 4090 на 48 ГБ - 240 ГБ. Это в 23-33 раза меньше необходимого.
Квантование в INT4 сжимает Kimi K3 до ~700 ГБ - все еще втрое больше, чем доступно на 5× RTX 4090. Даже гипотетическое INT2 потребует около 350 ГБ. Оффлоудинг слоев в системную RAM через llama.cpp или аналогичные фреймворки упирается в пропускную способность: DDR5-6400 в четырехканальном режиме дает порядка 100 ГБ/с против 1-2 ТБ/с у GPU. Результат - 2-5 токенов в минуту на CPU и микроскопические улучшения при гибридном сплиттинге.
Для контекста: комфортная скорость чтения - 10-20 токенов/с. Порог терпения для рабочего взаимодействия - 5 токенов/с. Все, что ниже, пригодно разве что для пакетной обработки без участия человека.
Где гиганты работают: сценарии, в которых 2+ трлн параметров оправданы
Модели такого масштаба не бесполезны. Они решают задачи, недоступные меньшим архитектурам, но в принципиально других условиях развертывания.
Облачный инференс: платишь за токен - получаешь интеллект
Самый практичный способ использовать 5T-модели вроде Claude Opus - API. Вы платите за токен и получаете результат, не думая о памяти, охлаждении и электричестве. Сравнение стоимости: запуск 70B-модели локально на 4× RTX 6000 Max-Q обойдется в $20-25 тысяч единовременно плюс электричество. Облачный доступ к Claude Opus или GPT-5 при типичной нагрузке в 1 млн токенов в день стоит $200-400 в месяц. Точка окупаемости локального железа - 5-8 лет, за которые оно морально устареет дважды.
Для бизнес-задач, где критично качество ответа - юридический анализ, медицинская диагностика, сложная кодогенерация - облачный инференс гигантов выгоднее локального запуска моделей среднего размера. Разница в точности на сложных промптах между 70B и 5T может составлять 15-30 процентных пунктов по внутренним бенчмаркам.
Дистилляция: как большие модели учат маленькие
Открытые гиганты вроде Kimi K3 приносят пользу сообществу через дистилляцию. Схема: Kimi K3 генерирует миллионы синтетических примеров по целевой доменной области, на этих данных дообучается 70B-модель. Результат - компактная архитектура, которая наследует часть знаний 2.8T-исходника и помещается на 4× RTX 3090. Kimi K3 уже показывает результаты, сопоставимые с GPT-5.6 Sol, а значит, дистиллированные из нее 70B-модели могут превзойти многие нативные архитектуры того же размера.
Исследовательские сценарии - третий кейс. Изучение эмерджентных свойств, анализ внутренних представлений, тестирование гипотез о скейлинге - здесь 2+ трлн параметров нужны как объект исследования, а не как production-инструмент.
Локальный AI: почему «успешный запуск» не означает «можно пользоваться»
Сообщество регулярно видит заголовки: «Запустил Llama 405B на домашнем сервере». Технически - да, модель загрузилась и выдала токен. Практически - скорость 0.5-2 токенов/с, время первого токена 3-5 минут. Для интерактивной работы требуется хотя бы 10 токенов/с и задержка старта не более 2-3 секунд.
Разрыв между декларацией и реальностью возникает из-за трех факторов. Первый - маркетинговый хайп: производители GPU и энтузиасты демонстрируют сам факт запуска, умалчивая о скорости. Второй - неверные метрики: «модель работает» не равно «моделью можно пользоваться». Третий - игнорирование latency первого токена: при оффлоудинге в RAM время обработки длинного контекста может достигать десятков минут.
Показательный кейс: Qwen3.6 27B с тернарной квантизацией на RTX 3090 выдает 60 токенов/с - это реально рабочая конфигурация. А попытка запустить 122B-модель на CPU с 64 ГБ RAM дает 2.9 токенов/с - формально «запустилось», но для агентских сценариев с поиском по архивам непригодно.
Оптимизации: что может сократить разрыв и насколько
Три направления оптимизаций - квантование, дистилляция, аппаратные ускорители - по-разному сокращают разрыв между размером моделей и возможностями железа.
Квантование: меньше бит - больше компромиссов
INT4 сжимает 2.8T-модель до 700 ГБ, INT2 - до 350 ГБ. Проблема в том, что на экстремальных уровнях квантования начинается деградация: модель теряет связность на длинных контекстах, путается в фактах, хуже следует инструкциям. Для INT2 падение качества на бенчмарках вроде MMLU может составлять 10-15 пунктов относительно FP16. При этом даже 350 ГБ не влезают ни в одну пользовательскую конфигурацию 2026 года.
Квантование эффективно для моделей до 70-120B параметров - здесь INT4/INT8 позволяет уместить их в 2-4 потребительские GPU с приемлемой скоростью. Для 2+ трлн это не решение, а лишь сокращение разрыва с 23-кратного до 6-кратного.
Аппаратные ускорители: не для нашего стола
Cerebras CS-3 с чипом WSE-3 содержит 900 тысяч ядер и 44 ГБ on-chip SRAM с пропускной способностью 21 ПБ/с. Groq LPU выдает сотни токенов в секунду на моделях вроде Llama 70B. Но эти решения занимают стойку в дата-центре, потребляют киловатты и стоят миллионы долларов. Они не станут потребительскими: архитектура заточена под максимальную плотность вычислений, а не под компактность и низкое тепловыделение.
GLM-5.2 на 8× GB10 показывает 1200 токенов/с prefill и 33-54 токен/с decode - это уровень дата-центрового инференса, недостижимый в домашних условиях. Разрыв между потребительским и промышленным железом только растет.
Инвестировать в железо или уходить в облака? Практические рекомендации
Два пути для практика в 2026 году.
Локальное железо. Конфигурация 4× RTX 6000 Max-Q обойдется в $20-25 тысяч. Она позволяет запускать модели до 70B в INT4 с комфортной скоростью 20-40 токенов/с, а 405B-модели - на грани терпения, 5-10 токенов/с. Плюсы: полный контроль, отсутствие latency сети, приватность данных. Минусы: цена, нагрев, шум, невозможность запустить 2+ трлн модели даже в будущем. 27B-модели уровня GPT-5.6 ожидаются к концу 2026 года - и это тот случай, когда компактная архитектура с дистилляцией может дать качество гиганта без требований к памяти.
Облачные API. Ежемесячные затраты $200-2000 в зависимости от нагрузки. Доступ к самым мощным моделям - Claude Opus 5T, грядущие Mythos/Fable до 10T. Гибкость: сегодня используете одну модель, завтра переключились на другую без апгрейда железа. Минусы: зависимость от вендора, вопросы конфиденциальности, latency сети.
Гибридный подход выглядит оптимальным для большинства. Локально - одна-две мощные GPU для моделей до 27-70B, которые закрывают чувствительные к задержке задачи: чат-боты, кодогенерация в IDE, простой RAG. Облако - для сложных аналитических задач, где качество важнее скорости и стоимости: многошаговые рассуждения, анализ длинных документов, специализированные домены.
Прогноз: разрыв между размером моделей и потребительским железом сохранится. Модели растут быстрее возможностей GPU: 2.8T сегодня, 10T завтра. Потребительские видеокарты прибавляют память на 20-30% за поколение, модели - на 200-300%. Ставка на чисто локальный инференс как стратегию - тупик. Ставка на гибрид с постепенным ростом локальных возможностей - прагматичный путь.