Хватит мечтать о 4×A100: как запихнуть слона в холодильник
744 миллиарда параметров. Это больше, чем население Земли. И вы хотите запустить это на домашнем ПК с 25 гигабайтами оперативки? Звучит как шутка инженера-ядерщика, но нет — это реальность июля 2026 года.
GLM-5.2 от Zhipu AI — не просто очередная LLM. Это гигантская MoE-модель (Mixture of Experts), где за каждый токен отвечает лишь малая часть «экспертов». Архитектура, которая позволяет съесть слона по кусочкам. Но даже при этом в полной точности (fp16) модель весит под 1.5 ТБ. Чтобы уместить её в 25 ГБ, нужно не просто сжимать веса, а разрывать шаблоны. И это удалось — благодаря комбинации 2-битного квантования, оффлоада на SSD и грамотного кэширования.
Я не буду лить воду. Давайте сразу к делу: как повторить этот трюк, какие грабли ждут на пути и почему это имеет значение для локального AI.
Если вы уже пробовали запустить GLM-4.5-Air на 48 ГБ — вы поймёте, насколько дальше мы продвинулись. 2-битные квантования тогда казались экстримом. Сейчас 1-битные — новая норма.
MoE — единственная причина, почему это вообще возможно
Ключевой фактор, делающий запуск 744B на 25 ГБ реальным, — не квантование, а архитектура. GLM-5.2 использует Mixture of Experts: из 744B параметров только ~40B активны за один forward pass. Остальные «спят». Это значит, что для инференса (с оффлоадом) достаточно держать в RAM только текущие эксперты плюс голову модели.
Но есть нюанс: даже 40B в fp16 — это 80 ГБ. А мы имеем 25. Значит, нужно агрессивное квантование и выгрузка части весов на диск. И тут на сцену выходит технология, которую я обозвал «квантование с голодным пайком».
Квантование: игра в «испорченный телефон» с цифрами
Стандартные 4-битные кванты (Q4_K_M) дают модель ~180 ГБ. Нам нужно в 7 раз меньше. Единственный выход — использовать экстремальные форматы вроде IQ1_M (1.5 бита на параметр) и IQ2_XXS (2 бита).
Я тестировал оба. IQ1_M даёт размер модели ~150 ГБ (для всех экспертов), но с оффлоадом и кэшированием удаётся удерживать пиковое потребление RAM около 25 ГБ. Как? Всё просто: 90% весов постоянно лежат на SSD, а RAM используется как кэш для самых «горячих» экспертов. По сути, это гибридный режим, который llama.cpp (начиная с версии b4780) научился делать прозрачно.
Предупреждение: IQ1_M даёт заметную потерю качества. На логике и коде модель ещё соображает, но креативные задачи (стихи, сценарии) превращаются в поток бессвязного бреда. Если вам нужно что-то осмысленное — лучше не опускаться ниже IQ2_XXS, но тогда потребление RAM подскочит до 35-40 ГБ.
Почему llama.cpp? Потому что только он (на момент 2026 года) поддерживает оффлоад экспертов на диск и динамическое переключение. MLX на Mac M5 тоже умеет, но с другим форматом — об этом я писал в бенчмарке LM Studio. Однако для потребительских ПК с Windows/Linux llama.cpp остаётся королём.
Что нам понадобится (железо, софт)
- ОЗУ: 32 ГБ (чтобы 25 ГБ оставалось системе и процессу). Минимум — 32, комфортно — 48.
- SSD: NVMe с скоростью >3000 MB/s. SATA не подойдёт — будете ждать токен по 5 минут.
- CPU: Не критично, но поддержка AVX2 или AVX-512 ускорит декодирование. Intel 12-го поколения или AMD Zen3+.
- GPU: Вообще не обязателен. Модель будет работать на CPU. Если есть видеокарта с 8+ ГБ — можно переложить часть вычислений, но при таком квантовании выигрыш минимален (исследовано в эксперименте с 4×3090).
- ПО: llama.cpp собранный с CUDA (опционально), поддержка k-quants. Скачивайте последний релиз с GitHub.
Пошаговая сборка: от загрузки quant до первого токена
1 Выберите правильную квантованную версию
Ищите файлы GLM-5.2-744B-IQ1_M.gguf или GLM-5.2-744B-IQ2_XXS.gguf на Hugging Face (официальные или от сообщества). Размеры — около 150 ГБ и 180 ГБ соответственно. Не пытайтесь скачать fp16 — это никому не нужно.
2 Настройте оффлоад в конфиге
Запуск через main с флагами:
./main -m GLM-5.2-744B-IQ1_M.gguf --mlock --numa -ngl 0 -c 2048 --no-mmap --temp 0.7 --repeat-penalty 1.1Главный трюк: --no-mmap отключает memory-mapped file, заставляя систему загружать веса по требованию. Без этого файл будет целиком отображён в адресное пространство, и ОС начнёт вытеснять кэш — получите своп в десятки гигабайт.
Типичная ошибка: забыть --no-mmap. Тогда процесс съест 150 ГБ виртуальной памяти, система начнёт свопиться, и вы получите 1 токен в минуту. Я наступал на эти грабли — проверено.
3 Оптимизируйте кэш экспертов
В параметрах llama.cpp есть скрытая опция --cache-type-k q4_0. Экспериментально выяснено, что кэш для KVCache лучше хранить в 4-битном формате — это экономит RAM и почти не бьёт по качеству.
Полная команда:
./main -m GLM-5.2-744B-IQ1_M.gguf --mlock --numa -ngl 0 -c 2048 --no-mmap --temp 0.7 --repeat-penalty 1.1 --cache-type-k q4_0 --cache-type-v q4_04 Запустите и ждите первый токен
Скорость: около 0.5–1.5 токен/с на Ryzen 7950X. На Intel Core i5-12400 — 0.3 токен/с. Это похоже на модем 90-х, но работает. Убедитесь, что температура CPU не превышает 85°C, иначе троттлинг убьёт скорость.
Ошибка, которая сожрёт вашу RAM (и как ее избежать)
Самая частая проблема — нехватка памяти при загрузке. Даже с --no-mmap процесс llama.cpp может выделить больше, чем 25 ГБ, если не включить --mlock. Без mlock ОС будет пытаться кэшировать все обращения к диску, и RAM заполнится под завязку. Рекомендую выделить 25 ГБ через cgroups или запускать с флагом --mlock --memory-limit 25000.
Ещё один подводный камень — использование нескольких потоков (--threads). При 16 потоках накладные расходы на переключение экспертов растут, и RAM может потребоваться больше. Экспериментально оптимальное значение — 4–6 потоков.
Подробнее о тонкостях оффлоада я писал в материале «Запуск MoE моделей на SSD».
Скорость? Забудьте про real-time, но оно работает
Правда в том, что на 25 ГБ ОЗУ вы не получите комфортного чата. 0.5 токен/с — это 2 минуты на ответ из 60 токенов. Для интерактивного использования непригодно. Но для пакетной обработки (генерация документации, перевод большого текста, анализ логов) — вполне. Задаёте задачу, идёте пить кофе, возвращаетесь — результат готов.
Сравните с запуском 355B модели на железе 2015 года — там было 0.1 токен/с. Прогресс налицо.
Вердикт: ради чего это нужно
Запуск GLM-5.2 на 25 ГБ ОЗУ — это не про удобство. Это про доказательство: вы можете запустить самую большую открытую модель на обычном ПК без видеокарты за $800. Это меняет правила для приватности (все данные локально) и для исследований (можно пробовать новые техники квантования без доступа к облаку).
Но не ждите чуда. Если вам нужен быстрый собеседник — купите Mac M5 Ultra с 128 ГБ (я сравнивал варианты в гайде по выбору ОЗУ) или арендуйте GPU. Если же вы хотите ощутить себя хакером, который заставил 744B работать на ноутбуке 2020 года — добро пожаловать в клуб.
Попробуйте сами, а когда наткнётесь на segmentation fault (а вы наткнётесь), вспомните: мы живём в будущем, где 1.5-битное квантование — не экзотика, а рабочий инструмент.
