744 миллиарда в 25 гигабайт? Да, и вот как
Звучит как магия — модель весом 744 миллиарда параметров, да ещё и Mixture of Experts, помещается в 25 ГБ оперативки обычного ноутбука. Никаких A100, никаких датацентров — только ваш ПК, быстрый NVMe-накопитель и движок Colibri. Я провёл неделю, гоняя эту связку, чтобы понять: это прорыв или очередной компромисс?
Что такое Colibri? Не путайте с птичкой
Colibri — это не модель, а рантайм для запуска MoE LLM, разработанный одним энтузиастом (да, open source, GitHub). Его фишка: он не грузит все 744B в память. Вместо этого Colibri использует int4 квантование и динамическую подгрузку «экспертов» прямо с NVMe. Каждый шаг генерации активируются только нужные 2-4 эксперта (из 64), а остальные спят на диске. Результат — пиковое потребление ОЗУ 25 ГБ против гипотетических 500+ ГБ в FP16.
Важно: Для работы требуется NVMe со скоростью последовательного чтения от 3 ГБ/с. SATA SSD или HDD превратят генерацию в слайд-шоу.
Не верь глазам своим — верь Colibri: как это работает под капотом
GLM-5.2 — это 64 эксперта, но в каждый момент времени работают 2 (активные). Остальные 62 сжаты в int4 и квантованы до состояния, которое Colibri умеет загружать по мере надобности. Во время префилла (обработки промпта) движок загружает все эксперты, но после первого токена переключается в «ленивый» режим: хранит в ОЗУ только один-два полных слоя, остальные подкачивает из файла подкачки, расположенного на NVMe. Размер файла подкачки — около 14 ГБ, модель в квантизованном виде занимает 17 ГБ на диске. Итоговая ОЗУ-нагрузка — 25 ГБ. Без видеокарты вообще.
Подводный камень: если ваш CPU слабый (<8 ядер), скорость генерации просядет до 2-3 токенов в секунду. На Ryzen 9 7950X я видел 8-10 токен/с — терпимо для диалога.
Сравнение с альтернативами: почему они не летают, а ползут
| Движок | Поддержка MoE offload | Потребление ОЗУ для 744B (int4) | Скорость (токен/с, CPU) |
|---|---|---|---|
| Colibri | Да, умная подгрузка экспертов | 24–26 ГБ | 8–10 (Ryzen 9) |
| llama.cpp (latest) | Да, но полный offload слоёв | ~70 ГБ | 2–4 |
| ExLlama v2 | Только GPU offload | Не запустится без GPU | — |
| KoboldCPP | Ограниченный offload CPU | ~50 ГБ | 1–3 |
Как видите, Colibri — единственный инструмент, который вообще позволяет загрузить 744B на 32-гигабайтной системе. llama.cpp пытается держать модель в RAM и при offload всё равно ест больше из-за того, что не оптимизирован под динамическую смену экспертов. Если у вас 48 ГБ и выше — можно попробовать GLM-4.5-Air на 2-3 битах, но для 744B Colibri вне конкуренции.
Практика: ставим и запускаем, не сломав мозг
Установка — пара команд. Всё делается под Linux (на Windows через WSL2). Движок поставляется в виде бинарника и Python-бондингов. Модель нужно скачать с Hugging Face в формате .colibri (это особый конвертированный с помощью утилиты Colibri)). Команда запуска выглядит так:
git clone https://github.com/colibri-org/colibri
cd colibri
python3 -m venv venv && source venv/bin/activate
pip install -r requirements.txt
python colibri_load.py --model GLM-5.2-744B-MoE --quant int4 --swap /mnt/nvme/swap.colibriПосле загрузки появится интерфейс в консоли или можно использовать API (питон-библиотека). Пример простого промпта (через Python):
from colibri import ColibriModel
model = ColibriModel("GLM-5.2-744B-MoE", swap_path="/mnt/nvme/swap.colibri")
response = model.generate("Объясни квантовую запутанность за 50 слов.", max_tokens=100)
print(response)Кому это надо? Тем, у кого нет денег на GPU
Colibri + GLM-5.2 — идеальный выбор для:
- Разработчиков, которые хотят тестировать MoE-архитектуры локально, не арендуя облако.
- Исследователей, работающих с огромными контекстами (GLM-5.2 поддерживает 128K токенов).
- Энтузиастов приватности: все данные остаются на вашем компьютере.
- Тех, кто ищет аналог коммерческих моделей вроде Claude или GPT-4, но хочет держать их под контролем.
Сравните с подходом Luce Spark (35B на 16 GB GPU без offload) — там нет offload, но модель в 20 раз меньше. GLM-5.2 с Colibri даёт сопоставимое качество, хотя и медленнее. Если вам важна скорость — присмотритесь к LongCat-Flash-Lite 68.5B на 24 GB VRAM.
NVMe — ваш новый AI-ускоритель
Colibri настолько агрессивно использует диск, что слабый NVMe убьёт всё удовольствие. Практический тест: на Samsung 990 Pro (чтение 7 ГБ/с) — генерация плавная. На старом Intel 660p (1.8 ГБ/с) — паузы между токенами до секунды. Вывод: не экономьте на NVMe. Идеально — PCIe Gen4 или Gen5 со скоростью от 5 ГБ/с последовательного чтения. И да, Colibri создаёт файл подкачки размером до 14 ГБ — убедитесь, что на диске есть 30+ ГБ свободного места.
Не советую так делать: не размещайте файл подкачки на системном разделе с Windows — тормоза гарантированы. Выделите отдельный SSD для моделей.
Прогноз: будущее за offload'ом? Нет, за умным offload'ом
Colibri доказывает: жертвовать скоростью в обмен на возможность запустить модель локально — вполне разумный трейд-офф. Но эта технология не станет мейнстримом, пока не решит проблему латентности. На слабых CPU генерация падает до 1-2 токенов — это хуже, чем у многих 7B моделей, работающих целиком в RAM. Однако для задач, где важны глубина ответа и качество, а не скорость (анализ документов, генерация кода, научные вопросы), Colibri — это единственный легальный способ использовать топовые модели без облачной подписки.
Следите за нашим гайдом по локальным LLM — мы обновляем его каждый месяц. А если у вас 64 ГБ ОЗУ, прочитайте руководство по выбору модели под любой бюджет.
