Проблема, которую все ненавидят, но терпят
К концу 2025 года стало ясно: KV cache - это проклятие длинных контекстов. Каждый новый токен требует места в VRAM. Линейный рост. Хочешь обработать 100к токенов на Llama 70B? Готовь 40+ ГБ видеопамяти только под кэш. И это если повезет.
В теории новые GPU с HBM3e решают проблему. На практике их цена заставляет искать софтверные решения. Особенно когда работаешь с гигантскими LLM на ограниченном бюджете.
Monarch v3: старый трюк из 8-битного детства
Выпущенный в марте 2026 года, Monarch v3 делает простое: берет принцип подкачки памяти из Nintendo Entertainment System и применяет его к KV cache. Звучит как шутка. Работает как волшебство.
Алгоритм делит KV cache на "страницы" размером с блок внимания. Активные страницы живут в VRAM. Неактивные - выгружаются в RAM или даже на SSD. При необходимости - мгновенно подгружаются обратно. Overhead? Менее 3% от времени inference.
Как это выглядит против других решений
До Monarch v3 были три подхода:
- Квантизация KV cache - сжимаем до 4 бит, но теряем точность. Особенно заметно на coding агентах.
- Полный оффлоад - как в llama.cpp с SSD. Медленно, потому что каждый токен требует доступа к диску.
- Гибридные менеджеры - сложно настраивать, как в vLLM для гибридных моделей.
| Метод | Экономия VRAM | Overhead | Сложность |
|---|---|---|---|
| Monarch v3 | до 85% | 2-3% | Низкая |
| Delta-KV 4bit | 75% | 5-7% | Средняя |
| vLLM PagedAttention | 60-70% | 8-10% | Высокая |
Monarch v3 выигрывает в overhead. Почему? Потому что предсказывает, какие страницы KV cache понадобятся через 2-3 токена. И подгружает их заранее. Как префетчинг в процессорах, только для внимания.
Цифры, которые заставят поверить
Тесты на стенде: RTX 4090 24GB, Qwen3-32B с контекстом 128к токенов. Без оптимизаций inference падает до 0.8 токенов/сек при заполнении VRAM.
С Monarch v3:
- Среднее ускорение: 78% на последовательностях 64k+ токенов
- Пиковое использование VRAM: снижение с 22GB до 4GB
- Задержка первого токена: +15 мс (незаметно для человека)
- Поддержка моделей: Llama 3.2 90B, Qwen3 32B/72B, GLM-4.5-Air
Интересный момент: на моделях с GLM-4.5-Air ускорение достигает 82%. Архитектура MoE лучше реагирует на page-based доступ.
Где это сломается сразу
Не везде Monarch v3 - серебряная пуля. Есть сценарии, где он проигрывает:
- Очень короткие запросы (< 2k токенов) - overhead подкачки съедает преимущество
- Модели с flash attention 4+ - там уже есть свои оптимизации кэша
- Системы без быстрой RAM - DDR4 2400 MHz создает bottleneck
- Параллельные запросы с разной длиной контекста - требует тонкой настройки, как в техниках для параллельных запросов
Но вот где он сияет: длинные документы, чаты с историей, кодовая база на 100к строк. То, что раньше требовало A100 80GB, теперь работает на 4090.
Интеграция: проще, чем кажется
Monarch v3 не требует переписывания моделей. Это плагин для популярных фреймворков:
--kv-cache-monarch. Для llama.cpp - конфигурационная строка в GGUF. Для собственных реализаций - API из 3 функций: init_page, load_page, evict_page.Самый болезненный момент: настройка размера страницы. Слишком маленькая - много overhead. Слишком большая - мало экономии. Авторы дают калькулятор, но лучше смотреть практические руководства по оптимизации.
Кому это нужно прямо сейчас
Три категории пользователей:
- Стартапы с ограниченным GPU парком - можно запускать 70B модели на картах 24GB без квантования
- Исследователи, работающие с длинными контекстами - анализ научных статей, юридических документов
- Разработчики coding assistants - те самые, кто страдал от глупения агентов на длинном контексте
Не нужно: если работаешь только с короткими запросами или имеешь доступ к кластеру H100. Там другие проблемы.
Что будет дальше с этим подходом
К апрелю 2026 уже видны тренды:
- Аппаратная поддержка - NVIDIA анонсировала Page-Aware Tensor Cores в Blackwell Next
- Гибрид с квантованием - Monarch v4 обещает комбинацию с Delta-KV сжатием
- Предсказание на уровне графа вычислений - не только какие страницы, но когда их подгружать
Самая интересная возможность: adaptive page size. Сейчас размер страницы фиксированный. В будущем - динамический, в зависимости от паттернов внимания в конкретной последовательности.
Мой прогноз: к концу 2026 подкачка KV cache станет стандартной фичей во всех inference-фреймворках. Как сейчас PagedAttention в vLLM. Те, кто освоит Monarch v3 сейчас, получат преимущество на 6-8 месяцев.
Парадокс: техника из 8-битных игровых консолей 1980-х оптимизирует самые современные AI модели. Иногда прогресс - это не изобретение нового, а умное применение забытого старого.
