Инвестиционный ураган, который все пропустили
Пока все обсуждали очередной раунд Anthropic или суперчип от Nvidia, в январе 2026 года случилось тихое землетрясение. vLLM, стартап из Калифорнии, который два года назад был просто open-source библиотекой для ускорения инференса, закрыл раунд на $150 млн при оценке в $2.3 млрд.
Звучит как очередная история успеха в Кремниевой долине. Но если копнуть глубже, окажется, что эти деньги — не просто инвестиции. Это ставка на полную переделку рынка инференса, который до сих пор был вотчиной гигантов вроде Nvidia с их проприетарными Triton и TensorRT.
PagedAttention: трюк из 90-х, который спасает память GPU
Вся магия vLLM крутится вокруг одной простой идеи, которую украли из операционных систем. PagedAttention работает так же, как виртуальная память в вашем компьютере: она разбивает ключевые значения (KV-cache) модели на страницы.
Зачем это нужно? Представьте, что вы запускаете Llama 4 405B (да, именно ту самую, которая в начале 2026 года всех удивила своими способностями). Ее KV-cache для контекста в 128К токенов занимает примерно 120 ГБ памяти. Одна только память. Без весов модели.
PagedAttention позволяет хранить эти 120 ГБ не как монолитную глыбу, а как набор страниц. Когда модель генерирует текст, она обращается только к нужным страницам. Остальные можно выгрузить из памяти или даже переместить между GPU.
| Параметр | Без PagedAttention | С PagedAttention (vLLM 0.4.1) |
|---|---|---|
| Память под KV-cache (Llama 4 405B, 128К) | ~120 ГБ | ~40 ГБ (сжатие + страницы) |
| Максимальная длина контекста на H100 | 32К токенов | 128К+ токенов |
| Поддержка динамических батчей | Ограниченная | Полная |
Но самое интересное началось в конце 2025 года, когда vLLM выпустили версию 0.4.0 с Inferact — системой планирования запросов, которая сводит с ума своей простотой.
Inferact: когда планировщик запросов становится операционной системой
До Inferact работа с очередью запросов к LLM напоминала попытку управлять аэропортом через Excel. Каждый запрос — отдельный процесс, своя память, свои проблемы с синхронизацией.
Inferact превратил это в нечто элегантное. Теперь vLLM работает как веб-сервер для моделей: принимает сотни запросов, автоматически батчит их, распределяет по доступным GPU, следит за приоритетами и даже умеет прерывать генерацию, если пользователь передумал.
Важный нюанс: Inferact в vLLM 0.4.1 до сих пор плохо работает с очень длинными контекстами (1М+ токенов). Для таких случаев лучше смотреть в сторону специализированных решений, как мы писали в статье про Claude Code против Llama-4 Scout.
Но настоящая битва разворачивается не в эффективности памяти, а в том, что индустрия называет «временем до первого токена» (TTFT). Или, если говорить человеческим языком, в борьбе с холодным стартом.
Холодный старт: главный враг инференса в 2026 году
Представьте: вы запускаете приложение с ИИ-ассистентом. Пользователь задает вопрос. А система молчит 15 секунд, пока загружает модель в память GPU. Пользователь уходит. Вы теряете деньги.
Это и есть холодный старт — время, которое требуется для загрузки модели из хранилища в память GPU и подготовки к работе. Для Llama 4 405B это может быть 30-45 секунд даже на быстрых NVMe дисках.
vLLM атакует эту проблему с трех сторон:
- Мгновенный запуск через snapshotting: система сохраняет «снимок» уже загруженной модели в памяти GPU и быстро восстанавливает его
- Прогрессивная загрузка: модель начинает отвечать, когда загружены только первые слои, остальные подтягиваются в фоне
- Общие веса между инстансами: если у вас работает 10 копий одной модели, они используют общие веса в памяти
Результат? TTFT сократился с десятков секунд до 2-3 секунд для большинства моделей. Для бизнеса, который разворачивает локальный ИИ за бетонной стеной, это разница между рабочим решением и провальным проектом.
Стандартизация: попытка создать HTTP для инференса
Самая амбициозная часть плана vLLM — не технологии, а стандарты. Команда активно продвигает OpenAI-совместимый API как де-факто стандарт для инференса.
Почему это важно? Потому что сейчас каждый фреймворк для инференса предлагает свой API. TensorRT, Triton, DeepSpeed, Hugging Face TGI — у всех разные эндпоинты, разные форматы запросов, разные настройки.
vLLM говорит: «Забудьте. Используйте один API, а под капотом может быть что угодно». Их движок уже поддерживает:
- Полную совместимость с OpenAI API (чаты, completion, embeddings)
- Поддержку AMD MI300X и Intel Gaudi 3 через абстрактные бэкенды
- Автоматическое определение оптимальных параметров для каждой модели
Это меняет правила игры для разработчиков. Теперь можно написать приложение один раз и запускать его на любом железе — от кластера H100 до одиночной карты AMD.
Куда пойдут $150 млн? Пять ставок vLLM на 2026-2027
Инвестиции такого масштаба — это не просто деньги на развитие. Это дорожная карта. Исходя из утечек и заявлений основателей, vLLM ставит на пять направлений:
- Собственные AI-ускорители: не чипы, а специализированные карты с оптимизированной под PagedAttention памятью
- vLLM Cloud: managed-сервис для инференса, который конкурирует с AWS SageMaker и Google Vertex AI
- Поддержка мультимодальности: оптимизация не только для текста, но и для LLaVA-подобных моделей
- Кэширование на уровне инференса: система, которая запоминает похожие запросы и выдает ответы без запуска модели
- Интеграция с ИИ-агентами: специальные оптимизации для цепочек рассуждений
Особенно интересен пункт про собственные ускорители. vLLM не собирается конкурировать с Nvidia в производстве GPU. Вместо этого они работают с партнерами над картами, где память оптимизирована именно для их алгоритмов PagedAttention.
Что это значит для вас? Три практических вывода
Если вы разработчик или архитектор, который работает с LLM, вот что нужно запомнить:
1. vLLM становится стандартом де-факто. Новые проекты стоит начинать с него, а не с кастомных решений на TensorRT. Экономия времени — месяцы.
2. Холодный старт больше не приговор. Техники из vLLM позволяют сократить TTFT до приемлемых значений. Это открывает двери для интерактивных приложений, где каждая секунда на счету.
3. Стандартизация API победит. Учите OpenAI-совместимый API. В ближайшие год-два он станет таким же обязательным, как REST для веба.
Но есть и темная сторона. vLLM, получив $150 млн, перестает быть нейтральным open-source проектом. Теперь это коммерческая компания с инвесторами, которые хотят отдачи. Уже в vLLM 0.4.1 появились функции, которые работают только в коммерческой версии.
Останется ли ядро проекта открытым? Или мы увидим классическую историю, когда стартап строит сообщество на open-source, а потом закрывает все интересное за платным доступом?
Пока ответа нет. Но одно ясно точно: битва за инференс только начинается. И $150 млн — это всего лишь первый залп.
P.S. Если думаете, стоит ли покупать железо для локального запуска после всех этих оптимизаций, посчитайте реальную экономию. Наша статья про Local LLM vs API поможет не ошибиться с выбором.
