Зачем платить $20 млн в месяц за запуск нейросетей?
Пока все обсуждают качество ответов GPT-5 или скорость генерации FLUX.2, реальная война в AI идёт в другом месте. В подсобке. Где счеты за вычисления измеряются не в тысячах, а в миллионах долларов. Где задержка в 50 миллисекунд может стоить клиента. Где стартапы, которые просто помогают запускать чужие модели, получают оценки в миллиарды.
Встречайте новый золотой рудник: инференс-инфраструктура.
Инференс (inference) — это процесс запуска уже обученной AI-модели для получения результата. Не обучение, а именно использование. Каждый ваш запрос к ChatGPT, Midjourney или любому другому сервису — это инференс. И он стоит денег.
Проблема, которая съедает бюджеты
В начале 2025 года аналитики из Sequoia подсчитали: крупные AI-компании тратят на инференс до 80% своих облачных расходов. Простой пример: сервис, который обрабатывает 10 миллионов запросов в день к модели размером с Llama 3.1 70B, может легко сжечь $2-3 миллиона в месяц только на вычислениях. И это без учёта инженерных команд, которые всё это поддерживают.
Проблема в том, что облачные провайдеры (AWS, GCP, Azure) продают вам сырое железо. GPU-инстансы. Вы получаете виртуальную машину с видеокартой и делайте что хотите. Но эффективно запускать на ней современные LLM — это отдельная инженерная задача. Нужно:
- Оптимизировать модель под конкретное железо (квантование, компиляция)
- Управлять батчингом запросов (объединять несколько запросов в один для эффективности)
- Масштабироваться под нагрузку (добавлять GPU когда много запросов, убирать когда мало)
- Следить за задержками (latency) — пользователь не будет ждать 5 секунд ответа
- Обеспечивать отказоустойчивость (что будет, если одна из видеокарт сломается?)
Именно эту боль и продают Modal, Baseten и Fireworks AI. Они берут на себя всю инженерную сложность. Вы даёте им модель (или выбираете из их каталога), а они предоставляют API. С предсказуемой стоимостью за токен. С гарантированной задержкой. С автоматическим масштабированием.
Modal Labs: Python-разработчики захватывают AI
Основатели Modal вышли из Stripe. И это чувствуется. Их подход — дать разработчикам инструменты, которые «просто работают». Никаких YAML-конфигов, kubectl или Terraform. Вы описываете свою функцию на Python, декорируете её @modal.function, и она автоматически разворачивается в облаке с GPU.
Что интересно: Modal изначально позиционировал себя как платформа для любых тяжёлых вычислений, не только AI. Но рынок сам расставил приоритеты. Сейчас 90% их клиентов запускают именно модели — от классических LLM до новых архитектур вроде FLUX.2.
Их последний раунд финансирования в ноябре 2025 года оценил компанию в $3.2 миллиарда. Инвесторы видят в них «Vercel для бэкенда» — платформу, которая станет стандартом для следующего поколения AI-приложений.
Baseten: когда инфраструктура — это продукт
Если Modal фокусируется на разработчиках, то Baseten идёт к enterprise. Их ключевое преимущество — тривиальное развёртывание. Загрузил модель (из Hugging Face, свою собственную, даже несколько версий одной модели), нажал кнопку «Deploy», получил endpoint. Всё.
Но под капотом — сложнейшая система оптимизации. Basaten автоматически применяет квантование, выбирает оптимальный формат модели (GGUF, AWQ, GPTQ), подбирает размер инстанса под вашу нагрузку. Их внутренние бенчмарки показывают, что для типичных нагрузок они могут снизить стоимость инференса на 40-60% по сравнению с «голым» GPU от AWS.
Их последняя фича, анонсированная в январе 2026 — интеллектуальное масштабирование до нуля (scale to zero). Если к вашей модели нет запросов, Baseten полностью её выгружает, не списывая деньги. Как только приходит запрос — модель загружается за 1-2 секунды. Для компаний с непостоянной нагрузкой (например, внутренние инструменты, используемые только в рабочее время) это экономит до 70% затрат.
Baseten привлек $200 миллионов в раунде Series C в декабре 2025 при оценке в $2.8 миллиарда. Интересно, что среди инвесторов — a16z, которые активно инвестируют в AI-инфраструктуру.
Fireworks AI: специалисты по скорости
Fireworks пошли другим путём. Они не продают инфраструктуру как услугу. Они продают скорость. Их основной продукт — сверхбыстрый инференс для популярных opensource-моделей. Заявляют о 2-3 раза более низких задержках по сравнению с конкурентами.
Секрет в их собственном стеке оптимизаций, который они называют «Inferno Engine». Комбинация низкоуровневых оптимизаций ядра, продвинутого кэширования контекста и умного батчинга. В независимых бенчмарках февраля 2026 Fireworks показывают лучшие TPS (tokens per second) для моделей семейства Mistral и Llama 3.1.
Но их реальная инновация — гибридный подход. Fireworks поддерживают как свои собственные сервера, так и развёртывание на инфраструктуре клиента. Вы можете запустить их оптимизированный движок в своём собственном облаке или дата-центре. Это критически важно для компаний с требованиями к безопасности данных или тем, кто уже закупил дорогое железо.
Оценка Fireworks после последнего раунда в октябре 2025 — $1.9 миллиарда. Несмотря на меньшую оценку, их нишевая фокусировка на производительности привлекает клиентов, для которых задержка — это продуктовая метрика (чат-боты, интерактивные помощники, игры).
Почему инвесторы сходят с ума?
Три компании. Три разных подхода. Один тренд. За последние 18 месяцев в инференс-инфраструктуру было инвестировано более $5 миллиардов. Почему?
| Причина | Что это значит | Пример из практики |
|---|---|---|
| Сдвиг от обучения к использованию | Компании перестали обучать свои модели с нуля. Теперь берут готовые opensource-модели и настраивают под себя. Инференс становится основной статьёй расходов. | Стартап потратил $500K на обучение модели, но $3M в месяц на её запуск для пользователей. |
| Мультимодальность | Раньше были только текстовые модели. Теперь — аудио, видео, изображения. Каждая модальность требует своей оптимизации. | Аудио-LLM в 5-10 раз дороже в инференсе, чем текстовые аналоги. |
| Демократизация больших моделей | Модели с 400B+ параметров (вроде Arcee Trinity) теперь доступны не только гигантам. Но запускать их эффективно — отдельная задача. | Запуск Trinity Large на «голом» A100 стоит $15/час. С оптимизациями — $7/час. |
Но есть и тёмная сторона. Все эти стартапы строят свой бизнес на марже между тем, что они платят облачным провайдерам, и тем, что берут с клиентов. Если AWS, Google или Microsoft решат предложить аналогичный сервис первого уровня (а они уже начинают), у специализированных игроков могут возникнуть проблемы.
Amazon уже тестирует Bedrock Managed Endpoints с автоматическим масштабированием. Microsoft интегрирует аналогичный функционал в Azure AI Studio. Облачные гиганты просыпаются.
Что будет дальше? Прогнозы на 2026-2027
1. Консолидация. Из десятков стартапов останется 3-4 крупных игрока. Остальных либо купят (скорее всего, не облачные гиганты, а компании вроде Databricks или Snowflake, которым нужна AI-инфраструктура), либо они закроются.
2. Вертикализация. Появятся специализированные платформы для конкретных типов моделей. Уже сейчас есть спрос на оптимизированный инференс для генерации музыки или видео — задачи с совершенно другим профилем нагрузки.
3. Гонка за аппаратными оптимизациями. С выходом новых чипов (NVIDIA Blackwell, AMD MI400, собственные чипы Google и Amazon) победит тот, кто быстрее адаптирует свой софт под новое железо. Методы вроде AETHER-X станут стандартом.
4. Edge-инференс. Запуск небольших моделей прямо на устройствах пользователей. Apple уже делает это с Creator Studio Pro. Но для этого нужны другие оптимизации — не по стоимости, а по размеру модели и энергопотреблению.
Итог? Инференс-инфраструктура — это не модная тема. Это фундамент, на котором будет построена следующая волна AI-продуктов. Потому что в 2026 году уже не важно, насколько умная у вас модель. Важно, насколько дёшево и быстро она работает. А миллиардные оценки Modal, Baseten и Fireworks AI — это просто ставки инвесторов на то, кто будет владеть этим фундаментом.
Мой прогноз: к концу 2026 года мы увидим первую IPO в этом секторе. И это будет не самый известный стартап, а тот, кто лучше всех решит самую скучную проблему — как считать деньги за каждый токен.
