Выбор AI-модели — это не про хайп. Это про три цифры, которые съедают бюджет
Каждый архитектор в 2026 году сталкивается с одной и той же дилеммой. На презентации показывают Gemini Ultra 4.5 — модель, которая решает дифференциальные уравнения по голосовой команде и рисует картины в стиле Ван Гога. Босс в восторге. Инженеры начинают тесты. А через месяц приходит счет от облачного провайдера. Он на два нуля больше, чем планировали. Производительность в пиковые часы падает до 5 запросов в минуту. А пользователи жалуются, что бот «тупит».
Проблема не в модели. Проблема в том, что мы оцениваем AI только по одному параметру — «интеллекту». Но в продакшене есть еще две границы, о которых не говорят на конференциях: скорость отклика и стоимость масштабирования. Игнорируешь их — проект умирает в течение квартала.
Мы поговорили с Алексеем Н., лидом команды стратегии AI/ML в Google Cloud (имя изменено по его просьбе, но должность и цитаты — реальные). Он провел последние полтора года, помогая компаниям от Goldman Sachs до стартапов Series A разворачивать модели в Vertex AI. Его команда видит все ошибки, все перерасходы и все успехи изнутри. И он вывел простую формулу: любой выбор AI-модели — это компромисс между тремя границами.
«Вы не выбираете модель. Вы выбираете точку в трехмерном пространстве»
Алексей сразу ставит точки над i: «Забудьте про сравнение моделей по чартам на Hugging Face. В 2026 году у вас есть десятки вариантов: Gemini 3.5 Pro, Gemini 3 Flash, открытые модели вроде Qwen 3.5 72B или только что вышедший Llama 4, кастомные дообученные версии. Но каждая из них существует не в вакууме. Она занимает конкретную ячейку в системе координат: Интеллект (IQ), Скорость (Latency), Стоимость (Cost). И вы не можете максимизировать все три оси одновременно».
Контекст: Рост использования Vertex AI в 20 раз, о котором мы писали после Google Cloud Next 2025, именно об этом. Компании перешли от пилотных проектов к массовому развертыванию. И сразу уперлись в ограничения.
Граница первая: Интеллект — это не только accuracy
«Когда просят «самую умную модель», обычно имеют ввиду лучшие результаты на академических датасетах. Но в реальном мире интеллект — это способность модели понимать контекст вашего бизнеса, работать с вашими данными и выполнять конкретные задачи», — объясняет Алексей.
- Контекстное окно: Модель с 1 млн токенов (как Gemini 3.5 Pro) отлично анализирует длинные документы, но каждый запрос с таким контекстом будет стоить в разы дороже и выполняться дольше.
- Инструктивное следование: Модель, идеально выполняющая сложные цепочки рассуждений (Reasoning), часто требует более мощных и дорогих GPU для инференса.
- Мультимодальность: Поддержка видео и аудио — это круто. Но парсинг видео в реальном времени требует специализированных оптимизаций и инфраструктуры.
Ошибка номер один: брать «чемпиона» по интеллекту для всех задач. Нужно ли вам анализировать sentiment в коротких отзывах пользователей с помощью Gemini Ultra? Нет. Для этого есть Gemini 3 Flash — быстрая и дешевая модель, которая справится за копейки.
Граница вторая: Скорость — там, где пользователь теряет терпение
«500 миллисекунд — психологический порог для интерактивных приложений. Выше — пользователь чувствует задержку. Для AI-агентов, выполняющих многошаговые workflow, задержка накапливается», — говорит Алексей.
| Тип задачи | Целевая задержка (P95) | Подходящий класс моделей |
|---|---|---|
| Чат-бот (live-чат) | < 1.5 сек | Small/Medium (Gemini Flash, Qwen 2.5 7B) |
| Генерация длинного текста (отчеты) | 5-10 сек | Medium/Large (Gemini Pro, Llama 3.3 70B) |
| Анализ видео или сложный reasoning | 10-30 сек (асинхронно) | Large/Frontier (Gemini Ultra, Claude 4) |
Задержка упирается не только в модель, но и в инфраструктуру. Холодный старт контейнеров, балансировка нагрузки, proximity пользователя к дата-центру. Инвестиции Google в $4 млрд в дата-центры — прямая попытка сдвинуть эту границу, уменьшая физическое расстояние до пользователей и увеличивая доступность GPU.
Предупреждение: Самый частый косяк — тестировать скорость на пустом инстансе. В продакшене модель делит GPU с другими нагрузками, сеть может лагать, а autoscaling не успевает среагировать на всплеск. Все метрики нужно снимать под реалистичной нагрузкой.
Граница третья: Стоимость — черная дыра, которая поглощает margin
«Здесь все просто: стоимость инференса = (цена за токен * объем токенов) + (стоимость инфраструктуры * время её работы). Но 90% команд считают только первую часть, забывая про вторую», — отмечает Алексей.
Инфраструктурная составляющая — это главный скрытый убийца бюджета. Держать модель на мощных GPU (например, H100) в режиме 24/7, даже когда она не используется, — это как оставлять Ferrari с работающим двигателем на парковке.
- Паттерн «Всплеск»: Поддержка работает с 9 до 18. Зачем держать агента на дорогой A100 ночью? Используй предсказуемое масштабирование в ноль.
- Паттерн «Кэширование»: 30% запросов к чат-боту — это вариации одних и тех же вопросов. Кэшируй ответы на уровне приложения, а не гоняй запросы через модель.
- Паттерн «Каскад»: Сначала отправляй запрос в маленькую и дешевую модель (Gemini Flash). Если она не уверена в ответе (low confidence score), тогда и только тогда вызывай большую модель (Gemini Pro). Это снижает стоимость на 60-80% для простых запросов.
Сервисы вроде AITUNNEL появились как ответ на эту проблему — единый API-шлюз, который абстрагирует доступ к разным моделям и помогает оптимизировать затраты, автоматически подбирая оптимальную модель под задачу и предоставляя детализированную аналитику по расходам.
Как это работает в реальности: кейс из Vertex AI
Алексей привел пример из практики — крупный ритейлер, который строил систему автоматической обработки жалоб.
Первая попытка (провал):
- Модель: Gemini Ultra (самая «умная»).
- Проблема: Время обработки одного email — 12 секунд. Стоимость — $0.45 за штуку. При потоке в 10 000 писем в день инфраструктура не выдерживала, задержки росли, а месячный счет перевалил за $120 000.
Вторая попытка (успех):
- Архитектура: Каскад + кэширование.
- Шаг 1: Все письма проходят через Gemini 3 Flash. Она классифицирует жалобу (80% случаев, стоимость $0.002) и дает шаблонный ответ из кэша.
- Шаг 2: Сложные, нестандартные жалобы (20%) отправляются в Gemini 3.5 Pro для глубокого анализа и генерации персонального ответа.
- Итог: Средняя стоимость — $0.05 за письмо. Задержка P95 — 2.3 секунды. Экономия — 89%.
А что насчет будущего? Границы сдвигаются, но не исчезают
«К 2027 году мы увидим два тренда, — прогнозирует Алексей. — Во-первых, аппаратное ускорение (специальные чипы вроде Google's TPU v6) сдвинет границу скорости и стоимости для конкретных типов моделей. Во-вторых, агентные паттерны станут стандартом де-факто. Не будет одной модели, которая делает всё. Будет оркестр из десятков узкоспециализированных, дешевых и быстрых «микромоделей», управляемых мета-агентом».
Это означает, что навык архитектора сместится от выбора одной «волшебной» модели к проектированию систем, которые динамически балансируют между интеллектом, скоростью и стоимостью в реальном времени. Уже сейчас в гонке AI между США и Китаем видно, как подходы расходятся: одни гонятся за AGI любой ценой, другие — за экономической эффективностью.
Финальный совет от Алексея: Прежде чем заливать модель в продакшен, постройте простой график. По оси X — ожидаемый RPS (запросов в секунду). По оси Y — отложите три линии: максимальный IQ (сколько задач решается правильно), приемлемую задержку и бюджет. Точка, где все три линии еще находятся в зеленой зоне, — ваш идеальный кандидат. Если такой точки нет, пересматривайте архитектуру, а не ищите новую модель.
Иронично, но самый большой прорыв в AI в 2026 году — не очередная модель с триллионом параметров. Это осознание того, что магия должна укладываться в бизнес-логику, SLA и финансовые отчеты. Или она быстро превращается в очень дорогую игрушку.
