Первый успешный запрос ещё не определяет архитектуру
LLM можно вызвать через готовый API, развернуть самостоятельно на арендованном сервере или запустить на собственном оборудовании. Выбор зависит от качества ответов, нагрузки, требований к данным и возможностей сопровождения. Удачный демонстрационный запрос не показывает, сколько будет стоить стабильная работа сервиса.
Три ошибки при выборе стратегии
Считать только средний трафик
Измеряйте входные и выходные токены, повторные запросы, пики конкурентности и допустимую задержку. Нагрузка прототипа может сильно отличаться от продакшена. При неизменных параметрах стоимость API обычно растёт вместе с потреблением, а не превращается неизбежно в «финансовую чёрную дыру».
Проверять данные после запуска
До передачи запросов выясните, что содержат промпты, где обрабатываются данные, кто имеет доступ и сколько хранятся логи. Применимые требования вместе с разработчиком должны оценить юрист и специалист по безопасности.
Не готовиться к смене модели или провайдера
Миграция зависит от инструментов, формата запросов, промптов и тестов качества. Её нельзя заранее оценить универсальными «шестью месяцами». Подготовьте проверяемый набор задач и отдельно фиксируйте провайдерские зависимости.
Матрица выбора: четыре стратегии
| Стратегия | Что вы контролируете | Что включить в бюджет | Что проверить |
|---|---|---|---|
| Готовый API | Промпты, клиент, лимиты и обработку ответа | Потребление, дополнительные функции и поддержку | Качество, доступные регионы, данные, лимиты и переносимость |
| Self-hosted в арендуемом облаке | Модель и выбранный уровень программного стека | Аренду, сеть, хранение и работу команды | Доступность GPU, эксплуатацию и границы ответственности провайдера |
| Собственное оборудование | Оборудование и программное окружение | Закупку, питание, охлаждение, резерв и сопровождение | Вместимость модели, пропускную способность и восстановление после отказа |
| Гибрид | Маршрутизацию между согласованными средами | Стоимость каждого канала и дополнительную сложность | Правила данных, качество маршрутизации и поведение fallback |
Как сравнить стоимость API
Возьмите цены выбранной модели на дату расчёта и разделите входные, выходные и кэшированные токены, если они тарифицируются по-разному. Добавьте отдельно оплачиваемые инструменты, поиск, хранение и повторные вызовы. Максимальное окно контекста не означает, что каждый запрос оплачивается как заполненное окно.
Базовая формула без дополнительных услуг: C_API = N_in / 1 000 000 × P_in + N_out / 1 000 000 × P_out, где N — объём токенов за период, P — соответствующая ставка за миллион. Валюту, налоги, скидки и режим обработки учитывайте одинаково для всех вариантов.
Для разных токенизаторов сравнивайте стоимость одинаковой решённой задачи на одном наборе данных. Одна цена «за 100 тысяч токенов» без соотношения входа и выхода, модели и режима не даёт честного сравнения.
Самостоятельный хостинг: аренда или покупка
Self-hosted означает, что вы обслуживаете модель сами; это может быть как собственный сервер, так и арендованные ресурсы. Аренда не является локальным размещением внутри вашей организации, поэтому требования к провайдеру и передаче данных остаются актуальны.
Для сравнения арендуемых конфигураций можно посмотреть Timeweb Cloud (партнёрская ссылка). Выбирайте CPU/GPU и объём памяти по результатам теста модели, затем сравнивайте полный месячный бюджет. Не считайте стоимость VM готовой стоимостью безопасного LLM-сервиса.
Проверка пропускной способности
Чистая арифметика: при суммарной скорости генерации 100 выходных токенов в секунду и непрерывной работе 24 часа теоретический максимум — 100 × 86 400 = 8 640 000 выходных токенов в сутки. Это меньше 10 миллионов. Для 10 миллионов нужно не менее 10 000 000 / 86 400 ≈ 115,74 токена в секунду даже без простоев.
Это расчёт единиц, а не бенчмарк конкретной модели или GPU. Если число 100 относится к одному потоку, а не общей пропускной способности сервера, нужен отдельный тест конкурентных запросов. Обработку входных токенов, пики, простои и целевую p95 также учитывают отдельно.
Полная стоимость и окупаемость
Для ежемесячного TCO собственного оборудования можно распределить закупку по выбранному сроку эксплуатации, затем добавить питание, размещение, сеть, хранение, резервирование и работу команды. Срок и остаточную стоимость задавайте как допущения, а не универсальное правило «сервер живёт три года».
Простая денежная окупаемость покупки считается иначе: месяцы = начальные вложения / (избегаемые расходы API в месяц − текущие расходы self-hosted в месяц). В текущие расходы для этой формулы не включайте амортизацию той же покупки повторно. Если разница не положительна или сервер не обеспечивает нужную нагрузку и качество, заявлять окупаемость нельзя.
Подробнее о структуре расчёта — в материале об окупаемости собственного оборудования. Подставляйте актуальные предложения и собственные измерения, а не неподтверждённые цены или срок «восемь месяцев».
Гибридная архитектура: как не сойти с ума
Гибрид полезен, если разные классы запросов требуют разных моделей или условий обработки. Он добавляет собственную стоимость и сложность, поэтому подходит не всем. Возможная схема:
- Базовые запросы - на локальных моделях через Ollama или llama.cpp
- Сложные задачи - на облачных API
- Роутер решает, куда отправлять запрос
Технически это выглядит как прокси-сервер с интеллектом. Он знает:
- Сложность запроса (можно оценить по длине, ключевым словам)
- Текущую загрузку локальных GPU
- Бюджет на облачные вызовы
- Согласованные правила данных: какие сведения разрешено отправлять каждому провайдеру и в какой регион
Локальную часть можно обслуживать подходящим inference runtime, а маршрутизацию вынести в отдельный сервис. Запрет на передачу данных должен сохраняться при ошибках и fallback: недоступность локальной модели не разрешает автоматически отправить закрытые данные во внешний API.
Миграция: как уменьшить зависимость от провайдера
Вынесите вызовы модели в отдельный адаптер, когда это оправдано архитектурой. Единый интерфейс не делает модели взаимозаменяемыми: различаются инструменты, формат диалога, лимиты, ошибки и качество.
from typing import Protocol
class LLMProvider(Protocol):
def generate(self, prompt: str, *, max_output_tokens: int) -> str:
...
# Для каждого провайдера реализуйте отдельный адаптер.
# Это интерфейс, а не готовая реализация внешних API.Тестируйте не только успешный ответ, но и таймаут, ограничение скорости, отказ инструмента и несовместимый формат. При смене модели повторите оценку качества и данных. Часть параметров генерации может не иметь прямого аналога у другого провайдера.
Контроль данных: требования проверяются по сценарию
HIPAA, GDPR и PCI DSS не устанавливают универсальное правило «любое облако запрещено, нужен только локальный сервер». Применимость требований зависит от данных, участников, договора, региона и технических мер. Это общий ориентир для проектирования, а не юридическое заключение по вашему продукту.
- HIPAA. HHS прямо рассматривает облачную обработку ePHI при соблюдении применимых требований, включая соответствующий BAA и анализ рисков.
- GDPR. Нужны правовое основание, договорные и технические меры; для передачи за пределы ЕЭЗ применяются отдельные условия. Руководство EDPB не сводит их к запрету любого внешнего провайдера.
- PCI DSS. Передача обработки подрядчику не отменяет ответственность организации. PCI SSC требует понимать охват услуг и распределение обязанностей; платёжные данные не следует без необходимости включать в LLM-промпты.
Для сведений со специальным режимом доступа, государственных тайн, требований локализации и отраслевых правил необходимо отдельное заключение профильных специалистов. Ни «облако», ни «собственный ЦОД» сами по себе не доказывают соответствие.
Составьте карту потоков данных: промпты, ответы, логи, резервные копии, телеметрия и доступ поддержки. Затем задайте минимальные права, сроки хранения, шифрование, аудит и порядок удаления. Сетевую изоляцию подбирают по модели угроз; термин zero trust не означает просто отсутствие внешних вызовов.
О технической стороне закрытого контура — материал о локальном ИИ для бизнеса. Проверку договора и требований к конкретным данным он не заменяет.
Практический план выбора
1Считаем реальную нагрузку
Не предполагаем. Измеряем. Запускаете нагрузочное тестирование на реальных сценариях.
Сколько токенов в среднем запросе? Сколько запросов в час в пик? Какая задержка приемлема?
Без этих цифр любое решение - гадание на кофейной гуще.
2Проверяем юридические требования
Собираете команду: разработчик, юрист, security-специалист.
Задаёте один вопрос: «Какие данные будут проходить через LLM?»
Ответ определяет допустимые варианты обработки и круг дополнительных проверок.
3Строим финансовую модель
Считаем три сценария:
- Только облако (месячные платежи)
- Только локально (капитальные затраты + эксплуатация)
- Гибрид (расходы каналов, маршрутизации и сопровождения)
Не забываем про скрытые затраты:
- Обучение команды (локальный хостинг требует экспертизы)
- Миграция между провайдерами
- Резервирование и восстановление: проверяйте целевые RTO/RPO и условия SLA для каждой архитектуры
4Тестируем на реальных данных
Подготовьте представительный набор обезличенных или разрешённых к обработке запросов. Чувствительные данные не отправляйте в неподтверждённые среды. Проверьте разные конфигурации:
- Доступный вам облачный API с зафиксированной версией модели и актуальными условиями
- Локальная модель через vLLM или llama.cpp
- Гибридный подход
Сравниваете не только качество ответов, но и:
- Задержку (p95, p99)
- Стабильность (сколько ошибок)
- Стоимость (реальную, с учётом всех факторов)
Что проверить перед выбором
- Есть ли лимиты расходов и уведомления о росте использования?
- Не покупается ли инфраструктура до проверки бизнес-гипотезы?
- Разделены ли данные по допустимым маршрутам обработки?
- Проверены ли смена модели, отказ провайдера и восстановление?
- Сохранены ли входные данные расчёта: дата тарифа, нагрузка, конфигурация и допущения?
Практичный старт без фиксированного рецепта
Для прототипа выбирайте самый простой допустимый вариант, затем сравните его с самостоятельным запуском на согласованном наборе задач. Для локального эксперимента можно изучить сравнение LM Studio и llama.cpp, учитывая память устройства и совместимость модели.
Не назначайте заранее доли «80% локально, 20% в облако» или единый бюджет для любой компании. Маршрутизацию и расходы определяют измерения. Если одна модель в одной среде закрывает задачу, дополнительный гибридный слой может не потребоваться.
Выберите решение, которое проходит проверки качества, данных, производительности и бюджета. Зафиксируйте, при каких изменениях нагрузки, тарифов или требований вы пересмотрите архитектуру.