Перейти к содержанию
Публикация AiManual

Как выбрать стратегию развёртывания LLM: от облачных API до локального хостинга

Как выбрать размещение LLM: сравнить API, аренду GPU и своё оборудование, проверить нагрузку, требования к данным, TCO и срок окупаемости.

Коротко

Что будет в материале

  1. 01

    Первый успешный запрос ещё не определяет архитектуру

  2. 02

    Три ошибки при выборе стратегии

  3. 03

    Матрица выбора: четыре стратегии

  4. 04

    Как сравнить стоимость API

Первый успешный запрос ещё не определяет архитектуру

LLM можно вызвать через готовый API, развернуть самостоятельно на арендованном сервере или запустить на собственном оборудовании. Выбор зависит от качества ответов, нагрузки, требований к данным и возможностей сопровождения. Удачный демонстрационный запрос не показывает, сколько будет стоить стабильная работа сервиса.

Три ошибки при выборе стратегии

Считать только средний трафик

Измеряйте входные и выходные токены, повторные запросы, пики конкурентности и допустимую задержку. Нагрузка прототипа может сильно отличаться от продакшена. При неизменных параметрах стоимость API обычно растёт вместе с потреблением, а не превращается неизбежно в «финансовую чёрную дыру».

Проверять данные после запуска

До передачи запросов выясните, что содержат промпты, где обрабатываются данные, кто имеет доступ и сколько хранятся логи. Применимые требования вместе с разработчиком должны оценить юрист и специалист по безопасности.

Не готовиться к смене модели или провайдера

Миграция зависит от инструментов, формата запросов, промптов и тестов качества. Её нельзя заранее оценить универсальными «шестью месяцами». Подготовьте проверяемый набор задач и отдельно фиксируйте провайдерские зависимости.

Матрица выбора: четыре стратегии

СтратегияЧто вы контролируетеЧто включить в бюджетЧто проверить
Готовый APIПромпты, клиент, лимиты и обработку ответаПотребление, дополнительные функции и поддержкуКачество, доступные регионы, данные, лимиты и переносимость
Self-hosted в арендуемом облакеМодель и выбранный уровень программного стекаАренду, сеть, хранение и работу командыДоступность GPU, эксплуатацию и границы ответственности провайдера
Собственное оборудованиеОборудование и программное окружениеЗакупку, питание, охлаждение, резерв и сопровождениеВместимость модели, пропускную способность и восстановление после отказа
ГибридМаршрутизацию между согласованными средамиСтоимость каждого канала и дополнительную сложностьПравила данных, качество маршрутизации и поведение fallback

Как сравнить стоимость API

Возьмите цены выбранной модели на дату расчёта и разделите входные, выходные и кэшированные токены, если они тарифицируются по-разному. Добавьте отдельно оплачиваемые инструменты, поиск, хранение и повторные вызовы. Максимальное окно контекста не означает, что каждый запрос оплачивается как заполненное окно.

Базовая формула без дополнительных услуг: C_API = N_in / 1 000 000 × P_in + N_out / 1 000 000 × P_out, где N — объём токенов за период, P — соответствующая ставка за миллион. Валюту, налоги, скидки и режим обработки учитывайте одинаково для всех вариантов.

Для разных токенизаторов сравнивайте стоимость одинаковой решённой задачи на одном наборе данных. Одна цена «за 100 тысяч токенов» без соотношения входа и выхода, модели и режима не даёт честного сравнения.

Самостоятельный хостинг: аренда или покупка

Self-hosted означает, что вы обслуживаете модель сами; это может быть как собственный сервер, так и арендованные ресурсы. Аренда не является локальным размещением внутри вашей организации, поэтому требования к провайдеру и передаче данных остаются актуальны.

Для сравнения арендуемых конфигураций можно посмотреть Timeweb Cloud (партнёрская ссылка). Выбирайте CPU/GPU и объём памяти по результатам теста модели, затем сравнивайте полный месячный бюджет. Не считайте стоимость VM готовой стоимостью безопасного LLM-сервиса.

Проверка пропускной способности

Чистая арифметика: при суммарной скорости генерации 100 выходных токенов в секунду и непрерывной работе 24 часа теоретический максимум — 100 × 86 400 = 8 640 000 выходных токенов в сутки. Это меньше 10 миллионов. Для 10 миллионов нужно не менее 10 000 000 / 86 400 ≈ 115,74 токена в секунду даже без простоев.

Это расчёт единиц, а не бенчмарк конкретной модели или GPU. Если число 100 относится к одному потоку, а не общей пропускной способности сервера, нужен отдельный тест конкурентных запросов. Обработку входных токенов, пики, простои и целевую p95 также учитывают отдельно.

Полная стоимость и окупаемость

Для ежемесячного TCO собственного оборудования можно распределить закупку по выбранному сроку эксплуатации, затем добавить питание, размещение, сеть, хранение, резервирование и работу команды. Срок и остаточную стоимость задавайте как допущения, а не универсальное правило «сервер живёт три года».

Простая денежная окупаемость покупки считается иначе: месяцы = начальные вложения / (избегаемые расходы API в месяц − текущие расходы self-hosted в месяц). В текущие расходы для этой формулы не включайте амортизацию той же покупки повторно. Если разница не положительна или сервер не обеспечивает нужную нагрузку и качество, заявлять окупаемость нельзя.

Подробнее о структуре расчёта — в материале об окупаемости собственного оборудования. Подставляйте актуальные предложения и собственные измерения, а не неподтверждённые цены или срок «восемь месяцев».

Гибридная архитектура: как не сойти с ума

Гибрид полезен, если разные классы запросов требуют разных моделей или условий обработки. Он добавляет собственную стоимость и сложность, поэтому подходит не всем. Возможная схема:

  • Базовые запросы - на локальных моделях через Ollama или llama.cpp
  • Сложные задачи - на облачных API
  • Роутер решает, куда отправлять запрос

Технически это выглядит как прокси-сервер с интеллектом. Он знает:

  • Сложность запроса (можно оценить по длине, ключевым словам)
  • Текущую загрузку локальных GPU
  • Бюджет на облачные вызовы
  • Согласованные правила данных: какие сведения разрешено отправлять каждому провайдеру и в какой регион

Локальную часть можно обслуживать подходящим inference runtime, а маршрутизацию вынести в отдельный сервис. Запрет на передачу данных должен сохраняться при ошибках и fallback: недоступность локальной модели не разрешает автоматически отправить закрытые данные во внешний API.

Миграция: как уменьшить зависимость от провайдера

Вынесите вызовы модели в отдельный адаптер, когда это оправдано архитектурой. Единый интерфейс не делает модели взаимозаменяемыми: различаются инструменты, формат диалога, лимиты, ошибки и качество.

from typing import Protocol

class LLMProvider(Protocol):
    def generate(self, prompt: str, *, max_output_tokens: int) -> str:
        ...

# Для каждого провайдера реализуйте отдельный адаптер.
# Это интерфейс, а не готовая реализация внешних API.

Тестируйте не только успешный ответ, но и таймаут, ограничение скорости, отказ инструмента и несовместимый формат. При смене модели повторите оценку качества и данных. Часть параметров генерации может не иметь прямого аналога у другого провайдера.

Контроль данных: требования проверяются по сценарию

HIPAA, GDPR и PCI DSS не устанавливают универсальное правило «любое облако запрещено, нужен только локальный сервер». Применимость требований зависит от данных, участников, договора, региона и технических мер. Это общий ориентир для проектирования, а не юридическое заключение по вашему продукту.

  • HIPAA. HHS прямо рассматривает облачную обработку ePHI при соблюдении применимых требований, включая соответствующий BAA и анализ рисков.
  • GDPR. Нужны правовое основание, договорные и технические меры; для передачи за пределы ЕЭЗ применяются отдельные условия. Руководство EDPB не сводит их к запрету любого внешнего провайдера.
  • PCI DSS. Передача обработки подрядчику не отменяет ответственность организации. PCI SSC требует понимать охват услуг и распределение обязанностей; платёжные данные не следует без необходимости включать в LLM-промпты.

Для сведений со специальным режимом доступа, государственных тайн, требований локализации и отраслевых правил необходимо отдельное заключение профильных специалистов. Ни «облако», ни «собственный ЦОД» сами по себе не доказывают соответствие.

Составьте карту потоков данных: промпты, ответы, логи, резервные копии, телеметрия и доступ поддержки. Затем задайте минимальные права, сроки хранения, шифрование, аудит и порядок удаления. Сетевую изоляцию подбирают по модели угроз; термин zero trust не означает просто отсутствие внешних вызовов.

О технической стороне закрытого контура — материал о локальном ИИ для бизнеса. Проверку договора и требований к конкретным данным он не заменяет.

Практический план выбора

1Считаем реальную нагрузку

Не предполагаем. Измеряем. Запускаете нагрузочное тестирование на реальных сценариях.

Сколько токенов в среднем запросе? Сколько запросов в час в пик? Какая задержка приемлема?

Без этих цифр любое решение - гадание на кофейной гуще.

2Проверяем юридические требования

Собираете команду: разработчик, юрист, security-специалист.

Задаёте один вопрос: «Какие данные будут проходить через LLM?»

Ответ определяет допустимые варианты обработки и круг дополнительных проверок.

3Строим финансовую модель

Считаем три сценария:

  • Только облако (месячные платежи)
  • Только локально (капитальные затраты + эксплуатация)
  • Гибрид (расходы каналов, маршрутизации и сопровождения)

Не забываем про скрытые затраты:

  • Обучение команды (локальный хостинг требует экспертизы)
  • Миграция между провайдерами
  • Резервирование и восстановление: проверяйте целевые RTO/RPO и условия SLA для каждой архитектуры

4Тестируем на реальных данных

Подготовьте представительный набор обезличенных или разрешённых к обработке запросов. Чувствительные данные не отправляйте в неподтверждённые среды. Проверьте разные конфигурации:

  • Доступный вам облачный API с зафиксированной версией модели и актуальными условиями
  • Локальная модель через vLLM или llama.cpp
  • Гибридный подход

Сравниваете не только качество ответов, но и:

  • Задержку (p95, p99)
  • Стабильность (сколько ошибок)
  • Стоимость (реальную, с учётом всех факторов)

Что проверить перед выбором

  • Есть ли лимиты расходов и уведомления о росте использования?
  • Не покупается ли инфраструктура до проверки бизнес-гипотезы?
  • Разделены ли данные по допустимым маршрутам обработки?
  • Проверены ли смена модели, отказ провайдера и восстановление?
  • Сохранены ли входные данные расчёта: дата тарифа, нагрузка, конфигурация и допущения?

Практичный старт без фиксированного рецепта

Для прототипа выбирайте самый простой допустимый вариант, затем сравните его с самостоятельным запуском на согласованном наборе задач. Для локального эксперимента можно изучить сравнение LM Studio и llama.cpp, учитывая память устройства и совместимость модели.

Не назначайте заранее доли «80% локально, 20% в облако» или единый бюджет для любой компании. Маршрутизацию и расходы определяют измерения. Если одна модель в одной среде закрывает задачу, дополнительный гибридный слой может не потребоваться.

Выберите решение, которое проходит проверки качества, данных, производительности и бюджета. Зафиксируйте, при каких изменениях нагрузки, тарифов или требований вы пересмотрите архитектуру.