Вы купили GPU на миллион, наняли трех ML-инженеров, натренировали прототип на коленке — а через месяц поняли, что бизнес-задача решается обычной SQL-функцией. Знакомо? 70% LLM-проектов не доходят до продакшена именно из-за того, что на старте никто не задал правильные вопросы.
Я собрал 10 вопросов, которые мы обсуждаем с каждым клиентом перед стартом. Не проигнорируете — сэкономите месяцы и миллионы.
Проверка №1. Какую бизнес-проблему мы решаем?
Самый тупой вопрос, который чаще всего пропускают. Ответ «у нас будет AI-ассистент» — не ответ. Конкретика: «сократить время обработки заявок с 5 минут до 30 секунд» или «уменьшить количество повторных обращений в поддержку на 40%».
Ошибка: начинать с технологии («давайте возьмем LLM и прикрутим к CRM»). Правильно: начинать с боли пользователя. Если болей нет — проект умрет сам.
Проверка №2. Как мы будем измерять успех?
Без метрик LLM-проект — черная дыра. Определите 3 уровня:
- Бизнес-метрики (NPS, конверсия, время решения)
- Качество ответов (точность, полнота, галлюцинации — считайте вручную на тестовой выборке)
- Технические метрики (latency p95, cost per request, throughput)
Совет: до запуска соберите бейзлайн — как задача решается сейчас. Иначе вы не докажете пользу LLM.
Проверка №3. Какую модель выбрать?
Здесь развилка: взять API (GPT-5, Claude 4, Gemini 2.5) или поднять open-source (Llama 4, Mistral Large 2, Qwen 2.5).
| Критерий | API | Self-hosted |
|---|---|---|
| Скорость запуска | Дни | Недели |
| Контроль данных | Низкий | Полный |
| Стоимость на 1M токенов | $2–$15 | $1–$5 (GPU амортизация) |
Совет: для первого релиза берите API. Self-hosted имеет смысл, когда объемы >10M токенов/день или нужна приватность. Подробнее про архитектуру — в статье "Паспорт требования: как правильно структурировать данные на входе для AI-агента".
Проверка №4. Сколько это будет стоить?
LLM-проекты жрут деньги незаметно. Вбейте в калькулятор:
- Объем: 10 000 запросов/день × 4000 токенов (prompt+completion) = 40M токенов/день
- API: $2/1M токенов → $80/день → $2400/мес
- Self-hosted: H100 кластер ~$30/час → $21 600/мес (без инженеров)
Цифры примерные, но порядок понятен. Всегда добавляйте +30% на итерации и дообучение.
Проверка №5. Как мы боремся с галлюцинациями?
Ваш ChatGPT врёт вам в лицо — это не баг, а фича. Для продакшна нужно:
- RAG — подгружать факты из базы знаний
- Guardrails — NeMo Guardrails или Guardrails AI
- Human-in-the-loop — сверять критичные ответы живым человеком
Без этого LLM будет выдавать уверенную чушь. История про стратегические советы от ChatGPT — читайте тут.
Проверка №6. Как защищаем данные и приватность?
Проверьте, не попадут ли PII, финансовая информация или коммерческая тайна на сервера OpenAI. Если да — нужен self-hosted или подписать BAA (Business Associate Agreement).
Реальная история: финтех-стартап отправил в GPT-4 выписки по счетам, а через неделю модель начала галлюцинировать цифрами из тех же выписок. Данные утекли в fine-tuning.
Проверка №7. Как масштабируем?
Одно дело — 10 запросов в день в ноутбуке, другое — 1000 RPS в бою. Заранее продумайте:
- Кэширование повторяющихся запросов (Redis, semantic cache)
- Балансировку между моделями (роутинг на более дешевую для простых задач)
- Автоскейлинг GPU-кластера (Kubernetes + Karpenter + spot instances)
Проверка №8. Как мониторим и логируем?
Без observability вы слепы. Минимальный набор:
- Трейсинг каждого запроса (LangSmith, Phoenix Arize, Weights & Biases)
- Метрики: latency, токены, cost per user
- Логирование промптов и ответов (с маскировкой PII)
- Alerting на аномалии (резкий рост галлюцинаций, падение точности)
Совет: закладывайте логи с первого дня. Иначе когда модель начнет тупить, вы не сможете откатить.
Проверка №9. Как собираем данные для улучшения?
Самая частая ошибка — запустить и забыть. Нужна система обратной связи:
- Кнопки «like/dislike» с комментарием
- Анотирование неправильных ответов (вручную или полуавтоматически)
- Постоянное пополнение тестового сета новыми кейсами
Только так вы сможете итеративно улучшать качество. Без этого — деградация через месяц.
Проверка №10. Кто будет поддерживать это?
LLM-проект — это не «написали скрипт и забыли». Нужны роли:
- LLM Engineer — человек, который понимает и промпты, и инфраструктуру (профессия-призрак, но реальная — читайте обзор)
- MLOps / AI Platform Engineer — CI/CD, мониторинг, GPU-инфра
- Product Manager — кто собирает фидбек и приоритизирует улучшения
Если в команде нет хотя бы двух из трех — проект превратится в технический долг.
Главный совет, который вы не услышите на конференциях
Начните с самого тупого решения: без LLM. Может, ваша «AI-фича» — это просто SELECT с LIKE? Только когда доказали, что без нейросетей никак — беритесь за чек-лист. И не забудьте протестировать прототип на реальных пользователях — как в быстрой валидации с LLM Council от Карпати.
LLM — не волшебная палочка, а дорогой и капризный инструмент. Вопросы выше — ваша страховка от того, чтобы не стать очередной статистикой провала.
