Когда документация лежит в 47 разных местах, а инженеры тратят 30% времени на поиск
В New Relic знали проблему досконально. К февралю 2025 года у них накопилось: 12 гигабайт внутренней документации, 9 тысяч страниц Confluence, 3 тысячи README в GitHub, сотни Slack-тредов с решениями инцидентов и пара десятков устаревших гайдов, которые все еще кто-то использует. Новый инженер тратил в среднем 3 недели только на то, чтобы понять, где что искать.
Классический корпоративный ад. Решение требовалось простое: ассистент, который знает ВСЕ внутренние материалы и отвечает на вопросы типа "Как настроить алерты для сервиса X?" или "Где взять доступы к продовой БД?".
Факт: по данным внутреннего исследования New Relic, инженеры теряли до 15 часов в месяц на поиск информации. Умножьте на 2000 разработчиков - получаем 30 000 человеко-часов ежегодно. Деньги улетали в трубу.
Почему они не взяли ChatGPT Enterprise или какой-нибудь готовый коробочный продукт?
Вопрос безопасности. Вся внутренняя документация - это потенциальные уязвимости, пароли (да, они иногда попадают в README), схемы инфраструктуры, внутренние API-ключи. Загружать это в сторонний сервис - самоубийство.
Второй момент - контекст. Готовые решения плохо понимают корпоративный жаргон, внутренние аббревиатуры ("NRQL", "APM", "Browser monitoring"), специфичные процессы компании.
Третий - интеграция. Ассистент должен был работать прямо в Slack, где инженеры и так проводят 80% рабочего времени.
Архитектура NOVA: что внутри этого черного ящика?
Назвали систему NOVA (New Relic Operational Virtual Assistant). Архитектура выглядит так:
| Компонент | Технология | Зачем нужен |
|---|---|---|
| Хранилище знаний | Amazon Kendra | Индексирует все документы, Confluence, GitHub, Slack |
| Мозг ассистента | Amazon Bedrock с Claude 3.5 Sonnet | Генерация ответов на основе контекста |
| Оркестратор | AWS Step Functions + Lambda | Управление workflow: поиск → обработка → ответ |
| Интерфейс | Slack bot + внутренний веб-интерфейс | Точка входа для пользователей |
| Мониторинг | New Relic (куда же без него) | Трассировка запросов, метрики качества ответов |
Ключевое решение - использовать Amazon Kendra как интеллектуальный поисковый движок. Он сам умеет парсить PDF, Word, Confluence, Slack, GitHub. Не нужно писать тонны кода для обработки разных форматов.
Но вот что интересно: Kendra - штука дорогая. Индексация 12 ГБ данных обошлась в несколько тысяч долларов ежемесячно. Плюс стоимость запросов. New Relic как компания, которая сама продает мониторинг, понимала цену инфраструктуры и считала каждую копейку.
Главная проблема: как заставить нейросеть не галлюцинировать?
Первые тесты были ужасны. Инженер спрашивал: "Как настроить алерт на 95-й перцентиль latency?" Ассистент отвечал красивым, грамотным текстом... который полностью противоречил внутренним гайдлайнам. Он просто придумывал ответ на основе общих знаний о мониторинге.
Решение оказалось в комбинации двух техник:
- Strict RAG (Retrieval-Augmented Generation) - система ищет в Kendra релевантные документы, передает их Claude как контекст и явно говорит: "Отвечай ТОЛЬКО на основе предоставленных документов".
- LLM-as-a-Judge - вторая нейросеть (поменьше и подешевле) проверяет ответ первой на соответствие контексту. Если видит расхождения - отправляет на доработку.
Про вторую технику мы писали отдельно: Amazon Nova LLM-as-a-Judge на практике. В New Relic использовали похожий подход, но с кастомной настройкой под свои нужды.
Важный нюанс: они НЕ стали использовать новейший Claude 3.7 или какие-то экспериментальные модели. Выбрали проверенный Claude 3.5 Sonnet на Bedrock - стабильный, предсказуемый и с хорошим соотношением цена/качество. Гонка за последней версией часто приводит только к росту затрат без реального улучшения качества.
Интеграция со Slack: простота, которая убивает
Интерфейс сделали максимально простым. В любом Slack-канале можно написать @nova и задать вопрос. Бот отвещает в треде, ссылаясь на источники.
Но была одна хитрость. Сначала бот отвечал сразу, даже если поиск занимал 10-15 секунд. Пользователи думали, что система зависла. Решение: мгновенный ephemeral message "Ищу информацию...", а потом уже полноценный ответ.
Еще одна фича - кнопки "Полезно" / "Бесполезно" под каждым ответом. Эти фидбеки автоматически отправлялись в отдельную очередь для анализа. Раз в неделю команда смотрела, на какие вопросы система отвечает плохо, и дообучала ее.
Что получилось в цифрах к февралю 2026?
После года работы:
- 87% точности ответов (измеряли по выборке из 1000 вопросов с проверкой экспертами)
- Среднее время ответа: 4.2 секунды (от вопроса в Slack до появления ответа)
- 30% сокращение времени на поиск информации у новых инженеров
- 1400 активных пользователей ежемесячно (из 2000 возможных)
- Стоимость: $12 000/месяц на инфраструктуру AWS
Последняя цифра важна. $12 000 в месяц - это много или мало? Для сравнения: зарплата одного senior-инженера в Кремниевой долине - $20 000/месяц. Система экономит время минимум 10 инженерам. Математика простая.
Ошибки, которые они совершили (чтобы вы их не повторяли)
1. Сначала индексировали ВСЕ подряд. В Kendra попали устаревшие документы 5-летней давности, личные заметки, черновики. Пришлось чистить и настраивать фильтры.
2. Не учли rate limits Bedrock. В первый же день, когда анонсировали систему для всех сотрудников, получили 500 ошибки от AWS. Пришлось срочно ставить очередь запросов и лимиты на пользователя.
3. Забыли про мультиязычность. В New Relic есть команды в Европе и Азии. Когда немецкие инженеры спрашивали что-то на немецком, система искала только в англоязычных документах. Решение: автоматический перевод запроса перед поиском.
4. Не подготовили FAQ для частых вопросов. На "Как войти в VPN?" система каждый раз искала документы, хотя ответ никогда не менялся. Добавили кэширование частых вопросов.
А что с альтернативами? Почему не OpenAI, не локальные модели?
OpenAI Frontier - мощно, но дорого и вопросы с данными. Локальные модели (как в self-hosted решениях для разработки) требуют своих экспертов по ML-инфраструктуре.
Bedrock выбрали потому что:
- Уже были глубоко в экосистеме AWS
- Нужен был enterprise-grade SLA (99.9% доступности)
- Требовалась интеграция с Kendra "из коробки"
- Важен был compliance (сертификаты типа SOC2, ISO27001)
Кстати, если хотите быстро развернуть похожую систему, посмотрите на FAST - Fullstack AgentCore Solution Template. Это готовый шаблон от AWS, который ускоряет разработку в разы.
Что дальше? Мультиагентные системы уже на горизонте
Сейчас NOVA - это один агент. Но команда New Relic экспериментирует с мультиагентным подходом. Представьте: один агент ищет в документации, второй анализирует текущие алерты в системе, третий проверяет похожие инциденты в прошлом.
Такие системы уже появляются. Например, в нашем материале про мультиагентные системы на Amazon Bedrock мы разбирали, как Nova 2 Lite и Nova Act работают вместе.
Но есть проблема: стоимость. Каждый дополнительный агент - это дополнительные вызовы к LLM. А они не дешевые. Особенно когда у тебя 1400 активных пользователей.
Прогноз на 2026-2027: мы увидим войну оптимизаций. Компании будут искать способы делать мультиагентные системы дешевле - через кэширование, smaller models для простых задач, лучшую оркестрацию. Тот, кто найдет формулу "качество/стоимость", выиграет рынок корпоративных ассистентов.
Так стоит ли строить своего корпоративного ассистента в 2026?
Если у вас:
- Больше 50 инженеров/сотрудников
- Разрозненная документация в 3+ системах
- Проблема с онбордингом новых людей
- Бюджет от $5000/месяц на инфраструктуру
Тогда да, стоит. ROI обычно окупается за 6-9 месяцев.
Если меньше - возможно, проще купить готовое решение или использовать что-то вроде ChatGPT Enterprise с тщательно отфильтрованными документами.
Но главный урок от New Relic: начинайте с пилота. Не пытайтесь сразу накормить нейросеть всеми документами компании. Возьмите один отдел, одну тему (например, "онбординг новых разработчиков"), сделайте MVP за 2-3 недели. Получите feedback. Потом масштабируйте.
И запомните: самая сложная часть - не технология. Это изменение процессов. Заставить людей использовать нового ассистента вместо привычного "спрошу у Васи в Slack" - вот настоящий вызов.
