Когда AI начинает тупить: плато качества в продакшене
Т-Банк внедрил AI-ассистентов для кодирования в начале 2025 года. Сначала все летало: разработчики в восторге, скорость написания кода выросла на 40%. Но через три месяца эйфория сменилась раздражением. Acceptance Rate - процент принятых AI-подсказок - упал до 20%. Каждая пятая подсказка хоть как-то полезна. Остальное - мусор.
Acceptance Rate - ключевая метрика для AI Code Completion. Показывает, сколько подсказок разработчик действительно использует. Ниже 30% - система не работает. Выше 50% - отлично. Т-Банк уперся в 20%.
Проблема знакома любой команде, которая пробовала AI-ассистенты для кодирования в 2025. Первый восторг, потом разочарование. AI генерирует много, но редко попадает в цель.
Цифры не врут: Acceptance Rate 20% - это провал
Команда Т-Банка собрала данные за полгода. 150 разработчиков, 12 проектов, 500 тысяч AI-подсказок. Результат шокировал:
| Метрика | До фильтра | После фильтра |
|---|---|---|
| Acceptance Rate | 20% | 65% |
| Время на код (среднее) | -15% | -35% |
| Удовлетворенность разработчиков | 3.2/5 | 4.7/5 |
20% Acceptance Rate означал, что 80% подсказок игнорировались. Разработчики тратили больше времени на отвержение плохих предложений, чем на использование хороших. Ситуация напоминала техническую кабалу, где AI скорее мешал, чем помогал.
Фильтр, который научился говорить 'нет'
Вместо того чтобы ждать улучшений моделей (GPT-5 Turbo, Claude 4 - они все равно ошибаются), команда построила умный фильтр. Его задача - оценивать каждую AI-подсказку перед показом разработчику. Если оценка низкая, подсказка блокируется.
Как это работает? Фильтр анализирует:
- Синтаксическую корректность - банально, но AI часто генерирует некорректный код.
- Контекстную релевантность - насколько подсказка соответствует окружающему коду.
- Стилистическое соответствие - код должен matchить code style проекта.
- Исторический успех - если похожие подсказки ранее отвергались, новые блокируются.
Фильтр обучен на данных Т-Банка: 500 тысяч размеченных подсказок. Разработчики вручную пометили, какие подсказки полезны, какие нет. Получилась модель, которая предсказывает Acceptance Rate с точностью 85%.
Как Т-Банк выжал из AI 65% полезных подсказок
Внедрение фильтра заняло два месяца. Результаты появились сразу. Acceptance Rate подскочил с 20% до 65%. Разработчики стали чаще использовать AI, потому что доверяют подсказкам.
Ключевой момент: фильтр не идеален. Он отсекает 60% подсказок, но из оставшихся 40% две трети полезны. Лучше меньше, да лучше. Как говорит тимлид проекта: "Мы перестали бороться с шумом. Мы просто выключили его."
Этот подход перекликается с трендом 2026 года: переход от ручного программирования к управлению агентами. AI-ассистент должен быть предсказуемым, а не просто болтливым.
Что это значит для остальных: копируем или выдумываем?
История Т-Банка показывает: без фильтрации AI Code Completion упирается в потолок. Acceptance Rate 20-30% - это стандарт для многих команд. Чтобы вырваться, нужны собственные метрики и фильтры.
Не ждите, что Cursor, Warp или Claude Code решат эту проблему. Они дают сырые подсказки. Ваша задача - настроить фильтр под свой код.
Совет: начните с измерения Acceptance Rate. Соберите данные за месяц. Если ниже 40%, пора строить фильтр. Не нужно сложных моделей - сначала простые правила: синтаксис, длина, повторяемость.
Умный фильтр - это не про запреты. Это про увеличение сигнала. Как в том старом анекдоте: "Я не стал умнее, я просто научился говорить 'нет' глупостям". AI пока не умен, но мы можем научить его молчать, когда нечего сказать.
А что дальше? К 2027 году, я предсказываю, AI-ассистенты будут встроены во все IDE, но их качество определится не моделями, а фильтрами. Кто контролирует фильтр, тот контролирует код. И да, это немного пугает.
