Когда доверие ломается
Вы ставили pip install litellm и думали, что все под контролем. А потом пришло известие о supply chain attack. Снова. Кто-то залил в PyPI троянскую версию, которая тихо выкачивала ваши API-ключи от OpenAI, Anthropic и кого угодно еще. Знакомое чувство беспомощности?
Litellm был удобной абстракцией. Единый интерфейс к десяткам моделей. Но эта абстракция дала трещину. Вместо того чтобы паниковать, посмотрим на три проекта, которые выросли из пепла этого инцидента. Они не просто заменяют Litellm — они переосмысливают, как должен работать AI gateway в 2026 году.
Если вы использовали Litellm до марта 2026 года, немедленно проверьте историю ротации credentials. Инструкция здесь. Это не шутка — подобные атаки становятся стандартом, как показал инцидент со взломом Cline через npm.
Три кита, на которых можно спать спокойно
Выбор нового инструмента — это не только про функции. Это про доверие к кодовой базе, прозрачность разработки и скорость реакции команды на угрозы. Вот кто сегодня заслуживает внимания.
Bifrost 2.1: тяжеловес с нордическим характером
Написан на Rust. Звучит как клише, но в случае с AI gateway это главное преимущество. Bifrost 2.1, выпущенный в феврале 2026, не просто быстрый. Он иммунен к целому классу уязвимостей памяти, которые до сих пор преследуют Python-библиотеки. Его создатели из Осло открыто заявляют: «Безопасность — это не фича, это ограничитель дизайна».
Лицензия: Apache 2.0. Производительность? Обрабатывает в 3-5 раз больше запросов в секунду на том же железе, что и Python-аналоги. Минус? Кривая обучения круче. Зато вы получаете инструмент, который вряд ли станет следующей жертвой в цепочке поставок.
Kosong 0.9: минимализм как философия безопасности
«Kosong» означает «пустой» на индонезийском. Идея проста: чем меньше кода, тем меньше поверхность для атаки. Версия 0.9 — это чистый Go, одна зависимость (для работы с HTTP) и ровно те функции, которые нужны для маршрутизации запросов к LLM. Ничего лишнего.
Он не умеет в сложный биллинг или A/B-тестирование промптов. Зато его код можно прочитать за час. В эпоху, когда менеджеры пакетов устаревают, такая прозрачность бесценна. Лицензия: MIT. Производительность на уровне Bifrost, но с меньшим потреблением памяти.
Helicone 1.6: наблюдатель из будущего
Если Bifrost — это крепость, а Kosong — монастырь, то Helicone — это центр управления полетами. Его сила не в Rust или Go, а в подходе. Это облачный (или self-hosted) gateway, который с самого начала заточен под observability. Каждый запрос, каждый токен, каждая задержка — все на графиках.
Версия 1.6, вышедшая в январе 2026, добавила детектор аномалий на базе встроенной LLM. Система учится на ваших паттернах запросов и кричит, если что-то пошло не так. Подозрительный всплеск трафика? Странные промпты? Helicone предупредит первым. Лицензия: коммерческая с открытым core. Бесплатен для малых объемов.
| Инструмент | Язык | Лицензия | Ключевая фишка 2026 | Для кого |
|---|---|---|---|---|
| Bifrost 2.1 | Rust | Apache 2.0 | Встроенный аудит промптов | Команды с паранойей по безопасности |
| Kosong 0.9 | Go | MIT | Менее 2k строк кода | Минималисты и любители KISS |
| Helicone 1.6 | TypeScript/Go | Commercial | AI-детектор аномалий трафика | Те, кому нужны метрики и алерты |
Как выбрать и не пожалеть
Забудьте про сравнение фич. Спросите себя: что будет, если этот проект взломают? У Bifrost есть формальный верифицированный модуль для обработки ключей. У Kosong — крошечная кодовая база, которую можно форкнуть за день. У Helicone — облачная инфраструктура с изоляцией инцидентов.
Ваш стек на Python? Kosong будет проще интегрировать через gRPC. Держите свои модели на своей инфраструктуре? Bifrost с его Rust-рантаймом даст максимум производительности из железа. Работаете в гибридном облаке и боитесь утечек как в Moltbook? Helicone предоставит ленты аудита, которые удовлетворит любой compliance-отдел.
Самый неочевидный совет: какой бы инструмент вы ни выбрали, запустите его в sandbox-режиме на две недели. Пропускайте через него только 10% трафика. Сравнивайте латентность, наблюдайте за логированием, ищите аномалии. Только так вы поймете, подходит ли он вам.
Supply chain attack в Litellm — не последняя. Скорее, это первая ласточка в новой волне атак на AI-инфраструктуру. Когда ИИ-рансомы становятся реальностью, ваш gateway — это последний рубеж обороны. Выбирайте того, кто будет на этой стене.
