ClawRouter: настройка open-source LLM-роутера для экономии до 85% на API-запросах

Платить GPT-4o за приветствие - это расточительство. Пора остановиться

Открываю счет за облачные AI-сервисы в конце месяца - и каждый раз одно и то же: половина запросов ушла на ерунду вроде "перефразируй это предложение" или "исправь опечатку". Claude 3.5 Sonnet справляется блестяще, но его цена в 10 раз выше, чем у Haiku. Зачем?

ClawRouter появился не просто так. Это ответ на боль разработчиков, которые устали от автоматического выбора самой дорогой модели для каждого промпта. Проект с открытым исходным кодом (MIT лицензия), который за неделю на GitHub собрал 500 звезд. Не потому, что красивый, а потому что решает проблему денег.

Что умеет ClawRouter из коробки

• Классификация промптов в реальном времени: определяет сложность запроса до отправки к моделям. Использует TinyBERT или аналогичную легковесную модель для анализа текста.
• Динамический выбор модели: поддерживает OpenAI (GPT-4o, GPT-4o-mini, o1-preview), Anthropic (Claude 3.5 Sonnet, Haiku, новая Claude 4.0), Gemini 2.0, и открытые модели через OpenRouter.
• Конфигурация через YAML или Python: настройка правил роутинга без переписывания кода.
• Мониторинг и логирование: детальный отчет по затратам, задержкам и качеству ответов. Интеграция с Prometheus для продакшна.
• Фолбэки и ретраи: если дешёвая модель не справляется, автоматический повтор запроса к более мощной.

ClawRouter против RouteLLM и Unify: кто кого

RouteLLM, о котором мы писали раньше, хорош, но заточен под академические сценарии. Unify - мощный, но сложный для маленьких команд. ClawRouter занимает нишу простого и эффективного инструмента для повседневного использования.

Как заставить ClawRouter работать за 10 минут

Установка через pip

pip install clawrouter

Базовый конфиг в YAML

# config.yaml
providers:
  - name: openai_gpt4o_mini
    type: openai
    model: gpt-4o-mini
    api_key: ${OPENAI_API_KEY}
    cost_per_token: 0.00015
  - name: openai_gpt4o
    type: openai
    model: gpt-4o
    api_key: ${OPENAI_API_KEY}
    cost_per_token: 0.0015
  - name: anthropic_haiku
    type: anthropic
    model: claude-3-5-haiku-20241022
    api_key: ${ANTHROPIC_API_KEY}
    cost_per_token: 0.000025

routing_rules:
  - condition: prompt_complexity == 'low'
    provider: openai_gpt4o_mini
  - condition: prompt_complexity == 'medium'
    provider: anthropic_haiku
  - condition: prompt_complexity == 'high'
    provider: openai_gpt4o

classifier:
  model: tinybert
  thresholds:
    low: 0.7
    medium: 0.3

Использование в Python

from clawrouter import Router

router = Router.from_yaml('config.yaml')

response = router.route(
    prompt="Напиши приветственное письмо новому клиенту",
    max_tokens=300
)

print(f"Модель: {response.model}")
print(f"Стоимость: ${response.cost:.6f}")
print(f"Ответ: {response.content}")

Всё. Система сама определит, что приветственное письмо - это низкая сложность, и отправит запрос к GPT-4o-mini. Если бы промпт был "напиши техническое описание архитектуры микросервисов на Go с использованием Kafka", классификатор присвоил бы высокую сложность и выбрал GPT-4o.

Где ClawRouter спасёт ваш бюджет, а где устроит пожар

ClawRouter идеален для сценариев, где запросы можно чётко разделить по сложности. Например:

• Чат-боты поддержки: простые вопросы - к дешёвым моделям, эскалация - к мощным.
• Генерация контента: черновики - Haiku, финальная полировка - Sonnet.
• Предобработка данных: классификация, извлечение сущностей - TinyBERT или аналоги.

Но есть нюансы. Если ваш промпт содержит смесь простого и сложного, классификатор может ошибиться. Я видел случаи, когда запрос на "напиши код сортировки с объяснением" отправлялся к GPT-4o-mini, и объяснение получалось поверхностным. Решение - настройка порогов и фолбэков.

Что дальше? Интеграция с вашим стеком

ClawRouter - не самостоятельное приложение, а библиотека. Её можно встроить в FastAPI-сервис, использовать в фоновых задачах Celery, или даже как middleware в вашем AI-агентстве. На GitHub есть примеры интеграции с Docker и Kubernetes для масштабирования.

Если вы работаете с несколькими провайдерами, обратите внимание на AI Gateway решения, которые могут дополнить ClawRouter. А для поиска дешёвых моделей поможет Modelgrep.

Мой прогноз: к концу 2026 года такие роутеры станут стандартом для любого приложения, использующего LLM. Потому что платить за избыточную мощность - глупо, когда есть открытые инструменты вроде ClawRouter.

Подписаться на канал