Trainable System Router и Dual Method Memory System: SATA-тулкит для open-source LLM

Open-source LLM выросли. Их инструменты - нет

Llama 3.2 11B Vision, Qwen2.5 32B, DeepSeek-V2.5 - модели стали умнее, быстрее, дешевле. Но пользоваться ими все еще больно. Стандартный пайплайн: загрузил модель, написал промпт, получил ответ. Скучно. Примитивно. Как VGA-разъем в эпоху DisplayPort.

Что это за зверь и зачем он вам

Два компонента в одном тулките. Первый - Trainable System Router (TSR). Нейронный маршрутизатор, который решает, куда отправить ваш промпт. Не просто "выбрать модель A или B", а определить оптимальную глубину рассуждений, контекст, даже стиль генерации. Второй - Dual Method Memory System (DMMS). Система памяти, которая запоминает не только диалог, но и мета-информацию: как модель думала, какие ошибки делала, что сработало в похожих ситуациях.

Нейронный роутинг: не просто выбор модели

TSR работает на трех уровнях. На поверхности - маршрутизация между разными моделями. Глубже - адаптивная глубина цепочки рассуждений (CoT). Еще глубже - динамическая настройка параметров генерации под конкретную задачу.

Как это выглядит на практике? Вы спрашиваете: "Напиши код парсера CSV на Python". TSR анализирует запрос:

• Сложность: средняя (нужны библиотеки, обработка ошибок)
• Контекст: программирование
• История: пользователь ранее просил простые скрипты

Решение: направить в Qwen2.5-Coder 7B с включенным CoT на 3 шага и температурой 0.3. Не Llama 3.2 90B (избыточно), не TinyLlama (не справится), а именно ту конфигурацию, которая нужна.

Память, которая учится на ошибках

Dual Method Memory System - вот где начинается магия. Большинство систем памяти запоминают только диалог. "User: привет, Assistant: здравствуйте". Примитивно. DMMS сохраняет два типа информации:

Кросс-сессионная память - фишка, о которой все говорят, но никто не делает нормально. DMMS сохраняет контекст между сессиями. Закрыли чат, вернулись через неделю: "Продолжим про парсер CSV". Система помнит не только диалог, но и то, какие подходы сработали, какие нет.

Jinja2 шаблоны: промпт-инжиниринг без боли

Здесь разработчики сделали гениально просто. Вместо собственного синтаксиса шаблонов - Jinja2. Тот самый, из мира Python. Знаете Jinja2? Отлично, вы уже умеете писать шаблоны для TSR.

Пример из документации (актуальной на 09.02.2026):

# Шаблон для анализа настроения
{
  "system": "Ты аналитик настроений. Анализируй текст.",
  "template": """
  Текст: {{ text }}
  
  {% if context.previous_sentiment == "negative" %}
  Учти, что предыдущий анализ показал негативное настроение.
  {% endif %}
  
  Анализ:
  """
}

Условия, циклы, фильтры - все работает. Наконец-то промпт-инжиниринг стал похож на программирование, а не на шаманство с кристаллами.

С чем сравнивать? С ничем. Или почти

Прямых аналогов нет. Ближайшие конкуренты:

• LLMRouter: только экономия на API, нет обучения, нет памяти
• Basis Router: подключение к БД, не интеллектуальная маршрутизация
• Простые системы памяти (как в большинстве чат-интерфейсов): только эпизодическая память, без семантической

TSR + DMMS - это попытка сделать для локальных LLM то, что Microsoft сделала для Windows: взять разрозненные утилиты и собрать в целостную систему.

Кому этот тулкит сломает мозг (в хорошем смысле)

Разработчикам, которые устали от:

1. Ручного подбора моделей под каждую задачу
2. Потери контекста между сессиями
3. Повторной настройке одинаковых промптов

Исследователям, которые экспериментируют с методами тонкой настройки LLM. TSR можно дообучать на своих данных. Хотите маршрутизатор, оптимизированный под медицинские тексты? Пожалуйста.

Компаниям, которые развертывают несколько маленьких LLM на одном сервере и хотят автоматизировать распределение запросов.

Подводные камни (их много, будьте готовы)

Документация написана технарями для технарей. Примеры есть, но объяснений "почему так" - мало. Придется разбираться в исходниках.

Настройка TSR требует данных для обучения. Нет датасета - будет работать плохо. Авторы предлагают базовые датасеты, но для специфичных задач нужно собирать свои.

Потребление памяти. DMMS хранит много. Очень много. На маленьких машинах может не влезть. Разработчики обещают оптимизацию в версии 1.1 (ожидается к марту 2026).

Что будет дальше? (Спойлер: многое)

Дорожная карта проекта амбициозная. На 2026 год запланировано:

• Интеграция с векторными БД для памяти (Qdrant, Pinecone)
• Визуальный редактор шаблонов (наконец-то!)
• Предобученные роутеры для популярных задач (кодинг, анализ текстов, чат)
• Поддержка мультимодальных моделей (это сложно, но они пытаются)

Самое интересное - плагин для полного цикла тонкой настройки LLM. Представьте: вы собираете данные, тюните модель, автоматически создаете для нее профиль в TSR, и система начинает маршрутизировать к ней подходящие запросы.

Стоит ли пробовать сейчас?

Да, если:

• У вас есть опыт работы с Python и LLM
• Готовы к багам и неполной документации
• Нужна продвинутая функциональность, а не "просто чат"

Нет, если:

• Вы только установили Ollama и радуетесь
• Хотите готовое решение "из коробки"
• Работаете на слабом железе

TSR + DMMS - не панацея. Это инструмент для тех, кто понимает, что современные LLM способны на большее, чем показывают стандартные интерфейсы. Сложный, сыроватый, но потенциально прорывной.

И последнее: следите за обновлениями. На 09.02.2026 вышла версия 1.0.3 с критичным фиксом памяти. В мире open-source LLM за неделю может измениться все.