MAVEN: как снизить галлюцинации LLM на 85% с помощью мульти-агентной верификации

Когда одна нейросеть врёт — вызывайте ещё три

Вы спрашиваете у Claude-3.7-Sonnet (последняя версия на февраль 2026) исторический факт. Он отвечает уверенно, с деталями. Цитаты, даты, имена. Всё звучит убедительно. Пока вы не проверяете — и не обнаруживаете, что половина информации выдумана.

Это не баг. Это фундаментальная проблема современных LLM — они галлюцинируют. Особенно когда не знают ответа, но должны его дать.

Команда исследователей из Maven AI решила: если одна модель врёт — пусть её проверят другие. Так появился MAVEN (Multi-Agent Verification Network).

Как работает эта штука

Представьте суд присяжных. Только вместо людей — нейросети.

• Вы задаёте вопрос основному LLM (например, GPT-4o-mini-2025 или Claude-3.7)
• MAVEN создаёт 3-5 агентов-верификаторов (разные модели или одна модель с разными промптами)
• Каждый агент анализирует ответ основного LLM
• Агенты спорят, ищут противоречия, проверяют факты
• Система выдаёт финальный вердикт: «доверять» или «не доверять»

Секрет не в сложных алгоритмах. Секрет в простой идее: разные LLM галлюцинируют по-разному. Если три независимые модели сходятся во мнении — скорее всего, это правда.

Установка за две минуты

Пишут, что всё сложно. На деле — одна команда:

pip install maven-ai

Или через Poetry, если вы из тех, кто любит сложности:

poetry add maven-ai

Базовый пример выглядит так:

from maven import MavenVerifier

verifier = MavenVerifier(
    primary_model="gpt-4o-mini-2025",
    verifier_models=["claude-3-7-sonnet", "gemini-2-5-pro", "llama-3-3-405b"],
    temperature=0.1  # Низкая для консистентности
)

question = "Когда был подписан Версальский договор?"
answer = "Версальский договор был подписан 28 июня 1919 года."

result = verifier.verify(question, answer)
print(f"Достоверность: {result.confidence:.2%}")
print(f"Вердикт: {'Доверять' if result.trustworthy else 'Проверить'}")

Система вернёт не просто бинарный ответ. Она покажет, какие агенты что думали, какие противоречия нашли, и даст оценку достоверности от 0 до 1.

А что с RAG? Это же стандарт против галлюцинаций

Да, RAG системы снижают галлюцинации. Но не устраняют их полностью.

Проблема в том, что даже с контекстом из векторной базы LLM может:

• Неправильно интерпретировать информацию
• Добавлять детали, которых нет в источниках
• Смешивать факты из разных документов

MAVEN дополняет RAG, а не заменяет его. Сначала RAG находит релевантные документы. Потом MAVEN проверяет, правильно ли LLM их использовала.

Интеграция с экосистемой

Разработчики не стали изобретать велосипед. MAVEN работает с тем, что уже есть:

Для систем безопасности на базе LLM MAVEN стал находкой. Представьте: ИИ анализирует логи nginx, ищет аномалии. Без верификации он может принять нормальный трафик за атаку. С MAVEN — каждый подозрительный паттерн проверяет комитет моделей.

Чем отличается от других анти-галлюцинационных систем

На рынке есть несколько подходов:

1. Self-consistency — одна модель генерирует несколько ответов, выбирается самый частый. Дешёво, но слабо против систематических ошибок.
2. Fact-checking APIs — поиск в Google, Wikipedia. Точнее, но медленнее и дороже.
3. Специализированные модели вроде CausaNova — требуют тонкой настройки под конкретную задачу.

MAVEN берёт лучшее из всех подходов: мульти-модельность как в self-consistency, но с разными архитектурами; глубину анализа как у специализированных моделей, но без тонкой настройки.

Главное преимущество — прозрачность. Вы видите, почему система не доверяет ответу:

{
  "question": "Кто изобрёл телефон?",
  "answer": "Телефон изобрёл Томас Эдисон в 1877 году.",
  "verdict": "untrustworthy",
  "confidence": 0.12,
  "reasons": [
    "Агент 1: Эдисон усовершенствовал телефон, но не изобрёл.",
    "Агент 2: Изобретатель — Александр Белл, патент 1876.",
    "Агент 3: 1877 — год изобретения фонографа Эдисоном, путаница в датах."
  ]
}

Кому это реально нужно

Не всем. Если вы делаете чат-бота для заказа пиццы — MAVEN overkill. Но есть сценарии, где цена ошибки высока:

• Медицинские консультации — LLM советует лекарства. Ошибка → вред здоровью.
• Юридические документы
• Финансовые отчёты — неправильная цифра → миллионные убытки.
• Образовательные платформы — студенты учат неправильные факты.
• Контент-маркетинг — ошибка в статье → потеря доверия аудитории.

Для мульти-агентных систем Amazon такой инструмент был бы спасением. Когда десятки агентов координируют поставки, ошибка в одном звене каскадно влияет на всю цепочку.

Подводные камни (потому что идеальных решений не бывает)

MAVEN — не серебряная пуля. Вот что бесит:

1. Стоимость. Три вызова к Claude-3.7 + два к GPT-4.5 = счёт в $5-10 за 1000 проверок. Для scale-проектов — больно.
2. Ложные срабатывания. Иногда все агенты ошибаются одинаково (особенно в нишевых темах).
3. Сложность настройки. Какие модели брать для верификаторов? Какие промпты? Документация скудная.
4. Нет защиты от prompt injection. Если злоумышленник обманет основной LLM, верификаторы могут повторить ошибку.

Разработчики обещают в версии 2.0 (планируется на Q2 2026) добавить экономичные режимы: использовать маленькие модели для простых проверок, большие — только для сложных.

Как начать использовать сегодня

1. Регистрируете API ключи у провайдеров (OpenAI, Anthropic, Google).
2. Ставите MAVEN через pip.
3. Настраиваете конфиг под свою задачу.
4. Тестируете на 100-200 примерах из вашей domain.
5. Считаете accuracy и cost.

Если бюджет ограничен — начните с открытых моделей через Ollama. Llama-3.3-70b, Qwen2.5-72b, Command-R+ показывают неплохие результаты как верификаторы.

Что будет дальше

Тренд очевиден: одиночные LLM уходят в прошлое. Будущее за ансамблями, комитетами, мульти-агентными системами.

MAVEN — первый шаг. Дальше появятся:

• Специализированные верификаторы под домены (медицина, право, финансы)
• Адаптивные системы, которые сами выбирают, сколько агентов вызывать
• Обучение с подкреплением для оптимизации accuracy/cost баланса

Уже сейчас техники вроде RepE показывают, что можно «хакнуть» активации нейросети, чтобы снизить галлюцинации. MAVEN идёт с другого конца — не чинит модель, а ставит над ней надзирателей.

Ирония в том, что мы создаём ИИ, который не доверяет другому ИИ. Человечество придумало проверку фактов для людей. Теперь придумываем для машин.

Пока нейросети не научатся говорить «я не знаю» вместо выдумывания — инструменты вроде MAVEN будут необходимы. Даже если они стоят дорого. Даже если работают медленно.

Потому что цена доверия к галлюцинациям — ещё выше.