LLM как судья: сравнительный тест GPT-5.2, Claude 4.6 и Gemini 3.1 для анализа судебных решений

Когда ИИ становится судьей: зачем это нужно в 2026 году

Юристы тратят 40% рабочего времени на чтение судебных решений. Поиск прецедентов, анализ аргументации, оценка перспектив дела - рутина, которая съедает сотни часов. В теории LLM должны решить эту проблему. На практике - каждая модель обещает "понимание контекста" и "юридическую экспертизу". Но что скрывается за маркетинговыми фразами?

Я взял 50 реальных арбитражных дел по спорам о неисполнении договоров. Собрал датасет: исковые заявления, отзывы, доказательства, итоговые решения. Задача простая - предсказать исход дела: удовлетворение иска полностью, частично или отказ.

Участники турнира: кто в ринге на февраль 2026

Главные обновления за последний год изменили расклад сил:

Стоимость теста: около $150 на API-запросах. Дешевле, чем час работы юриста средней руки в Москве.

Методология: как заставить ИИ думать как судья

Здесь большинство экспериментов проваливается. Дать модели "проанализируй дело" - бесполезно. Получишь общие фразы. Нужна структура.

1 Подготовка датасета

50 дел Арбитражного суда Москвы за 2024-2025 годы. Только завершенные процессы с апелляционными определениями (чтобы избежать отмененных решений). Каждое дело:

• Исковое заявление (15-40 страниц)
• Отзыв ответчика
• Доказательства сторон
• Решение суда первой инстанции
• Апелляционное определение (как ground truth)

Тексты очищены от персональных данных, но сохранена юридическая структура. Имена заменены на "Истец ООО 'Альфа'", "Ответчик ЗАО 'Бета'".

2 Промпт-инженерия для юриспруденции

Пробовал три подхода. Первый - наивный:

Рабочий промпт выглядит иначе:

prompt = """
Ты - опытный юрист, анализирующий перспективы арбитражного дела.

Документы дела:
1. ИСКОВОЕ ЗАЯВЛЕНИЕ: {иск}
2. ОТЗЫВ ОТВЕТЧИКА: {отзыв}
3. ДОКАЗАТЕЛЬСТВА: {доказательства}

Анализ проведи по структуре:

А. Квалификация правоотношений
- По какому договору спор?
- Какие статьи ГК РФ применимы?

Б. Доказательственная база
- Какие доказательства представлены истцом?
- Какие контраргументы у ответчика?
- Пробелы в доказательствах каждой стороны

В. Судебная практика
- Какие аналогичные дела есть в практике?
- Как обычно решаются подобные споры?

Г. Прогноз исхода
- Вероятность удовлетворения иска: 0-100%
- Вероятность частичного удовлетворения: 0-100%
- Вероятность отказа: 0-100%
- Суммарная вероятность должна равняться 100%

Д. Обоснование
Краткое обоснование прогноза (не более 200 слов)

Ответ дай строго в JSON формате:
{
  "qualification": "...",
  "evidence_analysis": "...",
  "practice_analysis": "...",
  "prediction": {
    "full_grant": X,
    "partial_grant": Y,
    "rejection": Z
  },
  "reasoning": "..."
}
"""

Ключевое - структура и JSON на выходе. Иначе сравнивать результаты невозможно.

3 Метрики оценки

Точность предсказания - только вершина айсберга. Важнее:

• Консистентность аргументации - не противоречит ли модель сама себе в разных частях анализа
• Ссылки на нормы права - называет ли конкретные статьи или ограничивается общими фразами
• Работа с доказательствами - замечает ли отсутствие ключевых документов
• Время обработки - дело на 100 страниц не должно анализироваться час

Для объективности привлек двух практикующих юристов (10+ лет стажа). Они оценивали не только итоговый прогноз, но и качество юридического анализа по 10-балльной шкале.

Результаты: кто кого и почему

Цифры сначала, потом разбор полетов.

GPT-5.2 Pro: чемпион по точности, но...

Новая "юридическая" модальность в GPT-5.2 действительно работает. Модель мгновенно определяет тип договора (подряд, поставка, возмездное оказание услуг), ссылается на конкретные статьи ГК РФ - 137, 309, 450. В 90% случаев правильно квалифицирует правоотношения.

Но есть нюанс: GPT-5.2 слишком уверена в себе. Когда ошибается - ошибается категорично. В деле №А40-178934/2024, где были сложные вопросы о просрочке поставки, модель дала 95% вероятность удовлетворения иска. Суд отказал полностью. При этом аргументация звучала убедительно даже для опытного юриста.

Claude 4.6 Sonnet: мыслит как судья

Самая интересная находка. Claude проигрывает в точности прогноза (78% против 82%), но выигрывает в качестве юридического анализа. Эксперты поставили 9.2/10.

Почему? Claude не просто применяет нормы права. Он строит цепочку рассуждений: "Если истец докажет факт поставки, но не докажет наличие дефектов, то... однако ответчик может ссылаться на п. 2 ст. 475 ГК, если..." Это максимально близко к тому, как думает реальный судья.

Еще одна фишка Claude - внимание к процессуальным моментам. В трех делах модель заметила, что иск подан с пропуском срока исковой давности. GPT и Gemini этого не увидели.

Gemini 3.1 Pro: быстро, дешево, поверхностно

Самая разочаровывающая модель в тесте. Заявленный контекст в 1M токенов - маркетинг. На практике Gemini часто "теряла" детали из середины длинных документов. Анализ доказательств был самым слабым среди трех моделей.

Зато Gemini быстрее всех обрабатывала документы и дешевле всего стоила. Если нужен быстрый скрининг дел для первоначальной оценки - подойдет. Для глубокого анализа - нет.

Любопытный факт: Gemini единственная из трех моделей иногда "выдумывала" доказательства. В деле №А40-156782/2024 модель написала: "Истец представил акт сверки взаиморасчетов". Такого документа в материалах не было.

Паттерны ошибок: где LLM лажают одинаково

Все три модели сбивались на одних и тех же типах дел:

1. Споры с участием госорганов - модели не понимают специфику административных дел
2. Дела с противоречивой судебной практикой - когда разные суды по-разному трактуют одну норму
3. Сложные расчеты неустоек - математические ошибки встречались у всех
4. Оценка достоверности доказательств - LLM не могут определить, поддельная расписка или нет

Самая частая ошибка - чрезмерный оптимизм. Модели в среднем завышали вероятность удовлетворения иска на 15-20%. Особенно для истцов с сильной доказательственной базой. Видимо, обучение на "справедливых" решениях создало когнитивное искажение.

Практические выводы: как использовать в 2026

После 50 дел и $150 потраченных на API сформировались четкие рекомендации:

1 Для предварительной оценки потока дел

Используйте Gemini 3.1 Pro. Дешево, быстро, достаточно для сортировки: "сложное дело" / "типовое дело" / "бесперспективное". Точности 74% хватит для первичного отсева.

2 Для глубокого анализа сложных дел

Claude 4.6 Sonnet. Дороже, медленнее, но качество юридического анализа того стоит. Особенно если дело нетиповое или есть процессуальные тонкости.

Интересный лайфхак: дайте Claude проанализировать дело, а затем используйте Owlex MCP-сервер для проверки аргументов другими моделями. Получится своеобразный "юридический совет".

3 Для автоматизации рутинных заключений

GPT-5.2 Pro с ее юридической модальностью. Модель генерирует структурированные заключения, которые требуют минимальной правки. Экономит время на формальных делах.

Что будет дальше: прогноз на 2027

Нынешние LLM - это калькуляторы 1970-х. Работают, но требуют эксперта для интерпретации результатов. Через год-два ситуация изменится.

Уже сейчас появляются специализированные юридические модели, обученные исключительно на судебных решениях. Например, Legal RAG Bench показывает, что проблема не в reasoning, а в retrieval. Когда модели научатся точно находить релевантные прецеденты - точность прогноза вырастет до 90%+.

Еще один тренд - fine-tuning на данных конкретной юрисдикции. Модель, обученная на решениях Арбитражного суда Москвы, будет точнее для московских дел, чем общая LLM.

Но главный барьер - не технологический. Юридическое сообщество консервативно. Вспомните историю про юриста, который провалил дело из-за ChatGPT. Доверие к ИИ нужно зарабатывать годами.

Мой совет на 2026: используйте LLM как умного помощника, а не как оракула. Модель может прочитать 1000 страниц за минуту, найти противоречия в доказательствах, вспомнить аналогичное дело. Но окончательное решение - за человеком. Пока что.

А если хотите построить полноценную систему оценки LLM для юридических задач, посмотрите мой гайд про пайплайн автоматической оценки локальных моделей. Там подробно разбираю, как избежать типичных ошибок при тестировании.