Перейти к содержанию
Публикация AiManual

Семь способов обмануть себя метриками: чему учит полугодовой опыт оценки точности LLM-проверки ЕГЭ

Полгода замеров LLM-проверки ЕГЭ по обществознанию: 50% совпадения с экспертом в апреле, 71,5% в ноябре и семь типов самообмана метриками. Разбираем харнесс не

Коротко

Что будет в материале

  1. 01

    Зачем вообще измерять LLM-оценщика и что пошло не так

  2. 02

    Самообман №1: харнесс мерил не ту модель и не тот путь

  3. 03

    Самообман №2: тихие нули при сбоях скрывали завышения

  4. 04

    Самообман №3: «точность» 96,7%, которая не отличалась от константной заглушки

В апреле 2026 года бот для проверки второй части ЕГЭ по обществознанию совпал с экспертом в 50% ответов и завысил балл каждому третьему ученику. К ноябрю точное совпадение выросло до 71,5%, а доля завышений упала до 9,4%. Между этими цифрами полгода, четыре модели и семь случаев, когда число в отчёте означало не то, что автор ожидал. Разбор с замерами опубликован на Хабре.

История полезна всем, кто строит LLM-as-judge: проверку RAG-ответов, скоринг заявок, оценку агентных пайплайнов. Ошибки харнесса, baseline и статусов выглядят одинаково в любой предметной области. Материал ниже разбирает семь типов самообмана и даёт набор приёмов, которые можно применить к своему оценщику.

Семь типов самообмана, которые автор разбирает:

  • харнесс мерил не ту модель и не тот путь;
  • тихие нули при сбоях скрывали завышения;
  • «точность» 96,7% не отличалась от константной заглушки;
  • защита от завышений порождала занижения;
  • два прогона одной модели не дают независимых мнений;
  • сравнение «модель против модели» на разных коммитах измеряет версии системы;
  • итоговые 71,5% не показывают, чего именно они не показывают.

Дальше по каждому пункту: механика, конкретные цифры и практический вывод.

Зачем вообще измерять LLM-оценщика и что пошло не так

Бот проверяет вторую часть ЕГЭ по обществознанию, задания 17-25. Модель размечает ответ ученика, код считает балл. Эталон: балл эксперта по критериям ФИПИ. Каждый кейс лежит отдельным JSON-файлом: условие, ответ ученика, ожидаемый балл, допуск, категории ошибок.

Что именно оценивал бот и по какому эталону

В наборе 433 кейса. У 40 нет надёжного эталона, раннер их пропускает, поэтому оценивается 393 кейса. Источники кейсов: 343 реальные экзаменационные работы с эталонным баллом, 33 синтетических кейса, 17 работ, которые автор переразметил сам, и проверки из режима учителя. 343 работы: рукописные сканы, пропущенные через распознавание, со всеми артефактами OCR.

Это важно для интерпретации: набор собран не из реальных пользовательских ответов, хотя экзаменационные работы реальные. Синтетика покрывает отдельные правила, например «государство Z» там, где требуется Россия, отказ отвечать или ответ не по теме. Такие кейсы полезны для проверки промпта, но не заменяют поток учеников с их почерком, орфографией и странной логикой.

Почему главная метрика: доля завышений, а не средняя точность

Все метрики строятся из delta = got_score - expected_score. Из неё получают direction (overscore, underscore, match), overscoring_rate и MAE, среднее |delta|. Доля считается в кейсах, а не в баллах: ошибка на +1 и на +4 весят одинаково. Такой выбор осознанный. Он не даёт крупным промахам задавить картину, но и скрывает их цену. Для денег и репутации цена разная, поэтому MAE смотрят рядом.

Главный показатель автор считает долю завышений. Причина практическая: заниженный балл ученик заметит и придёт спорить, а завышенный примет с удовольствием и узнает правду на экзамене. Это бизнес-аргумент, и он важнее статистической красоты. Метрика, которая не связана с тем, кто платит за ошибку, редко выживает в продукте.

Самообман №1: харнесс мерил не ту модель и не тот путь

Скрипт замера не загружал .env и брал модель по умолчанию из кода. Поэтому все «claude»-прогоны до 30 июля шли на Claude Sonnet 5, а боевой моделью была Claude Sonnet 4.6. Таблица показывала результаты одной модели, выводы делались о другой. Ошибка не в модели, а в том, что отчёт не фиксировал фактическую модель.

Второй слой: харнесс мог мерить не тот путь. В бою работают другие переменные окружения, промпт, парсер и версия кода. Если замер идёт мимо этого пути, он проверяет лабораторную сборку, а не продукт. Проверить, какая модель загрузилась, можно по ответу API: логировать имя и версию из ответа, а не из конфига.

Как поймать расхождение между конфигом и реальной моделью

  • Писать в лог фактическое имя модели и версию из ответа API.
  • Сверять env, промпт и парсер с боевым запуском.
  • Держать smoke-тест на 1-2 кейсах с известным ответом.
  • Хранить в отчёте коммит, имя модели и дату.

Эти четыре поля стоят дешевле, чем полный прогон, и экономят полгода неверных выводов. Почему разные харнессы дают разные цифры даже на одном наборе, AI-Manual разбирал в материале о воспроизводимости бенчмарков.

Самообман №2: тихие нули при сбоях скрывали завышения

Когда проверка падала, в отчёт попадал ноль. Ноль выглядел как обычный балл, а не как сбой. Часть кейсов с завышениями выпадала из статистики или учитывалась неверно, и метрика становилась мягче, чем реальность.

Статус проверки нужно хранить отдельно от балла. Поля status: ok, error, skipped и причина ошибки. Метрики считать только по ok-кейсам, а долю ошибок показывать отдельной цифрой рядом. Иначе «тихие нули» маскируют проблему, и отчёт выглядит лучше, чем система.

Практический признак: если доля ошибок в замере не указана, доверять рядом стоящей точности нельзя. Ошибки могут быть случайными, а могут коррелировать с трудными кейсами, где модель чаще завышает.

Самообман №3: «точность» 96,7%, которая не отличалась от константной заглушки

96,7% звучит отлично, пока рядом не поставить константную заглушку. Заглушка всегда выдаёт один и тот же балл. Если она даёт сопоставимую точность, метрика измеряет дисбаланс классов в наборе, а не качество модели.

Простая иллюстрация: если 97% кейсов имеют ожидаемый балл 2, модель, которая всегда ставит 2, получит 97% точности и ноль пользы. В наборе с редкими высокими баллами такая заглушка обходит содержательную модель по точности, но проваливает главную задачу.

Рядом с каждой цифрой точности нужен baseline: константная заглушка и, желательно, мажоритарный класс. Без baseline точность не интерпретируется. Для LLM-оценщика это такой же обязательный элемент отчёта, как имя модели.

Самообман №4: защита от завышений незаметно порождала занижения

Когда автор начал бороться с завышениями, модель стала чаще занижать балл. Доля завышений падала, доля занижений росла, а суммарное качество могло не улучшаться. Односторонняя метрика тянет систему в свою сторону.

В ноябрьском замере 71,5% совпадения, 9,4% завышений и 19,1% занижений при MAE 0,379. Занижений вдвое больше, чем завышений. Это не обязательно следствие одной лишь защиты, но показывает, почему смотреть нужно на обе стороны. Если улучшать только overscoring_rate, можно получить оценщика, который боится ставить высокий балл.

Смотреть три метрики одновременно: долю завышений, долю занижений и MAE. Первая отвечает за риск «ученик узнает правду на экзамене», вторая за споры и недоверие, третья за размер промаха. Улучшать одну в отрыве от других: классическая ловушка.

Самообман №5: два прогона одной модели не дают независимых мнений

Идея «прогнать дважды и усреднить» выглядит как ансамбль. Два прогона одной модели коррелируют: те же веса, тот же промпт, та же температура. Ошибки повторяются, а не компенсируют друг друга.

Если модель систематически завышает на кейсах с развёрнутым ответом, второй прогон с большой вероятностью завысит там же. Среднее двух завышений останется завышением. Независимость даёт смена модели, промпта или подхода, а не повторный запуск.

Проверять независимость можно по матрице ошибок: совпадают ли кейсы, где прогоны расходятся. Если расхождения редкие и хаотичные, ансамбль добавит немного. Если ошибки совпадают, вы просто дважды заплатили за один и тот же сигнал.

Самообман №6: сравнение «модель против модели» на разных коммитах

Между замерами менялись не только модели, но и промпты, парсер, ключи ФИПИ и состав набора кейсов. Сравнение «модель против модели» на разных коммитах измеряет версии всей системы.

ДатаМодель и условияКейсовТочное совпадениеЗавышенияMAE
22.04.2026YandexGPT26850,0%33,6%0,761
05.08.2026Claude Sonnet 4.6, без ключей ФИПИ37665,7%15,7%не указано
05.08.2026Claude Sonnet 4.6, с ключами ФИПИ37670,7%14,1%не указано
03.11.2026Claude Sonnet 5.539371,5%9,4%0,379

Наборы кейсов различаются, поэтому строки нельзя читать как строгое сравнение моделей. Это ориентиры направления. Цифры и структура замеров опубликованы в разборе автора.

Добавление ключей ФИПИ к Claude Sonnet 4.6 в замере 05.08.2026 повысило точное совпадение с 65,7% до 70,7%, а завышения снизило с 15,7% до 14,1%. Это эффект не модели, а версии системы: изменился контекст, который получала модель. Набор между замерами рос и чистился, поэтому таблица показывает направление изменений, а не точную величину.

Сравнивать модели корректно только на замороженном наборе и замороженном коммите, меняя ровно одну переменную. Иначе дельта отвечает на вопрос «что стало лучше в системе», а не «какая модель сильнее».

Самообман №7: чего не показывают ноябрьские 71,5%

71,5% совпадения и 9,4% завышений не гарантируют качество. Набор собран не из реальных пользовательских ответов: 343 кейса это экзаменационные работы, 33 синтетика, 17 переразмеченные автором. Отложенной выборки нет. Кейсов на отдельное задание слишком мало для уверенных выводов.

Ограничения стоит перечислять рядом с цифрой, а не в сноске. Это часть метрики, а не дисклеймер. Читатель, который видит 71,5% без контекста, делает вывод о продукте. Читатель, который видит рядом состав набора и отсутствие holdout, делает вывод о замере.

Автор сам перечисляет эти ограничения в разборе. Как LLM отличает тесты от реальной работы и почему это завышает метрики, AI-Manual разбирал в материале об evaluation awareness.

Практический набор приёмов: что добавить в свой LLM-оценщик

Пять приёмов, которые переносятся на любой LLM-as-judge.

  1. Замер по боевому пути. Те же env, промпт, парсер и коммит, что в продукте. Иначе вы измеряете лабораторную сборку.
  2. Статус проверки отдельно от балла. status: ok, error, skipped, причина ошибки. Метрики только по ok, доля ошибок отдельной цифрой.
  3. Константная заглушка рядом с каждой цифрой точности. Плюс мажоритарный класс, если он есть. Без baseline точность не читается.
  4. Три метрики вместо одной. Доля завышений, доля занижений, MAE. Односторонняя борьба сдвигает ошибку в другую сторону.
  5. Тест «эталон как ответ ученика». Подать эталонный ответ как ответ ученика и проверить, что модель ставит ожидаемый балл.

Чек-лист подходит для оценки RAG-ответов, проверки агентных пайплайнов и скоринга заявок. Предметный эталон и критерии придётся задать свои.

Тест «эталон как ответ ученика»: как он ловит проблемы

Если подать модели эталонный ответ как ответ ученика, она должна поставить максимальный балл. Если ставит меньше, проблема не в ученике, а в системе: промпт, парсер или критерии мешают. Занижения идут от устройства проверки.

Тест дешёвый: один-два кейса, известный эталон, ожидаемый максимум. Он ловит регрессии до полного прогона. Если эталон получает неполный балл, остальные цифры замера можно не смотреть, сначала нужно починить путь.

Если оценщик работает в потоке с человеком, полезно заранее решить, что отдавать модели, а что проверяющему. AI-Manual разбирал это в материале о human-in-the-loop для LLM.

Как перенести этот опыт на свой проект

Приёмы не привязаны к ЕГЭ. Любой LLM-as-judge сталкивается с теми же ловушками: харнесс измеряет не тот путь, сбой выглядит как ноль, высокая точность держится на дисбалансе классов, а защита от одной ошибки порождает другую.

Начать стоит с трёх вещей: замер по боевому пути, baseline-заглушка и три метрики вместо одной. Дальше добавить статус отдельно от балла и тест «эталон как ответ ученика». Этого хватит, чтобы поймать большинство грубых ошибок в отчёте.

Универсального рецепта нет. Для каждой предметной области нужен свой эталон и свои критерии. В ЕГЭ эталон это балл эксперта по ФИПИ. В RAG это может быть правильный ответ и список источников, в агентном пайплайне выполненное действие. Метрики те же, содержание разное.

В AI-Manual есть материалы по локальным LLM, агентам и RAG, куда этот опыт встраивается: от выбора модели до проверки результатов.

Подписаться на канал