Введение: почему оценка уверенности LLM - это критически важно
LLM допускают ошибки. Хуже того, они делают это с абсолютной самоуверенностью, смешивая правду с вымыслом в одном убедительном ответе. В production-средах, где модели принимают решения о кредитах, медицинских рекомендациях или юридических консультациях, эта особенность превращается в прямой риск. Необнаруженная галлюцинация стоит дороже, чем отсутствие ответа.
Uncertainty quantification - количественная оценка неуверенности - решает именно эту задачу. Она позволяет системе сказать: «Я не знаю» или «Этому ответу нельзя доверять». В этом материале мы сравниваем девять методов оценки уверенности: восемь blackbox-подходов, работающих через внешний API, и один whitebox-метод Modaic Probe, анализирующий внутренние активации модели. Сравнение опирается на бенчмарки MMLU-Pro, GPQA, ARC-Challenge, HaluEval и JudgeBench.
Главный вывод: whitebox-метод Modaic Probe показывает наилучшие результаты по AUROC и калибровке. Среди blackbox-методов лидирует согласованность между разными моделями. Вербализованная уверенность, которую пользователи интуитивно воспринимают как индикатор надежности, систематически завышена из-за RLHF и не должна использоваться в ответственных приложениях.
Методы оценки уверенности: классификация и принципы работы
Девять методов разделяются на четыре группы по источнику сигнала: текст, который модель генерирует; вероятности токенов, которые она вычисляет; вариативность ответов при множественной генерации; и внутренние представления скрытых слоев. Каждая группа имеет свои компромиссы между точностью, вычислительной стоимостью и требованиями к доступу.
Текстовые методы: что модель говорит о своей уверенности
Самый интуитивный подход - спросить модель напрямую. Вербализованная уверенность извлекается через промпт вроде «Оцени свою уверенность в ответе от 0 до 100%». Модель возвращает число, и это число часто выглядит правдоподобно. Проблема в том, что оно редко соответствует реальной точности.
Лингвистическая неопределенность анализирует формулировки ответа: слова «возможно», «вероятно», «скорее всего» интерпретируются как маркеры низкой уверенности, а категоричные утверждения - как высокая. Метод не требует дополнительных вызовов API, но сильно зависит от стиля конкретной модели. Длина рассуждений использует корреляцию между количеством токенов в цепочке мыслей и уверенностью: более длинные рассуждения часто сопровождают менее уверенные ответы. Корреляция слабая и нестабильная across разными архитектурами.
Токенные методы: вероятности на уровне токенов
P(Answer) агрегирует вероятности всех токенов в последовательности ответа. Для каждого токена берется его вероятность из распределения softmax, затем значения перемножаются или усредняются. Метод требует доступа к logits - сырым выходам модели до нормализации, что доступно не для всех API. OpenAI и Anthropic не предоставляют logits для флагманских моделей, Google и ряд open-source провайдеров - предоставляют.
P(True) - специализированный вариант для задач классификации. Вместо агрегации всей последовательности метод смотрит на вероятность единственного токена, соответствующего правильному ответу. Например, для вопроса с вариантами A/B/C/D извлекается вероятность токена «C», если модель выбрала вариант C. Этот подход тоньше и точнее P(Answer), но применим только там, где ответ - один токен.
Сэмплинговые методы: ансамблирование и возмущения
Самосогласованность (Self-Consistency) генерирует несколько ответов на один запрос с высокой температурой и измеряет степень согласия между ними. Если из десяти сэмплов восемь дают одинаковый ответ, уверенность высокая. Если ответы распределены равномерно - низкая. Метод хорошо ловит неоднозначность в данных, но пропускает систематические ошибки модели.
Пертурбация промпта перефразирует вопрос несколько раз и проверяет, сохраняется ли ответ. Падение согласованности при перефразировании сигнализирует о неуверенности. Согласованность между моделями идет дальше: один и тот же запрос отправляется разным LLM - GPT-4, Claude, Gemini - и консенсус между ними используется как оценка надежности. Этот подход требует нескольких платных API-подписок, но дает наиболее стабильный blackbox-сигнал.
Whitebox-подход: Modaic Probe и механистическая интерпретируемость
Modaic Probe работает на принципиально другом уровне. Вместо анализа выходных данных модели он обучает линейный классификатор на скрытых состояниях - активациях промежуточных слоев LLM. Классификатор предсказывает, будет ли ответ модели правильным, еще до того, как модель его сгенерировала.
Технически это probing: на наборе вопросов с известными ответами собираются векторы скрытых состояний для правильных и неправильных ответов, затем на них обучается простой логистический регрессионный классификатор. На инференсе один прогон модели дает и ответ, и оценку его корректности через активации probe. Никакой множественной генерации не требуется. Цена - необходимость полного доступа к весам модели и скрытым состояниям, что исключает использование с коммерческими API.
Бенчмарки и метрики: как мы сравнивали методы
Сравнение опирается на пять бенчмарков, покрывающих разные типы задач и ошибок. MMLU-Pro тестирует фактические знания в 57 дисциплинах - от математики до юриспруденции. GPQA содержит сложные научные вопросы уровня PhD, где даже эксперты часто ошибаются. ARC-Challenge проверяет логическое мышление через задачи, требующие многошаговых рассуждений. HaluEval специализируется на детекции галлюцинаций: модель должна распознать, где она выдает вымышленную информацию. JudgeBench оценивает способность LLM выступать судьей качества ответов других моделей.
Две ключевые метрики. AUROC (Area Under the Receiver Operating Characteristic) измеряет способность метода разделять правильные и неправильные ответы. Значение 1.0 - идеальное разделение, 0.5 - случайное угадывание. Калибровка показывает, насколько заявленная уверенность соответствует фактической точности. Хорошо откалиброванный метод, утверждающий 80% уверенности, должен ошибаться ровно в 20% случаев. Плохая калибровка опаснее низкого AUROC: модель с завышенной самооценкой внушает ложное доверие.
Результаты: какой метод действительно работает?
Modaic Probe лидирует по обеим метрикам на всех пяти бенчмарках. Его AUROC стабильно превышает 0.85, а калибровка близка к идеальной - расхождение между заявленной уверенностью и реальной точностью в пределах 3-5 процентных пунктов. Среди blackbox-методов лучший результат показывает согласованность между разными моделями с AUROC 0.78-0.82 в зависимости от бенчмарка.
Самосогласованность отстает на 5-8 процентных пунктов от межмодельного консенсуса. P(True) работает сравнимо с самосогласованностью, но только в задачах, где ответ укладывается в один токен. P(Answer) показывает результаты чуть хуже. Текстовые методы - вербализованная уверенность, лингвистическая неопределенность и длина рассуждений - замыкают список с AUROC 0.55-0.65, едва превосходя случайное угадывание.
Почему вербализованная уверенность подводит: влияние RLHF
RLHF учит модель давать ответы, которые нравятся людям. А людям нравятся уверенные ответы. В процессе обучения с подкреплением на основе человеческих предпочтений модель получает положительное подкрепление за решительные формулировки и отрицательное - за уклончивые «я не уверен». Результат: модель научается заявлять 95% уверенности даже когда ее реальная точность колеблется около 60%.
На HaluEval этот эффект проявляется особенно ярко. Модели, прошедшие RLHF, галлюцинируют с той же лингвистической уверенностью, с какой сообщают проверенные факты. Текст ответа перестает нести сигнал о надежности - он оптимизирован под убедительность, а не под честность. Вербализованная уверенность измеряет не знание модели, а качество её RLHF-тренировки.
Самосогласованность и типы неопределенности: алеаторная vs эпистемическая
Алеаторная неопределенность - это шум, заложенный в самих данных. Неоднозначный вопрос, противоречивый контекст, несколько одинаково правильных ответов. Эпистемическая неопределенность - это недостаток знаний модели. Она не знает правильного ответа, но может быть в этом абсолютно уверена.
Самосогласованность измеряет преимущественно алеаторную неопределенность. Когда вопрос допускает несколько интерпретаций, разные сэмплы дают разные ответы - разброс высокий, метод это ловит. Когда модель систематически заблуждается, все десять сэмплов выдают одинаково неправильный ответ с высокой согласованностью - метод слеп. Modaic Probe, анализируя внутренние представления, улавливает оба типа неопределенности. Он видит, что модель «колеблется» на уровне скрытых состояний, даже если на выходе выдает уверенный ответ. Это ключевое преимущество whitebox-подхода.
Практические рекомендации: какой метод выбрать для вашего проекта
Выбор метода определяется тремя факторами: уровень доступа к модели, бюджет на вычисления и критичность последствий ошибки.
Если у вас есть доступ к весам и скрытым состояниям модели - используйте Modaic Probe. Один прогон, максимальная точность, отличная калибровка. Это оптимальный выбор для open-source моделей в production, где качество важнее простоты развертывания. Техника механистической интерпретируемости, аналогичная примененной в Gemma-4-31B-AntiHal, показывает, что работа с внутренними представлениями дает результаты, недостижимые через анализ выходов.
Если доступен только API - собирайте ансамбль из разных моделей. Комбинация GPT-4, Claude и Gemini с голосованием дает наиболее надежный blackbox-сигнал. Это дороже одиночного вызова, но дешевле разбора последствий необнаруженной ошибки в критических приложениях.
Самосогласованность - приемлемый компромисс для задач средней критичности, когда бюджет ограничен одной моделью. Помните об ограничении: метод слеп к систематическим ошибкам. Если модель уверенно заблуждается, самосогласованность это не обнаружит.
Текстовые методы не рекомендуются для любых сценариев, где цена ошибки выше нуля. Вербализованная уверенность после RLHF - это функция убедительности, а не точности. Использовать её для фильтрации ответов - значит полагаться на случайность.
Вычислительные затраты различаются на порядок. Modaic Probe требует одного прогона модели плюс легковесный линейный классификатор. Самосогласованность - 5-10 прогонов. Межмодельный консенсус - 3 прогона на разных API с разной стоимостью токена. Выбирайте метод, который вы можете позволить себе запускать на каждом запросе, а не выборочно.
Заключение: будущее оценки уверенности в LLM
Разрыв между whitebox и blackbox методами - это разрыв между теми, кто имеет доступ к внутренностям модели, и теми, кто работает с API. Modaic Probe и аналогичные probing-подходы показывают, что сигнал о надежности ответа присутствует в скрытых состояниях модели задолго до генерации первого токена. Извлечь его можно простым линейным классификатором.
Развитие механистической интерпретируемости идёт к тому, чтобы сделать оценку уверенности стандартной функцией LLM-сервисов. Когда провайдеры API начнут возвращать score уверенности вместе с ответом, потребность в самодельных сэмплинговых методах отпадет. До тех пор практический выбор - Modaic Probe для открытых моделей и межмодельный консенсус для закрытых API.
Тестируйте методы на своих задачах. Бенчмарки дают общую картину, но распределение ошибок в вашем домене может отличаться. Опыт RTEB 2026 подтверждает: результаты на публичных наборах данных не всегда переносятся на реальные сценарии. Запустите A/B-тест с вашими данными, измерьте AUROC и калибровку для двух-трех методов, выберите тот, который работает в вашем контексте. Оценка уверенности - не академическое упражнение, а production-необходимость для всех, кто внедряет LLM в процессы принятия решений.