LLM врет. Это факт. Но самое страшное — когда она врет уверенно. Без запинки, с деталями, с видом эксперта. Обычные метрики faithfulness (точность покрытия фактов) ставят 0.5 — и проходят мимо. Почему? Потому что они не различают уверенную ложь (твердое утверждение, не подтвержденное контекстом) и осторожное умалчивание (общие фразы без конкретики). Первое — опасная галлюцинация, второе — просто бесполезный ответ. Чтобы их разделить, нужны две метрики: attribution и specificity.
17 Май 2026
•
Гайд
Как ловить уверенные галлюцинации: разбор метрик attribution и specificity для LLM evals
Разбираем, почему одна метрика faithfulness не спасает. Attribution и specificity — как разделить оценку и поймать ложь с высокой уверенностью в RAG.
