Серебряная пуля для RAG? Как бы не так. Каждый второй гайд в интернете впаривает cross-encoder как универсальное решение для ранжирования. И это работает — на бенчмарках. Но в проде начинается треш. Я собираю грабли с 2023 года, и за это время насмотрелся на ситуации, когда дорогой reranker не просто не помог, а ухудшил качество поиска. Добро пожаловать в реальный мир, где latency, дырявые эмбеддинги и особенности домена убивают идею.
Reranker не панацея: 4 кейса, когда cross-encoder ломает ваш RAG
Разбор 4 реальных сценариев, где реранкер не просто бесполезен, а вредит: юридические артефакты, latency-ловушки, слепые пятна на редких терминах и эффект шума
Коротко
Что будет в материале
- 01
Серебряная пуля для RAG? Как бы не так. Каждый второй гайд в интернете впаривает cross-encoder как универсальное решение для ранжирования. И это работает — на...