Почему ваш RAG врёт на ровном месте
Представьте: вы настроили векторный поиск на FAISS, запустили хорошую модель эмбеддингов, но система всё равно возвращает мусор. Пользователь спрашивает "как настроить VPN на Ubuntu", а в контекст попадает документация по настройке VPN на Windows 2003. Знакомо?
Векторный поиск находит близкие представления текста, но релевантность зависит от модели, разбиения документов и запроса. BM25 учитывает совпадение токенов, их редкость и длину текста. Два подхода могут дополнять друг друга; ни один не гарантирует правильный ответ RAG без проверки найденных источников.
В статье нет воспроизводимого эксперимента, подтверждающего прирост 48% на MS MARCO. Ниже — учебный CPU-поиск с корректным объединением рангов. Его качество нужно сравнить с BM25 и dense-only на одном размеченном наборе запросов; FAISS — библиотека индексации, а не модель с фиксированной «точностью».
Архитектура: что куда и зачем
Не нужно запускать две отдельные системы. Мы сделаем единый пайплайн, который:
- Принимает запрос
- Ищет через BM25 и FAISS по одному и тому же списку текстовых фрагментов
- Связывает результаты с общими ID фрагментов
- Объединяет ранги через reciprocal rank fusion (RRF)
- Ранжирует финальный список
| Компонент | Что делает | CPU нагрузка |
|---|---|---|
| BM25 | Лексическое ранжирование по BM25 | Низкая |
| FAISS (IndexFlatIP) | Семантический поиск по векторам | Средняя |
| Sentence Transformers | Создание эмбеддингов | Высокая (но кэшируется) |
1 Подготовка: что ставить и почему не ставить тяжёлые модели
Первая ошибка — ставить BERT-large для эмбеддингов. На CPU он тормозит как трактор в пробке. Вам нужны модели, оптимизированные под CPU.
python -m venv .venv
. .venv/bin/activate
python -m pip install sentence-transformers faiss-cpu rank-bm25 numpyПример рассчитан на Linux и совместимую версию Python. Для PyTorch CPU используйте официальную инструкцию установки под свою платформу; зафиксируйте версии после проверки окружения. Название модели — идентификатор для SentenceTransformer, а не отдельный pip-пакет. Не устанавливайте зависимости с --no-deps без подготовленного окружения.
Для русскоязычного примера ниже выбрана multilingual-модель. Сравнивайте качество и скорость подходящих моделей на своём языке и данных:
- all-MiniLM-L6-v2 — 22.7M параметров, 384-мерные эмбеддинги
- paraphrase-multilingual-MiniLM-L12-v2 — для мультиязычных данных
- gte-small — альтернативная модель; скорость, языки и качество проверяйте по model card и своим тестам
2 Индексируем данные: два индекса вместо одного
Здесь начинается магия. Мы создаём два параллельных индекса:
import re
import numpy as np
import faiss
from rank_bm25 import BM25Okapi
def tokenize(text):
return re.findall(r"\w+", text.casefold(), flags=re.UNICODE)
class HybridIndex:
def __init__(self, model=None):
if model is None:
from sentence_transformers import SentenceTransformer
model = SentenceTransformer(
"sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2",
device="cpu",
)
self.model = model
self.documents = []
self.faiss_index = None
def _encode(self, texts):
vectors = np.ascontiguousarray(self.model.encode(
texts, batch_size=32, convert_to_numpy=True,
normalize_embeddings=True, show_progress_bar=False,
), dtype=np.float32)
if vectors.ndim != 2 or vectors.shape[0] != len(texts):
raise ValueError("Unexpected embedding shape")
if not np.isfinite(vectors).all() or (np.linalg.norm(vectors, axis=1) == 0).any():
raise ValueError("Non-finite or zero embedding")
faiss.normalize_L2(vectors)
return vectors
def build_index(self, documents):
documents = list(documents)
if not documents or any(not isinstance(d, str) or not tokenize(d) for d in documents):
raise ValueError("Provide non-empty text chunks")
tokens = [tokenize(d) for d in documents]
vectors = self._encode(documents)
index = faiss.IndexFlatIP(vectors.shape[1])
index.add(vectors)
# A row ID refers to the same chunk in both indexes.
self.documents = documents
self.tokens = [set(t) for t in tokens]
self.bm25_index = BM25Okapi(tokens)
self.faiss_index = index
def _encode_query(self, query):
return self._encode([query])
def hybrid_search(self, query, top_k=10, candidate_k=30, rrf_k=60):
if self.faiss_index is None:
raise ValueError("Build the index first")
if not isinstance(query, str):
raise TypeError("query must be a string")
if top_k < 1 or candidate_k < 1 or rrf_k < 1:
raise ValueError("Search parameters must be positive")
query_tokens = tokenize(query)
if not query_tokens:
return []
count = min(max(top_k, candidate_k), len(self.documents))
raw_bm25 = self.bm25_index.get_scores(query_tokens)
terms = set(query_tokens)
# OOV queries must not add arbitrary lexical candidates.
lexical_ids = [i for i, t in enumerate(self.tokens) if terms & t]
lexical_ids.sort(key=lambda i: (-float(raw_bm25[i]), i))
lexical_ids = lexical_ids[:count]
distances, ids = self.faiss_index.search(self._encode_query(query), count)
dense = {int(i): float(score) for i, score in zip(ids[0], distances[0])
if 0 <= int(i) < len(self.documents) and np.isfinite(score)}
dense_ids = sorted(dense, key=lambda i: (-dense[i], i))
fused = {}
for ranking in (lexical_ids, dense_ids):
for rank, doc_id in enumerate(ranking, start=1):
fused[doc_id] = fused.get(doc_id, 0.0) + 1.0 / (rrf_k + rank)
ordered = sorted(fused, key=lambda i: (-fused[i], i))[:top_k]
return [{
"document_id": i,
"document": self.documents[i],
"score": fused[i],
"bm25_score": float(raw_bm25[i]) if i in lexical_ids else None,
"faiss_score": dense.get(i),
} for i in ordered]
Перед индексацией разбейте документы на короткие фрагменты с учётом токенизатора: выбранная модель имеет ограничение длины, длинный текст может обрезаться. Этот класс хранит оба индекса в памяти; BM25 и FAISS используют одинаковый порядок фрагментов. При изменении корпуса перестраивайте их вместе. Сохранение и загрузка индексов здесь не реализованы: для production понадобятся проверенный формат, версия корпуса, точная модель/ревизия и совместимая токенизация. Не загружайте pickle или FAISS-индексы из недоверенных источников.
IndexFlatIP выполняет точный поиск по внутреннему произведению. Векторы документов и запроса нормализованы, поэтому результат соответствует cosine similarity. IVF требует отдельного выбора nlist/nprobe и достаточной обучающей выборки; его скорость и потерю полноты нужно измерять, а не обещать ускорение в десятки раз.
HNSW подходит и для CPU; утверждение, что он оптимизирован только под GPU, неверно. Сравнивайте Flat, IVF и HNSW по размеру корпуса, памяти, задержке и recall. В этой статье Flat выбран для простого проверяемого примера, а не как универсально лучший индекс.
3 Поиск: как объединять результаты без костылей
BM25 не имеет универсального диапазона 0–25 и может возвращать отрицательные значения. Cosine лежит в диапазоне от −1 до 1 только при правильной нормализации. RRF объединяет позиции, а не исходные шкалы: документ на позиции rank получает 1/(rrf_k + rank) от каждого списка, где присутствует. Итоговый score — показатель ранжирования, не вероятность релевантности.
index = HybridIndex()
index.build_index([
"Настройка VPN на Ubuntu через WireGuard",
"Настройка почты и IMAP",
"Настройка VPN на Windows",
])
for result in index.hybrid_search("VPN Ubuntu", top_k=2, candidate_k=3):
print(result)При первом запуске SentenceTransformer скачает модель. Текстовые фрагменты и запросы обрабатываются локально после загрузки. Пример показывает вызов класса выше; его семантическое качество не следует оценивать по трём фразам.
candidate_k задаёт глубину кандидатов каждого метода. Код ограничивает её размером корпуса и исключает недействительные FAISS ID. Отсутствующий в одном списке документ не получает от него вклад. Поле faiss_score берётся из отображения ID → score, а не по ID как индексу позиции. Значение None означает отсутствие в списке кандидатов, а не нулевую релевантность.
Оптимизации для CPU: сначала измерения, затем изменения
Для размещения CPU-поиска сравнивайте память под модель, векторы, BM25 и тексты, а также время построения и p95 поиска. Timeweb Cloud можно включить в сравнение провайдеров. Это партнёрская ссылка; конфигурацию и текущую стоимость проверяйте на своей нагрузке, минимальный тариф не гарантирует достаточность ресурсов.
Кэширование эмбеддингов запросов
Измерьте долю времени на кодирование запроса. Если запросы повторяются и модель неизменна, ограниченный кэш может помочь; гарантии ускорения нет.
from functools import lru_cache
class CachedHybridIndex(HybridIndex):
@lru_cache(maxsize=1000)
def _encode_query(self, query):
return super()._encode_query(query)
def build_index(self, documents):
self._encode_query.cache_clear()
return super().build_index(documents)Создавайте CachedHybridIndex вместо HybridIndex: основной поиск действительно вызывает переопределённый метод. Здесь кэшируются только эмбеддинги, не результаты выдачи, поэтому top_k не теряется в ключе. Кэш ограничен, но удерживает запросы в памяти: учитывайте конфиденциальность. При смене модели создавайте новый объект; изменения индекса и поиск в этом учебном классе не должны выполняться одновременно.
Пакетная обработка запросов
Пакетное кодирование может увеличить throughput, но ожидание наполнения batch увеличивает задержку. Сравнивайте оба показателя. Простой корректный baseline ниже выполняет запросы последовательно и не называется оптимизированным batching:
queries = ["VPN Ubuntu", "настройка почты"]
batch_results = [index.hybrid_search(q, top_k=2) for q in queries]Для настоящего batching нужно один раз вызвать model.encode для списка запросов, передать матрицу в FAISS search и выполнить тот же RRF для каждой строки с её ID и scores. Это отдельная оптимизация, которой в текущем классе нет; undefined results и пропущенное слияние не являются рабочим примером.
Где это падает и как чинить
Проверьте следующие ограничения на своём корпусе:
Проблема 1: точный Flat-индекс хранит векторы в RAM. Миллион векторов по 384 float32 занимает около 1,536 млрд байт (1,43 GiB) только под векторы. Дополнительно нужны модель, BM25, тексты и временные массивы при построении.
Решение: оцените сжатие, шардинг или специализированную систему хранения. Обычный IndexFlatIP нельзя просто объявить дисковым memory-mapped индексом; FAISS описывает отдельные схемы on-disk IVF. Для оценки общего бюджета RAM также смотрите статью про CPU+RAM инференс.
Проблема 2: запрос без предметных терминов плохо определяет намерение. Но короткий код ошибки или артикул, наоборот, может отлично работать с BM25.
Решение: проверяйте такие запросы отдельно; при недостатке контекста запросите уточнение. Не меняйте веса только по числу слов без оценки на размеченных примерах.
Проблема 3: Разные языки в одном индексе. BM25 мучается с мультиязычными данными.
Решение: Используйте multilingual модель эмбеддингов (paraphrase-multilingual-*) и добавьте language detection для BM25. Или постройте отдельные индексы для каждого языка.
Как измерить качество без вымышленных бенчмарков
Зафиксируйте корпус, разбиение на фрагменты, модель и её ревизию, токенизацию, версии библиотек и оборудование. Соберите запросы с размеченными релевантными фрагментами и отдельные validation/test-части. Сравните BM25-only, dense-only и RRF на одинаковом наборе; для IVF/HNSW отдельно измерьте recall относительно точного Flat.
MRR@10 — среднее обратного ранга первого релевантного результата в top-10, с нулём при его отсутствии. Это не универсальная «точность в процентах». Дополнительно измеряйте recall@k, precision@k, p50/p95/p99, throughput и пиковую RAM; включайте кодирование запроса и различайте холодный и прогретый кэш. MS MARCO имеет разные задачи и версии: указывайте точный split и протокол, а не переносите неподтверждённые цифры из другой конфигурации.
Продакшен-советы, о которых не пишут в документации
1. Настройки слияния и проверка качества
Для RRF проверяйте глубину кандидатов и rank constant на validation-наборе. Не выбирайте параметры по итоговому test-набору и не обещайте улучшение каждому типу запроса.
# Получить выдачи для последующей оценки по разметке validation-набора.
variants = {
(depth, constant): index.hybrid_search(
"VPN Ubuntu", top_k=2, candidate_k=depth, rrf_k=constant
)
for depth in (10, 30)
for constant in (20, 60)
}
2. Реранкинг как финальный штрих
После гибридного поиска можно отдельно ранжировать кандидатов cross-encoder-моделью, подходящей языку и задаче. Измерьте её стоимость на CPU. Не складывайте logits реранкера и RRF-score в произвольной пропорции: их шкалы не сопоставимы.
def rerank_results(query, candidates, cross_encoder):
if not candidates:
return []
scores = cross_encoder.predict([[query, c["document"]] for c in candidates])
ranked = [dict(c, rerank_score=float(score))
for c, score in zip(candidates, scores)]
return sorted(ranked, key=lambda c: (-c["rerank_score"], c["document_id"]))Передайте инициализированный CrossEncoder, выбранный и проверенный для вашего языка. Функция не меняет исходных кандидатов; исходный score остаётся RRF, а порядок определяется rerank_score. Реранкер не сможет найти документ, которого нет среди кандидатов.
Прибавка качества и задержка реранкинга зависят от корпуса, модели и количества кандидатов. Принимайте решение по измеренному качеству и SLO.
3. Мониторинг и A/B тесты
Развернули систему? Отлично. Теперь нужно понять, работает ли она.
- Логируйте необходимые диагностические данные с редактированием чувствительного текста и ограничением доступа
- Считайте precision@k для случайной выборки
- Сравнивайте параметры RRF и глубину кандидатов на размеченных запросах
- Следите за задержками перцентилями (p95, p99 важнее среднего)
Когда это не работает (и что делать)
Гибридный поиск — не серебряная пуля. Есть случаи, где он бесполезен:
- Очень специфичные домены (медицинские тексты, юридические документы). Здесь нужны доменно-специфичные эмбеддинги. Проверьте доменную retrieval-модель на разметке; обычный encoder нельзя автоматически считать готовой sentence-embedding моделью.
- Мультимодальный поиск (картинки + текст). FAISS работает, BM25 — нет. Нужна отдельная логика.
- Реальное время с миллионами QPS. Предельный QPS зависит от корпуса, индекса, модели, оборудования и batch; универсального порога отказа нет. Смотрите в сторону специализированных векторных БД (Weaviate, Qdrant) или Elasticsearch с плагинами.
Если вам нужна максимальная точность и есть бюджет на GPU, посмотрите статью про топ-модели для coding агентов. Там есть сравнение ColBERT и других тяжёлых методов.
Что дальше? Векторные БД выходят на сцену
FAISS + BM25 в коде — это хорошо для старта. Но в продакшене вы упрётесь в масштабирование, репликацию, отказоустойчивость.
Следующий шаг — векторные БД с встроенным гибридным поиском:
- Weaviate — один из вариантов для дальнейшего сравнения; требования проверяйте под нагрузку
- Qdrant — быстрый, с хорошей поддержкой sparse-dense векторов
- Elasticsearch 8.x — добавили vector search, можно комбинировать с BM25
- Vespa — монстр от Yahoo, но сложен в настройке
Мой совет: начинайте с кода из этой статьи. Проверьте параметры RRF и глубину кандидатов на своих данных. Замерьте точность и latency. Когда упрётесь в ограничения — переходите на специализированную БД. Но не раньше.
Самый частый вопрос: "А не переусложняю ли я?" Нет. RAG без хорошего поиска — это генератор случайных текстов. Потратьте день на настройку гибридного поиска. Сэкономите недели на исправлении галлюцинаций.
P.S. Если ваш сервер еле дышит под нагрузкой, посмотрите статью про дешёвый AI-инференс. Сравнивайте предложенные оптимизации на своей модели и нагрузке; гарантированной доли производительности нет.