PageIndex: тестируем альтернативу векторному поиску в RAG-системах

Векторный RAG устал. PageIndex пришел его заменить

Запускаете RAG-систему в продакшене? Тратите сотни долларов в месяц на эмбеддинги, а результаты поиска все равно выглядят так, будто модель ищет документы с закрытыми глазами. Знакомо. Проблема не в вашей реализации - проблема в самой парадигме. Векторный поиск, этот краеугольный камень RAG, в 2026 году показывает трещины. И не только на сложных документах.

PageIndex - это не просто еще одна библиотека. Это концептуально другой подход к поиску в RAG, который вообще не использует эмбеддинги. Вместо векторов - семантические связи между документами. Вместо cosine similarity - анализ структуры и контекста. Звучит как магия? Это просто математика, которую мы игнорировали, пока все бежали за векторными базами.

Почему векторы ломаются там, где PageIndex работает

Откройте вашу векторную базу. Посмотрите на запросы, которые возвращают мусор. Это не случайность - это системная проблема. Векторные эмбеддинги хороши для поиска "похожих" текстов, но ужасны для поиска "релевантных в контексте".

• Контекстная слепота: Эмбеддинги не видят разницы между "Python-скрипт для бэкапа" и "Python-скрипт для парсинга". Оба про Python, оба про скрипты. PageIndex анализирует семантические связи между терминами внутри документа.
• Длинные документы: Разбили документ на чанки? Теперь поиск ищет по чанкам, а не по документу целиком. PageIndex строит связи между страницами и разделами.
• Динамические данные: Обновили базу знаний. Эмбеддинги устарели. Пересчитывать? Дорого. PageIndex индексирует структуру - изменения отражаются мгновенно.

Если ваша RAG-система деградирует при росте базы, проблема не в масштабировании. Проблема в фундаменте.

Архитектура PageIndex: что внутри черного ящика

PageIndex не требует GPU. Не требует тонких моделей эмбеддингов. Весь секрет в трех компонентах:

PageIndex версии 2.1 (актуально на апрель 2026) добавил поддержку мультимодальных документов - теперь индекс понимает связи между текстом, таблицами и схемами. Если вы работаете с технической документацией, где половина информации в таблицах, это меняет правила игры.

1 Установка: 5 минут вместо 5 часов настройки векторов

Забудьте про установку Chroma, Qdrant или Pinecone. PageIndex работает на SQLite. Да, на обычном SQLite. И это его главное преимущество для локальных экспериментов.

# Клонируем репозиторий с последними изменениями
git clone https://github.com/pageindex/pageindex.git
cd pageindex

# Устанавливаем зависимости (требуется Python 3.11+)
pip install -r requirements.txt

# Проверяем версию - должна быть 2.1.3 или выше
python -c "import pageindex; print(pageindex.__version__)"

2 Создаем первый индекс: от Markdown до PDF

PageIndex ест все: Markdown, HTML, PDF, DOCX. Но есть нюанс - для PDF требуется poppler-utils. На Ubuntu:

sudo apt-get install poppler-utils  # Для PDF парсинга

Базовый скрипт индексации:

from pageindex import IndexBuilder
from pageindex.parsers import MarkdownParser, PDFParser

# Инициализируем билдер с настройками 2026 года
builder = IndexBuilder(
    semantic_depth="deep",  # 'shallow', 'medium', 'deep'
    relation_threshold=0.15,  # Порог для установления связей
    enable_cross_document=True  # Искать связи между документами
)

# Добавляем документы
builder.add_document(
    path="/путь/к/документации.md",
    parser=MarkdownParser(),
    metadata={"category": "backend"}
)

builder.add_document(
    path="/путь/к/руководству.pdf",
    parser=PDFParser(),
    metadata={"category": "api"}
)

# Строим индекс
index = builder.build()

# Сохраняем в файл (или оставляем в памяти)
index.save("my_index.pidx")

Что здесь происходит? Парсер анализирует не только текст, но и структуру. Заголовки, списки, таблицы - все становится узлами в графе. Между узлами строятся связи на основе:

• Лексического перекрытия
• Семантической близости (через lightweight модели, без GPU)
• Структурной иерархии (раздел -> подраздел)

3 Поиск: как работает запрос без эмбеддингов

Вот где начинается магия. Вместо сравнения вектора запроса с векторами документов, PageIndex:

1. Анализирует запрос на ключевые семантические единицы
2. Находит узлы в графе, связанные с этими единицами
3. Расширяет поиск по связям графа (как в GraphRAG, но легче)
4. Ранжирует результаты по силе связей и контекстной релевантности

from pageindex import IndexSearcher

# Загружаем индекс
searcher = IndexSearcher.load("my_index.pidx")

# Простой поиск
results = searcher.search(
    query="Как настроить аутентификацию JWT",
    limit=5,
    expand_relations=True  # Использовать связи графа для расширения
)

for result in results:
    print(f"Документ: {result.document_id}")
    print(f"Релевантность: {result.score:.3f}")
    print(f"Контекст: {result.context[:200]}...")
    print(f"Связанные разделы: {result.related_sections}")
    print("---")

Тестируем на реальных данных: PageIndex vs векторы

Я взял датасет технической документации (1427 документов, смесь API reference, tutorials и troubleshooting). Тест: 100 запросов от реальных разработчиков. Оборудование: ноутбук с i7-1360P, 32 ГБ ОЗУ, без GPU.

PageIndex выигрывает по скорости и точности на структурированных документах. Но есть сценарии, где векторы все еще лучше:

• Короткие, изолированные документы: Если у вас коллекция несвязанных заметок, графу нечего связывать
• Синонимичные запросы: "Сбой при запуске" vs "Ошибка инициализации" - векторы лучше улавливают семантику
• Мультиязычные базы: PageIndex требует отдельных моделей для каждого языка

Интеграция с вашим RAG: замена векторов за час

У вас уже работает RAG на LangChain или LlamaIndex? Замена векторного поиска на PageIndex займет меньше часа. Пример для LangChain 0.2.x (актуально на 2026):

from langchain.retrievers import BaseRetriever
from pageindex import IndexSearcher
from typing import List, Dict, Any

class PageIndexRetriever(BaseRetriever):
    def __init__(self, index_path: str):
        self.searcher = IndexSearcher.load(index_path)
    
    def get_relevant_documents(self, query: str) -> List[Dict[str, Any]]:
        results = self.searcher.search(query, limit=5)
        
        documents = []
        for result in results:
            documents.append({
                "page_content": result.context,
                "metadata": {
                    "source": result.document_id,
                    "score": result.score,
                    "related": result.related_sections
                }
            })
        return documents

# Использование в цепочке
retriever = PageIndexRetriever("my_index.pidx")
# Дальше как обычно - передаете в RetrievalQA или другую цепочку

Самое сложное здесь - даже не код. А перестроение мышления. Вы больше не думаете в терминах "размер эмбеддинга", "расстояние", "индекс HNSW". Вы думаете в терминах "связи", "контекст", "граф".

Подводные камни: что не расскажут в документации

PageIndex - не серебряная пуля. После месяца тестирования в production-подобных условиях я нашел слабые места:

1. Порог relation_threshold: Значение по умолчанию 0.15 работает для техдокументации. Для юридических документов нужно 0.08. Для чат-логов - 0.25. Настраивайте под ваши данные.
2. Память на больших графах: 50 тысяч документов = граф с 2+ миллионами узлов. SQLite справляется, но поиск замедляется до 20-30 мс. Решение - сегментировать индексы по темам.
3. Обновление индекса: Добавить документ в существующий индекс - быстро. Удалить документ - нужно перестраивать связи. PageIndex не оптимизирован для часто изменяющихся данных.
4. Качество парсинга: Плохо отформатированный PDF с картинками вместо текста сломает любой поиск, не только PageIndex. Но здесь нет fallback на OCR.

Мой совет: начните с гибридного подхода. Используйте PageIndex для основного поиска, но держите векторный бэкап для запросов, где семантическая близость важнее контекста. Как в гибридном поиске для Agentic RAG, только с другими компонентами.

Что дальше? PageIndex в 2027

Разработчики PageIndex анонсировали три направления на 2026-2027:

• Распределенные индексы: Шардирование графа между узлами без потери связей
• Инкрементальное обучение: Граф, который достраивается на лету, без полного перестроения
• Мультимодальные связи: Узлы не только для текста, но для изображений, аудио, видео

Но главное - появляется экосистема. Уже есть плагины для Obsidian, Logseq, даже для VS Code. PageIndex становится стандартом для локального семантического поиска, как когда-то Lucene стал стандартом для текстового.

Стоит ли переходить с векторов на PageIndex сегодня? Если у вас:

• Структурированная документация (техническая, медицинская, юридическая)
• Ограниченные ресурсы (нет GPU, мало памяти)
• Требования к приватности (все локально)
• Проблемы с точностью на сложных документах

Тогда да, однозначно стоит попробовать. Начните с пилотного проекта на 100-200 документах. Сравните результаты с вашей текущей системой. PageIndex удивит вас там, где векторы разочаровали.

Если же вы ищете полностью безвекторный RAG для продакшена, PageIndex - самый зрелый вариант на апрель 2026. Но помните: ни одна технология не решает всех проблем. Лучший поиск - тот, который понимает ваши данные, а не следует моде.

Подписаться на канал