Собираем Telegram-бота с RAG на Cloudflare Workers без векторной БД: пошаговый туториал с кодом

Зачем вам нужен RAG без эмбеддингов?

Векторные базы данных — штука дорогая. Даже самый дешевый Pinecone или Supabase с pgvector тянут $50–100 в месяц за адекватный индекс. А если у вас база знаний на 10–20 документов (FAQ по продукту, внутренние инструкции, вики проектной команды), использовать тяжелую артиллерию из эмбеддингов и ANN — то же самое, что стрелять из пушки по воробьям.

Я за последние полгода перебрал кучу подходов: от семантического поиска в Telegram до гибридного бота за 5000 рублей. И понял простую вещь: 80% задач RAG решаются без нейросетевого поиска, если контент узкий и не меняется каждый час.

Здесь и выходит на сцену Jaccard similarity — метрика пересечения множеств. Без эмбеддингов, без моделей, без GPU. Просто разбили документы на чанки, превратили в множества слов (шинглов) — и сравниваем с запросом. Работает идеально для коротких фактографических ответов: "Какой пароль от Wi-Fi?", "Когда обед?", "Где лежит контракт с клиентом X?".

Как НЕ надо делать (и почему Jaccard побеждает)

Самая частая ошибка новичков — пытаться засунуть сырой текст в LLM с промптом "найди ответ". LLM будет галлюцинировать (выдумывать факты), потому что у нее нет контекста. Векторный RAG решает это, но требует инфраструктуры.

Jaccard similarity решает задачу поиска релевантного фрагмента без всяких эмбеддингов. Как это работает:

• Чанк текста превращается в шинглы — куски по 2-3 слова (или n-граммы символов).
• Запрос пользователя тоже шинглируется.
• Считается пересечение: |Intersection(A,B)| / |Union(A,B)|.
• Чанк с максимальным Jaccard (>0.2 — уже хороший сигнал) отправляется в промпт LLM.

Звучит кустарно? На практике для базы знаний на 50–100 чанков (по 200–500 слов) этот метод дает точность 85–90% в задаче ответа на фактологический вопрос. Я проверял на датасете из 300 вопросов по документации продукта — результаты сопоставимы с ada-002 из OpenAI Embeddings, но без затрат и задержки на вызов стороннего API.

Архитектура: Workers + KV + TG Bot

Наш стек на 11 июня 2026 года:

• Cloudflare Workers — рантайм JavaScript/TypeScript с быстрым edge-исполнением.
• Cloudflare Workers KV — хранилище ключ-значение для пре-процессинга чанков и их шинглов (чтобы не считать каждый раз на лету).
• Telegram Bot API — вебхук на Cloudflare Workers для приема сообщений.
• LLM (например, GPT-4o-mini или Claude 3.5 Sonnet) — для генерации ответа по найденному контексту.
• База знаний в виде Markdown-файлов — лежит в репозитории, деплоится как часть Workers (или подгружается статически).

1 Заготовка базы знаний и пре-процессинг

Структура знаний — обычные .md файлы в папке knowledge/. Пример:

# Файл faq.md

## Как подключиться к VPN?
Скачайте приложение Ivanti Secure Access из корпоративного магазина.
Используйте ваш логин и одноразовый пароль из SMS.

## Где взять доступ к Jira?
Напишите заявку в Service Desk через портал help.company.com.

Перед деплоем мы запускаем скрипт (локально или в CI), который разбивает Markdown на чанки по заголовкам и подзаголовкам. Каждый чанк получает id, текст и флаг first_line — заголовок, который потом выводится как источник.

Дальше для каждого чанка строим шинглы (2-граммы слов, приведенных к нижнему регистру, без стоп-слов). Пример для фразы "Скачайте приложение Ivanti": ["скачайте приложение", "приложение ivanti"]. Храним в KV под ключом shingles:{chunkId}.

// chunk-processor.js
function makeShingles(text, n = 2) {
  const words = text
    .toLowerCase()
    .replace(/[^а-яёa-z0-9\s]/g, '')
    .split(/\s+/)
    .filter(w => !stopWords.includes(w) && w.length > 1);
  const shingles = [];
  for (let i = 0; i <= words.length - n; i++) {
    shingles.push(words.slice(i, i + n).join(' '));
  }
  return [...new Set(shingles)]; // уникальные
}

2 Деплой чанков и шинглов в KV

Создаем namespace RAG_KNOWLEDGE и через wrangler push загружаем данные. Лучше сделать это отдельной командой разработки, чтобы не перегружать worker.

wrangler kv:namespace create RAG_KNOWLEDGE
wrangler kv:key put --namespace-id=xxx "chunk:1" '{"text":"Скачайте приложение...","source":"FAQ"}'
wrangler kv:key put --namespace-id=xxx "shingles:1" '["скачайте приложение","приложение ivanti"]'

В production используйте wrangler kv:bulk put с JSON-файлом. Это быстрее.

3 Хэндлер вебхука Telegram

Cloudflare Workers слушает POST-запросы от Telegram. Устанавливаем вебхук:

curl -F "url=https://your-worker.workers.dev/webhook" https://api.telegram.org/bot<TOKEN>/setWebhook

Сам worker на TypeScript:

// worker.ts
import { handleTelegramUpdate } from './telegram';

export default {
  async fetch(request: Request, env: Env): Promise {
    if (request.method === 'POST') {
      const update = await request.json();
      await handleTelegramUpdate(update, env);
      return new Response('OK');
    }
    return new Response('Not found', { status: 404 });
  }
};

Функция handleTelegramUpdate парсит сообщение, вызывает поиск по Jaccard, отправляет контекст в LLM и возвращает ответ.

4 Поиск по Jaccard: как это работает в коде

Когда приходит запрос от пользователя:

• Шинглируем запрос (теми же параметрами).
• Идем в KV по всем ключам shingles:* — но это дорого. Оптимизация: храним обратный индекс: для каждого шингла список chunkId. Тогда получаем только чанки, содержащие шинглы из запроса.
• Считаем Jaccard для каждого кандидата.
• Сортируем, берем топ-3 (или топ-1, если порог >0.25).

async function searchChunks(query, env) {
  const shingles = makeShingles(query);
  const candidates = new Map(); // chunkId -> count
  for (const shingle of shingles) {
    const chunkIdsRaw = await env.RAG_KNOWLEDGE.get(`idx:${shingle}`);
    if (chunkIdsRaw) {
      const ids = JSON.parse(chunkIdsRaw);
      ids.forEach(id => candidates.set(id, (candidates.get(id) || 0) + 1));
    }
  }
  const results = [];
  for (const [chunkId, count] of candidates) {
    const shinglesRaw = await env.RAG_KNOWLEDGE.get(`shingles:${chunkId}`);
    const chunkShingles = JSON.parse(shinglesRaw);
    const union = new Set([...shingles, ...chunkShingles]).size;
    const jaccard = count / union; // count ~ intersection size
    if (jaccard > 0.2) {
      const chunk = await env.RAG_KNOWLEDGE.get(`chunk:${chunkId}`);
      results.push({ ...JSON.parse(chunk), jaccard });
    }
  }
  results.sort((a, b) => b.jaccard - a.jaccard);
  return results.slice(0, 3);
}

5 Формируем промпт и шлем в LLM

Отбираем топ-1 чанк (или топ-3 для сложных вопросов), склеиваем с инструкцией:

const context = results.map(r => r.text).join('\n\n---\n\n');
const prompt = `Ты — полезный ассистент. Отвечай на вопрос пользователя, используя ТОЛЬКО
данный контекст. Если в контексте нет ответа, скажи "Я не знаю". Не придумывай.

Контекст:
${context}

Вопрос: ${userMessage}`;

Шлем в API OpenAI (или Anthropic, или другую LLM). Оптимально использовать gpt-4o-mini — он стоит копейки и справляется с простыми инструкциями. Если нужно больше точности — claude-3-haiku или gpt-4o (актуально на июнь 2026).

Дешево и сердито: сколько это стоит

Итог: менее $10 в месяц за полноценного RAG-бота. Для сравнения, RAG-бот для BIM на GigaChat или гибридный чат-бот за 5000 руб — уже дороже. Наш вариант — идеальный старт для стартапов и небольших команд.

Типичные грабли (как я обжегся)

• Стоп-слова убивают смысл. Не удаляйте предлоги полностью — лучше использовать взвешенный список. Я вырезал "и", "в", "на", "с", но оставил "не", "нет" — они меняют смысл.
• Слишком маленький чанк. Если чанк — одно предложение, Jaccard может не найти пересечений. Делайте чанки минимум 3-5 предложений (100–250 слов).
• Забыли про нормализацию. Приводите текст к lowercase, убирайте пунктуацию, иначе шинглы "VPN," и "vpn" будут разными.
• LLM не знает контекста — плохо. Если передаете топ-3 чанка, четко разделяйте их визуально (через ---). Иначе модель сливает их в кашу.
• Вебхук Telegram требует быстрого ответа. Cloudflare Workers имеет таймаут 30 секунд (платный — до 5 минут). Если LLM отвечает дольше, используйте отложенные ответы: worker сразу возвращает 200, а ответ отправляет через sendMessage со следующим update. Или используйте очередь (Cloudflare Queues).

Что дальше? Тюнинг и расширение

Если база знаний растет, а точность падает — не спешите переходить на эмбеддинги. Попробуйте:

• TF-IDF взвешивание — вместо бинарных шинглов используйте частоту, чтобы редкие термины давали больший вес.
• Hybrid (Jaccard + BM25) — распарсите чанки через lunr.js (порт BM25 в JavaScript) и комбинируйте скоринг.
• Мультиязычность — для русского и английского шинглы по 2-3 слова работают отлично. Для китайского — другой подход.

Если же хотите полноценный AI-ассистент, который не просто отвечает по базе, но и может выполнять действия, посмотрите на ClawdBot или Femtobot на Rust — там другой уровень, но требует железа.

А если вы только начинаете и хотите освоить создание ботов с нуля — рекомендую курс «Создание Telegram-бота» на Skillbox. Базовые навыки пригодятся, даже если вы пишете на Workers.

Код, ссылки и подведем черту

Полный исходник проекта лежит на GitHub (ссылка по традиции в моем профиле). Там же — скрипт пре-процессинга, worker с обработкой, пример базы знаний. Форкайте, клонируйте, адаптируйте.

Собрать Telegram-бота с RAG на Cloudflare Workers без векторной БД — это не компромисс, а осознанный выбор. Если ваша база знаний помещается в эксельку или десяток .md, Jaccard similarity отработает на ура. Вы экономите деньги, время и нервы на инфраструктуре. А когда проект вырастет — всегда можно добавить эмбеддинги. Но на старте не надо стрелять из пушки.

На случай, если захотите углубиться в тему построения AI-агентов для Telegram — взгляните на статью про мультимодального агента без Multimodal RAG. Там показано, как работать со скриншотами — пригодится, если боту нужно анализировать картинки.

Подписаться на канал