Автоматизация создания базы знаний в Obsidian из Telegram с помощью AI и локальной LLM

Почему ваш Telegram умрёт в одиночестве, а знания испарятся

Вы сохраняете сотни сообщений «на потом». Закладки в Telegram превращаются в цифровое кладбище. Цитата из технического чата, ссылка на статью, идея для проекта – всё это тонет в потоке. Ручной перенос в Obsidian? На это нет времени. Информация копится, но не работает на вас.

Проблема не в количестве данных, а в отсутствии системы. Нужен автоматический конвейер, который выхватывает ценное из шума, осмысляет его с помощью ИИ и упаковывает в связанные заметки, готовые к семантическому поиску. Не архив, а живая база знаний.

Архитектура спасения: от хаоса в Telegram до графа в Obsidian

Решение – пайплайн из пяти компонентов. Каждый можно заменить или масштабировать.

• Сборщик: Python-скрипт на базе Telethon, который выгружает сообщения из каналов, чатов или сохранённых сообщений.
• Процессор: Локально запущенная большая языковая модель (например, через Ollama), которая фильтрует, суммирует и структурирует сырой текст.
• Генератор заметок: Модуль, создающий Markdown-файлы для Obsidian с правильно оформленными метаданными (YAML frontmatter), тегами и внутренними ссылками.
• Индексер: Система векторных эмбеддингов (например, с помощью библиотеки sentence-transformers), которая позволяет искать по смыслу, а не по ключевым словам.
• Оркестратор: Cron-задача или системный демон, который запускает весь процесс раз в день или при появлении новых сообщений.

Ключевой принцип – приватность. Всё работает на вашем железе. Никаких данных в облаке OpenAI или Google. Если вы уже экспериментировали с локальной LLM для Obsidian, то этот пайплайн станет следующим логическим шагом.

1 Забираем данные из Telegram без боли

Telegram API – мощный, но документация местами напоминает лабиринт. Не используйте готовые экспортеры, которые превращают всё в HTML-кашу. Нам нужен чистый текст и метаданные.

# Пример конфигурации Telethon (актуально для версии 1.34+ на 2026 год)
# Установка: pip install telethon==1.34.0

from telethon import TelegramClient, events
from telethon.tl.types import PeerChannel
import asyncio
import json

# Данные из https://my.telegram.org/apps
api_id = 1234567  # Ваш API ID
api_hash = 'ваш_api_hash'

client = TelegramClient('session_name', api_id, api_hash)

async def export_channel_messages(channel_username, limit=1000):
    await client.start()
    channel = await client.get_entity(channel_username)
    messages = []
    
    async for message in client.iter_messages(channel, limit=limit):
        # Собираем только текстовые сообщения с контентом
        if message.text:
            msg_data = {
                'id': message.id,
                'date': message.date.isoformat(),
                'text': message.text,
                'sender': message.sender_id,
                'raw': message.raw_text  # Текст без форматирования
            }
            messages.append(msg_data)
    
    # Сохраняем в JSON для дальнейшей обработки
    with open(f'{channel_username}_messages.json', 'w', encoding='utf-8') as f:
        json.dump(messages, f, ensure_ascii=False, indent=2)
    
    print(f'Экспортировано {len(messages)} сообщений из {channel_username}')

# Запуск
with client:
    client.loop.run_until_complete(export_channel_messages('tech_channel', limit=500))

Этот скрипт – основа. В реальности нужно добавить обработку медиа (сохранять ссылки на файлы), игнорировать служебные сообщения и репосты. Для частых запусков логируйте последний обработанный ID, чтобы не грузить историю заново.

2 Поднимаем локальную LLM: какой движок выбрать в 2026?

Ключевой вопрос – баланс между качеством, скоростью и потреблением ресурсов. На апрель 2026 года ситуация такая:

• Для ноутбуков/слабых ПК (до 8 ГБ VRAM): Квантованные версии Mistral 7B (например, Mistral-7B-Instruct-v0.3) или новый Llama 3.2 3B. Их достаточно для суммаризации и выделения ключевых идей. Запускаются через Ollama даже на MacBook Air.
• Для рабочих станций (RTX 4060/4070, 12-16 ГБ VRAM): Llama 3.1 70B в 4-битном квантовании или Mixtral 8x22B. Они справляются со сложным структурированием и анализом тональности. Как в гайде про настройку AI-терапевта на RTX 4060.
• Для энтузиастов (две и более видеокарты): Полноценные 70B-модели без квантования или экспериментальные GQA-архитектуры, которые появились в начале 2026 года.

Инфраструктура: Ollama остаётся королём для простого деплоя. Для более тонкого контроля подойдёт llama.cpp или текстовый сервер vLLM (который, наконец, научился стабильно работать на Windows).

# Установка и запуск модели через Ollama (версия 0.5.0+)
# Модель Llama 3.2 3B Instruct – новая, оптимизированная для инструкций на 2026 год
ollama pull llama3.2:3b-instruct

# Запуск сервера API (по умолчанию на порту 11434)
ollama serve &

# Проверка работы
curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2:3b-instruct",
  "prompt": "Кратко суммируй: Локальные LLM обеспечивают приватность, но требуют ресурсов.",
  "stream": false
}'

3 Промпт-инженерия для превращения сообщения в заметку

Самый важный этап. Нельзя просто скинуть LLM пачку текста и сказать «сделай красиво». Промпт должен заставить модель думать как архивариус.

Как НЕ надо делать: «Вот сообщение, создай заметку». Получится бессвязный набор фраз без контекста и связей.

# Пример рабочего промпта для структурирования сообщения о технологиях
# Актуально для инструктивных моделей (Mistral, Llama 3.1/3.2 Instruct)

system_prompt = """Ты — ассистент, который преобразует неформальные сообщения из чатов в структурированные заметки для базы знаний Obsidian. Твоя задача:
1. Выделить основную тему и ключевые идеи.
2. Определить 3-5 релевантных тегов (например, #Python, #DevOps, #AI).
3. Предложить название для заметки.
4. Выделить цитаты, если они есть.
5. Наметить возможные связи с другими темами (используй формат [[ВнутренняяСсылка]]).
Верни ответ в формате JSON.
"""

user_message = "Ребята, видел новый инструмент для мониторинга — Prometheus 3.0 вышел. Говорят, переписали движок запросов, теперь в 2 раза быстрее. Кто-то уже тестил?"

prompt = f"{system_prompt}\n\nСообщение: {user_message}"

# Отправка запроса к локальной LLM через Ollama API
import requests

def process_with_llama(prompt_text):
    response = requests.post('http://localhost:11434/api/generate', 
                            json={
                                'model': 'llama3.2:3b-instruct',
                                'prompt': prompt_text,
                                'format': 'json',  # Новая опция в Ollama 0.5.0 для структурированного вывода
                                'options': {'temperature': 0.3}
                            })
    return response.json()['response']

# Получаем JSON, который потом превратим в Markdown

Температуру ставьте низкую (0.1-0.3) для консистентности. Если модель «галлюцинирует» и придумывает несуществующие детали, добавьте в промпт строгое требование: «Используй только информацию из предоставленного сообщения».

4 Сборка Markdown для Obsidian и YAML-алхимия

Файл в Obsidian – это не просто текст. Это узел в графе. Frontmatter (YAML-заголовок) – его паспорт.

import yaml
from datetime import datetime

def create_obsidian_note(llm_output_json, source_channel):
    """Преобразует JSON от LLM в Markdown-файл для Obsidian."""
    data = llm_output_json  # Предполагаем, что это уже dict
    
    # YAML frontmatter
    frontmatter = {
        'id': datetime.now().strftime('%Y%m%d%H%M%S'),
        'title': data.get('title', 'Без названия'),
        'source': f'Telegram: {source_channel}',
        'date': datetime.now().strftime('%Y-%m-%d'),
        'tags': data.get('tags', []),
        'processed': True
    }
    
    # Тело заметки
    content = f"""---\n{yaml.dump(frontmatter, allow_unicode=True, default_flow_style=False)}---\n\n"""
    content += f"# {frontmatter['title']}\n\n"
    content += f"**Ключевые идеи:** {data.get('summary')}\n\n"
    content += f"**Оригинальное сообщение:**\n> {data.get('original_excerpt')}\n\n"
    content += f"**Связи:** {', '.join([f'[[{link}]]' for link in data.get('related_topics', [])])}\n"
    
    # Сохранение в папку Obsidian Vault
    vault_path = '/path/to/your/ObsidianVault/Telegram_Import/'
    filename = f"{vault_path}{frontmatter['date']}_{frontmatter['id']}.md"
    
    with open(filename, 'w', encoding='utf-8') as f:
        f.write(content)
    
    return filename

Важно: используйте уникальные ID в названии файла или frontmatter, чтобы избежать коллизий. Папку для импорта можно настроить как отдельную в Obsidian, а потом с помощью плагина Dataview создавать автоматические дашборды.

5 Векторные эмбеддинги: когда обычный поиск уже не справляется

Текстовый поиск по файлам найдет «Prometheus», если это слово есть. Но как найти заметки про «инструменты мониторинга с высоким перфомансом», не упоминая конкретно Prometheus? Здесь нужны эмбеддинги.

Логика: каждый раз при создании заметки генерируем её векторное представление с помощью локальной модели эмбеддингов (например, all-MiniLM-L6-v2 от SentenceTransformers) и сохраняем в локальную векторную базу – ChromaDB или Qdrant.

from sentence_transformers import SentenceTransformer
import chromadb

# Загрузка модели эмбеддингов (легкая, работает на CPU)
embedder = SentenceTransformer('all-MiniLM-L6-v2')

# Инициализация локальной ChromaDB
chroma_client = chromadb.PersistentClient(path="./chroma_db")
collection = chroma_client.get_or_create_collection(name="telegram_notes")

def add_to_vector_db(note_text, note_id, metadata):
    """Добавляет заметку в векторную базу."""
    embedding = embedder.encode(note_text).tolist()
    
    collection.add(
        documents=[note_text],
        embeddings=[embedding],
        metadatas=[metadata],
        ids=[note_id]
    )
    print(f"Заметка {note_id} добавлена в векторную базу.")

# Пример поиска по смыслу
def semantic_search(query, top_k=5):
    query_embedding = embedder.encode(query).tolist()
    results = collection.query(
        query_embeddings=[query_embedding],
        n_results=top_k
    )
    return results

Теперь в Obsidian можно использовать плагин (или отдельный скрипт), который по горячей клавише отправляет запрос в эту локальную ChromaDB и возвращает список релевантных заметок, даже если в них нет точных совпадений слов. Это меняет правила игры.

Где всё ломается: подводные камни автоматизации

• LLM-галлюцинации в метаданных: Модель может присвоить заметке тег #Kubernetes, когда речь шла о простом скрипте. Решение – валидация тегов по белом списку или пост-обработка.
• Дубликаты: Если в чате обсуждают одну тему несколько дней, скрипт создаст кучу похожих заметок. Нужна дедупликация на основе эмбеддингов (сравнивать косинусную схожесть).
• Производительность: Обработка 1000 сообщений через 70B-модель на RTX 4060 займет часы. Разбивайте на батчи и используйте более лёгкие модели для первичной фильтрации. Или просто обрабатывайте только новые сообщения.
• Контекстное окно: Модели с контекстом 4K токенов не «увидят» длинную переписку. Придётся использовать методы извлечения ключевых фрагментов (extractive summarization) перед отправкой в LLM. В 2026 году появились локальные модели с контекстом 128K (как Yi-34B-200K), но они требуют серьёзных ресурсов.
• Обновление моделей: Не привязывайтесь к конкретной версии. Архитектура Ollama позволяет легко переключаться. Раз в квартал проверяйте, не появилась ли более эффективная квантованная версия вашей модели. Как в статье про реальные кейсы локальных LLM.

Частые вопросы (FAQ)

Конечный результат: зачем всё это?

После настройки вы получаете самообновляющуюся базу знаний. Утром можете запустить скрипт, и он обработает за ночь накопленные сообщения из технических каналов, выделит анонсы новых версий, дискуссии о лучших практиках и упакует это в связанные заметки.

Это не просто бэклог. Это активный инструмент, который превращает пассивное потребление информации в структурированный актив. Как Yttri, но для контента из Telegram. Ваши знания остаются под вашим контролем, обрабатываются вашим ИИ на вашем железе. И самое главное – они начинают работать на вас, а не пылиться в архиве.

Начните с малого: экспорт одного канала, обработка через маленькую LLM. Когда увидите первую заметку, которая сама связалась с вашим прошлым исследованием по схожей теме – вы поймёте, что игра стоит свеч.

Подписаться на канал