Локальная LLM для заметок: как не сойти с ума от приватности

Почему облачные заметки — это цифровой СПИД

Ты пишешь заметку о конфликте с коллегой. Или о финансовых планах. Или о медицинских симптомах. И отправляешь её в Notion, Obsidian с облачной синхронизацией, или — что хуже всего — прямо в ChatGPT. Твой текст теперь живёт на серверах компании, которая может продать его, проанализировать, или просто «случайно» утерять при очередном взломе.

Локальная LLM решает эту проблему радикально: твои заметки никогда не покидают твой компьютер. Модель работает офлайн, без интернета, без отправки данных куда-либо. Это не просто «более приватно» — это принципиально другой уровень контроля.

Что на самом деле умеет делать LLM с твоими заметками

Забудь про «умные ответы». Реальная ценность — в автоматизации рутины:

• Суммаризация встреч: 45 минут болтовни превращаются в 5 пунктов сути
• Извлечение action items: «Надо сделать» из потока сознания
• Классификация: Рабочее/личное/идеи/задачи
• Поиск связей: «Что я писал про проект X месяц назад?»
• Генерация тегов: Автоматическая разметка для Obsidian или Logseq

Выбор модели: маленькая, да удаленькая

Не бери 70-миллиардную модель — она съест всю твою оперативку и будет думать как философ на транквилизаторах. Для заметок нужны модели 7B-13B параметров: достаточно умные, но влезающие в 8-16GB VRAM.

Мой выбор на 2025 год — Llama 3.2 11B. Она достаточно компактна, но справляется с сложными заметками, где нужно уловить скрытый смысл или эмоциональный подтекст.

Ollama: установка за 5 минут, а не за 5 часов

Забудь про docker-compose, виртуальные окружения и битву с зависимостями. Ollama — это как Homebrew для LLM: одна команда и модель работает.

1Установка Ollama

curl -fsSL https://ollama.com/install.sh | sh

Да, всё. На macOS и Linux. На Windows — скачиваешь .exe с сайта. Никаких танцев с бубном.

2Загрузка модели

ollama pull llama3.2:11b

Ollama сама разберётся с квантованием (сжатием модели без сильной потери качества). По умолчанию использует 4-битное квантование — модель занимает в 4 раза меньше места.

3Проверка работы

ollama run llama3.2:11b "Привет! Напиши коротко о себе."

Если видишь ответ — система работает. Если нет — проверь, что у тебя достаточно памяти. 11B модель в 4-битном квантовании требует около 7GB RAM.

Интеграция с Obsidian: твои заметки становятся умными

Obsidian — лучший редактор для локальных заметок. И он отлично дружит с Ollama через плагины.

1Установка плагина Text Generator

Идёшь в настройки Obsidian → Community plugins → Browse → ищешь "Text Generator". Устанавливаешь и включаешь.

2Настройка подключения к Ollama

В настройках Text Generator:

• Endpoint URL: http://localhost:11434/api/generate
• Model: llama3.2:11b
• Температура: 0.3 (для более детерминированных ответов)

3Создание шаблонов-промптов

Вот где начинается магия. Создаёшь templates в плагине:

# summarizer_prompt: "Прочитай текст ниже и выдели 3-5 ключевых тезисов:\n\n{{text}}\n\nТезисы:"

Теперь выделяешь заметку, жмёшь Cmd/Ctrl+P, ищешь "Text Generator: Generate" и выбираешь шаблон. Через 10-20 секунд получаешь суммаризацию.

Промпты, которые работают, а не разочаровывают

Плохой промпт: «Суммаризируй это». Хороший промпт даёт структуру и контекст.

Секрет в деталях: говори модели КАК форматировать ответ, и она сделает это. Без формата она начнёт философствовать.

Автоматизация через Python: когда плагинов недостаточно

Иногда нужно обработать 100 заметок разом. Или интегрировать LLM с другими инструментами. Тогда пишем скрипт.

import requests
import json
import os

class NoteProcessor:
    def __init__(self, model="llama3.2:11b"):
        self.ollama_url = "http://localhost:11434/api/generate"
        self.model = model
    
    def summarize_note(self, note_text: str) -> str:
        """Суммаризирует одну заметку"""
        prompt = f"""Ты — помощник по обработке заметок. 
Выдели 3 главных пункта из текста ниже. 
Формат: 1. ... 2. ... 3. ...

Текст: {note_text}
"""
        
        payload = {
            "model": self.model,
            "prompt": prompt,
            "stream": False,
            "options": {
                "temperature": 0.3,
                "num_predict": 200
            }
        }
        
        response = requests.post(self.ollama_url, json=payload)
        if response.status_code == 200:
            return response.json()["response"]
        else:
            return f"Ошибка: {response.status_code}"
    
    def process_folder(self, folder_path: str):
        """Обрабатывает все .md файлы в папке"""
        for filename in os.listdir(folder_path):
            if filename.endswith('.md'):
                filepath = os.path.join(folder_path, filename)
                with open(filepath, 'r', encoding='utf-8') as f:
                    content = f.read()
                
                summary = self.summarize_note(content)
                
                # Сохраняем суммаризацию в отдельный файл
                summary_path = filepath.replace('.md', '_summary.md')
                with open(summary_path, 'w', encoding='utf-8') as f:
                    f.write(f"# Суммаризация: {filename}\n\n{summary}")
                
                print(f"Обработан: {filename}")

# Использование
if __name__ == "__main__":
    processor = NoteProcessor()
    processor.process_folder("/path/to/your/notes")

Этот скрипт пройдётся по всем markdown-файлам, создаст для каждого файл с суммаризацией и сохранит рядом. Запускаешь раз в день — и все новые заметки автоматически обрабатываются.

Проблемы, которые тебя ждут (и как их решить)

1. Модель «галлюцинирует» — придумывает то, чего нет в заметке

Решение: Уменьши temperature до 0.1-0.3. Добавь в промпт фразу: «Отвечай ТОЛЬКО на основе предоставленного текста. Если информации недостаточно — так и скажи».

2. Обработка занимает минуты вместо секунд

Решение: Используй более мелкую модель (Phi-3.5 4B вместо Llama 11B). Или обрабатывай заметки пачками по ночам, а не в реальном времени.

3. Не хватает памяти

Решение: Включи swap файл на SSD. Для Linux:

sudo fallocate -l 8G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo swapon /swapfile

Или используй llama.cpp с режимом CPU, который работает медленнее, но не требует GPU.

4. Модель не понимает твою специфическую терминологию

Решение: Создай «глоссарий промпт» — отдельный файл с определениями терминов, и добавляй его в контекст каждой заметки. Или дообучи модель на своих данных (это сложнее, но эффективнее).

Что дальше? Agentic RAG для заметок

Следующий уровень — когда LLM не просто обрабатывает заметки, а активно с ними работает:

• Сама предлагает связи между разными заметками
• Напоминает о невыполненных задачах из старых записей
• Генерирует новые идеи на основе старых
• Ищет противоречия в твоём мышлении за месяцы

Для этого нужна модель с Tool Calling и система RAG (Retrieval Augmented Generation), которая умеет искать по сотням заметок. Но это тема для отдельного руководства.

Твои заметки — это расширение твоего мозга. Не отдавай их на съедение корпорациям. Локальная LLM даёт тебе власть назад.