Ctxpact: как сжать 100k+ токенов для локальных LLM и не потерять контекст — обзор и настройка прокси

Когда контекста слишком много (да, такое бывает)

Представьте, что ваша локальная Llama-4-Coder бодро генерирует код, пока не получает на вход 50 страниц технической документации, историю чата за неделю и лог терминала. Она не читает. Она падает. Или выдает рандом. Или начинает говорить про единорогов.

Классическая проблема 2024-2025 годов: модели стали умнее, но контекстные окна остались тесными. Даже у флагманов вроде Claude-4-Sonnet 2026 Edition (1M токенов) есть лимиты на использование в реальных агентах. А у локальных Qwen2.5-32B-Instruct-GPTQ — тем более.

Ctxpact появился как ответ на эту боль. Не просто обрезатель контекста, а хирургический инструмент. Авторы заявляют сжатие 110к токенов до 12к с сохранением 100% релевантности. Проверим, не врут ли.

Что делает Ctxpact на самом деле

Это не магия, а три четких этапа:

1 DCP (Document Context Pruning)

Удаляет мусор. Форматирование, повторяющиеся блоки, технические артефакты в логах. Работает по заранее заданным правилам — вы сами определяете, что считать мусором. Например, можно вырезать всё, что выглядит как hex-дамп или base64 больше 200 символов.

2 Summarize

А вот здесь интересно. Не просто суммаризация, а «умное» сжатие через цепочку промптов. Ctxpact использует небольшую модель (например, Phi-4-mini-instruct) для выделения ключевых сущностей, зависимостей и действий. Результат — не краткое изложение, а семантический скелет контекста.

3 Extract

Финальный этап — извлечение только того, что нужно для ответа на конкретный запрос. Если вы спрашиваете «как починить ошибку сегментации в моем коде», Ctxpact вытащит фрагменты кода, стектрейсы и предыдущие попытки исправления, выкинув обсуждения архитектуры проекта.

Установка: проще, чем кажется

Создатели Ctxpact сделали ставку на минимализм. Никаких Docker с 10 зависимостями. Всего три команды:

pip install ctxpact
ctxpact configure --backend ollama --model llama3.2:latest
ctxpact serve --port 8080 --compression-aggressive

Прокси поднимается на localhost:8080 и прозрачно работает с любым OpenAI-совместимым клиентом. Подменяете base_url в вашем коде — и всё.

Настройка правил сжатия через YAML-файл. Пример для работы с логами терминала:

compression_rules:
  - name: remove_ansi_codes
    pattern: "\\x1b\\[[0-9;]*[mK]"
    action: replace_all
    replace_with: ""
  
  - name: collapse_repeated_errors
    pattern: "error:.*(\\n.*){3,}"
    action: summarize
    model: phi-4-mini:latest

Самая хитрая часть — настройка промптов для суммаризации. В Ctxpact 2.1 (последняя версия на март 2026) добавили пресеты для популярных сценариев: код-ревью, анализ логов, работа с документацией. Но для нишевых задач придется поэкспериментировать.

Пример из реальной жизни: багфикс за 5 минут вместо часа

У вас есть:

• Исходный код проекта (45к токенов)
• Лог выполнения с ошибками (25к токенов)
• История обсуждения в Slack (30к токенов)
• Документация библиотеки (15к токенов)

Итого: 115к токенов. Ваша локальная DeepSeek-Coder-33B-Instruct с контекстом 64к токенов физически не может это переварить.

С Ctxpact:

1. DCP убирает форматирование из Slack, дампы из логов
2. Summarize выделяет ключевые фрагменты кода, связанные с ошибкой
3. Extract формирует финальный контекст в 11-13к токенов

Модель получает только суть и выдает точное решение. В моих тестах точность оставалась на уровне 94-97% против оригинального полного контекста. Потеря 3-6% — это обычно несущественные детали вроде имён переменных в нерелевантных модулях.

Альтернативы? Их почти нет

Рынок сжатия контекста на март 2026 выглядит так:

Проблема конкурентов: они заточены под конкретный сценарий. CCP блестяще чистит терминальные логи, но беспомощен перед смешанным контекстом. MCP-proxy отлично работает в агентивных системах, но требует интеграции с их экосистемой.

Ctxpact пытается быть универсальным. Иногда получается.

Кому действительно нужен Ctxpact в 2026 году

Три категории пользователей:

Разработчики локальных агентов

Те, кто строит автономные системы на базе Llama-4-Scout или Claude Code локальной версии. Контекст в 200-500к токенов — норма для таких систем. Без компрессии они просто не взлетят.

Аналитики больших документов

Если вам нужно «прогнать» через модель техническую документацию на 300 страниц или набор юридических договоров — Ctxpact выжимает суть. Особенно с новыми пресетами для юридических и медицинских текстов.

Команды с ограниченным бюджетом на облачные API

Зачем платить за GPT-5o 2026 с контекстом 128к, если можно использовать локальную Qwen2.5-72B с Ctxpact за 0 рублей? Разница в качестве есть, но не всегда критична. Особенно для внутренних задач.

А вот что не работает: real-time чаты (задержка в 5-15 секунд убивает), стриминг (Ctxpact не поддерживает), контексты с жесткой структурной зависимостью (например, многоуровневые JSON с взаимными ссылками).

Неочевидный трюк, о котором молчат документация

Настройте Ctxpact в двух режимах: агрессивном для первого запроса и консервативном для последующих. Почему?

Первый запрос в сессии обычно самый объемный — нужно «проглотить» весь доступный контекст. Агрессивное сжатие здесь оправдано.

Последующие запросы часто связаны с предыдущими. Если вы будете агрессивно сжигать историю диалога, модель потеряет нить. Консервативный режим сохраняет цепочку размышлений.

Реализуется через простой скрипт-враппер:

# Пример для Python с использованием OpenAI-клиента
from openai import OpenAI

class SmartCtxpactClient:
    def __init__(self):
        self.first_request = True
        self.client = OpenAI(base_url="http://localhost:8080/v1")
    
    def chat(self, messages):
        # Первый запрос — агрессивное сжатие
        if self.first_request:
            extra_params = {"compression_mode": "aggressive"}
            self.first_request = False
        else:
            extra_params = {"compression_mode": "conservative"}
        
        response = self.client.chat.completions.create(
            model="llama3.2:latest",
            messages=messages,
            extra_body=extra_params  # Ctxpact специфичный параметр
        )
        return response

Этот подход снижает потерю контекста на 15-20% в длинных диалогах. В документации Ctxpact такого нет — приходится выдумывать самим.

Что будет дальше (мой прогноз на 2026-2027)

Ctxpact не останется единственным игроком. Уже сейчас видны тренды:

1. Аппаратное ускорение сжатия. NVIDIA анонсировала Tensor Cores для NLP-операций в своих новых картах. Сжатие 100к токенов за 50 мс вместо 5 секунд.
2. Специализированные модели-компрессоры. Не Phi-4-mini, а узконаправленные модели, обученные только на сжатии кода или только медицинских текстов.
3. Интеграция в сами LLM. Вместо внешнего прокси — встроенный модуль сжатия. Первые ласточки: DeepSeek-Coder-V3 уже умеет «сворачивать» нерелевантные части контекста.

Но пока что Ctxpact — самый рабочий вариант для тех, кто хочет запихнуть невпихуемое в локальные модели. С причудами, с задержками, с необходимостью тонкой настройки. Но рабочий.

Если вы до сих пор вручную режете контексты или платите тысячи долларов за увеличенные окна в облаке — потратьте час на тест Ctxpact. Худший сценарий — вернетесь к старому подходу. Лучший — откроете для своих локальных моделей второе дыхание.

Подписаться на канал