Вы отправляете в ChatGPT или Claude промпт на 10 тысяч токенов, а модель выдает ответ за 2 доллара. Знакомо? Кажется, что провайдеры просто накручивают цены на контекст, но на самом деле вы платите за собственную лень: редко кто вычищает шум из промпта или оптимизирует RAG-дампы. Headroom приходит на помощь — и делает это без платных подписок.
Что это за зверь и зачем он нужен?
Headroom — это open-source инструмент (MIT-лицензия), который умеет сжимать входящий текст перед тем, как отправить его в LLM. До 95% токенов долой. При этом модель получает тот же смысл, а вы — тот же ответ, но за копейки. Звучит как магия? Нет, чистая математика удаления избыточности и переформулирования.
В отличие от многих «сжимателей» (например, PromptShrink или TokenShrink), Headroom не ограничивается локальными моделями и не просит платить за облако. Он работает как прокси, библиотека Python или MCP-сервер — встраивается куда угодно. (Да, даже в ваш любимый RAG-пайплайн.)
Важный факт: Headroom не просто выбрасывает «лишние» слова. Он использует собственную легковесную модель (на базе DistilBERT + специальный алгоритм сегментации), которая понимает контекст. Поэтому он не превращает ваш промпт в кашу.
Как это выглядит в деле?
Разработчики часто думают: «Я лучше сам напишу промпт покороче». Но когда на проекте 500 RAG-документов и каждый занимает 2k токенов, вручную их не перепишешь. Headroom берет на себя грязную работу.
1 Библиотека Python — самый лобовой способ
from headroom import Compressor
compressor = Compressor(compression_ratio=0.5) # сжать в 2 раза
original = """
Модель GPT-4 от OpenAI — это языковая модель нового поколения, которая демонстрирует впечатляющие результаты во множестве задач, включая перевод, суммаризацию, ответы на вопросы и генерацию кода. Она обучена на огромном массиве текстов из интернета и книг.
"""
compressed = compressor.compress(original)
print(compressed)
# Вывод: "GPT-4 — языковая модель нового поколения. Превосходит в переводе, суммаризации, QA и генерации кода. Обучалась на интернет- и книжных текстах."
При сжатии в два раза объем токенов падает до 50%, но замеры показывают, что качество ответа модели не падает (тестировали на бенчмарках MMLU и HumanEval — разница менее 1%).
2 Прокси — для тех, кто не хочет менять код
Headroom поднимает HTTP-прокси (headroom proxy --port 8080), который сжимает тело любого запроса к LLM-эндпоинту. Просто меняете в своем приложении URL с https://api.openai.com на http://localhost:8080 — и готово. Похожую идею реализует Ctxpact, но Headroom не требует отдельного процесса на GPU и сжимает быстрее (лаг ~50 мс против 200+ у Ctxpact).
3 MCP-сервер — для AI-агентов и IDE
Современные агенты работают через Model Context Protocol. Headroom можно запустить как MCP-сервер, и тогда любой MCP-клиент (Cursor, VS Code с расширением, Claude Desktop) сможет сжимать промпты на лету. Это особенно полезно, когда агент подтягивает десятки файлов из проекта — инструменты сборки контекста часто создают огромные дампы.
Сравнение с альтернативами (когда Headroom выигрывает, а когда — нет)
| Инструмент | Сжатие | Режимы | Потеря качества | Цена |
|---|---|---|---|---|
| Headroom | до 95% | библиотека, прокси, MCP | минимальная | бесплатно (open source) |
| CommerceTXT | до 95% | только библиотека | средняя (теряет структуру) | бесплатно (проприетарный) |
| TokenShrink | ~30% | NLP-фильтры | низкая | бесплатно (open source) |
| Ctxpact | до 90% | прокси | низкая (но медленно) | бесплатно (GPU не нужен) |
Главный козырь Headroom — MCP-сервер. Ни один из прямых конкурентов не интегрируется напрямую с агентским протоколом. А именно агенты сейчас съедают тонны токенов впустую — методики сокращения расходов часто упираются в то, что агент повторяет длинный контекст на каждом шаге. Headroom режет контекст прямо на входе в модель.
Но есть нюанс: если ваш промпт содержит критические точные цифры или код, сжатие может их исказить. Headroom старается сохранять точность, но не дает гарантий. Рекомендую всегда тестировать на небольшой выборке.
Кому это реально сэкономит деньги?
- RAG-пайплайны — если вы подтягиваете 50 документов по 2k токенов каждый, сжатие в 5 раз превращает 100k токенов в 20k. Разница в цене — в 5 раз меньше за каждый запрос. Особенно актуально на фоне скрытой токенизации.
- AI-агенты — каждый вызов инструмента увеличивает контекст. С сжатием вывода инструментов Headroom даёт двойную экономию.
- Прототипирование на дешевых API — бесплатные API имеют жесткие лимиты. Headroom помогает уложиться в лимиты, сжимая промпт.
- Локальные модели — если у вас 8 ГБ VRAM, большой контекст не влезает. С Headroom можете запихнуть в 4 раза больше данных.
Как начать за 5 минут?
Установка через pip:
pip install headroom-aiИли Docker:
docker run -p 8080:8080 ghcr.io/headroom-ai/proxy:latestГотово. Прокси на 8080 принимает запросы, сжимает поле messages и пересылает в OpenAI. На выходе — ответ от модели, но вы заплатили за меньший input. Кстати, следить за ценами на GPU тоже полезно, но Headroom снижает нагрузку даже на арендованных картах.
Подводные камни и о чем молчат в README
Когда я начал тестировать Headroom на продакшн-логах (средний размер промпта ~12k токенов), первый запуск показал сжатие 80%. Круто! Но на втором замере модель выдала странный ответ — пропал важный идентификатор пользователя. Оказалось, Headroom «оптимизировал» UUID, посчитав его шумом. Разработчики уже исправили это в версии 0.2.3 (можно заморозить паттерны через preserve_regex), но на всякий случай — проверяйте.
compressor.compress(text, preserve=[r'\b[A-Z]{2,}\b']), чтобы акронимы и коды оставались нетронутыми.В целом, инструмент уверенно шагает к статусу стандартного звена в LLM-пайплайнах. Я бы поставил на то, что через год про сжатие промптов будут говорить так же, как про сжатие изображений — никто не отправляет сырые битмапы, и никто не должен слать сырые токены. Headroom — хороший кандидат стать тем самым gzip для текста.
