PromptProxy: как собирать датасеты для дистилляции, не сжигая API-ключи

Проблема, которая дорого стоит

Представьте: вы собираете датасет для дистилляции. Нужно получить 100 тысяч пар "промпт-ответ" от GPT-4o. Каждый запрос - деньги. Каждый ответ - токены. Каждый токен - ваша кровь, пот и слезы (или крипта, что в 2026 году почти одно и то же).

А теперь представьте, что вы делитесь этим датасетом с командой. Или выкладываете в опенсорс. Или просто храните где-то. В каждом промпте - ваши API-ключи, логины, пароли, внутренние шутки про менеджмент. Не смешно.

PromptProxy: что это и зачем он вам

PromptProxy - это опенсорс прокси-сервер на Python, который садится между вашим кодом и API OpenAI, Anthropic, Google и других провайдеров. Он делает три вещи:

• Кэширует ответы моделей (один раз заплатили - тысячу раз использовали)
• Анонимизирует промпты перед сохранением в датасет
• Распределяет нагрузку между разными API-ключами

Выглядит просто. Работает - чертовски эффективно.

Как это работает на практике

Без PromptProxy ваш код для сбора данных выглядит так:

# ПЛОХОЙ КОД. НЕ КОПИРУЙТЕ.
import openai

openai.api_key = "sk-proj-...ваш-секретный-ключ..."

prompts = ["Мой пароль от банка 12345", "API ключ: sk-live-..."]

dataset = []
for prompt in prompts:
    response = openai.ChatCompletion.create(
        model="gpt-4o",
        messages=[{"role": "user", "content": prompt}]
    )
    dataset.append({"prompt": prompt, "response": response})
    # Теперь ваш пароль в датасете. Поздравляю.

С PromptProxy:

# ХОРОШИЙ КОД
import requests

PROMPTPROXY_URL = "http://localhost:8000"

prompts = ["Мой пароль от банка 12345", "API ключ: sk-live-..."]

dataset = []
for prompt in prompts:
    response = requests.post(
        f"{PROMPTPROXY_URL}/v1/chat/completions",
        json={
            "model": "gpt-4o",
            "messages": [{"role": "user", "content": prompt}]
        }
    )
    # PromptProxy автоматически:
    # 1. Проверит кэш
    # 2. Если нет в кэше - отправит в OpenAI
    # 3. Сохранит в датасет ОЧИЩЕННУЮ версию промпта
    # 4. Вернет ответ
    dataset.append(response.json())

Что именно чистит PromptProxy

Кэширование: где настоящая экономия

Вот цифры, которые заставят вас установить PromptProxy сегодня же:

• Средний промпт для дистилляции: 150 токенов
• Средний ответ GPT-4o: 450 токенов
• Стоимость 1000 токенов GPT-4o (на 03.02.2026): $0.03/вход, $0.06/выход

100 тысяч промптов без кэша:

100к × (150×0.03/1000 + 450×0.06/1000) = 100к × (0.0045 + 0.027) = $3,150

С кэшированием (при 40% повторяющихся промптов):

60к × 0.0315 = $1,890

Экономия: $1,260. На эти деньги можно арендовать GPU для обучения через GPU Rental Price Tracker.

Настройка за 5 минут

1 Установка

git clone https://github.com/promptproxy/promptproxy
cd promptproxy
pip install -r requirements.txt

2 Конфигурация

# config.yaml
cache:
  enabled: true
  ttl_hours: 720  # 30 дней
  backend: redis  # или sqlite для простоты

anonymization:
  enabled: true
  patterns:
    - type: api_key
      providers: [openai, anthropic, google, cohere]
    - type: email
    - type: phone

providers:
  openai:
    api_keys:
      - "sk-proj-...key1..."
      - "sk-proj-...key2..."  # балансировка нагрузки
    rate_limit: 1000  # RPM
  anthropic:
    api_keys: ["sk-ant-..."]
    model: "claude-3-7-sonnet-20250226"

3 Запуск

python main.py --config config.yaml --port 8000

Альтернативы и почему они хуже

Прямые вызовы API - это как ходить по минному полю с завязанными глазами. Дешевле уж сразу отправить свои кредитные карты в Telegram-канал хакеров.

Самописные скрипты - каждый думает, что его регулярки покрывают все случаи. Пока не обнаруживает свои ключи на Hugging Face. История из статьи «Утечка системного промпта» повторяется раз за разом.

LangChain кэши - хороши для разработки, но не для производства. Нет нормальной анонимизации, слабая система ротации ключей.

VLLM с оффлайн-моделями - если у вас есть сервер с 8×H100, конечно. Но для сбора разнообразных данных нужны именно GPT-4o, Claude 3.7 и другие продвинутые модели. Их дистиллировать и хотите.

Сценарии использования: кому это нужно прямо сейчас

Исследовательские лаборатории, которые публикуют датасеты. Без PromptProxy их датасеты либо содержат утечки, либо требуют ручной очистки (которая всегда что-то пропускает).

Стартапы с ограниченным бюджетом. Экономия в 40-60% на токенах - это разница между "собираем 50к примеров" и "собираем 100к примеров". А качество датасета напрямую влияет на качество дистиллированной модели.

Команды из нескольких человек. Один настроил PromptProxy - все пользуются. Кэш общий, ключи общие (но безопасные), датасет собирается в 3 раза быстрее.

Образовательные проекты. Студенты больше не губят API-ключи преподавателей. И не публикуют их случайно в своих репозиториях.

Ограничения и подводные камни

PromptProxy не волшебная таблетка. Вот что он НЕ делает:

• Не защищает от data poisoning. Если в промпты засунуть вредоносные данные, они попадут в датасет. Об этой проблеме подробно в статье про data poisoning.
• Не шифрует датасеты. Только чистит. Хранить их нужно правильно - об этом в гайде по защите локальных LLM.
• Не ускоряет запросы. Только кэширует. Для настоящего ускорения нужны другие подходы, как в статье про поиск для агентов.

Что будет дальше с дистилляцией

К 2027 году (мой прогноз) дистилляция станет стандартным пайплайном для любого продукта с ИИ. Не будет "мы используем GPT-4". Будет "мы используем нашу дистиллированную модель на основе GPT-5, которая в 10 раз дешевле и работает оффлайн".

И вот тогда инструменты вроде PromptProxy станут такой же must-have инфраструктурой, как Git или Docker. Потому что собирать датасеты вручную, без кэширования, без очистки - это как писать код в блокноте и компилировать вручную. Технически возможно, но зачем?

Совет напоследок: начните с малого. Поставьте PromptProxy на один проект. Посчитайте экономию. Увидите цифры - поймете, что без него уже не можете. Так работает вся хорошая инфраструктура: сначала кажется избыточной, потом - необходимой.