SWE-gen: как автоматически создавать задачи ML из GitHub Pull Request

Проблема, которая сводит с ума: ручная подготовка тестовых сред

Представьте, что вы хотите протестировать AI-модель на реальных задачах программирования. Вам нужны сотни тестовых окружений, Docker-контейнеры, зависимости, воспроизводимые среды. Ручная подготовка занимает недели. А потом выясняется, что половина окружений не работает из-за устаревших зависимостей.

SWE-gen решает эту проблему радикально: берет реальные Pull Request из GitHub и превращает их в готовые ML-задачи с изолированными тестовыми окружениями. Автоматически. За часы вместо недель.

Как это работает на самом деле (а не в маркетинговых буклетах)

1 SWE-gen парсит реальные GitHub PR

Инструмент не генерирует синтетические задачи. Он берет настоящие Pull Request из популярных репозиториев. Например, исправление бага в pandas, добавление функции в NumPy, рефакторинг в Django. Это важно: модели тестируются на реальных проблемах, с которыми сталкиваются разработчики.

SWE-gen анализирует diff, коммиты, комментарии к PR. Извлекает контекст: что нужно исправить, какие тесты должны проходить, какие зависимости требуются.

2 Автоматическая генерация Docker-окружения

Здесь начинается магия. SWE-gen создает Dockerfile с точными версиями зависимостей, которые были актуальны на момент создания PR. Не просто "python:3.9", а конкретные версии всех пакетов из requirements.txt или pyproject.toml.

Инструмент учитывает специфику проекта: нужны ли GPU-драйверы для ML-задач, особые системные библиотеки, настройки окружения. Для Python-проектов он автоматически определяет, использовать ли venv, conda или poetry.

3 Создание инструкций для ML-модели

Это самая сложная часть. SWE-gen генерирует четкие инструкции для AI-агента: "Исправьте функцию process_data в файле utils.py. Тест test_process_data_corner_cases должен проходить. Не изменяйте сигнатуру функции."

Инструкции включают контекст проблемы, примеры ввода-вывода, ссылки на документацию. Все как в реальной работе разработчика, но структурировано для ML-модели.

Почему SWE-gen лучше ручного подхода (спойлер: во всем)

Главное преимущество: масштабируемость. Хотите протестировать модель на 10 000 задач из разных доменов (веб, данные, системы, ML)? С SWE-gen это вопрос недели работы, а не года.

Интеграция с существующими ML-пайплайнами

SWE-gen не существует в вакууме. Он генерирует данные в формате, совместимом с AI-кодинг агентами и бенчмарками типа SWE-bench. Docker-образы можно запускать в Kubernetes, что идеально сочетается с ML-песочницами на k8s.

Формат вывода: JSON с полями:

• problem_id: уникальный идентификатор задачи
• instruction: инструкция для модели
• context: исходный код до изменений
• test_cases: тесты для проверки решения
• docker_config: полная конфигурация Docker
• metadata: информация о репозитории, авторе PR, сложности

Сравнение с альтернативами (их почти нет)

Прямых конкурентов у SWE-gen нет. Ближайшие аналоги:

• Ручной сбор датасетов: как в оригинальном SWE-bench. Команды исследователей тратят месяцы на подготовку. SWE-gen делает это автоматически.
• Синтетические генераторы задач: создают искусственные проблемы. Не отражают реальные сценарии разработки. SWE-gen использует реальный код из production.
• Harbor Terminal Bench: фокус на терминальных командах, а не на исправлении кода. Дополняет SWE-gen, а не конкурирует.

Единственный реальный недостаток SWE-gen: зависимость от качества исходных PR. Если PR содержит мало контекста или плохо описан, сгенерированная задача будет нечеткой. Но инструмент умеет фильтровать такие случаи по метаданным (длина описания, количество комментариев, статус мерджа).

Практическое применение: от академических исследований до production

Кому нужен SWE-gen прямо сейчас:

1. Исследовательские лаборатории: создание бенчмарков для оценки новых AI-моделей программирования. Вместо использования устаревшего HumanEval (2021 года!) можно тестировать на актуальных задачах 2025-2026 годов.
2. Компании, разрабатывающие AI-инструменты: нужны реалистичные тесты для автономных AI-разработчиков. SWE-gen генерирует задачи, похожие на реальные тикеты в Jira.
3. Образовательные платформы: автоматическое создание упражнений по программированию на основе реальных open-source проектов.
4. Команды, занимающиеся интеграцией ML-моделей в production: тестирование моделей на задачах, специфичных для их стека технологий.

Технические детали, о которых молчат в документации

SWE-gen написан на Python с использованием:

• GitHub API v4 (GraphQL) для эффективного получения PR
• Docker SDK для Python 2025.2 (последняя стабильная версия на 21.01.2026)
• Anthropic Claude API (версия 2025-10-01) для анализа кода
• Pydantic 3.2 для валидации данных

Архитектура модульная: можно заменить Claude на другую модель (GPT-4.5, Gemini 3.0, DeepSeek Coder 33B). Но Claude Code 2025.4 показывает лучшие результаты для анализа кода по тестам разработчиков.

Потребление API: обработка одного PR стоит примерно $0.02-$0.05 в зависимости от сложности. Для генерации 1000 задач бюджет $20-$50. Дешевле, чем зарплата стажера на неделю.

Начало работы: минимальный рабочий пример

Установка через pip (требуется Python 3.10+):

pip install swe-gen==1.2.0

Базовый скрипт для генерации 10 задач из Django репозитория:

from swe_gen import SWEGenerator
from swe_gen.filters import PythonFilter, HasTestsFilter

# Инициализация с вашим API ключом
generator = SWEGenerator(
    api_key="your_claude_api_key",
    model="claude-3.5-code-2025-04-01"
)

# Конфигурация
config = {
    "repo_owner": "django",
    "repo_name": "django",
    "max_tasks": 10,
    "filters": [
        PythonFilter(),
        HasTestsFilter(),
        {"state": "closed", "is_merged": True}
    ],
    "min_comments": 3,  # PR с обсуждением
    "time_range": {"since": "2025-01-01"}
}

# Запуск генерации
tasks = generator.generate(config)

# Сохранение в формате SWE-bench
import json
with open("django_tasks.json", "w") as f:
    json.dump(tasks, f, indent=2)

print(f"Сгенерировано {len(tasks)} задач")
print(f"Docker образы сохранены в ./docker_builds/")

Ограничения и подводные камни

SWE-gen - не волшебная палочка. Что нужно учитывать:

• Rate limits GitHub API: для больших объемов нужен GitHub Token с повышенными лимитами
• Стоимость Claude API: $15 за 1M токенов входных данных. Крупный PR может стоить $0.1
• Время сборки Docker: некоторые проекты имеют сложные зависимости. Сборка одного образа может занимать 10-15 минут
• Лицензии: убедитесь, что используете PR из проектов с совместимыми лицензиями

Самый частый баг: Docker-образ не собирается из-за устаревших пакетов. SWE-gen пытается исправить это, обновляя версии в requirements.txt, но не всегда успешно. Приходится исключать такие PR вручную.

Будущее автоматической генерации ML-задач

К 2026 году инструменты типа SWE-gen станут стандартом для подготовки датасетов. Тренды:

1. Мультиязычность: поддержка большего количества языков программирования
2. Умные фильтры: автоматическое определение сложности задачи, тематики (веб, данные, ML)
3. Интеграция с CI/CD: генерация задач прямо из pipeline проваленных тестов
4. Генерация метаданных: автоматическое определение навыков, требуемых для решения (знание SQL, асинхронного программирования, конкретных библиотек)

Следующий шаг: генерация не только задач, но и обучающих траекторий. Например, "решите 10 задач возрастающей сложности по работе с pandas", где каждая следующая задача строится на навыках предыдущей.

SWE-gen сегодня - это инструмент для исследователей. Завтра - стандартный компонент в пайплайне подготовки данных для любой компании, которая тестирует AI-модели программирования. Если вы еще не используете автоматическую генерацию тестовых сред, через год будете отставать на полгода.

Первый шаг: возьмите один ваш любимый open-source проект. Сгенерируйте 50 задач из его PR. Запустите на них вашу модель. Удивитесь, насколько реальные задачи сложнее синтетических. И насколько быстрее можно готовить данные с SWE-gen.