Прогнозы на гольф как точная наука: строим специализированную модель с GRPO и Brier score

Зачем строить узкоспециализированную модель, если есть GPT-5?

Потому что общие модели хреново предсказывают нишевые события. GPT-5 знает правила гольфа, но не понимает, как ветер в 15 узлов влияет на точность удара конкретного игрока с травой Bermuda на 14-й лунке. Разница между "знанием о гольфе" и "предсказанием исходов в гольфе" - это пропасть, которую заполняют только специализированные модели.

В феврале 2026 года мы имеем парадокс: модели стали умнее, но их прогностическая способность в узких областях часто уступает простым статистическим моделям. Проблема в калибровке - LLM выдают уверенные ответы, но их вероятности не соответствуют реальной вероятности событий.

Brier score: почему обычные метрики не работают

Accuracy, F1-score, ROC-AUC - всё это бесполезно для оценки качества вероятностных прогнозов. Они измеряют классификацию, а не калибровку вероятностей.

Brier score вычисляется так: BS = (1/N) * Σ(p_i - o_i)², где p_i - предсказанная вероятность, o_i - фактический исход (1 или 0). Идеальная калибровка дает BS = 0, худшая (всегда ошибаться) - BS = 1.

В гольфе это критично. Разница между "вероятность выигрыша турнира 15%" и реальными 12% - это разница между прибыльной и убыточной стратегией ставок.

GRPO: Reinforcement Learning без сложностей PPO

Group Relative Policy Optimization - это упрощенная версия PPO, которая появилась в 2024 и к 2026 стала стандартом для тонкой настройки LLM на конкретные задачи. Вместо сравнения с сложным baseline'ом, GRPO сравнивает текущую политику с предыдущей версией в рамках группы примеров.

Почему GRPO, а не DPO или PPO? DPO хорош для выравнивания, но плох для оптимизации конкретных метрик. PPO слишком сложен и нестабилен. GRPO дает контроль над тем, что именно оптимизируем - в нашем случае Brier score.

Если вы пропустили базовое введение в GRPO, посмотрите обзор новых техник GRPO, где разобраны технические детали работы с длинным контекстом.

1 Собираем и подготавливаем данные

Датасет для гольфа должен содержать не просто результаты, а контекст перед каждым событием. Я использовал открытый датасет PGA Tour Historical Data с Hugging Face, дополненный погодными условиями и статистикой игроков.

Структура одного примера:

{
  "context": "Турнир: The Masters 2025. Игрок: Scottie Scheffler. Последние 5 турниров: 1, 3, 7, 2, 1. Средний удар с ти: 295 ярдов. Точность драйвера: 68%. Погода: солнечно, ветер 8 узлов. Курс: Augusta National, трава greens: bentgrass.",
  "question": "Вероятность того, что Scottie Scheffler попадет в топ-10 на The Masters 2025?",
  "actual_outcome": 1,
  "actual_probability": 0.82
}

Ключевой момент: actual_probability - это не бинарный "выиграл/проиграл", а ретроспективная оценка вероятности на основе всех доступных данных. Мы её вычисляем через логистическую регрессию на исторических данных.

Для сбора и подготовки спортивных данных есть отдельный гайд - нейросети в спортивных ставках, где разобраны источники данных и методы их очистки.

2 Базовая тонкая настройка с LoRA

Начинаем с gpt-oss-120b - самой мощной открытой модели на февраль 2026. Полная тонкая настройка 120B параметров требует 8+ GPU с 80GB памяти. LoRA (Low-Rank Adaptation) сокращает требования до 1-2 GPU.

Конфигурация LoRA для прогностической задачи:

from peft import LoraConfig

lora_config = LoraConfig(
    r=32,  # ранг - выше, чем для чат-задач (обычно 8-16)
    lora_alpha=64,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"],
    lora_dropout=0.1,
    bias="none",
    task_type="CAUSAL_LM",
    # Критично для вероятностных ответов:
    modules_to_save=["lm_head"]  # сохраняем полную настройку выходного слоя
)

Почему r=32, а не стандартные 8? Потому что нам нужно кодировать не просто "стиль ответа", а точные числовые вероятности. Более высокий ранг позволяет модели лучше различать тонкие различия в контексте.

Обучаем на задаче предсказания вероятности в формате: "Based on the context, the probability is X.XX%"

3 GRPO для оптимизации Brier score

Вот где начинается магия. Мы используем Tinker - фреймворк для RLHF/GRPO, который активно развивается в 2025-2026 годах и поддерживает самые новые модели.

Настраиваем reward функцию на основе Brier score:

import torch
import re

def brier_score_reward(predictions, actuals):
    """Вычисляет negative Brier score как reward (хотим минимизировать BS)"""
    rewards = []
    
    for pred, actual in zip(predictions, actuals):
        # Извлекаем вероятность из текста ответа
        match = re.search(r'probability is (\d+\.\d+)%', pred)
        if match:
            prob = float(match.group(1)) / 100.0
        else:
            # Штраф за неправильный формат
            prob = 0.5
        
        # Brier score для одного примера
        bs = (prob - actual) ** 2
        
        # Преобразуем в reward: чем меньше BS, тем больше reward
        # Используем преобразование 1 - BS, так как BS ∈ [0, 1]
        reward = 1.0 - bs
        rewards.append(reward)
    
    return torch.tensor(rewards, dtype=torch.float32)

Конфигурация GRPO в Tinker:

from tinker import GRPOConfig

grpo_config = GRPOConfig(
    model_name="gpt-oss-120b",
    use_peft=True,
    peft_config=lora_config,
    learning_rate=1e-6,  # Очень маленький LR для точной настройки
    batch_size=4,  # 120B модель даже с LoRA требует памяти
    gradient_accumulation_steps=8,
    num_train_epochs=3,
    reward_fn=brier_score_reward,
    # Критичные параметры GRPO:
    beta=0.1,  # Коэффициент KL penalty - выше, чем обычно
    gamma=0.99,
    clip_range=0.2,
    # Для вероятностных прогнозов:
    response_template="Based on the context, the probability is",
    max_response_length=50
)

Почему beta=0.1, а не 0.01? Потому что мы не хотим, чтобы модель слишком далеко уходила от исходной калибровки. Высокий beta сохраняет консервативность прогнозов.

Если вы никогда не работали с GRPO, начните с пошагового гайда по GRPO на Colab или изучите практическую реализацию RLVR с GRPO.

4 Валидация и калибровка

После GRPO обучения проверяем калибровку на hold-out выборке. Идеальная калибровка - когда из всех событий, которым модель присвоила вероятность X%, действительно происходит X%.

Строим Reliability Diagram:

def reliability_diagram(predicted_probs, actual_outcomes, bins=10):
    """Строит диаграмму калибровки"""
    bin_edges = np.linspace(0, 1, bins + 1)
    bin_indices = np.digitize(predicted_probs, bin_edges) - 1
    
    bin_actuals = []
    bin_preds = []
    
    for i in range(bins):
        mask = bin_indices == i
        if np.any(mask):
            bin_actual = actual_outcomes[mask].mean()
            bin_pred = predicted_probs[mask].mean()
            bin_actuals.append(bin_actual)
            bin_preds.append(bin_pred)
    
    return bin_preds, bin_actuals

Если диаграмма показывает систематическое смещение (например, модель постоянно переоценивает вероятности), применяем платсинг-калибровку:

from sklearn.isotonic import IsotonicRegression

# Калибруем на валидационной выборке
calibrator = IsotonicRegression(out_of_bounds='clip')
calibrator.fit(validation_probs, validation_actuals)

# Применяем к предсказаниям модели
calibrated_probs = calibrator.transform(test_probs)

Результаты: насколько это работает?

На тестовой выборке из 500 матчей гольфа за 2025 год:

Улучшение на 29.4% по Brier score относительно базовой модели. В терминах ставок: если бы вы ставили по этим прогнозам с оптимальным размером ставки (критерий Келли), ROI составил бы 8-12% на длинной дистанции.

Где всё ломается: типичные ошибки

Ошибка 1: Переобучение на шум

GRPO может начать оптимизировать случайные паттерны в данных. Признак: Brier score на обучении падает до 0.05, а на валидации растет. Решение: ранняя остановка, увеличение размера батча, добавление dropout в LoRA.

Ошибка 2: Режим коллапса

Модель начинает всегда выдавать вероятности около 0.5 (максимальная неопределенность). Это происходит при слишком высоком beta в GRPO - модель боится отклониться от исходной политики. Решение: постепенно уменьшать beta от 0.2 до 0.05 в течение обучения.

Ошибка 3: Игнорирование неопределенности

Модель не знает, когда она не знает. Для событий с малым количеством данных (молодой игрок, новый курс) она всё равно выдает уверенный прогноз. Решение: добавлять в контекст мета-информацию о качестве данных и учить модель выдавать диапазоны вероятностей.

А что насчёт интерпретируемости?

Чёрный ящик из 120 миллиардов параметров - это проблема для серьёзных применений. Как понять, почему модель дала вероятность 73%, а не 68%?

Используйте методы интерпретации, описанные в гайде по деанонимизации поведения трансформера. Атрибуция внимания показывает, на какие части контекста модель смотрела: "ветер 8 узлов" получил вес 0.12, "последние 5 турниров: 1, 3, 7, 2, 1" - вес 0.31.

Ещё один подход: обучить маленькую модель-интерпретатор (например, линейную регрессию или небольшой трансформер) предсказывать выход большой модели на основе её внутренних представлений.

Можно ли применить это к другим областям?

Абсолютно. Эта же методология работает для:

• Прогнозирования выборов (вероятность победы кандидата в конкретном штате)
• Кредитного скоринга (вероятность дефолта в течение 12 месяцев)
• Медицинских прогнозов (вероятность осложнения после операции)
• Прогнозирования цен на акции (вероятность роста на 5% в течение недели)

Ключевые изменения:

1. Специфический датасет с контекстом и фактическими исходами
2. Адаптация reward функции под специфику домена
3. Проверка калибровки на домен-специфичных метриках

Для шахмат, например, есть интересный кейс в статье про Chess GPT, где маленькая модель обыгрывает гигантов за счёт специализации.

Что дальше? Эксперименты на 2026 год

Сейчас я тестирую несколько направлений:

Мультимодальность: Добавляю в контекст не только текстовые описания, но и спутниковые снимки полей для гольфа, которые обрабатываю через Vision Transformer. Ранние результаты показывают улучшение Brier score на 3-5% для турниров на незнакомых курсах.

Неопределённость через ансамбли: Вместо одной модели обучаю 5-10 моделей с разными инициализациями LoRA и разными подвыборками данных. Разброс их предсказаний - мера неопределённости. Если все модели дают 70-75% - уверенный прогноз. Если разброс 40-90% - модель не знает.

Динамическое обновление: Модель переобучается онлайн по мере поступления новых данных. Каждую неделю добавляю результаты последних турниров и делаем 1-2 эпохи дообучения. Главная проблема - catastrophic forgetting, которую решаю через replay buffer из старых примеров.

Финальный тест: если ваша модель показывает Brier score ниже 0.15 на независимом тесте и её калибровочная кривая близка к диагонали - вы создали рабочий инструмент для прогнозирования. Не идеальный, но лучше 95% человеческих экспертов в этой нише.

И помните: даже лучшая модель - всего лишь инструмент. Она не отменяет необходимости понимать предметную область. Модель говорит "вероятность 82%". Ваша задача - спросить "почему не 79% или 85%?" И найти ответ в данных, а не в слепой вере в алгоритм.