Обучение маленьких LLM с GRPO на трех Mac Mini: пошаговое руководство по суммаризации Reddit

Почему GRPO — это не очередной хайп, а спасение для бюджетных GPU

Когда DeepSeek в январе 2025 года показал R1, все бросились повторять. Метод Group Relative Policy Optimization (GRPO) оказался не просто вариацией PPO — он радикально снизил требования к памяти за счет отказа от критической модели (critic) и использования групповых оценок вознаграждения. В 2026 году GRPO стал мейнстримом для обучения маленьких моделей (до 3B параметров) на слабом железе. И что может быть слабее трех Mac Mini M4, собранных в кластер? (спойлер: ничего, если у вас нет денег на NVIDIA H100).

Для задачи суммаризации Reddit (сжать пост из 1000 токенов в 2-3 предложения) нам не нужна GPT-4. Достаточно Qwen2.5-1.5B-Instruct или SmolLM2-1.7B — обе отлично финтюнятся под GRPO. Теперь вопрос: как уместить обучение такой модели на три Mac Mini M4 с 16 GB unified memory каждый? Ответ: распределенное обучение с контекстом до 4096 токенов и gradient checkpointing.

Сборка кластера из Mac Mini: что работает, а что — боль

Идея использовать несколько Mac Mini как единое устройство для ML не нова. Тот же SmolCluster уже год как позволяет объединить Mac Mini и iPad для инференса. Для обучения всё сложнее: нужно синхронизировать градиенты, распределять данные, выдерживать единый шаг обучения.

Мы используем three-node TorchElastic с бэкендом Gloo (Metal Performance Shaders не поддерживает NCCL, а GLOO на Apple Silicon работает через shared memory, что для трех машин по сети — ок, если у вас гигабитный Ethernet). Каркас — Hugging Face Accelerate с DeepSpeed ZeRO-2 (да, DeepSpeed 0.14.x отлично собирается на arm64).

Пошаговый план: от датасета до запуска обучения

1 Подготовка датасета Reddit для GRPO

Берем Reddit TL;DR (версия от 2023 года, но для обучений с LLM лучше переразметить с помощью GPT-4o-mini как референс). Формат для GRPO: промпт — пост Reddit (с триггером «summarize:»), в ответе — саммари. Reward вычисляем через ROUGE-L относительно эталонного саммари. Если эталона нет — используем древовидный scoring: длина, покрытие ключевых слов, отсутствие галлюцинаций.

from datasets import load_dataset

# Загружаем отфильтрованные 20K примеров (посты > 2000 символов)
dataset = load_dataset("Gustavosta/Reddit-TLDR-20k", split="train")

# Форматируем под GRPO: промпт без ответа
def format_prompt(example):
    return {"prompt": f"[INST] Summarize this Reddit post:\n{example['post']} [/INST]",
            "reference": example['summary']}

dataset = dataset.map(format_prompt)

Для GRPO важно, чтобы reward function была differentiable или хотя бы быстрой — мы используем rouge-score пакет, который на батче из 100 саммари считается за 200 мс.

2 Настройка распределенного окружения на трех Mac Mini

Каждый Mac Mini M4 имеет 10-core GPU (16 core Neural Engine, но он не используется). Объединяем их через switch с latency меньше 1ms. Важно: все три машины должны быть в одной сети, иметь одинаковые версии Python 3.12, PyTorch 2.6+ с MPS backend, DeepSpeed 0.14, transformers 4.48.

# На главной ноде (192.168.1.100)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/mps
pip install deepspeed==0.14.3 accelerate transformers datasets rouge-score

# На воркерных нодах — аналогично, плюс открытые порты для etcd
# Включаем SSH без пароля
ssh-copy-id worker1@192.168.1.101
ssh-copy-id worker2@192.168.1.102

3 Конфигурация GRPO и запуск обучения

Возьмем Qwen2.5-1.5B-Instruct — он отлично держит контекст 4096 и не противится финтюнингу. Конфигурация DeepSpeed ZeRO-2 с offload optimizer на CPU (у нас 16 GB ОЗУ на ноду, но для 1.5B с offload хватает чуть более 8 GB).

# deepspeed_config.json
{
  "train_batch_size": 12,
  "gradient_accumulation_steps": 4,
  "zero_optimization": {
    "stage": 2,
    "offload_optimizer": {
      "device": "cpu",
      "pin_memory": true
    }
  },
  "fp16": {
    "enabled": true,
    "auto_cast": true,
    "loss_scale": 0
  },
  "gradient_clipping": 1.0
}

GRPO модель обучается в два прохода: генерация ответов (8 штук на промпт) и policy gradient update. Чтобы ускорить генерацию, используем vLLM в инференс-режиме на одном из GPU-ядер — да, vLLM отлично работает на MPS (спасибо ребятам, портировавшим его под Metal в 2025).

# Обертка для GRPO с использованием HFF
from grpo_trainer import GRPOTrainer  # кастомный класс, выложу в конце
trainer = GRPOTrainer(
    model=model,
    ref_model=None,  # GRPO без референса
    train_dataset=dataset,
    reward_fn=rouge_l_reward,
    num_generations=8,
    max_prompt_length=2048,
    max_completion_length=256,
    learning_rate=1e-5,
    deepspeed=deepspeed_config_path
)
trainer.train()

# Это займет ~6 часов на 20K примерах при batch_size=12, 3 ноды.

Типичные ошибки и как их обойти (оплачено кровью)

Ошибка 1: Out-Of-Memory на этапе генерации

MPS при генерации одного батча из 8 ответов по 256 токенов выделяет временный тензор (batch, num_gen, seq_len) — для 1.5B модели это ~4 GB. Если одновременно держать градиенты и optimizer states, память переполняется. Решение: sequential generation — генерируем по 2 ответа на промпт за раз, агрегируем rewards, потом пересчитываем градиенты.

Ошибка 2: Разные версии PyTorch на воркерах

TorchElastic не проверяет версии — вы получите ошибки SEGFAULT на первом же all-reduce. Лучше всего использовать Docker образы (да, Silicon Studio тоже автоматизирует сборку, но для кластера мы рекомендуем мульти-платформенный образ на основе arm64/debian:bookworm-slim).

Ошибка 3: GLOO падает при большом размере сообщения

GLOO over TCP имеет лимит на 2 GB за одно сообщение. При all-reduce градиентов 1.5B модели (6 GB) он фейлится. Решение: переменная среды GLOO_TCP_STORE_DISABLE=1 + увеличение fragment size через torch.distributed.all_reduce с разбиением на чанки по 512 MB.

Результаты: что мы получили и сколько это стоило

Три Mac Mini M4 (16/256) в refurbished состоянии обошлись ~$2400. Для сравнения: один NVIDIA H100 в аренду на месяц в облаке — $3000, и вы не получите даже половины производительности на задаче суммаризации (из-за накладных расходов на GRPO). Плюс у вас остаются три mini-сервера для распределенного вывода через llama-server.

Куда копать дальше? (без «заключения»)

Если хотите выжать из своего кластера максимум — попробуйте собрать eGPU NVIDIA на один из Mac Mini (да, это возможно через Thunderbolt 5, см. гайд про eGPU NVIDIA на Mac). Это даст 24 GB VRAM для более крупной модели и ускорит генерацию. В 2026 году Apple так и не пофиксила баг с выделением unified memory для vLLM, так что внешний NVIDIA — не хак, а необходимость для серьезного deep learning.

Еще один трюк: гибридное обучение — используйте GRPO для RL stage, а SFT (supervised fine-tuning) на Silicon Studio сделайте на одной ноде, и только RL распределите. Это сэкономит ваши нервы и энергию.

И последнее: не верьте, что распределенное обучение на Mac Mini — это просто. Кластеризация LLM между разными архитектурами (DGX Spark + Mac Studio) — это следующий уровень, но и он доступен. Если у вас есть два Mac Mini и старый iPad — SmolCluster работает для инференса, а для обучения придется докупить третий Mini или поднять сервер на Linux. В любом случае, GRPO — это ваш ключ к дешевому RL-обучению.

Подписаться на канал