SageMaker: полный цикл кастомизации моделей от претрейна до DPO

Зачем тратить миллионы на претрейн, если можно кастомизировать?

Представь: тебе нужна модель, которая идеально понимает медицинские термины на русском. Или юридические документы. Или корпоративный жаргон твоей компании. Запускать претрейн с нуля? 100+ GPU на месяцы, миллионы долларов. Безумие.

Вот тут и появляется кастомизация в SageMaker. Не просто "fine-tuning", а полный спектр: от дообучения готовых моделей до продвинутых техник вроде DPO (Direct Preference Optimization), которые заставляют модель выбирать правильные ответы, а не просто генерировать текст.

Эволюция кастомизации: от полного финтюна до LoRA

Раньше было просто: берешь модель, загружаешь датасет, запускаешь обучение на всех параметрах. Через неделю получаешь счет на $10,000 и модель, которая забыла английский, но выучила твои 1000 примеров.

Сейчас все иначе. На 2026 год доминируют параметр-эффективные методы:

LoRA — это гений в простоте. Вместо обновления матриц весов W (размером d×d) мы обучаем две маленькие матрицы A и B (d×r и r×d, где r ≪ d). Результат: W' = W + BA. Обновляется всего 2×d×r параметров вместо d².

1 Выбор модели: что актуально на 2026 год?

Забудь про старые модели. На 2026 год работаем с:

• Llama 3.2 или Llama 3.3 (если выпущена) — золотой стандарт open-source
• Qwen2.5 серии — особенно хороши для неанглийских языков
• Mistral-Next — если нужна максимальная производительность
• GPT-4o-mini или аналоги — для быстрого прототипирования

2 Подготовка датасета: не просто тексты, а структурированные примеры

Здесь большинство проваливается. Бросают в модель 1000 PDF-файлов и ждут чуда. Не работает.

Для LoRA нужен специфический формат. Возьмем пример медицинской кастомизации:

[
  {
    "instruction": "Объясни пациенту, что такое гипертония",
    "input": "",
    "output": "Гипертония — это стойкое повышение артериального давления выше 140/90 мм рт.ст. Это состояние требует наблюдения врача и может приводить к серьезным осложнениям: инсульту, инфаркту, поражению почек.",
    "system": "Ты — медицинский ассистент. Объясняй сложные термины простыми словами."
  },
  {
    "instruction": "Какие симптомы у сахарного диабета 2 типа?",
    "input": "Пациент 55 лет, избыточный вес",
    "output": "Основные симптомы: частое мочеиспускание, повышенная жажда, усталость, медленное заживление ран. У пациентов с избыточным весом риск развития выше в 3-5 раз.",
    "system": "Ты — медицинский ассистент. Объясняй сложные термины простыми словами."
  }
]

Для DPO (о нем позже) нужны парные данные: хороший ответ vs плохой ответ на один промпт. Это самый ценный и сложный для сбора датасет.

3 Настройка SageMaker Training Job для LoRA

SageMaker на 2026 год поддерживает LoRA из коробки через Hugging Face DLC (Deep Learning Containers). Не нужно городить костыли.

from sagemaker.huggingface import HuggingFace

# Конфигурация LoRA
lora_config = {
    "r": 16,               # Rank адаптации
    "lora_alpha": 32,      # Scaling параметр
    "lora_dropout": 0.05,  # Dropout для LoRA слоев
    "target_modules": [    # Какие модули адаптировать
        "q_proj",
        "v_proj",
        "k_proj",
        "o_proj",
        "gate_proj",
        "up_proj",
        "down_proj"
    ],
    "bias": "none",
    "task_type": "CAUSAL_LM"
}

# Параметры обучения
training_args = {
    "output_dir": "/opt/ml/model",
    "num_train_epochs": 3,
    "per_device_train_batch_size": 4,
    "per_device_eval_batch_size": 4,
    "gradient_accumulation_steps": 4,
    "learning_rate": 2e-4,
    "lr_scheduler_type": "cosine",
    "warmup_steps": 100,
    "logging_steps": 10,
    "save_strategy": "epoch",
    "evaluation_strategy": "epoch",
    "load_best_model_at_end": True,
    "bf16": True,  # Используем bfloat16 на современных GPU
    "gradient_checkpointing": True,
    "fsdp": "full_shard",  # Full Sharded Data Parallel для больших моделей
}

# Создаем estimator
estimator = HuggingFace(
    entry_point="train.py",
    instance_type="ml.g5.12xlarge",  # 4xA10G на 2026 год все еще актуальны
    instance_count=1,
    role=sagemaker_role,
    transformers_version="4.40.0",  # Актуальная версия на 2026
    pytorch_version="2.2.0",
    py_version="py310",
    hyperparameters={
        "model_id": "meta-llama/Llama-3.2-7B",
        "dataset_path": "/opt/ml/input/data/train",
        "lora_config": lora_config,
        **training_args
    },
    environment={
        "HF_TOKEN": "huggingface_token",  # Для gated моделей
        "SM_TRAINING_ENV": "true"
    }
)

Обрати внимание на fsdp": "full_shard". Это важно для моделей больше 10B параметров. Данные и модель шардятся между GPU.

Direct Preference Optimization: когда обычного обучения недостаточно

Вот сценарий: твоя модель после LoRA правильно отвечает на медицинские вопросы. Но иногда выдает опасные рекомендации: "попробуйте эту травку, мне помогло". Классическое обучение не решает проблему выравнивания (alignment).

DPO — это следующий уровень. Вместо обучения на "правильных" ответах, мы учим модель различать "хорошие" и "плохие" ответы. На 2026 год это стандарт для production-моделей.

4 Подготовка датасета для DPO

Нужны триплеты: промпт, chosen (предпочтительный ответ), rejected (отвергнутый ответ).

[
  {
    "prompt": "Что делать при температуре 39 у ребенка?",
    "chosen": "Дайте жаропонижающее (ибупрофен или парацетамол по возрасту), обеспечьте обильное питье, обратитесь к педиатру. Не используйте аспирин у детей.",
    "rejected": "Заверните ребенка в холодное мокрое полотенце, дайте аспирин, не давайте воду чтобы не было отека."
  },
  {
    "prompt": "Можно ли принимать антибиотики при вирусной инфекции?",
    "chosen": "Нет, антибиотики не действуют на вирусы. Их назначает только врач при подтвержденной бактериальной инфекции. Самолечение антибиотиками опасно.",
    "rejected": "Да, любые антибиотики помогут быстрее выздороветь. Купите самый сильный в аптеке."
  }
]

Где взять такие данные? Варианты:

• Ручная разметка экспертами (дорого, но качественно)
• Использование более мощной модели (GPT-4o) для генерации пар
• Сбор реальных логов с ранжированием ответов пользователями

5 Запуск DPO в SageMaker

from trl import DPOTrainer
from transformers import AutoModelForCausalLM, AutoTokenizer

# Загрузка модели с уже обученными LoRA весами
model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-3.2-7B",
    load_in_4bit=True,  # QLoRA для экономии памяти
    device_map="auto",
    peft_config=lora_config
)

# DPOTrainer конфигурация
dpo_trainer = DPOTrainer(
    model=model,
    args=DPOConfig(
        beta=0.1,  # Температура для DPO loss
        learning_rate=1e-5,
        per_device_train_batch_size=2,
        gradient_accumulation_steps=4,
        max_length=1024,
        max_prompt_length=512,
        num_train_epochs=2,
        logging_steps=10,
        save_steps=500,
        output_dir="/opt/ml/model",
        optim="adamw_torch",
        fp16=True,
        remove_unused_columns=False
    ),
    train_dataset=dpo_dataset,
    tokenizer=tokenizer,
)

dpo_trainer.train()

Деплой кастомизированной модели: от SageMaker Endpoint до Lambda

Обучение — это только половина пути. Теперь нужно обслуживать модель с latency < 200ms и 99.9% доступности.

Вариант 1: SageMaker Real-time Endpoint (проще всего):

from sagemaker.huggingface import HuggingFaceModel

# Создаем модель с LoRA адаптерами
model = HuggingFaceModel(
    model_data="s3://bucket/lora-model.tar.gz",
    role=role,
    transformers_version="4.40.0",
    pytorch_version="2.2.0",
    py_version="py310",
    entry_point="inference.py",
    source_dir="./code",
    env={
        "HF_MODEL_ID": "meta-llama/Llama-3.2-7B",
        "SM_HPS": '{"peft_model": "/opt/ml/model"}'
    }
)

# Деплой
predictor = model.deploy(
    initial_instance_count=1,
    instance_type="ml.g5.2xlarge",
    endpoint_name="medical-llama-lora",
    # ВАЖНО: на 2026 год появилась опция auto-scaling по GPU памяти
    volume_size=100,  GB для кэша контекста
    container_startup_health_check_timeout=600
)

Вариант 2: SageMaker Asynchronous Endpoint — для batch-обработки (дешевле):

# Для обработки тысяч документов за раз
async_predictor = model.deploy(
    initial_instance_count=1,
    instance_type="ml.g5.4xlarge",
    endpoint_name="medical-llama-batch",
    async_inference_config={
        "ClientConfig": {
            "MaxConcurrentInvocationsPerInstance": 4
        },
        "OutputConfig": {
            "S3OutputPath": "s3://bucket/async-output/"
        }
    }
)

Чеклист перед продакшеном

1. Тест на катастрофическое забывание: задай 100 общих вопросов (не из датасета). Если модель забыла английский — нужно больше данных общего домена в миксе.
2. Стресс-тест безопасности: попробуй jailbreak-промпты. Если модель соглашается на опасные действия — нужен Reinforcement Learning from Human Feedback (RLHF) или больше DPO данных.
3. Латентность и throughput: замерь P95 latency под нагрузкой. Для real-time чата нужно < 500ms, для batch можно до 5 секунд.
4. Мониторинг дрифта: настрой CloudWatch метрики для отслеживания распределения ответов. Если модель начинает "скатываться" — триггерим retraining.

Стоимость: что тебя ждет на 2026 год

Цены на GPU постоянно падают, но требования к моделям растут. Примерная калькуляция для проекта:

Видишь разницу? LoRA + DPO в 4000 раз дешевле полного претрейна. И работает почти так же хорошо для большинства задач.

Что будет дальше? Прогноз на 2027

По моим наблюдениям (и внутренним утечкам из AWS):

• Полная интеграция Mixture of Experts (MoE) в SageMaker: будешь обучать только экспертов, а не всю модель
• Автоматический подбор гиперпараметров LoRA: SageMaker Autopilot для кастомизации моделей
• Кросс-модальная кастомизация: одна LoRA для текста, изображений и аудио одновременно
• Дешевле: цены на инференс упадут еще на 40-50% благодаря специализированным чипам от AWS (Trainium/Inferentia 3)

Самый главный совет: не пытайся кастомизировать модель, пока не определил точные метрики успеха. "Стала лучше" — не метрика. "Увеличила точность ответов на медицинские вопросы с 65% до 89% при сохранении latency < 300ms" — метрика.

Начни с маленького эксперимента на 100 примерах. Проверь гипотезу. Затем масштабируй. Удачи!