Градиентный бустинг: как работает GBM и зачем его понимать

Что такое градиентный бустинг и почему он почти обязателен в ML

Градиентный бустинг (GBM, gradient boosting machine) - техника машинного обучения для задач классификации и регрессии, которая строит модель предсказания из множества слабых предсказателей. Ключевое слово здесь «последовательно»: первая модель дает грубый прогноз, вторая учится на ее ошибках, третья работает с остатком ошибки первых двух. Одиночная слабая модель в такой схеме почти бесполезна, весь эффект накапливается по шагам.

Зачем разбираться в механике, если библиотека уже все умеет. Большинство победителей соревнований Kaggle собирают композицию из нескольких разных моделей, и градиентный бустинг с вариациями входит в такие композиции почти всегда, об этом прямо говорит разбор GBM на Neurohive. При этом гиперпараметров в готовых библиотеках много, а поведение ансамбля зависит от каждого шага. Без понимания внутренней логики настройка learning rate, числа итераций и критерия остановки превращается в перебор наугад.

Дальше разбираем чистый «vanilla» GBM: без инженерных надстроек библиотек. Цель одна: понять, что происходит внутри, чтобы осознанно работать с XGBoost, LightGBM и CatBoost.

Где GBM применяется: классификация и регрессия

Базовая область - табличные данные. Регрессия: прогноз цены, спроса, времени доставки. Классификация: скоринг, отток, фрод, вероятность клика. Везде, где есть строки с признаками и известная целевая переменная, бустинг деревьев дает крепкий результат без сложной предобработки.

В роли слабых предсказателей могут выступать деревья решений, линейная регрессия, классификаторы и другие модели. На практике берут неглубокие деревья: они быстро обучаются и хорошо ловят нелинейности и взаимодействия признаков. Отсюда и расхожая формулировка «градиентный бустинг деревьев решений».

Универсального превосходства над всеми методами нет. На изображениях и сырых текстах обычно выигрывают нейросети, а GBM остается рабочей базой для сравнения на таблицах.

Почему GBM считают «чёрным ящиком» и что это меняет

Библиотечные версии GBM ускоряют обучение и содержат десятки параметров. Практик вызывает fit, получает метрику и идет дальше. Так и рождается отношение к алгоритму как к черному ящику: непонятно, почему модель переобучилась, почему early stopping сработал на 300-й итерации и что делать с просадкой метрики на валидации.

Понимание vanilla-версии дает три вещи. Вы понимаете смысл learning rate и числа итераций. Вы знаете, откуда берется переобучение и как его ловить. Вы можете объяснить, почему ансамбль деревьев выдал конкретное предсказание, хотя бы на уровне вклада отдельных признаков.

Ансамбли, бэггинг и бустинг: в чём разница и при чём тут variance и bias

Ансамбль - это набор предсказателей, которые вместе дают один ответ, например среднее по всем. Логика простая: несколько моделей, каждая из которых пытается предсказать одну и ту же переменную, в сумме дают более точный результат, чем одиночная модель.

Ошибка прогноза раскладывается на три источника: noise, variance и bias. Ансамбль уменьшает variance и bias, а noise остается. Это шум в самих данных, и никакая композиция моделей его не уберет. Практический вывод: если в данных много шума, скачка качества от бустинга ждать не нужно.

Техники ансамблирования делятся на бэггинг и бустинг. Разница в том, как именно собирается ансамбль.

Признак	Бэггинг	Бустинг
Как строятся модели	Независимо друг от друга	Последовательно, одна за другой
На чем учится модель	На случайной подвыборке с возвращением	На ошибках предыдущих моделей
Как объединяются	Среднее, взвешенное среднее, голосование	Сумма шагов с весом learning rate
Что уменьшает	Variance	Bias и частично variance
Классический пример	Random Forest	GBM, LightGBM, XGBoost, CatBoost
Главный риск	Слабое место - много моделей при малом эффекте	Переобучение при неосторожном критерии остановки

Бэггинг и случайный лес: независимые модели против variance

Бэггинг строит независимые модели и комбинирует их моделью усреднения: взвешенное среднее, голосование большинства, обычное среднее. Каждой модели достается случайная подвыборка данных, построенная с возвращением. Модели между собой не коррелируют, и за счет этого падает variance.

Канонический пример - случайный лес (Random Forest). Одно дерево чувствительно к данным и легко ломается на новом срезе. Сто деревьев на разных подвыборках дают стабильный ответ, потому что ошибка отдельного дерева не тянет за собой весь ансамбль.

Бустинг: последовательное обучение на ошибках

Бустинг строит предсказатели последовательно. Следующая модель учится на ошибках предыдущей, поэтому предсказатели имеют неравную вероятность попасть в ансамбль: чаще в работу идут те, что дают наибольшую ошибку. Это не усреднение независимых голосов, а последовательное исправление.

Плюс в скорости: поскольку модели опираются на ошибки предыдущих, до внятного ответа ансамбль добирается быстрее. Минус тоже понятен: критерий остановки нужно выбирать осторожно, иначе ансамбль начнет запоминать шум и переобучится, о том же предупреждает разбор механики бустинга. Градиентный бустинг - это пример бустинга.

Как работает градиентный бустинг: остатки, функция потерь и градиентный спуск

Механика укладывается в четыре шага, которые повторяются: посчитать, насколько текущий ансамбль ошибается, обучить новую слабую модель предсказывать эту ошибку, добавить ее к ансамблю с небольшим весом, повторить.

Остатки: на чём учится каждая новая модель

Остаток - разница между реальным значением и текущим предсказанием. После обучения базовой модели считаем остатки по каждому объекту. Новая модель получает на вход те же признаки, а в качестве цели - эти остатки. Она не предсказывает целевую переменную напрямую, она предсказывает, где ансамбль промахнулся.

Дальше цикл повторяется: прогноз обновляется, остатки пересчитываются, следующая модель учится на них. Это и есть итеративное применение паттернов отклонений: ансамбль раз за разом отрабатывает те участки пространства признаков, где ошибка еще велика.

Функция потерь и градиентный спуск в бустинге

Функцию потерь GBM минимизирует градиентным спуском, только спуск идет не по параметрам модели, а по предсказаниям ансамбля. Остатки связаны с градиентом функции потерь: для квадратичной потери остаток совпадает с отрицательным градиентом, для других потерь связь сложнее, но логика сохраняется. Каждая новая модель делает шаг в сторону уменьшения потерь.

Выбор функции потерь задает постановку задачи. Для регрессии берут квадратичную или абсолютную ошибку, для классификации - логистическую потерю. Меняется потеря, меняются и остатки, на которых учится очередное дерево.

Learning rate: как шаг обучения управляет ансамблем

Learning rate (shrinkage, темп обучения) задает, какую долю от предсказания нового дерева добавляют к текущему прогнозу. Прогноз обновляется не на весь выход дерева, а на его часть. При шаге 0.1 дерево, предсказавшее -15, сдвинет прогноз на -1.5.

Параметр управляет компромиссом. Большой шаг сходится за меньшее число итераций, но легко проскакивает оптимум и переобучается. Маленький шаг дает плавную и устойчивую кривую, зато требует больше деревьев и времени. Learning rate и число итераций настраивают в паре: уменьшили шаг, значит нужно увеличить количество шагов.

Конкретные значения зависят от данных, размера выборки и уровня шума. Подбирают их по валидации, а не по универсальной таблице из чужой статьи.

pred = base_model.fit_predict(X, y)
for step in range(n_estimators):
    residual = y - pred
    tree = fit_tree(X, residual, max_depth=depth)
    pred = pred + learning_rate * tree.predict(X)
    if early_stopping_triggered(valid_metric):
        break

Пошаговый разбор на смоделированных данных: от базовой модели до контроля переобучения

Ниже учебный пример на пяти объектах. Данные придуманы, чтобы показать арифметику шага: это не эксперимент и не бенчмарк. Признак x принимает значения 1, 2, 3, 4, 5, целевая переменная - 10, 20, 30, 40, 50.

Базовая модель и первые остатки

В роли базовой модели возьмем константу, среднее по выборке: 30. Прогноз одинаков для всех объектов, остатки получаются -20, -10, 0, 10, 20, а сумма их квадратов равна 1000.

Теперь обучаем первое дерево глубины 1 (пень) на остатках. Разбиение по x <= 2: в левой ветке средний остаток -15, в правой 10.

Объект	x	y	Прогноз базы	Остаток	Выход дерева	Вклад при lr = 0.1	Новый прогноз
1	1	10	30	-20	-15	-1.5	28.5
2	2	20	30	-10	-15	-1.5	28.5
3	3	30	30	0	10	1.0	31.0
4	4	40	30	10	10	1.0	31.0
5	5	50	30	20	10	1.0	31.0

Один шаг с learning rate 0.1 снижает сумму квадратов остатков с 1000 до 857.5. Улучшение небольшое: одно слабое дерево много не исправит. Еще несколько десятков итераций по той же схеме сдвинут прогнозы ближе к реальным значениям, а маленький шаг как раз и означает, что итераций понадобится много.

Добавление моделей и контроль по валидации

Дальше цикл повторяется: остатки пересчитываются, новое дерево учится на них, learning rate ограничивает вклад, ансамбль обновляется. На обучающей выборке ошибка почти всегда падает, и это главная ловушка: она падает и тогда, когда модель уже запоминает шум.

Контроль идет по валидации. Данные делят на обучающую и валидационную части, после каждой итерации считают метрику на валидации и останавливаются, когда она перестает улучшаться. Практическая форма - early stopping с запасом в несколько итераций (patience): если метрика не улучшается N шагов подряд, обучение прекращают и берут ансамбль с лучшей итерации.

Порядок действий выглядит так:

1. Обучить базовую модель и посчитать остатки.
2. Обучить слабую модель на остатках.
3. Добавить ее к ансамблю с весом learning rate.
4. Пересчитать остатки и метрику на валидации.
5. Проверить условие остановки, при ухудшении метрики остановиться и откатиться к лучшей итерации.

Vanilla-версия нужна именно для понимания этой механики. Библиотека делает то же самое, но быстрее и с десятками дополнительных параметров.

Библиотеки GBM: XGBoost, LightGBM и CatBoost

Три самых известных инструмента для градиентного бустинга - XGBoost, LightGBM и CatBoost. Все три реализуют идею последовательного ансамбля деревьев, различаются инженерными решениями и набором гиперпараметров.

Чем библиотечная реализация отличается от vanilla GBM

Vanilla GBM из статьи или учебника отвечает на вопрос «как это работает». Библиотека отвечает на вопрос «как получить результат быстро». Внутри есть сжатие шага, регуляризация, работа с пропусками, поддержка разреженных матриц, многопоточность. Параметров много, и часть из них влияет на качество сильнее, чем выбор самой библиотеки.

Практический вывод: изучать механику по vanilla-версии, а работать в продакшне на библиотеке. Одно другому не мешает.

Как выбирать между XGBoost, LightGBM и CatBoost

По одной цифре из чужого бенчмарка выбор не делают: качество зависит от данных, а публичные сравнения редко совпадают с вашей таблицей по размеру, шуму и типу признаков. Рабочий порядок такой:

1. Собрать отложенную валидацию или кросс-валидацию, которая повторяет условия продакшна.
2. Прогнать две-три библиотеки на разумных дефолтах, сравнить метрику и время обучения.
3. Настроить learning rate, глубину деревьев и число итераций у лучшего варианта.
4. Проверить стабильность результата на другом фолде или временном срезе.

Ограничения стоит учитывать на входе. Если таблица широкая или строк много, время обучения и память становятся такими же важными, как метрика. Если результат нужно объяснять бизнесу, заранее решите, как будете считать вклады признаков.

Практический кейс: LightGBM в решении победителя Kaggle Safe Driver Prediction

Соревнование Safe Driver Prediction - показательный пример. Победитель Michael Jahrer собрал решение из шести моделей: одна LightGBM, вариация градиентного бустинга, и пять нейронных сетей. Один бустинг против пяти сетей в одной композиции.

Основной прирост дало полуконтролируемое обучение, которое автор использовал для упорядочивания данных, бустинг в этой композиции занял свою нишу. Разбор с примером из Kaggle описывает и общий паттерн соревнований: побеждают композиции, где GBM один из компонентов, а не единственный герой.

Что это значит для практики. На табличной задаче GBM стоит пробовать первым: он дает надежный baseline без сложной предобработки. Когда данных много и они разнородны, ансамбль из разных типов моделей обычно обходит одиночный бустинг, но требует больше времени на сборку и контроль.

Ограничения GBM и типичные ошибки

Переобучение и критерий остановки

Последовательное обучение на ошибках быстро ведет к переобучению, если не ограничивать шаг и не следить за валидацией. Типичные ошибки: остановка по обучающей метрике, слишком большой learning rate, много итераций без early stopping, подбор гиперпараметров на тестовой выборке.

Второй риск - утечка данных. Если признаки собраны с будущей информацией или валидация перемешана по времени, метрика на валидации окажется оптимистичной, и early stopping не спасет: он честно остановится на ложно хорошем результате.

«Чёрный ящик» и интерпретируемость

Ансамбль из сотен деревьев не читается как одно дерево. Вклады признаков считают отдельно, и они дают приблизительную картину, а не строгое объяснение. Понимание механики vanilla GBM помогает интерпретировать поведение ансамбля: вы видите, где модель опирается на шумные признаки и почему метрика поехала после добавления очередной сотни деревьев.

Список ограничений, которые стоит держать в голове:

• Переобучение при неосторожном критерии остановки и большом шаге обучения.
• Много гиперпараметров: learning rate, глубина, число итераций, регуляризация, подвыборки.
• Ограниченная интерпретируемость ансамбля деревьев.
• Рост времени обучения и памяти вместе с числом итераций и деревьев.
• Noise в данных не уменьшается: часть ошибки останется при любой архитектуре.
• Сырые тексты и изображения обычно требуют нейросетей или ручного конструирования признаков.

Стоит ли использовать градиентный бустинг: выводы для практики

GBM - сильный и предсказуемый инструмент для классификации и регрессии на табличных данных. Он дает крепкое качество без сложной предобработки, обучается на обычном ноутбуке и редко подводит на старте проекта. Как baseline его стоит пробовать почти всегда, когда данные лежат в таблице.

Бэггинг и бустинг решают разные задачи. Бэггинг усредняет независимые модели и бьет по variance. Бустинг строит модели последовательно и бьет по ошибке, которую ансамбль уже накопил. Ни один из подходов не убирает noise, и это главное ограничение ожиданий от любого ансамбля.

Библиотеки удобны, но требуют понимания механики. Осознанная настройка learning rate, числа итераций и критерия остановки по валидации дает больше, чем перебор десятков параметров наугад. Разберите vanilla GBM один раз: дальше XGBoost, LightGBM и CatBoost перестанут быть черным ящиком, а их поведение на вашей выборке станет предсказуемым.

Подписаться на канал