Перейти к содержанию
Публикация AiManual

Amazon SageMaker AI и подготовка данных: авторазметка, синтетика и проверка качества в одном пайплайне

Amazon добавила в SageMaker AI четыре блока подготовки данных: авторазметку с консенсусом моделей, генерацию синтетики, проверку качества датасета и трансформац

Коротко

Что будет в материале

  1. 01

    Что Amazon добавила в SageMaker AI для подготовки данных

  2. 02

    Авторазметка: консенсус моделей, уверенность и ревью экспертов

  3. 03

    Синтетические данные: генерация по спецификации и на своих документах

  4. 04

    Проверка качества датасета до обучения

В SageMaker AI появились четыре блока подготовки данных: авторазметка, генерация синтетических примеров, проверка качества датасета и трансформация под форматы обучения. Каждый запускается отдельно или связывается с остальными в цепочку под конкретный процесс. Управление идёт из привычной среды: через Python SDK API и AI-ML agent skill в ноутбуке или IDE, без переезда в отдельную консоль.

Практическая мотивация проста. Подготовка данных часто оказывается самой медленной частью проекта: размеченных примеров мало или они дороги, а правила приватности ограничивают то, что вообще можно использовать. Инструменты закрывают именно эту часть работы, а не заменяют обучение модели.

Стоит сразу снять завышенные ожидания. Это набор возможностей внутри уже существующей платформы, а не отдельный продукт с собственным жизненным циклом. Спецификация разметки, код генерации и артефакты остаются в вашем проекте, их можно прочитать, поправить и переиспользовать. Такой подход требует, чтобы кто-то в команде понимал, что именно размечается и зачем.

Что Amazon добавила в SageMaker AI для подготовки данных

Обновление добавляет слой работы с данными, который стоит перед обучением и оценкой модели. Раньше сбор, разметку и приведение датасета к нужному виду собирали из собственных скриптов, сторонних сервисов и ручной работы в таблицах. Теперь эти шаги закрываются внутри платформы, причём каждая возможность оформлена как самостоятельный строительный блок: берите один или выстраивайте цепочку под свою задачу.

Четыре строительных блока и зачем каждый нужен

  • Авторазметка. Разметка масштабируется от неразмеченного датасета, малого seed-набора или вовсе без меток. Встроенные типы задач: классификация, named entity recognition, извлекающий вопрос-ответ, ординальная оценка, суммаризация. Кастомные задачи тоже определяются.
  • Синтетические данные. Генерация training, evaluation и test-наборов по спецификации, с опорой на собственные seed-данные и документы. На выходе получается основанный на коде пайплайн, который можно проверить, изменить, переиспользовать и масштабировать.
  • Проверка качества. Датасет прогоняется через собственные бизнес-правила, встроенные метрики и метрики LLM-as-a-judge, отдельно ищутся дубликаты и near-duplicates.
  • Трансформация. Приведение данных к формату, который ждёт конкретная техника обучения. Анонс AWS говорит о подготовке данных под разные техники обучения и о том, что каждая из них ожидает данные в собственном формате; конкретный перечень поддерживаемых форматов и схем полей в нём не раскрыт, поэтому его нужно сверять с документацией и требованиями вашего тренера.

Отдельный шаг трансформации нужен потому, что каждая техника обучения ожидает данные в собственном формате. Если конвертировать это вручную скриптами на коленке, теряются связи между исходным документом, меткой и решением ревьюера.

Каждая возможность работает и по отдельности, и в связке с другими: анонс AWS описывает их именно как цепочку строительных блоков, а не как единый обязательный сценарий.

Python SDK, AI-ML skill и работа из ноутбука или IDE

Доступ идёт двумя путями: Python SDK API и AI-ML agent skill. Оба рассчитаны на работу из вашего ноутбука или IDE, где уже лежит код проекта и подключены данные. Агент формирует спецификацию и запускает нужные шаги, но результат не прячется в веб-интерфейсе: сгенерированный пайплайн остаётся кодом, его можно открыть, поправить, закоммитить в репозиторий и повторить на следующем датасете.

Для команд это важнее, чем кажется. Проверяемость означает, что спецификацию разметки можно обсудить на ревью кода, а не пересказывать словами. Если через месяц понадобится понять, откуда в обучающем наборе взялась конкретная строка, ответ лежит в файлах, а не в чужом интерфейсе.

Граница применения простая: SDK и skill не отменяют необходимости разбираться в предметной области. Агент соберёт спецификацию и запустит разметку, но корректность спецификации проверяется на ваших примерах, и отвечать за неё будет человек.

Авторазметка: консенсус моделей, уверенность и ревью экспертов

Разметка начинается не с запуска модели, а с описания задачи. Задача формулируется в короткой labeling spec, и эта спецификация валидируется на ваших собственных примерах до того, как размечать весь датасет. Ранний прогон на нескольких десятках строк показывает, совпадает ли ваше понимание задачи с тем, как её прочитала модель: переписывать спецификацию дешевле, чем переразмечать тысячи строк.

Дальше в игру вступает жюри моделей. Для задач с фиксированным набором ответов (классификация, NER, извлекающий вопрос-ответ) несколько моделей размечают каждую строку, а степень их согласия становится оценкой уверенности этой строки. Отдельный калиброванный классификатор для оценки уверенности не нужен.

Почему консенсус нескольких моделей, а не одна модель

Одна модель почти всегда возвращает какое-то предсказание, и понять, где она поплыла, без золотой разметки нельзя. Несколько моделей дают относительный сигнал: там, где они расходятся, вероятность ошибки выше. Это дешёвая замена ручной проверке всего массива.

Уверенность здесь означает меру согласия, а не вероятность правильного ответа. Модели, обученные на похожих данных, ошибаются похоже, и единодушное жюри может уверенно выдать неверную метку. Поэтому порог и выборочное ревью остаются обязательными. Второе ограничение: для свободной генерации, где нет фиксированного набора ответов, такого сигнала нет, и схема с жюри к ней напрямую не применяется.

Как организовать цикл ревью и вернуть правки в разметку

Строки ниже заданного порога попадают в очередь ревью в Amazon SageMaker Studio, приложение ревью построено на открытом Label Studio Community Edition. Внешние эксперты заходят в него по ссылке в partner app box, отдельный аккаунт AWS им не нужен. Исправления ревьюеров возвращаются в авторазметку, а поверх накапливаются consensus metrics и отчёты о разметке.

Порог уверенности - главный рычаг экономики процесса. Завышенный отправит на ревью почти весь датасет и обнулит выигрыш от автоматики. Заниженный пропустит ошибки прямо в обучение. Рабочий приём: первый прогон на небольшой подвыборке с завышенным порогом, затем посмотреть долю строк, ушедших в ревью, и долю расхождений с решениями эксперта. Дальше порог двигается по этим двум числам, а не по интуиции.

Что нужно подготовить заранее: инструкцию для ревьюеров с пограничными случаями и правила разрешения споров между ними. Label Studio Community Edition даёт сам интерфейс разметки, качество же упирается в квалификацию экспертов и ясность инструкции. Доступ внешних специалистов, их роли и порядок возврата исправлений организуются отдельно.

Синтетические данные: генерация по спецификации и на своих документах

Блок генерации создаёт обучающие, оценочные и тестовые примеры по спецификации. Ключевая деталь: выход можно заземлить на собственные seed-данные и документы. Заземление снижает риск того, что датасет уедет в сторону от предметной области и будет описывать мир, которого в вашей компании нет.

Результат работы блока - не архив с jsonl, а основанный на коде пайплайн генерации. Его можно открыть, посмотреть промпты, поменять схему, переиспользовать на следующем наборе документов и масштабировать на больший объём. Для воспроизводимости это существенно: вернувшись к проекту через полгода, вы увидите, как именно получен каждый пример.

Когда синтетика оправдана, а когда создаёт иллюзию данных

Оправдана в трёх ситуациях. Реальных размеченных примеров мало или их сбор дорог. Нужны редкие классы и пограничные случаи, которые в живой выборке почти не встречаются. Нужен черновик оценочного набора, чтобы начать измерять качество до появления полноценной разметки.

Не оправдана как единственный источник. Генератор тиражирует свои шаблоны и свои ошибки, и модель, обученная на таком наборе, выучит формулировки генератора. Отдельный риск - утечка ответов: если правильный ответ попал в промпт, модель учится угадывать подсказку, а не решать задачу, и метрики на таком наборе ничего не значат.

Практика: смешивать синтетику с реальными данными, сохранять признак происхождения каждой строки и держать оценочный набор отдельно от обучающего. Если eval-набор сгенерирован тем же пайплайном на тех же документах, получите красивые цифры и неприятный сюрприз в продакшене.

Проверка качества датасета до обучения

Дубликаты, шум в метках и утечка ответов обычно всплывают уже после неудачного прогона обучения, когда потрачены GPU-часы и время команды. Проверка качества переносит этот разбор на этап, где исправление стоит дешевле. Анонс AWS называет дубликаты, шум в метках и утечку ответов типичными проблемами, которые остаются незамеченными до неудачного обучения, и описывает проверку по трём слоям.

  • Бизнес-правила. Ваши собственные условия: обязательные поля, допустимые значения меток, запрещённые сочетания. Формально это обычные assert-проверки, но они выполняются в общем пайплайне и попадают в отчёт.
  • Встроенные метрики. Готовые измерения по датасету, которые не нужно писать руками.
  • LLM-as-a-judge. Модель оценивает примеры по заданным критериям. Полезно там, где формальные правила не описывают смысл, например для оценки связности ответа или соответствия инструкции.

Отдельно ищутся дубликаты и near-duplicates, включая те, о которых вы не подумали заранее. Почти одинаковые строки в обучающем наборе искажают функцию потерь и завышают метрики на валидации, если такие же примеры попали в тест.

Практический приём: прогонять проверку дважды, до и после генерации синтетики или авторазметки. Каждый шаг добавляет свои дефекты, и после генерации набор выглядит аккуратнее, чем есть на самом деле. Про то, как выглядят многослойные проверки качества на другом примере, есть разбор контроля качества ответов LLM в реальном времени, а логику фильтрации больших наборов данных разбирали в материале про конвейер FineVideo.

Граница метода: LLM-as-a-judge тоже модель. Её вердикты нужно выборочно сверять руками, а критерии оценки формулировать так, чтобы они не зависели от стиля ответа. Поиск near-duplicates, в свою очередь, может как пропускать перефразировки, так и склеивать легитимные повторы вроде одинаковых шаблонов обращений с разными номерами заказов.

Трансформация под форматы обучения

Шаг трансформации решает скучную, но дорогую проблему. Данные после разметки и проверки лежат в удобном для человека виде, а тренер ждёт свой формат. Ручная конвертация между схемами съедает дни и ломает связи между полями.

Когда конверсия описана в пайплайне, она воспроизводима: обновили датасет, перезапустили тот же шаг, получили тот же формат. Это важно при итерациях, когда после первого обучения меняется порог уверенности или спецификация разметки.

Осторожность с деталями: конкретные схемы полей зависят от техники и фреймворка обучения. Перед запуском сверяйте результат конверсии с тем, что реально принимает ваш тренер, а не с примером из документации. Универсальной раскладки, которая подойдёт всем, здесь нет.

Сквозной пайплайн: от сырых документов до обучения

Блоки собираются в предсказуемую последовательность. Порядок шагов выглядит так:

  1. Сырые документы и seed-данные: регламенты, тикеты, каталог, внутренняя база знаний.
  2. Спецификация задачи и её валидация на собственных примерах.
  3. Генерация синтетики с заземлением на документы, если реальных примеров не хватает.
  4. Авторазметка с жюри моделей и порогом уверенности.
  5. Ревью спорных строк экспертами в SageMaker Studio.
  6. Проверка качества: дубликаты, шум в метках, утечка ответов, бизнес-правила.
  7. Трансформация под формат выбранной техники обучения.
  8. Обучение и оценка на отложенном наборе, который не участвовал в предыдущих шагах.

Начинать с первого шага необязательно. Если датасет уже собран и лежит в S3, самый быстрый вход - прогнать по нему проверку качества: это ничего не ломает и сразу показывает реальные дефекты.

Порядок шагов и точки контроля

Три контрольные точки экономят больше всего времени. Первая: валидация labeling spec на своих примерах до полной разметки. Вторая: проверка качества сразу после генерации и авторазметки, пока непонятно, что именно добавил каждый шаг. Третья: финальная проверка перед трансформацией, потому что конвертация в формат обучения маскирует часть проблем, например перестановкой полей.

Цикличность здесь норма, а не сбой. Исправления ревьюеров возвращаются в авторазметку и влияют на следующие прогоны, результаты проверки качества меняют спецификацию. Планируйте пайплайн как повторяемый процесс, а не как однократную акцию.

Что остаётся в ваших S3-бакетах и под чьим контролем

SageMaker AI тесно интегрируется с Amazon S3 для данных и артефактов и с AWS IAM для управления разрешениями. В этот же контур входят Amazon VPC для сетевой изоляции, AWS KMS для шифрования, Amazon CloudWatch для логов и метрик и AWS CloudTrail для аудита. Для команд, которым запрещено выносить данные за пределы своего периметра, это существенное условие: датасет не переезжает в чужое хранилище, а доступ к нему описывается политиками IAM.

При этом конкретную конфигурацию бакетов, ролей, шифрования и аудита нужно прорабатывать под свои политики: сам факт интеграции не означает, что нужные вам ограничения уже настроены. Проверить результат можно так: попробовать прочитать данные из-под роли, у которой не должно быть доступа, и убедиться, что операция отклонена, а событие попало в CloudTrail.

Пример сценария. Компания дообучает небольшую модель для классификации обращений в поддержку. Внутренние регламенты служат источником, из них генерируются синтетические примеры и берётся seed-набор реальных обращений. Авторазметка проставляет категории, всё, что ниже порога, уходит на ревью профильному специалисту. Проверка качества ловит дубликаты и подозрительные метки, затем данные конвертируются в формат выбранной техники обучения, и модель обучается на узкой таксономии.

Кому и когда это оправдано, а когда проще обойтись

Подход окупается при сочетании условий: задача узкая и хорошо определена, есть внутренние документы и мало готовых меток, нужен воспроизводимый пайплайн с проверяемым кодом, команда уже работает в AWS с S3 и IAM. Аргумент в пользу такого пути: для узких задач небольшая модель на чистых task-specific данных часто догоняет или обходит крупную универсальную модель, которую уговаривают промптом, и обходится дешевле на инференсе. Это общая практика, а не гарантия: результат зависит от качества данных и самой задачи.

Избыточно в других случаях. Разовый эксперимент на сотне строк проще разметить руками в таблице. Команда вне AWS получит лишний слой инфраструктуры. Задача, где нужна экспертная разметка с нуля и автоматике нечего предложить, останется ручной при любом наборе инструментов. Про то, какие ещё AWS-компоненты для генеративного AI можно собрать в свой стек, есть отдельный разбор каталога open source компонентов AWS.

Ограничения, о которых стоит знать заранее

  • Регионы. Перечень регионов, в которых доступны новые возможности подготовки данных, нужно уточнять в документации AWS: в анонсе он не приведён. Для команд с требованиями к конкретным регионам это первое, что стоит проверить на этапе планирования.
  • Приложение ревью. Очередь ревью построена на Label Studio Community Edition, то есть на открытой версии с её возможностями и её границами по типам разметки и интеграциям.
  • Доступ экспертов. Внешним специалистам нужен вход через partner app box в SageMaker Studio. Порядок выдачи доступа и роли придётся описать заранее.
  • Стоимость. Цена складывается из работы SageMaker AI и вызовов моделей, участвующих в разметке и оценке. Тарификация SageMaker AI зависит от используемых возможностей (Studio apps, training jobs, endpoints, processing и другие) и различается по регионам, поэтому фиксированную сумму предполагать нельзя. Конкретные цифры берите из актуального прайса AWS для своего региона.
  • Ручной контроль. Синтетика и авторазметка требуют последующей проверки. Режима «включил и забыл» не предусмотрено.

С чего начать на практике

Минимальный набор: S3-бакет, IAM-роль с доступом к нему и один ноутбук или IDE с Python SDK. Выберите одну узкую задачу и небольшой seed-набор, опишите labeling spec и прогоните валидацию на своих примерах. Затем запустите авторазметку с завышенным порогом уверенности и посмотрите, сколько строк уходит на ревью и что именно расходится с ожиданиями.

Параллельно прогоните проверку качества на уже существующем датасете. Это самый дешёвый способ оценить пользу инструментов: вы увидите свои дубликаты, шум в метках и утечки до того, как построите весь пайплайн. Чек-лист проверки наборов данных перед использованием, включая чужие датасеты, разбирали на примере датасета из сессий GPT-5.5. Первый запуск проверки на своём наборе и покажет, есть ли смысл двигаться дальше по цепочке.

Подписаться на канал