Перейти к содержанию
Публикация AiManual

Как AI меняет работу дата-сайентиста: лестница абстракции и четыре типа аналитики

LLM и кодирующие агенты закрывают техническую часть: черновик пайплайна, признаки, сравнение моделей. Роль дата-сайентиста смещается вверх по лестнице абстракци

Коротко

Что будет в материале

  1. 01

    Что на самом деле меняет AI в работе дата-сайентиста

  2. 02

    Лестница абстракции: что это и где вы сейчас

  3. 03

    AI-агент как младший коллега: как с ним работать

  4. 04

    Четыре типа аналитики на новом уровне абстракции

Кодирующие агенты и LLM ускорили техническую часть работы с данными: черновик пайплайна, набор признаков, SQL-запрос и сравнение моделей появляются быстрее, чем при ручном наборе. Роль дата-сайентиста из-за этого смещается вверх по «лестнице абстракции»: специалист отвечает за то, что нужно сделать и почему это важно, а механику того, как это сделать, всё чаще отдаёт агенту. Такую рамку предлагает авторский разбор на Towards Data Science.

Дата-сайенс традиционно ассоциируется с алгоритмами машинного обучения, предиктивным моделированием, статистикой, математикой и оптимизацией. Эта база никуда не уходит. Меняется точка приложения усилий: писать код становится дешевле, а формулировать задачу, выбирать подход и проверять результат - дороже.

Дальше по порядку: что забирают агенты и что остаётся человеку, как устроена лестница абстракции и как определить на ней своё место, почему агент работает как младший коллега. Потом четыре типа аналитики, два сквозных примера и навыки, которые растут в цене.

Что на самом деле меняет AI в работе дата-сайентиста

Сдвиг идёт по технической части. Агент пишет черновик функции, собирает пайплайн, перебирает варианты признаков, переводит вопрос в SQL, делает первую версию графика, рефакторит чужой код. Всё это раньше занимало часы, теперь начинается с готового черновика.

Ожидания стоит откалибровать. В разборе AI-Manual об агентах в цикле разработки видно, что ускоряются в первую очередь планирование и типовые задачи, а новая логика даётся лишь в 1,3-1,8 раза быстрее ручной работы. Чем меньше в задаче незнакомого контекста, тем предсказуемее выигрыш.

Что забирают агенты, а что остаётся человеку

На стороне агента: черновик кода и пайплайна, генерация признаков, перебор подходов, первая версия визуализации, рутинный рефакторинг. На стороне человека: формулировка задачи, приоритеты, интерпретация, проверка допущений и финальное решение.

Рабочий критерий деления: если для верного ответа нужно знание, которого нет ни в данных, ни в промпте, задача упирается в человека. Приоритеты организации, история данных, прошлые инциденты, договорённости с другими отделами не выводятся из датасета, каким бы чистым он ни был.

Почему это не «AI заменит дата-сайентиста»

Большая абстракция не означает меньшей ответственности. Нужно достаточно понимать основы, чтобы направлять работу, ставить под сомнение допущения и оценивать результаты, по формулировке автора.

Без базы нельзя ни оценить вывод модели, ни распознать, когда модель-кандидат неуместна в конкретной ситуации. Вопросы о том, как устроены модели и как улучшить их качество, остаются рабочей повесткой, просто проверяются быстрее за счёт агента.

Прогнозов рынка труда здесь не будет. Есть рамка роли: написание кода дешевеет, а способность выбрать, что именно строить, и понять, что результат верный, дорожает.

Лестница абстракции: что это и где вы сейчас

Уровень абстракции - понятие из computer science и информационных систем. Оно описывает, насколько мы отступаем от технических деталей к более широкой проблеме и решениям, которые она информирует. На низком уровне специалист пишет или настраивает алгоритм. На высоком спрашивает, какой подход подходит к проблеме, какие доказательства сделают результат полезным и как он должен направлять действия.

Подъём по лестнице означает сдвиг к «что нужно сделать и почему это важно» вместо «как это сделать». Практический приём: до первой строки кода сформулировать, какое решение примет бизнес по результату и сколько стоит ошибка.

Историческая аналогия: scikit-learn как предыдущая ступень

Библиотеки вроде scikit-learn позволили применять алгоритмы машинного обучения, не прописывая каждый с нуля. Специалисты не исчезли, их работа сместилась к выбору алгоритма, признакам и оценке качества. Теперь AI делает следующий шаг: естественный язык становится следующим языком программирования, абстрагируя детали подсистемы и помогая связывать части всего рабочего процесса.

Аналогия объясняет механику, но не гарантирует те же последствия. У LLM свои режимы отказа: они уверенно выдают правдоподобный результат при слабых допущениях. Об этом ниже.

Как определить свой уровень и куда двигаться

Признаки низкого уровня: день уходит на синтаксис, отладку и ручную сборку, а вопрос «зачем это бизнесу» откладывается на потом. Признаки высокого: время уходит на формулировку задачи, выбор подхода, проверку допущений и обсуждение результата.

Действие: взять одну текущую задачу и выписать, какое решение она информирует и какие доказательства сделают результат полезным. Если ответа нет до кода, работа идёт не на том уровне. Признак, что получилось: постановку можно показать человеку из бизнеса, и он узнаёт в ней своё решение, а не описание модели.

AI-агент как младший коллега: как с ним работать

Работа с агентом похожа на работу с младшим коллегой. Он помогает исследовать подходы и быстро делает первый черновик, но может не знать приоритетов организации, институционального знания, истории данных и неявных допущений, пока ему об этом не скажут, отмечает автор разбора.

Аналогия полезна в обе стороны. Младшему коллеге вы не отдаёте финальное решение и не исчезаете из проекта после постановки задачи. То же с агентом: делегирование без проверки даёт скорость без качества.

Что передать агенту, чтобы он не угадывал

Пять блоков контекста, без которых результат будет правдоподобным, но случайным:

  • бизнес-цель и метрика успеха;
  • как собирались данные и где в них дыры;
  • что уже пробовали и почему не сработало;
  • какие допущения считаются приемлемыми;
  • формат результата и критерии приёмки.

Институциональное знание и история данных не выводятся из датасета, их передают явно. Пример: агент не знает, что часть истории продаж искажена сменой учётной системы. Он аккуратно обучится на разрыве ряда и выдаст прогноз, который будет выглядеть корректным. Как готовить данные и управляемый слой под агентов, разобрано в материале про корпоративные данные для AI-агентов.

Где агент ошибается чаще всего

  • правдоподобный код с неверной логикой;
  • подгонка под метрику без учёта бизнес-смысла;
  • ложные корреляции, принятые за сигнал;
  • неуместная модель для конкретной ситуации;
  • допущения, не проговорённые в постановке.

Правило проверки: сначала смотрим на постановку и допущения, потом на код. Доли отказов по этим категориям зависят от задачи, модели и объёма переданного контекста, универсальных цифр нет. Если хочется поднять надёжность числом агентов, стоит вспомнить разбор про рой AI-агентов: десятки агентов не дают больше интеллекта, зато добавляют координацию, дрейф и взаимное подтверждение ошибок.

Четыре типа аналитики на новом уровне абстракции

Рамка описательной, диагностической, предиктивной и прескриптивной аналитики не меняется. Меняется вклад специалиста на каждом этапе: агент ускоряет производство артефактов, человек отвечает за смысл, причинность, допущения и действие.

Тип аналитикиЧто ускоряет агентЧто остаётся человеку
ОписательнаяSQL, сводки, черновики дашбордов, текстовые описанияСмысл цифр и решение, которое они информируют
ДиагностическаяГипотезы и их быстрая проверкаОтделение причины от совпадения
ПредиктивнаяПайплайн, признаки, сравнение моделейДопущения, утечки, стабильность, связь метрики с целью
ПрескриптивнаяВарианты решений и сценарииВыбор действия, ограничения, объяснение бизнесу

Описательная аналитика: от цифр к бизнес-смыслу

Агент быстро собирает SQL, сводные таблицы, черновики дашбордов и текстовые описания. Человек отвечает за то, что цифры значат для решения: какие сегменты важны, что считать аномалией, какие вопросы задать к данным.

Главный риск здесь скучный: красивая сводка, которая ни на какой вопрос не отвечает. Практика простая. До генерации отчёта зафиксируйте, какое решение он информирует. Если формулировка не складывается, отчёт не нужен.

Диагностическая аналитика: защита от ложных корреляций

Агент генерирует гипотезы десятками и проверяет их быстро. Это ценно и одновременно повышает риск ложных корреляций: чем больше проверок, тем выше шанс найти совпадение, которого нет в природе.

Работа человека: отделять корреляцию от причинности, проверять механизм, учитывать контекст сбора данных, искать альтернативные объяснения. Пример: рост продаж совпал с запуском акции, но в том же месяце изменились сезонность и ассортимент. Агент найдёт совпадение, человек разбирается, что именно повлияло.

Предиктивная аналитика: проверка допущений модели

Агент ускоряет черновик пайплайна, подбор признаков и сравнение моделей. Человек проверяет допущения, уместность модели для ситуации, утечки из будущего, стабильность во времени и то, что метрика отражает бизнес-цель, а не удобство отчёта.

Утечка из будущего - типичный провал быстрого черновика: в признаки попадает поле, которого на момент прогноза ещё не существует. Метрика на валидации выглядит отлично, в продакшене модель разваливается. Ловится это чтением списка признаков, а не настройкой гиперпараметров.

Прескриптивная аналитика: ответственность за действие

Агент предлагает варианты решений и быстро считает сценарии. Человек отвечает за то, какое действие рекомендовать, какие ограничения учесть и как объяснить выбор бизнесу.

Вопрос уровня абстракции звучит так: как результат должен направлять действия. Риск предсказуемый: метрика улучшается в отрыве от реальных ограничений склада, смены, бюджета или договора. Агент не знает этих ограничений, пока их не задали явно.

Пример: прогнозирование спроса с AI-агентами

Прогноз спроса удобен тем, что в нём хорошо видно разделение труда между человеком и агентом.

  1. Постановка. Сначала выясняется, какое решение поддержит прогноз: закупка, загрузка производства, план логистики. У каждого своя цена ошибки: недозакупка теряет выручку, перезакупка замораживает деньги и склад. Это зона человека, потому что приоритет между потерями задаёт бизнес.
  2. Данные и черновик. Агент собирает пайплайн, признаки (лаги, скользящие средние, календарь, промо), сравнение моделей. Здесь ускорение максимальное.
  3. Допущения. Человек проверяет сезонность, промо, изменение ассортимента, смену учётной системы, географию продаж. Сломанный ряд агент не заметит, он его выучит.
  4. Интерпретация и разговор с бизнесом. Нужно объяснить, что прогноз значит для закупки и какой запас устойчивости заложить. Это коммуникация, её агент не закрывает.

Отдельно стоит риск ложной корреляции: промо и рост продаж часто совпадают с сезоном, и агент аккуратно найдёт совпадение. Проверка на утечку данных обязательна: если в признаки попали фактические продажи будущих периодов, метрика будет красивой, а прогноз бесполезным.

Формулировка задачи на высоком уровне меняет весь результат: не «построй прогноз», а «какое решение и с какой ценой ошибки поддержит прогноз». Ответ на второй вопрос определяет горизонт, гранулярность, метрику и то, что считать хорошим результатом.

Пример: оптимизация и сквозной дизайн решений

Здесь верхний уровень лестницы виден лучше всего. Агент быстро собирает варианты постановки задачи, считает сценарии и пишет код. Человек формулирует целевую функцию с реальными ограничениями: вместимость склада, бюджет, минимальная партия, сроки поставки, ёмкость смены.

Проверка, которую агент не сделает за вас: не ломает ли улучшение одной метрики смежный процесс. Сократили запас на складе, выросла оборачиваемость, а сервисный уровень упал и часть клиентов ушла. Числа по каждому блоку сходятся, контур в целом ухудшился.

Сквозной дизайн означает связать данные, модель, ограничения и действие в один контур и заранее решить, кто принимает решение по рекомендации и что будет считаться ошибкой. Такая постановка занимает больше времени, чем запуск агента на готовой формуле, и определяет, будет ли результат полезен.

Навыки, которые растут в цене: суждение, партнёрство, стратегия

Суждение и критическое мышление. Нужны, когда агент выдал результат и надо решить, можно ли на него опираться: проверить допущения, отличить корреляцию от причины, оценить уместность метода. Тренируется на своей же задаче: перед запуском кода выписать три способа, которыми результат может быть неверным. Признак, что навык работает: вы находите ошибку раньше, чем её найдёт заказчик.

Партнёрство с бизнесом. Нужно, чтобы задача вообще была поставлена в терминах решений, а не моделей. Действие: переводить любой запрос в вопрос «какое решение вы примете и сколько стоит ошибка». Признак результата: заказчик формулирует критерий приёмки сам, без ваших подсказок.

Стратегическое мышление на уровне сквозного дизайна. Нужно, когда результат одной модели влияет на соседние процессы. Действие: рисовать контур целиком, включая владельца решения и метрику качества вне модели. Признак: до начала работ понятно, кто и что сделает с результатом.

База не отменяется. Математика, статистика и машинное обучение нужны, чтобы направлять работу и распознавать неуместную модель. Разница в том, что эти знания чаще применяются для проверки чужого черновика, чем для написания своего с нуля.

Что делать на практике: короткий чек-лист перехода

  1. Сформулируйте решение и цену ошибки. До кода: какое действие изменится по результату и что будет, если вывод окажется неверным. Признак готовности: формулировку понимает человек из бизнеса.
  2. Передайте агенту контекст. Цель, историю данных, известные искажения, ограничения, критерии приёмки. Признак: агент не задаёт вопросы, ответы на которые есть в брифе.
  3. Проверяйте постановку раньше кода. Сначала допущения и уместность метода, потом сам код. Признак: список проверенных допущений длиннее списка правок в коде.
  4. Отдельно проверьте причинность и утечки. В диагностике ищите альтернативные объяснения, в предиктиве смотрите на признаки со стороны доступности в момент прогноза. Признак: для каждой значимой связи есть механизм, а не только коэффициент.
  5. Зафиксируйте действие и владельца. Что следует из результата и кто принимает решение. Признак: результат входит в рабочий процесс, а не остаётся в отчёте.

Граница самостоятельной проверки проходит там, где вопрос причинности требует эксперимента или предметной экспертизы: A/B-тест, знание технологии, юридические ограничения. Такие задачи закрывает специалист по существу, а агент ускоряет подготовку к разговору с ним.

Подписаться на канал