METR, некоммерческая организация, оценивающая возможности AI-систем, выпустила обновление графика временных горизонтов. Метрика показывает, задачи какой длительности модели способны выполнять, если мерить длительность временем работы человека. В новой версии появились задачи, которые, по оценкам, требуют от человека заметно больше времени, и задачи с более открытой постановкой: разработка AI-оценок и оценка философских аргументов. Главный вывод формулируется коротко. Там, где успех проверяется автоматически, прогресс продолжается по экспоненте. Там, где критерий успеха размыт, модели пока уступают людям.
Механика метрики не менялась. Модель получает большой набор задач, каждую из которых до неё выполняли люди. Сложность задачи равна времени, которое потратил человек-тестировщик. Результат модели описывается длиной задач, которые она довела до конца: чем длиннее задача в человеко-часах, тем выше точка на графике. Смысл в том, чтобы оценивать не отдельный навык в вакууме, а объём работы, который система тянет самостоятельно.
Исходный график широко разошёлся по индустрии и так же широко переинтерпретировался: метрика устроена сложнее, чем выглядит на картинке. Из него, например, следовало, что длина задач, которые успешно выполняли фронтирные модели, удваивалась каждые четыре месяца. Цифра эффектная, и её часто переносили на весь прогресс AI целиком, хотя речь шла о конкретном наборе задач с автоматической проверкой.
| Что именно | Исходный набор | Обновление |
|---|---|---|
| Типы задач | Верифицируемые, с автоматической проверкой результата | Добавлены открытые задачи с человеческой оценкой |
| Длительность | Задачи, которые человек решает за сопоставимое время | Появились задачи, требующие от человека заметно больше времени |
| Примеры | Программирование, математика | Разработка AI-оценок, оценка философских аргументов |
Почему на коде и математике прогресс экспоненциальный, а на открытых задачах - нет
Обучение с подкреплением работает как цикл: система много раз пытается выполнить задачу, связи, ведущие к успеху, усиливаются, связи, ведущие к провалу, ослабляются. Такой цикл требует машинного способа отличить успех от неудачи. В программировании сигнал очевиден: тесты проходят, сборка собирается, программа запускается и выдаёт ожидаемый вывод. В математике похожая история: доказательство формализуется и проверяется, численный ответ сверяется с эталоном. Именно поэтому AI-системы так продвинулись в коде и математике: эти домены дают почти бесконечный поток автоматических проверок, на котором можно тренироваться с минимальным участием людей.
Дальше начинаются сложности. Выбор нового направления исследований, дизайн метрики, оценка философского аргумента: результат не прогонишь через тест. Успех проявляется с задержкой в месяцы, а то и годы, и сам критерий приходится формулировать человеку. Обучение с подкреплением в таком режиме либо не запускается, либо требует дорогой человеческой разметки на каждом шаге. Оценка качества ломается по той же причине: измерить, насколько предложенная оценка полезна для исследований, можно только чужими руками и чужим суждением. Поэтому исходный график METR такие задачи и не включал: их слишком трудно оценивать.
Практический пример простой. Сгенерированный код проверяется тестами и код-ревью, а «хорошая AI-оценка» или «убедительный философский аргумент» автоматической проверки не имеют. Модель, которая блестяще пишет функции, в такой задаче не получает надёжного сигнала, чему учиться. Ограничение структурное: цикл обучения и проверки замыкается только там, где есть автоматический сигнал.
Разработка AI-оценок: где модели подошли к порогу пригодности
Одно из новых заданий звучит так: модель должна разработать новые AI-оценки, которые METR могла бы использовать в собственных исследованиях. Результат оценивают не скрипты, а сотрудники организации. Разница с автопроверкой принципиальная: судьба решения зависит от суждения специалистов, которые понимают, что делает оценку рабочей.
Итог жёсткий. Самые продвинутые модели сегодня лучше почти любого человека справляются с задачами программной инженерии, однако ни одна предложенная ими AI-оценка не оказалась достаточно хороша для METR. Планку не взял никто.
Динамика при этом есть, и её легко перечитать неправильно. Год назад все модели были заметно ниже этой планки, сейчас новейшие подошли к ней вплотную, но порог остался непройденным. «Подошли» и «прошли» - разные вещи, и в обсуждениях их регулярно смешивают. В опубликованном описании обновления нет численных значений временных горизонтов для новых задач, поэтому количественно сравнивать модели с людьми на открытых задачах по этому материалу нельзя. Единственный предметный пример - отбор AI-оценок, где результат бинарный: принято или нет.
Что это значит для автоматизации AI R&D и разговоров о рекурсивном самоулучшении
Автоматизация исследований и разработок упирается именно в открытые задачи. Генерация кода в этом сценарии не узкое место: модели пишут функции, тесты и скрипты. Выбрать, что исследовать, как поставить эксперимент и как понять, что результат стоит внимания, пока приходится человеку. Задачи с размытым критерием успеха как раз и определяют, дойдёт ли цикл до автономности.
Вокруг METR в этом месяце было много шума из-за другого документа. Ранее в ноябре организация выпустила сильно сокращённый отчёт о том, что AI может ускорять темпы AI-прогресса в Anthropic примерно в два раза. Из этого сделали вывод, что компания близка к полному рекурсивному самоулучшению, режиму, где AI-системы автономно проектируют себе преемников без участия человека. Обновление графика временных горизонтов и тот отчёт - разные документы. Выводы одного на другой не переносятся, и смешивать их не стоит.
Обновлённый график скорее охлаждает ожидания. Способность писать код не равна способности решать, что исследовать, и оценивать, получился ли результат. Пока хотя бы один заметный класс задач с открытым критерием остаётся за пределами возможностей моделей, полная автономия цикла R&D выглядит преждевременной. Это не приговор прогрессу, а указание на то, где сейчас проходит граница.
Как читать график временных горизонтов и не переинтерпретировать его
В обновлении длительность части новых задач оценивается экспертно, по суждению специалиста, а не замеряется по факту выполнения человеком. Разница существенная. Замер даёт число с погрешностью измерения, экспертная оценка даёт мнение, и оно смещается: одну и ту же открытую задачу разные люди оценивают по-разному, особенно если она допускает несколько подходов.
Отдельный вопрос - сколько оценщиков работало с каждой задачей. Если оценка опирается на мнение одного специалиста, разброс между экспертами в опубликованных данных попросту не виден, и точка на графике выглядит точнее, чем есть. Доверительные интервалы и формальную оценку неопределённости в таком случае нужно искать отдельно, а при их отсутствии относиться к положению точки как к ориентиру.
Чек-лист вопросов к любой такой метрике
- Как определялась длительность задачи: замером или экспертной оценкой?
- Кто оценивал и сколько человек работало с каждой задачей?
- Есть ли разброс между оценщиками и доверительные интервалы?
- Что считается успешным выполнением: тесты, эталонный ответ, суждение проверяющего?
- Насколько набор задач похож на реальную работу, которую вы собираетесь отдать модели?
Типичная ошибка интерпретации - экстраполяция. Удвоение длины задач каждые четыре месяца относилось к исходному набору с автоматической проверкой. Переносить этот темп на открытые задачи, где успех оценивает человек, нельзя: там другой механизм обучения и другая стоимость проверки. Из графика не следует, что через N месяцев модели сами начнут вести исследования.
Практические выводы: какие задачи уже можно отдавать моделям
Рабочая рамка простая: чем автоматизированнее проверка результата, тем увереннее можно доверять модели. Код с тестами, рефакторинг с прогоном CI, генерация тест-кейсов, математические выкладки с проверкой ответа хорошо ложатся на агентные пайплайны, потому что провал видно сразу. Как такие процессы ведут себя на реальных проектах, разбираем в статье про ИИ в разработке.
Задачи с размытым критерием требуют человека в контуре: выбор архитектурного направления, приоритизация бэклога, оценка качества исследования, дизайн метрик. Модель здесь полезна как генератор вариантов и черновиков, но не как арбитр. Решение о том, достаточно ли хорош результат, остаётся за специалистом, который отвечает за последствия.
Проверить, готов ли ваш измерительный контур к агентам, помогает чек-лист метрик и порядка оценки инструмента на собственных задачах. Правило простое: прежде чем отдавать задачу автономному агенту, сформулируйте проверяемый критерий приёмки. Если критерий не формулируется, задача пока не для агента, и это нормальный результат проверки. Граница самостоятельной проверки проходит там, где результат нельзя проверить автоматически: тогда единственный способ убедиться в качестве - человек, разбирающийся в предмете. Как устроены бенчмарки для реальных задач разработки и где у них ограничения, видно на примере Real-SWE.
Что в итоге показывает обновлённый график
Прогресс на верифицируемых доменах продолжается экспоненциально. На открытых задачах модели пока уступают людям: новейшие подошли к порогу пригодности в разработке AI-оценок ближе, чем год назад, но ни одна предложенная оценка не прошла отбор METR.
Главный сдвиг не в цифрах, а в охвате: организация начала измерять тот класс задач, который нужен для автоматизации исследований и разработок. За чем следить дальше: появятся ли задачи с более надёжной, не экспертной оценкой длительности; вырастет ли число оценщиков на задачу; сократится ли разрыв между кодом и открытыми задачами. Прогнозов с датами тут не будет, данные для них пока слишком грубые.