Хватит платить за облака — AI сам найдет оптимальную архитектуру
13 мая 2026 года компания Adaption, которую возглавляет Сара Хукер (та самая, что последние пять лет добивается, чтобы нейросети перестали жрать тераватт-часы), опубликовала препринт AutoScientist. Звучит как очередной маркетинговый пузырь? Возможно. Но за этим стоит не просто очередной AutoML — а попытка замкнуть петлю автоматического улучшения модели на уровне датасета, архитектуры и процедуры обучения одновременно. Co-optimization данных и модели — вот главный фокус.
Идея не нова. Еще в 2024 году мы видели Karpathy autoresearch, который учил агентов самостоятельно ставить эксперименты. Но AutoScientist идет дальше: он не просто запускает grid search, а перестраивает всю цепочку — от того, какие семплы отбрасывать, до того, как слои внимания связаны между собой.
Согласно препринту, AutoScientist использует двухуровневый оптимизатор: внешний цикл перебирает конфигурации датасета и архитектуры, внутренний — тренирует кандидата. Метрика качества — не просто loss, а композит из производительности, энергоэффективности и скорости инференса.
Почему это не очередной AutoML
AutoML умер еще в 2023-м. Все эти библиотеки вроде H2O или AutoKeras не выдерживали конкуренции с ручным тюнингом, когда дело касалось действительно больших моделей. Adaption заходит с другой стороны: вместо того чтобы оптимизировать гиперпараметры фиксированного пайплайна, AutoScientist предлагает изменять сам процесс сбора и фильтрации данных. Это похоже на то, что мы обсуждали в статье про автоматизацию с Codex и HF-skills, но там управление было ручным: скрипты, пайплайны. Здесь же все решает сама система.
Ключевой ингредиент — co-optimization. Вместо того чтобы сперва собрать максимально большой датасет, а потом долго и мучительно учить модель, AutoScientist одновременно подбирает подмножество данных (скажем, 5% от общего пула, но самых информативных) и адаптирует под него архитектуру. Звучит логично, но есть нюанс: как избежать переобучения на «популярные» паттерны?
Сара Хукер и ее война с «золотыми рыбками»
Сара Хукер известна своими работами по анализу внутренних представлений нейросетей. Еще в 2025 году она предупреждала, что naive fine-tuning превращает модель в «золотую рыбку» — теряет общие знания, заучивая узкие шаблоны. В статье про Entropy-Adaptive Finetuning мы разбирали, как контроль энтропии активаций помогает сохранить память. AutoScientist, судя по всему, встраивает этот принцип прямо в оптимизатор — он штрафует конфигурации, которые приводят к коллапсу внутреннего разнообразия.
Название AutoScientist — не просто метафора. Система действительно ведет себя как исследователь: выдвигает гипотезу (например, «если убрать все стоп-слова из тренировочных семплов, качество улучшится»), строит эксперимент (меняет датасет, дообучает маленький прокси-модель), проверяет результат и переходит к следующей гипотезе. Это напоминает рекурсивное самосовершенствование, о котором мы писали, но здесь петля замыкается не на коде, а на конфигурации данных и архитектуры.
Осторожно: в препринте нет ни одного бенчмарка на моделях размером больше 1B параметров. Все результаты получены на proxy-задачах типа GLUE и SuperGLUE с моделями до 350M. Перенос на frontier-тренинг (100B+) может потребовать совершенно других алгоритмов.
Сравнение с другими подходами
| Подход | Что оптимизируется | Участие человека | Применимость к frontier |
|---|---|---|---|
| AutoScientist | Данные + архитектура + процедура | Минимальное (задать бюджет) | Не доказана |
| Karpathy autoresearch | Эксперименты (гиперпараметры) | Нулевое (агент пишет код) | Только для мелких |
| HF-Skills Pipeline | Пайплайн развертывания | Написать пайплайн один раз | Да, но не оптимизирует обучение |
| Dr. Zero | Агентная политика без данных | Нулевое | Игрушечные среды |
Как видно, AutoScientist пытается закрыть дыру между полным AutoML и агентными подходами. Он не требует писать код экспериментов (как в личном ИИ-лаборанте), но и не ограничен фиксированным датасетом (как Dr. Zero).
Что раздражает?
Откровенно говоря, деталей мало. Препринт — 12 страниц, из которых половина — обзор prior work. Никакого открытого датасета или весов. Никакой инструкции «возьми и запусти». Adaption, видимо, планирует монетизировать это как сервис — облачная платформа, где вы загружаете свои данные, а AutoScientist подбирает оптимальный пайплайн. Удобно? Да. Но о демократизации frontier-тренинга говорить пока рано. Как заметили авторы статьи про flapping airplanes vs scaling, настоящее понимание приходит не от автоматизации, а от умения задавать правильные вопросы. AutoScientist задает их сам, но пока только в рамках узкого пространства конфигураций.
Еще один тревожный сигнал: Сара Хукер ушла из Cohere в 2025 году и основала Adaption именно для того, чтобы «сделать frontier-тренинг доступным каждому». Но первые клиенты — крупные корпорации с NDA. Парадокс.
Прогноз: инструмент для корпоративных R&D, не для стартапов
Я поставлю на то, что в ближайшие полгода мы увидим демо на открытых данных и, возможно, API. Но внутренняя сложность co-optimization требует чудовищных вычислительных ресурсов — внешний цикл может гонять тысячи конфигураций, каждая из которых требует полного обучения прокси-модели. Если Adaption не найдет способ сократить это на порядок ускорения за счет emulation или surrogate моделей, то для массового пользователя сервис останется игрушкой.
Впрочем, если они смогут свести co-optimization к нескольким дням работы на одной H100, это изменит правила игры. Особенно в контексте обучения без явной награды — там тоже нужно автоматически адаптировать процедуру.
А пока — будем следить и ждать открытых бенчмарков. Без них любой анонс, увы, остается просто красивым пресс-релизом.
