Карпати взламывает ANE: как autoresearch ускоряет исследования на MacBook
Если вы думали, что Apple Neural Engine - это просто для размытия фона в FaceTime, готовьтесь удивляться. Андрей Карпати, чье имя в машинном обучении звучит как 'биткойн' в крипте, выкатил инструмент, который заставляет ANE работать на полную. Autoresearch - это не очередная обертка над PyTorch, а система для автоматического исследования архитектур нейросетей. И она работает на вашем M3 MacBook так, будто у него встроен маленький NVIDIA A100.
Что внутри этого черного ящика?
Autoresearch - это не просто скрипт. Это целая методология, упакованная в репозиторий на GitHub. Система ищет оптимальные архитектуры нейросетей методом проб и ошибок, но делает это умнее, чем стандартный grid search. Динамические веса - это когда модель в ходе обучения решает, какие связи важнее, и перераспределяет вычислительные ресурсы. На бумаге звучит как магия, на практике - это просто очень умная математика, оптимизированная под аппаратные особенности ANE.
Внимание: ANE - не GPU. Здесь нет CUDA, нет tensor cores. Это специализированный блок для матричных операций, и если вы попытаетесь засунуть в него стандартный PyTorch-код, получите разочарование вместо ускорения. Autoresearch написан с учетом этих ограничений.
ANE против GPU: где быстрее?
Давайте начистоту: для тренировки GPT-5 400B параметров вам все равно понадобится кластер из H100. Но для исследований архитектур малых и средних моделей (до 10B параметров) ANE на M3 показывает неожиданные результаты. В тестах на задаче поиска оптимальной архитектуры для vision transformer авторы получили ускорение в 4.7 раза по сравнению с запуском на CPU M3 и в 1.8 раза по сравнению с использованием только GPU части Apple Silicon.
| Платформа | Время одной итерации (сек) | Энергопотребление (Вт) | Примечание |
|---|---|---|---|
| ANE (M3 Max) | 0.47 | 8-12 | Лучший баланс |
| GPU (M3 Max) | 0.85 | 15-20 | Быстрее CPU, но жрет больше |
| CPU (M3 Max, 16-core) | 2.21 | 25-30 | Медленно и горячо |
| NVIDIA RTX 4090 (для сравнения) | 0.32 | 350-450 | Быстрее, но требует отдельную электростанцию |
Цифры говорят сами за себя. ANE эффективен для специфичных операций, которые преобладают в autoresearch. Если ваша работа связана с постоянными экспериментами над архитектурами моделей, как в проекте Orion для LLM, этот инструмент сэкономит вам дни вычислений.
А альтернативы? Конечно, есть
Google с своим AutoML, Microsoft с NNI, куча open-source решений на PyTorch и TensorFlow. Но все они заточены под облака или мощные GPU. Попробуйте запустить их на MacBook - услышите, как фанаты пытаются охладить ваш ноутбук. Autoresearch же изначально проектировался для edge-устройств. Он легкий, эффективный и не требует отправки данных в облако (что для некоторых исследовательских задач критически важно).
Есть и другие подходы к локальному ML на Mac, например, использование оптимальных локальных LLM через MLX. Но они решают другую задачу - инференс готовых моделей. Autoresearch - про создание и оптимизацию этих самых моделей.
Кому это впишется в рабочий процесс?
- Аспиранты и исследователи с ограниченным доступом к вычислительным кластерам. Ваш M3 MacBook превращается в персональную исследовательскую станцию.
- Инженеры по ML в стартапах, где каждый доллар на облака на счету. Поиск оптимальной архитектуры перед масштабированием теперь не требует кредитной линии.
- Любители экспериментов, которые хотят понять, как работают нейросети изнутри. Autoresearch - это как Lego для глубокого обучения.
- Разработчики приложений для iOS/macOS, которым нужно оптимизировать модели под ANE для запуска на устройстве. Это прямой путь к пониманию, что будет хорошо работать на iPhone.
Если же ваша задача - тренировка огромных языковых моделей с контекстом в 1M токенов, вам все еще нужны серьезные железки. Например, MacBook Pro на M4 Max справится лучше благодаря увеличенному количеству ядер ANE и поддержке unified memory до 128GB. Но для него, кстати, autoresearch тоже оптимизирован.
Где собака зарыта? Подводные камни ANE
ANE - не панацея. Поддерживаются только определенные типы операций (в основном матричные умножения и свертки). Если ваш алгоритм требует сложной логики управления потоком данных, ANE может стать узким местом. Кроме того, отладка кода, работающего на ANE, - это отдельное искусство. Инструменты мониторинга и профилирования все еще отстают от того, что есть для CUDA.
И да, пока Apple не решит открыть документацию по ANE полностью (чего не случилось к 2026 году), разработчики вынуждены действовать методом reverse engineering. Именно поэтому реализации вроде Orion и Autoresearch от Карпати так ценны - они проделывают черновую работу за всех.
Что в итоге? Будущее за гибридными вычислениями
Autoresearch - не просто крутой инструмент. Это сигнал о том, как будет развиваться машинное обучение в следующие пять лет. Специализированные ускорители в потребительских устройствах, эффективные алгоритмы, которые не требуют мегаватт энергии. Скоро мы увидим, как подобные системы будут встроены в Xcode, помогая разработчикам автоматически оптимизировать нейросети для своих приложений.
А пока что, если у вас есть Mac с Apple Silicon (не обязательно последний M5 Pro или M5 Max), загляните в репозиторий Карпати. Даже если не будете использовать в продакшене, вы поймете, на что способна ваша железка за пределами Safari и Figma. И кто знает, возможно, именно ваш эксперимент на ANE приведет к прорыву в архитектуре следующей Stable Diffusion.
