Pollen Robotics анонсировала Grabette - открытую систему, которая решает главную проблему обучения роботов: нехватку реальных данных. Собрать демонстрации для обучения манипулятора долго, дорого и технически сложно. Grabette меняет подход: вы записываете движения собственной руки с помощью портативного захвата за ~490€, а встроенный пайплайн автоматически превращает запись в размеченный датасет. Робот для сбора данных не нужен.
Система состоит из двух устройств. Grabette - ручной захват с камерами и инерциальным модулем (IMU), который человек держит в руке во время работы. Gripette - моторизованный захват за ~120€, который устанавливается на реального робота и воспроизводит записанные движения. Все компоненты - от CAD-файлов до программного обеспечения и пайплайнов обработки - полностью открыты и не привязаны к конкретным манипуляторам.
Разработчики из Pollen Robotics позиционируют проект как инструмент для краудсорсинга данных. Любой желающий может собрать устройство, записать выполнение задачи и поделиться датасетом через Hugging Face Hub. Это прямой путь к созданию обширной библиотеки реальных манипуляций, доступной всему сообществу.
Что такое Grabette и зачем она нужна
Обучение роботов манипуляциям упирается в данные. Сбор демонстраций требует дорогого оборудования, часов работы оператора и сложной разметки. Grabette устраняет эти барьеры. Портативный захват с камерами и IMU записывает движения человека в процессе обычной работы - сборка деталей, сортировка предметов, работа с инструментами. Пайплайн обработки автоматически преобразует сырые данные в структурированный датасет, готовый для обучения политик.
Ключевая идея - «обучение без робота». Для сбора демонстраций не нужен манипулятор стоимостью в десятки тысяч долларов. Достаточно устройства за ~490€ и желания записать свои действия. Это снижает порог входа в робототехнику для исследовательских групп, стартапов и индивидуальных разработчиков.
Открытость системы - стратегический выбор. CAD-файлы корпуса, схемы электроники, исходный код обработки данных и управляющее ПО доступны всем. Никакой привязки к проприетарным компонентам или облачным сервисам. Вы можете модифицировать конструкцию под свои задачи, адаптировать пайплайны под специфику данных и использовать результат с любым совместимым манипулятором.
Компоненты системы: Grabette и Gripette
Система разделена на два физических устройства с четким разделением функций. Grabette собирает данные, Gripette - исполняет обученные движения на роботе.
Grabette: портативный захват для сбора демонстраций
Grabette - ручной захват, который оператор держит в руке. В корпус интегрированы камеры и инерциальный измерительный модуль (IMU). Камеры фиксируют визуальный контекст задачи - положение объектов, сцену, траекторию движения. IMU записывает ускорения и угловые скорости с высокой частотой, обеспечивая точную реконструкцию траектории.
Цена устройства - около 490€. Это стоимость компонентов для самостоятельной сборки. Вы получаете спецификацию (bill of materials), CAD-файлы для печати корпуса и инструкции по сборке. Процесс записи демонстрации выглядит так: берете Grabette в руку, выполняете задачу в обычном темпе, система пишет синхронизированный поток видео и инерциальных данных. Никакой калибровки внешних камер или маркерных систем.
Gripette: моторизованный захват для робота
Gripette - исполнительное устройство за ~120€. Моторизованный захват монтируется на фланец манипулятора и воспроизводит движения, записанные Grabette. Конструкция не привязана к конкретным моделям роботов - вы можете установить Gripette на любой манипулятор с подходящим интерфейсом крепления.
Схема работы: датасет, собранный Grabette, проходит через пайплайн обработки, который извлекает траекторию движения и параметры схвата. Обученная политика управляет Gripette на реальном роботе, повторяя действия человека. Разделение на сбор данных и исполнение позволяет масштабировать процесс: один оператор с Grabette может записать сотни демонстраций, которые затем будут использованы на множестве роботов с Gripette.
Открытость и независимость от платформы
Pollen Robotics выложила в открытый доступ все компоненты системы. CAD-файлы корпусов доступны для скачивания и модификации - вы можете адаптировать форму захвата под специфические объекты или напечатать корпус на собственном 3D-принтере. Схемы электроники открыты, список компонентов прозрачен. Программное обеспечение - от драйверов устройств до пайплайнов преобразования данных - публикуется с открытым исходным кодом.
Архитектура системы не привязана к конкретным манипуляторам. Gripette использует стандартные интерфейсы крепления и протоколы управления, что делает его совместимым с большинством промышленных и исследовательских роботов. Вы не замыкаетесь на экосистеме одного производителя - это важное преимущество для долгосрочных проектов, где смена оборудования неизбежна.
Такой подход продолжает тренд на открытость в робототехнике, заданный проектами вроде LeRobot v0.4.0, где модульные плагины и открытые датасеты уже показали эффективность в масштабировании обучения. Grabette добавляет к этому инфраструктуру для краудсорсинга реальных демонстраций.
Краудсорсинг данных и интеграция с Hugging Face Hub
Grabette проектировался с прицелом на коллективный сбор данных. Схема работы проста: вы собираете устройство, записываете выполнение задачи, пайплайн автоматически формирует размеченный датасет, и вы публикуете его на Hugging Face Hub. Другие исследователи могут скачать датасет, обучить на нем свою модель и запустить на роботе с Gripette.
Такой подход создает сетевой эффект. Каждый новый датасет увеличивает разнообразие сценариев, объектов и условий, доступных для обучения. Задачи могут быть любыми: сборка электроники, упаковка товаров, работа с лабораторным оборудованием, приготовление пищи. Сообщество само определяет, какие навыки нужны роботам, и создает данные для их освоения.
Hugging Face Hub выступает естественной платформой для обмена - он уже стал стандартом де-факто для распространения ML-моделей и датасетов. Интеграция с экосистемой Hugging Face упрощает версионирование, документирование и поиск данных. Формат датасетов совместим с популярными фреймворками обучения, включая те, что используются в LeRobot.
Практическая ценность для разработчиков и исследователей
Grabette снижает порог входа в обучение роботов манипуляциям. Традиционные методы сбора демонстраций - телеманипуляция с использованием дорогих мастер-систем или симуляции с неизбежным разрывом между виртуальной и реальной средой - требуют значительных ресурсов. Grabette предлагает альтернативу: реальные данные с реальной физикой взаимодействия по цене комплектующих для 3D-принтера.
Сравнение с альтернативами:
- Телеманипуляция: требует наличия робота и оператора, работающего с мастер-устройством. Стоимость системы - от $20 000. Grabette отделяет сбор данных от робота, позволяя записывать демонстрации где угодно.
- Симуляции: дешевы и быстры, но страдают от sim-to-real gap. Политики, обученные в симуляции, часто требуют дообучения на реальных данных. Grabette дает реальные данные сразу.
- Готовые датасеты: существуют крупные наборы вроде Open X-Embodiment, но они ограничены сценариями, которые выбрали создатели. Grabette позволяет записать именно те задачи, которые нужны вашему проекту.
Ограничения системы связаны с точностью воспроизведения. IMU и камеры Grabette обеспечивают хорошую, но не идеальную реконструкцию траектории. Для задач, требующих субмиллиметровой точности, может потребоваться дополнительная калибровка или дообучение политики. Переносимость между разными манипуляторами зависит от сходства кинематики - движения, записанные для шестиосевого робота, могут потребовать адаптации для семиосевого.
Пример практического сценария: исследовательская группа изучает манипуляции с деформируемыми объектами. Вместо того чтобы арендовать робота на недели, они собирают Grabette, записывают 200 демонстраций складывания ткани за один день и получают датасет, готовый для обучения. Gripette устанавливается на доступный манипулятор, и политика проверяется на реальном железе. Весь цикл - от идеи до эксперимента - занимает дни, а не месяцы.
Перспективы и влияние на индустрию
Grabette продолжает линию на демократизацию робототехники. Agility Robotics открыла центр обучения роботов Digit с инвестициями в инфраструктуру, но такой подход доступен единицам. Grabette предлагает распределенную модель: тысячи энтузиастов и исследователей по всему миру создают данные, которые аккумулируются в общих репозиториях.
Потенциальные эффекты для индустрии:
- Ускорение исследований: открытые датасеты реальных манипуляций позволят быстрее тестировать новые архитектуры обучения - от поведенческого клонирования до диффузионных политик.
- Стандартизация бенчмарков: общие наборы данных создают основу для сравнения методов обучения на одних и тех же задачах.
- Снижение стоимости прототипирования: стартапы смогут проверять гипотезы о манипуляциях без инвестиций в дорогое железо на ранних стадиях.
- Коллаборации: датасеты, собранные сообществом, могут использоваться крупными лабораториями и компаниями, сокращая дублирование усилий.
Роль открытых данных в развитии AI для роботов сложно переоценить. Модели компьютерного зрения и обработки языка прошли через фазу взрывного роста, когда появились большие открытые датасеты вроде ImageNet и Common Crawl. Робототехника до сих пор страдает от фрагментации данных - каждая лаборатория собирает свои наборы, часто несовместимые и недоступные другим. Grabette и подобные инициативы могут запустить аналогичный процесс для манипуляций, создав критическую массу открытых данных для обучения следующего поколения роботов.