Одноглазый робот, который не врезается в стены. Почему это прорыв?
Вы когда-нибудь пытались заставить робота ездить по квартире, имея лишь одну веб-камеру и бюджет размером с ужин в ресторане? Если да — вы знаете, что это боль. Лидары дорогие, стереокамеры требуют калибровки, а ORB-SLAM3 падает на светлых коридорах. В 2026 году эта боль перестала быть вечной.
Robostral Navigate — open-source проект, который пришивает к монокулярному зрению Mistral AI (последняя версия — Mistral Large 2, июнь 2026). Вместо того чтобы строить карту по точкам (как классический SLAM), он использует LLM для семантического понимания сцены и генерации управляющих команд. Звучит как хайп? Да. Но есть нюансы, которые заставят вас переписать свои launch-файлы.
Что под капотом: не просто еще одна нейросеть
Robostral Navigate — это не монолит. Это связка из трех модулей, каждый из которых можно заменить, но только если вы любите боль:
- Depth Anything V2 — предсказывает карту глубины с одного RGB-кадра. На выходе — 256×256 пикселей, до 20 FPS на Jetson Orin NX.
- Segment Anything 2 (SAM2) — сегментирует сцену на объекты. Не нужно классифицировать всё, просто дать роботу маску «пола» и «препятствий».
- Mistral Large 2 — принимает результаты глубины и сегментации (в виде текстового промпта или через API мультимодального эмбеддинга) и решает: «куда ехать?». Да, LLM здесь — это планировщик маршрута.
Ключевая фишка: вы можете задать роботу цель на естественном языке. Например: «Подъедь к синему стулу и остановись в 50 см». Mistral переведет это в waypoints. Никаких конечных автоматов и поведенческих деревьев — только промпт-инжиниринг.
Сравнение с альтернативами: где Robostral выигрывает, а где проигрывает
| Инструмент | Тип | Карта | Понимание сцены | Гибкость команд | FPS на Jetson Orin |
|---|---|---|---|---|---|
| ORB-SLAM3 | Геометрический SLAM | Разреженная карта точек | Нет | Нет | 30+ |
| DroidSLAM | Learning-based SLAM | Плотная карта глубины | Нет | Нет | 15 |
| VINS-Mono | VIO SLAM | Позиции, не карта | Нет | Нет | 40+ |
| Robostral Navigate | Semantic navigation + LLM | Семантическая карта (объекты + свободное пространство) | Да (LLM) | Да (естественный язык) | 8-12 |
Robostral медленнее — это факт. Но он понимает контекст. Если вы пилотируете робота в гостиной, где стул внезапно переставили, ORB-SLAM3 начнет сходить с ума, а Robostral просто скажет: «О, стул переместился, объеду слева». Именно эта способность к адаптации без перестройки карты и делает его уникальным.
Внимание: для работы Mistral Large 2 требуется интернет. Если вам нужен полностью офлайн-робот, смотрите в сторону Gemma 4 на Jetson Orin — там похожий подход, но без облачного API и с меньшей точностью.
Пример из жизни: как заставить колёсную платформу ехать к холодильнику
Допустим, вы собрали простую тележку на базе той же связки, что описана в нашей статье про мобильного робота за 20 000 рублей: Raspberry Pi 4, драйвер L298N, камера USB. Теперь добавьте Robostral Navigate.
1Установка и запуск
Установка через pip:
pip install robostral-navigateПроект поддерживает ROS2 Humble и ROS2 Jazzy. Запустите depth-пайплайн:
ros2 launch robostral_navigate depth.launch.pyА теперь — как НЕ надо делать. Вот типичная ошибка новичка: они кормят Mistral сырое изображение в base64 через API. Не делайте так — это дико медленно. Вместо этого используйте встроенные топики robostral/scene_description, которые передают уже препроцессированные данные (сегментация + глубина в текстовом формате).
Пример корректного промпта для топика /robostral/goal_description:
{
"goal": "drive to the refrigerator",
"constraints": "keep distance 0.5m from walls, avoid obstacles under 0.3m height"
}Робот получит семантическую карту, сгенерирует последовательность waypoints и выполнит их через простой PID-контроллер. Вишенка на торте — Mistral может перепланировать прямо во время движения, если заметит внезапное препятствие (например, кота).
Кому это нужно (а кому — нет)
Инструмент создан для тех, кто устал от тонкой настройки параметров SLAM и хочет дать роботу мозги, а не просто алгоритм. Если вы:
- Строите сервисного робота для дома или офиса, где сцена часто меняется;
- Хотите управлять роботом голосом, не пиша новую логику для каждой команды;
- Готовы терпеть задержки 100-200 мс ради семантической гибкости.
Robostral Navigate — ваш выбор. Но если вам нужен высокочастотный контроль (например, для гоночного дрона) — берите DroidSLAM или классический VINS-Mono. LLM тут — это тормоз, и это нормально.
Неочевидный совет: замените Mistral на локальный VLM, если бюджет жмет
Разработчики Robostral Navigate не зашили Mistral в ядро. Модуль LLM — абстрактный. Вы можете легко подсунуть вместо него Gemma 4 (см. Gemma 4 в браузере) или даже GR00T N1.7 от NVIDIA — правда, придется адаптировать промпты и разобраться с проприетарщиной.
На практике замена на локальный VLM дает 50% падение точности планирования маршрута (проверено на эталонном бенчмарке Habitat 2025). Но если ваш робот не ездит по музею, а просто развозит кофе в офисе — этого хватит. И никаких интернет-задержек.
Лично я считаю, что 2026 год — переломный для монокулярной навигации. После Robostral Navigate я больше никогда не буду настраивать ORB-SLAM3 вручную. Слишком много времени уходит на подбор порогов, а результат — карта точек, которую никак не спросишь: «Где здесь дверь?». Семантическая навигация — не хайп, а необходимость для следующего поколения домашних роботов.
