NVIDIA Cosmos 3 Edge - открытая модель мира с 4 миллиардами параметров, спроектированная для работы непосредственно на конечных устройствах. Она объединяет две трансформерные башни - авторегрессионную и диффузионную - с разделяемыми слоями мультимодального внимания. Это позволяет модели одновременно обрабатывать язык, видео, аудио и действия, формируя единое представление сцены.
Модель нацелена на промышленных роботов, системы видеонаблюдения и автономные платформы. Её ключевая особенность - инференс в реальном времени на платах Jetson Thor с частотой 15 Гц и генерацией 32 действий за один проход. В тестах VANTAGE-Bench она занимает первое место по аналитике сцены, а для задач роботизированной политики задаёт новый стандарт. Фактически, Cosmos 3 Edge превращает edge-устройство в систему, способную не просто фиксировать происходящее, но и прогнозировать изменения, генерируя управляющие сигналы без облачных задержек.
Этот материал - детальный разбор архитектуры, тестов производительности и практического применения модели. Мы опираемся на опубликованные характеристики и результаты бенчмарков, чтобы дать вам факты для оценки применимости Cosmos 3 Edge в ваших проектах.
Что такое NVIDIA Cosmos 3 Edge и зачем она нужна
NVIDIA Cosmos 3 Edge - это открытая модель мира, оптимизированная для edge-устройств. 4 миллиарда параметров упакованы в архитектуру, которая выполняет три ключевые функции: распознавание сцены, прогнозирование её изменений и генерацию управляющих сигналов. Модель не просто классифицирует объекты - она строит динамическое представление окружения и планирует действия на его основе.
Целевые сценарии включают промышленную робототехнику, где важна реакция на движущиеся объекты, системы видеонаблюдения с предиктивной аналитикой и автономные устройства, работающие в условиях переменчивой среды. В отличие от облачных решений, Cosmos 3 Edge устраняет задержки сети и зависимость от подключения. Инференс происходит локально, на плате Jetson Thor, что критично для задач с жёсткими временными рамками - например, управление манипулятором на конвейере или навигация дрона в замкнутом пространстве.
Лидерство в VANTAGE-Bench по аналитике сцены подтверждает, что модель превосходит аналоги в задачах понимания окружения. Это не просто заявление производителя, а независимый замер, который мы разберём в разделе о бенчмарках. Прямо сейчас важно зафиксировать: Cosmos 3 Edge создана для тех, кто строит автономные системы с реакцией в реальном времени и не может позволить себе компромиссы по задержкам.
Архитектура Cosmos 3 Edge: две башни и мультимодальное внимание
Архитектура Cosmos 3 Edge построена на двух трансформерных башнях - авторегрессионной и диффузионной. Они не дублируют друг друга, а решают разные задачи в едином конвейере. Слои мультимодального внимания разделяются между башнями, формируя общее представление для языка, видео, аудио и действий. Это инженерное решение позволяет модели обрабатывать разнородные входные данные без раздельных энкодеров и сложной синхронизации.
Подобный подход перекликается с трендом на гибридные архитектуры, который мы наблюдаем в компактных моделях - например, в Granite 4.0 Nano от IBM, где гибридная SSM-архитектура сочетается с традиционными трансформерными вариантами для edge-сценариев. Однако NVIDIA пошла дальше, интегрировав диффузионный компонент непосредственно в модель мира.
Авторегрессионная и диффузионная башни: зачем два подхода
Авторегрессионная башня отвечает за последовательное прогнозирование и планирование действий. Она генерирует цепочки решений шаг за шагом, опираясь на предыдущие состояния сцены и собственные предсказания. Это стандартный подход для задач, где важен временной контекст: траектория движения объекта, последовательность команд для манипулятора, развитие ситуации в кадре наблюдения.
Диффузионная башня работает иначе. Она генерирует и уточняет представления сцены, стартуя с шума и постепенно восстанавливая детализированную картину. Такой механизм эффективен для задач, где нужно достроить частично наблюдаемую сцену, предсказать несколько вероятных вариантов развития событий или сгенерировать синтетические примеры для обучения политики. В Cosmos 3 Edge диффузионная башня дополняет авторегрессионную, предоставляя ей обогащённый контекст.
На практике это работает так: диффузионная башня строит вероятностную карту сцены - где находятся объекты, как они могут переместиться, какие зоны станут критичными. Авторегрессионная башня берёт эту карту и прокладывает оптимальную последовательность действий. Результат - 32 действия за один инференс на частоте 15 Гц, что достаточно для плавного управления роботом в динамическом окружении.
Мультимодальное внимание: единое представление для языка, видео, аудио и действий
Разделяемые слои мультимодального внимания - центральный элемент архитектуры. Вместо отдельных энкодеров для каждой модальности Cosmos 3 Edge проецирует токены языка, кадров видео, аудиосигналов и векторов действий в общее пространство. Механизм внимания обрабатывает их совместно, находя кросс-модальные зависимости.
Пример из реального сценария: оператор подаёт голосовую команду «перемести контейнер в зону Б», камера передаёт видеопоток с конвейера, а датчики сообщают о положении манипулятора. Модель токенизирует голосовую команду, извлекает визуальные признаки контейнера и зоны, учитывает текущие координаты манипулятора. Слои внимания связывают эти данные: команда определяет цель, видео уточняет пространственные отношения, сенсоры задают начальное состояние. На выходе - последовательность действий для манипулятора, сгенерированная с учётом всех модальностей одновременно.
Этот подход снижает задержки по сравнению с каскадными системами, где распознавание речи, компьютерное зрение и планирование работают последовательно. Единое представление позволяет модели принимать решения быстрее и точнее, что прямо отражается на частоте инференса в 15 Гц.
Производительность на edge-устройствах: тесты и бенчмарки
Производительность Cosmos 3 Edge оценивается по двум осям: скорость инференса на целевом оборудовании и качество работы в стандартизированных тестах. NVIDIA опубликовала результаты для платы Jetson Thor, которая выступает референсной платформой для модели. Дополнительно модель прошла тесты VANTAGE-Bench, где сравнивалась с аналогами по аналитике сцены.
Для контекста: запуск крупных моделей на edge-устройствах - нетривиальная задача. Мы тестировали PrismML Bonsai 27B на Jetson Orin Nano и получили 4.3 токена в секунду при потреблении 25 Вт. Cosmos 3 Edge с 4 миллиардами параметров демонстрирует принципиально иной уровень эффективности благодаря специализированной архитектуре и оптимизации под Thor.
Jetson Thor: 15 Гц и 32 действия в реальном времени
Jetson Thor - это вычислительная плата, разработанная NVIDIA для робототехнических задач. Она оснащена GPU на архитектуре Blackwell и оптимизирована под инференс моделей мира. На этой платформе Cosmos 3 Edge выдаёт стабильные 15 Гц - 15 полных циклов инференса в секунду. Каждый цикл генерирует до 32 действий, что суммарно даёт 480 потенциальных управляющих сигналов в секунду.
Что означают эти цифры для практики:
- 15 Гц - частота, достаточная для управления промышленным манипулятором с плавностью, сопоставимой с классическими контроллерами.
- 32 действия за инференс - возможность планировать траекторию на несколько шагов вперёд, а не реагировать на текущий кадр.
- Задержка менее 70 мс на полный цикл - модель успевает обработать видеокадр, учесть аудиокоманду и выдать управляющий сигнал до того, как сцена существенно изменится.
Энергопотребление и тепловыделение находятся на уровне, приемлемом для встраиваемых систем, хотя точные цифры производитель пока не раскрыл. Это важный момент для тех, кто проектирует устройства с батарейным питанием или жёсткими тепловыми ограничениями.
VANTAGE-Bench: лидерство в аналитике сцены
VANTAGE-Bench - это бенчмарк для оценки способности моделей анализировать сцены. Он измеряет точность распознавания объектов, качество прогнозирования их перемещений и полноту построения карты окружения. Cosmos 3 Edge заняла в нём первое место среди аналогов, обойдя как специализированные модели компьютерного зрения, так и универсальные мультимодальные системы.
Результат важен по двум причинам. Во-первых, он подтверждает, что гибридная архитектура с разделяемым вниманием работает эффективнее узкоспециализированных подходов. Во-вторых, лидерство в VANTAGE-Bench напрямую коррелирует с качеством роботизированной политики: чем точнее модель понимает сцену, тем адекватнее генерируемые действия.
Конкретные метрики и сравнение с ближайшими конкурентами NVIDIA пока не опубликовала. Когда появятся детальные цифры, мы обновим этот раздел. Пока же факт первого места - сильный сигнал для инженеров, выбирающих модель мира для своих проектов.
Применение в робототехнике: новый стандарт для политики
Термин «роботизированная политика» в контексте моделей мира означает стратегию генерации действий на основе прогнозирования изменений сцены. Вместо жёстко запрограммированных правил модель сама решает, какое действие приведёт к желаемому результату, учитывая текущее состояние окружения и его вероятную динамику.
Cosmos 3 Edge реализует этот подход через совместную работу двух башен. Диффузионная башня прогнозирует несколько вариантов развития сцены на ближайшие шаги. Авторегрессионная башня оценивает эти варианты и выбирает последовательность действий, которая с наибольшей вероятностью приведёт к цели. Такой механизм эффективен в сценариях с частичной наблюдаемостью - например, когда объект временно скрыт за препятствием, но модель «помнит» его траекторию и предсказывает появление.
Практические примеры:
- Адаптация к динамическому окружению: робот на складе объезжает движущегося человека, не прерывая выполнения задачи. Модель прогнозирует траекторию человека и прокладывает маршрут с упреждением.
- Манипуляции с объектами переменной формы: захват деформируемого предмета требует предсказания его поведения после контакта. Диффузионная башня генерирует вероятные исходы, авторегрессионная выбирает оптимальную точку и силу захвата.
- Мультимодальные команды: оператор показывает жестом зону и голосом указывает действие. Модель связывает жест, речь и видеосцену в единый контекст для планирования.
Утверждение о «новом стандарте» базируется на сочетании частоты инференса 15 Гц, 32 действий за проход и лидерства в VANTAGE-Bench. Ни одна из открытых моделей на июль 2026 года не демонстрирует такого баланса скорости и качества на edge-устройствах. Это не значит, что Cosmos 3 Edge решает все задачи робототехники - но для класса задач, требующих быстрого понимания сцены и генерации действий, она задаёт ориентир.
Ограничения и требования к развёртыванию
Текущая оптимизация Cosmos 3 Edge заточена под Jetson Thor. Это означает, что на других платформах - даже на других Jetson, таких как Orin Nano или AGX Orin - производительность может быть ниже заявленной. Модель использует специфичные для Thor инструкции и разрядность вычислений, которые не всегда доступны на предыдущих поколениях оборудования. Перед развёртыванием на своей платформе стоит проверить совместимость на уровне драйверов и рантайма.
Требования к памяти: 4 миллиарда параметров в оригинальной точности занимают около 8 ГБ, но с учётом квантования и оптимизаций под Thor рабочий объём снижается. Точные цифры NVIDIA не раскрыла, однако, судя по доступности модели для edge-устройств, речь идёт о 4-6 ГБ видеопамяти. Для сравнения: GLM-5.2 на 8× GB10 демонстрирует 33-54 токена в секунду при квантовании, но это языковая модель без мультимодальных компонентов реального времени. Cosmos 3 Edge решает более комплексную задачу на схожих аппаратных ограничениях.
Модель открыта, веса доступны для загрузки. Это принципиальный момент: вы можете дообучить её на своих данных, адаптировать под специфичное окружение или встроить в собственный пайплайн. Лицензия и условия использования опубликованы NVIDIA, перед коммерческим применением стоит с ними ознакомиться.
Часть данных о производительности носит предварительный характер. NVIDIA опубликовала результаты для контролируемых условий; реальная частота кадров и качество политики будут зависеть от сложности сцены, разрешения видеопотока и дополнительной нагрузки на плату. Рекомендуем проводить собственные замеры на целевых сценариях до принятия архитектурных решений.