NVIDIA добавила в семейство Cosmos 3 четыре открытых чекпоинта: Cosmos3-Nano-Transfer-Auto, Cosmos3-Nano-Sim-Auto, Cosmos3-Nano-Sim-Transfer и Cosmos3-Nano-Sim-Bimanual. Все четыре - примеры посттренировки базовой Cosmos 3 Nano с 16 млрд обучаемых параметров. Общая задача: генерация интерактивных симуляций мира и мультисенсорных сцен вождения.
Веса опубликованы по лицензии OpenMDW1.1. Она разрешает коммерческое и некоммерческое использование на своих условиях. Вместе с весами выложены рецепты посттренировки из четырёх этапов. Первоисточник - анонс NVIDIA в блоге Hugging Face.
Оговорка, которую авторы делают сами, важнее списка возможностей: где модели достоверно поддерживают обучение и оценку политик, ещё предстоит измерить. Перед нами открытая отправная точка для экспериментов, а не готовый валидатор поведения.
Что NVIDIA выпустила в Cosmos 3 и почему это важно
NVIDIA Cosmos - платформа разработки world-моделей, то есть моделей, которые предсказывают развитие сцены во времени и используются как среда для обучения роботов и автопилотов. До сих пор основным барьером для таких экспериментов был дефицит данных: собрать синхронизированные записи с десятка камер и LiDAR в разную погоду дорого, а разметить редкие сценарии почти невозможно.
Четыре новых чекпоинта закрывают разные участки этого пайплайна. Transfer-Auto наращивает датасеты, Sim-Auto гоняет интерактивные прогоны, Sim-Transfer возвращает фотореализм физическому симулятору, Sim-Bimanual предсказывает последствия действий двурукого манипулятора. Набор закрывает и генерацию данных, и интерактивную среду.
Открытые веса и рецепты посттренировки дают общую отправную точку для адаптации моделей, сравнения методов и внесения улучшений. Это меняет цену входа: вместо воспроизведения архитектуры с нуля команда получает работающий чекпоинт и рецепт его дообучения.
Ключевые характеристики: 16B параметров, база Cosmos 3 Nano, лицензия OpenMDW1.1
- База у всех четырёх моделей одна: Cosmos 3 Nano. Различия между чекпоинтами заданы посттренировкой под конкретную задачу, а не разной архитектурой.
- 16 млрд обучаемых параметров на каждый чекпоинт.
- Лицензия OpenMDW1.1: коммерческое и некоммерческое использование на её условиях. Конкретные пункты читайте в тексте лицензии, пересказ не заменяет первоисточник.
- Комплект поставки: веса плюс рецепты посттренировки из четырёх этапов.
Четыре чекпоинта Cosmos 3: чем Transfer-Auto, Sim-Auto, Sim-Transfer и Sim-Bimanual отличаются
Названия различаются двумя словами, и путаница возникает именно здесь. «Transfer» отвечает за работу с данными и переносом внешнего вида, «Sim» - за интерактивную симуляцию. «Auto» отсылает к автономному вождению, «Bimanual» - к двурукой робототехнике.
| Модель | Что генерирует | Режим | Домен | Входные сигналы |
|---|---|---|---|---|
| Cosmos3-Nano-Transfer-Auto | Синхронизированное видео с нескольких камер и LiDAR | Офлайн, двунаправленная | Автономное вождение | Покамерные контролы WSM, текстовый промпт, range-map контролы по HD-карте для LiDAR, опционально стартовые RGB-кадры |
| Cosmos3-Nano-Sim-Auto | Синхронизированные наблюдения камер и LiDAR | Потоковый | Автономное вождение | Данные симуляции вождения, детали входов в анонсе не расписаны |
| Cosmos3-Nano-Sim-Transfer | Фотореалистичное видео | В источнике режим не уточнён | Робототехника, sim-to-real | Управляющие сигналы физического симулятора, текстовый промпт |
| Cosmos3-Nano-Sim-Bimanual | Видео визуальных последствий действий | В источнике режим не уточнён | Двурукая манипуляция | Действия робота или камеры |
Transfer-Auto и Sim-Auto: генерация данных против потоковой симуляции вождения
Transfer-Auto - двунаправленная модель для офлайн-генерации синтетических данных вождения. Она собирает синхронизированное видео вплоть до 11 камер, включая фишай-объективы, и поддерживает совместную генерацию RGB и LiDAR. Спрос на такой инструмент простой: расширить датасет погодой, освещением и временем суток, которых нет в записях с реальных заездов.
Контролы сцены и дорожных сигналов позволяют исследователям менять разметку дорог и состояния сигналов, а затем смотреть, как на это реагирует политика вождения. Это уже не просто аугментация картинки, а проверка поведения на сценариях, которые не попали в реальную выборку.
Sim-Auto работает иначе. Это потоковый вариант: он транслирует синхронизированные наблюдения камер и LiDAR для симуляции вождения. Потоковая генерация связывает предсказание видео с продолжающимся взаимодействием, поэтому исследователь видит, как действия и наблюдения разворачиваются вместе. Для длительных интерактивных прогонов нужен именно такой режим, а не офлайн-пакетная генерация.
Sim-Transfer и Sim-Bimanual: фотореализм из физического симулятора и двурукая робототехника
Sim-Transfer берёт управляющие сигналы физического симулятора и текстовый промпт, а на выходе даёт фотореалистичное видео. Практический смысл в разделении труда: физика считается в симуляторе, где контакты и столкновения корректны, а внешний вид картинки доводит генеративная модель. Так закрывается разрыв между стерильным рендером и данными, похожими на записи с реальной камеры.
Sim-Bimanual предсказывает видео по действиям двурукого робота или камеры. Формулировка «предсказывает визуальные последствия действий» точнее, чем «управляет роботом»: модель отвечает на вопрос, как изменится картинка после команды, а не выдаёт саму команду.
Две модели дополняют друг друга. Sim-Bimanual предсказывает визуальные последствия действий, Sim-Transfer превращает контролы физического симулятора в генерируемые наблюдения. Первый вариант полезен, когда есть политика или лог действий, второй - когда есть физический движок и нужна реалистичная картинка для проверки восприятия.
Как это работает внутри: World Scenario Map, RGB-LiDAR и Mixture-of-Transformers
Управление генерацией в Transfer-Auto разделено на два слоя. Покамерные контролы World Scenario Map (WSM) задают структуру сцены и движение транспорта. Текстовые промпты управляют внешним видом: погодой, освещением, материалами. Опциональные стартовые RGB-изображения дополнительно задают облик сцены на входе.
Совместная генерация LiDAR требует ещё одного слоя: выровненных range-map контролов по HD-карте. Логика понятна из задачи. Для автономного вождения внешний вид и геометрия должны совпадать, а синхронизированная генерация камер и LiDAR связывает визуальные наблюдения с 3D-сенсингом. Если видео «рисует» столб, а облако точек его не содержит, такой датасет учит модель неверным корреляциям.
Потоковая генерация и Mixture-of-Transformers: что подтверждено, а что нет
Подтверждённая часть проста и полезна. Потоковая генерация связывает предсказание видео с продолжающимся взаимодействием, и это ключевое отличие Sim-моделей от офлайн Transfer-Auto. Офлайн-модель видит контекст целиком, потоковая обязана работать с историей и выдавать следующий фрагмент без доступа к будущему.
Mixture-of-Transformers в открытых материалах упоминается как архитектурная основа потоковой ветки, но проверяемых деталей по ней нет. В анонсе нет ни числа экспертов, ни схемы маршрутизации, ни распределения слоёв между модальностями. Архитектура описана на уровне семейства, и при чтении сторонних пересказов стоит держать это в голове: конкретные цифры по MoT в Cosmos 3 публично не подтверждены.
Требования к железу и окружению: что реально нужно для 16B world-модели
Точных требований к железу в анонсе нет. Это первое, что стоит принять: любые таблицы «минимум VRAM для Cosmos 3» из сторонних постов пока никем не подтверждены. Прикинуть масштаб можно по арифметике. 16 млрд параметров в bf16 занимают около 32 ГБ только под веса. Дальше идут активации, кэш внимания на многокамерный видеоконтекст и латенты кадров, а на длинных прогонах кэш растёт вместе с длиной истории.
Мультимодальность добавляет своё: до 11 камер у Transfer-Auto, фишай-объективы, LiDAR с range-map контролами. Каждая модальность - отдельный поток данных и отдельный вклад в память. Поэтому ориентир «поместились веса» не означает «поместился рабочий пайплайн».
Инференс vs посттренировка: две очень разные нагрузки
Запуск готового чекпоинта и посттренировка под свой сенсорный набор - задачи разного порядка. Инференс требует памяти под веса и контекст, посттренировка добавляет градиенты, состояния оптимизатора и батчи, поэтому требования вырастают кратно. Для 16B-модели это территория серверных ускорителей, а не одной потребительской карты.
Transfer-Auto прямо позиционируется как основа для адаптации Cosmos к собственному сенсорному набору и домену вождения: начать предлагается с посттренировки на своих данных, чтобы учесть раскладку камер и конфигурацию LiDAR. Практический вывод: сверяйтесь с официальными материалами NVIDIA и рецептами посттренировки, а не с пересказами. Рецепты из четырёх этапов опубликованы вместе с весами и служат точкой входа для воспроизведения пайплайна.
Лицензия OpenMDW1.1: что можно делать с весами
Веса распространяются по OpenMDW1.1, и лицензия допускает коммерческое и некоммерческое использование на её условиях. Формулировка «на её условиях» здесь не оговорка ради осторожности: у открытых лицензий такого типа есть требования к атрибуции, оговорки об ответственности и правила распространения производных моделей. Читать текст лицензии нужно до того, как модель попадает в продукт.
Юридических гарантий тут дать нельзя, и это честнее, чем обнадёживающая фраза «можно всё». Один практический момент: открытые веса и рецепты создают общую отправную точку для адаптации и сравнения методов, поэтому результаты посттренировки разных команд можно сопоставлять на одной базе.
Как адаптировать модель под свои данные: рецепты посттренировки из четырёх этапов
Вместе с весами опубликованы рецепты посттренировки из четырёх этапов. Это готовая рамка для воспроизведения и адаптации: не нужно угадывать порядок шагов и гиперпараметры. Названия и содержание этапов в открытом анонсе не расписаны, так что конкретику придётся брать из репозитория и сопутствующих материалов, а не из новостных заметок.
Назначение рецептов практическое: подогнать модель под раскладку камер, конфигурацию LiDAR и домен вождения. Естественная отправная точка для такой работы - Transfer-Auto, поскольку он прямо описан как база для адаптации к своему сенсорному набору.
Разумная последовательность выглядит так: сначала прогнать готовый чекпоинт на своих сценариях и зафиксировать метрики, затем посттренировка на своих данных, затем повторная оценка на отложенной выборке. Пропуск первого шага обычно дороже всего: без базовой линии невозможно понять, помогла посттренировка или ухудшила результат.
Ограничения: где модели пока не доказали себя
Позицию авторов стоит привести без смягчения. Вопрос о том, где модели достоверно поддерживают обучение и оценку политик, ещё предстоит измерить; дальше нужно понять их ограничения и улучшить слабые места (анонс NVIDIA). Это признание переносит статус инструмента: перед нами исследовательская заготовка с открытыми весами, а не валидированная среда.
Из этого следуют три практических правила. Синтетику не стоит считать заменой реальным валидационным прогонам без собственной проверки. Метрики, полученные на сгенерированных сценариях, нужно сопоставлять с метриками на реальных данных, иначе выводы расходятся с поведением на дороге. И последнее: «фотореалистично» не равно «физически и поведенчески корректно». Модель может выдать убедительную картинку с неверной динамикой, а обучение на такой выборке даст политику, которая уверенно ошибается.
Отдельно про LiDAR и геометрию: контролы по HD-карте задают структуру, но ручательства за точность 3D-сенсинга в анонсе нет. Команде, которая собирается использовать синтетические облака точек для обучения восприятия, нужна своя процедура сверки.
Кому это нужно и с чего начать: практический вывод
Исследователи world-моделей получают открытую базу для экспериментов с потоковой генерацией и сравнения методов на одном фундаменте. Командам автономного вождения набор даёт вариативность сценариев: погода, освещение, разметка, состояния сигналов, до 11 камер и LiDAR в одной синхронизированной сцене. Робототехникам интересны Sim-Transfer как способ поднять реализм поверх физического движка и Sim-Bimanual как модель последствий действий двурукого манипулятора.
Энтузиастам с мощными GPU стоит трезво оценить масштаб: 16 млрд параметров, видеоконтекст и несколько сенсорных модальностей складываются в нагрузку далеко за пределами домашней станции. Здесь честнее смотреть на архитектуру и рецепты, чем ждать локального запуска на одной карте.
Пошаговый старт:
- Прочитать текст OpenMDW1.1 и зафиксировать, что модель можно использовать коммерчески на её условиях.
- Выбрать чекпоинт под задачу: Transfer-Auto для наращивания данных, Sim-Auto для интерактивных прогонов, Sim-Transfer для фотореализма из симулятора, Sim-Bimanual для двурукой манипуляции.
- Оценить железо отдельно под инференс и под посттренировку, помня, что требования различаются кратно.
- Прогнать готовый чекпоинт и записать базовые метрики на своих сценариях.
- Перейти к посттренировке по опубликованным рецептам из четырёх этапов, подгоняя раскладку камер и конфигурацию LiDAR.
- Провести собственную оценку ограничений: сравнить синтетику с реальными прогонами и понять, где модель ломается.
Для отслеживания апдейтов и обсуждений по таким релизам пригодится материал о Daily Papers на Hugging Face: карточки моделей, обсуждения и обновления рецептов выходят быстрее, чем обзоры.
Итог без прикрас: NVIDIA открыла сильную отправную точку для симуляции мира, но не готовый валидатор политик. Начинать стоит с Transfer-Auto и своей процедуры оценки, а не с ожиданий, что синтетика сама закроет вопрос качества.