NVIDIA открыла страницу проекта Cosmos3-H-Dreams: это генеративный симулятор хирургии, который строит сцену операции интерактивно и реагирует на команды робота. Публикация вышла 20 октября 2026 года, её подготовили Lukas Zbinden, Javier Gamazo, Nigel Nelson, Mostafa Toloui и Sean Huver, текст доступен в блоге NVIDIA на Hugging Face.
Модель обучена на синхронизированных записях видео и кинематики робота с клинических операций холецистэктомии на платформе CMR Surgical Versius. Вместо явного расчёта геометрии сцены, деформации тканей и физических взаимодействий она учит визуальную динамику напрямую из видео и кинематики. Проще говоря, численный симулятор заменён learned-моделью: следующий кадр генерируется по текущим действиям инструментов.
Статус проекта важнее деталей архитектуры. Это исследовательская работа, а не валидированная система для клинической практики, и авторы подчёркивают это прямо. Заявлений о сертификации, клинических испытаниях или готовности к работе в операционной в доступном описании нет.
Что такое Cosmos3-H-Dreams и какую задачу он решает
Задача модели: дать интерактивную среду, в которой сцена операции отвечает на движения инструментов. Настольное шитьё на dVRK, которое показывал первый Cosmos-H-Dreams, такую среду уже демонстрировало, но внутри тела условия другие. Холецистэктомия добавляет жёлчный пузырь, тракцию тканей, дым от коагуляции и перекрытие структур, и всё это меняется от небольших перемещений инструмента.
Практический смысл генеративного симулятора в том, что он даёт отклик без просчёта физики. Контроллер двигает захват, а модель дорисовывает сцену и сохраняет её связность во времени. На такой среде можно отлаживать политики управления и сравнивать варианты, не тратя ресурсы на численное моделирование, хотя биомеханическую корректность она сама по себе не гарантирует.
Почему внутри тела симуляция сложнее настольных задач
Внутри тела небольшие движения инструментов влияют на всю сцену: ткани растягиваются под тракцией, отражения смещаются, структуры перекрываются, дым меняет видимость. На настольной сцене объекты ведут себя предсказуемее, а фон и освещение почти не зависят от действия. Полость тела отвечает на каждое движение целиком.
Визуальный реализм здесь только отправная точка валидации, а не доказательство биомеханической точности. Сгенерированная сцена должна следовать командам управления: трансляции, вращению и командам захвата. Правдоподобный роллаут, который игнорирует команды, бесполезен как интерактивная среда, даже если кадры выглядят как настоящая операция. Для живого контура нужна генерация с низкой задержкой, иначе отклик перестаёт быть интерактивным.
Архитектура: от Cosmos3-H-Embodied-Nano до 28 измерений действий
Cosmos3-H-Dreams построен на базе Cosmos3-H-Embodied-Nano, модели с 16 млрд параметров, предобученной на Open-H-Embodiment. В описании проекта указаны 28 измерений действий: поза и состояние захватов обеих рук, энергетические команды и оси стиков. Обучение шло на видео 832x480 с выравниванием действий на 10 Гц, а отбор сэмплов нацелен на два видимых задействованных инструмента, левый захват Cadiere grasper и правый инструмент.
Детали про 28 измерений, разрешение 832x480, частоту 10 Гц, чекпоинты с четырьмя и двумя шагами денойзинга, Self-Forcing и модуль FadeMem взяты из анонса проекта. В доступном фрагменте публикации они не раскрыты, поэтому относитесь к ним как к заявленным характеристикам, а не как к независимо проверенным. Текст подтверждает напрямую другое: базу на 16 млрд параметров, предобучение на Open-H-Embodiment, специализацию на холецистэктомии, работу на одной GPU RTX PRO 6000 и ускорение через FlashDreams.
Богатое представление действий нужно, чтобы сцена следовала управлению, а не только выглядела реалистично. Поза и состояние захватов обеих рук описывают, что делает каждый инструмент, энергетические команды отвечают за воздействие на ткань, оси стиков передают намерение оператора. Чем полнее вектор действий, тем меньше у модели свободы придумать движение, которого не было в команде.
Дистилляция диффузионной модели и Self-Forcing: как получить реальное время
Диффузионная модель по умолчанию делает десятки шагов денойзинга на кадр и смотрит на контекст в обе стороны, потому что обучалась на полных последовательностях. Для живого контура такая схема слишком медленная. Решение: дистилляция из двунаправленного учителя в причинно-следственного студента. Учитель видит и прошлые, и будущие кадры, студент генерирует потоково, кадр за кадром, опираясь только на уже сгенерированное.
Техника Self-Forcing дообучает студента на его собственных роллаутах, чтобы ошибки не накапливались с каждым шагом. Итог дистилляции в описании проекта: чекпоинты с четырьмя и двумя шагами денойзинга вместо длинной цепочки. Два шага дают меньшую задержку, четыре обычно оставляют больше качества, и выбор между ними превращается в обычный инженерный компромисс между отзывчивостью и детализацией картинки.
Причинно-следственная схема совпадает с тем, как работает живой контур. Оператор не может заглянуть в будущие кадры, значит и модели достаточно прошлого и текущей команды. За это приходится платить: ошибки, накопленные на длинной траектории, постепенно меняют геометрию инструментов и анатомию, поэтому временная согласованность критична.
FlashDreams и одна GPU NVIDIA RTX PRO 6000: что значит «в реальном времени»
Инференс ускоряет FlashDreams, библиотека потокового вывода NVIDIA, вместе с адаптированным модулем FadeMem. Вся конструкция работает интерактивно на одной GPU NVIDIA RTX PRO 6000. Одна карта вместо кластера, но профессионального сегмента, а не потребительская GeForce из домашней сборки.
«Реальное время» здесь означает интерактивность в исследовательском демо: модель принимает команды и выдаёт следующий участок видео без пауз, заметных оператору. Это не сертифицированная хирургическая задержка и не гарантия отклика на уровне, пригодном для телеоперации. Конкретных FPS, миллисекунд и цен в описании нет, так что любые цифры производительности вне публикации будут домыслом.
Для домашнего AI-сервера это другой класс оборудования. Если вы сравниваете варианты под локальные модели, ориентируйтесь на объём VRAM и реальные сценарии, а не на строчку «работает на одной GPU»: разбор моделей под 16-24 ГБ VRAM показывает, как много решается квантованием и длиной контекста. Здесь же речь о видеомодели на 16 млрд параметров с потоковым выводом, и запуск, по описанию, идёт именно на карте класса RTX PRO 6000.
Обобщение и адаптация: можно ли применить к своим данным
Модель обобщается на невиданные траектории инструментов, то есть на движения, которых не было в обучающих записях. Пример из описания: перемещение захвата Cadiere, захват жёлчного пузыря и его подъём внутри генерируемой сцены, которая реагирует на действия в реальном времени. Обобщение касается траекторий, а не произвольных процедур.
Адаптация к другим данным и контроллерам возможна при двух условиях: есть синхронизированное видео и совместимое представление действий. Синхронизация важна, потому что модель учится на паре «кадр плюс кинематика», и расхождение по времени ломает связь между движением инструмента и изменением сцены. Совместимое представление действий означает, что команды вашего робота можно привести к тому же вектору: поза, состояние захватов, энергетические команды, оси управления.
Ограничение по домену прямое: модель специализирована на клинической холецистэктомии. Перенос на другую операцию потребует своих записей, своей кинематики и проверки, что сцена по-прежнему следует командам. Ждать нулевого обучения на новом наборе данных не стоит.
Чем это отличается от первого Cosmos-H-Dreams
Первый Cosmos-H-Dreams построен на Cosmos-Predict2.5 и показывал интерактивную генеративную симуляцию настольного шитья на dVRK. Тогда сцена оставалась лабораторной: инструменты, стол, стабильный фон и ограниченный набор взаимодействий. Новый релиз переносит ту же идею в клиническую процедуру на CMR Surgical Versius.
Изменились три вещи. База: вместо Cosmos-Predict2.5 используется Cosmos3-H-Embodied-Nano с 16 млрд параметров. Данные: клинические записи холецистэктомии вместо настольного шитья. Управление: более богатые хирургические контроли, которых настольная задача не требовала. Дистилляция для реального времени осталась обязательным условием, иначе интерактивность не держится.
| Параметр | Cosmos-H-Dreams, первый релиз | Cosmos3-H-Dreams |
|---|---|---|
| Базовая модель | Cosmos-Predict2.5 | Cosmos3-H-Embodied-Nano, 16 млрд параметров |
| Задача | Настольное шитьё на dVRK | Клиническая холецистэктомия на CMR Surgical Versius |
| Данные | Настольная сцена | Синхронизированное видео и кинематика робота с операций |
| Акцент | Интерактивная генеративная симуляция | Интерактивность и более богатые хирургические контроли |
Ограничения и статус: что авторы прямо не утверждают
Главное ограничение сформулировано без оговорок: это исследовательский симулятор, а не валидированная система для клинической практики. Из него следуют остальные.
- Визуальный реализм не равен биомеханической точности: красивая картинка не доказывает, что ткань деформируется как настоящая.
- Сцена должна следовать командам. Роллаут, который игнорирует управление, не годится как интерактивная среда.
- Ошибки накапливаются: на длинной траектории мелкие отклонения меняют геометрию инструментов и анатомию.
- Нужна низкая задержка. Без неё живой контур управления разваливается.
- Одна процедура. Холецистэктомия не покрывает остальную хирургию.
Направления дальнейшей работы, перечисленные в описании проекта: полное покрытие процедуры, связка с численным моделированием, оценка хирургами и автономные хирургические политики. В доступном фрагменте публикации эти пункты не детализированы, так что воспринимайте их как план, а не как результаты. Связка с численным моделированием выглядит логичным следующим шагом: генеративная модель даёт скорость и фотореализм, физический расчёт может добавить проверяемую механику.
Трактовка «генеративный AI в медицине» как готового клинического инструмента здесь неуместна. Симулятор не ставит диагнозы, не управляет роботом в операционной и не заменяет валидацию. Он генерирует сцену по командам, и ценность этой сцены ещё предстоит измерить, в том числе с участием хирургов.
Полное описание проекта и дата публикации: huggingface.co/blog/nvidia/cosmos3-h-dreams.
Что это значит для AI-разработчика: переносимые приёмы
Хирургия здесь полигон, а приёмы общие для любого интерактивного видео и world model.
- Дистилляция из двунаправленного учителя в причинно-следственного студента. Работает везде, где модель обучалась на полных последовательностях, а на выводе должна идти слева направо.
- Self-Forcing. Дообучение на собственных роллаутах снижает накопление ошибок, и это пригодится в любой потоковой генерации.
- Потоковый рантайм с модулем памяти. FadeMem в описании проекта отвечает за удержание контекста, без него длинная сцена распадается.
- Выравнивание действий на 10 Гц и полный вектор управления. Привязка команды к кадру важнее, чем кажется: без неё модель учится на несогласованных парах.
Последний пункт чаще всего и стоит денег. Синхронизированные логи робота вместе с видео редко лежат готовыми, а без них подход не воспроизводится. Похожая логика видна в прототипе H3 World Model, где видео превращают в интерактивную сцену с управлением, и там тоже всё упирается в связку генератора и команд.
Железо задаёт рамки не меньше. Потоковый вывод видеомодели на 16 млрд параметров на одной карте профессионального класса, это не сценарий для ноутбука, а расчёт пропускной способности и памяти становится частью проекта. Опыт настройки похожих нагрузок на других GPU-конфигурациях полезно держать в голове: разбор GLM-5.2 на 8× GB10 показывает, как prefill и decode упираются в память и как квантование меняет расклад.
Практический вывод: если вы строите интерактивный симулятор или world model, смотрите в сторону дистилляции в причинно-следственного студента, Self-Forcing и потокового рантайма. Если данных с синхронизированной кинематикой нет, начинать с этого подхода смысла мало: получится красивая генерация видео без управляемости, а управляемость как раз и отличает симулятор от ролика.