NVIDIA Cosmos 3: четыре модели для интерактивных симуляций
NVIDIA выпустила четыре открытые модели Cosmos 3 для симуляции роботов и дорожных сцен. Разбираем управление, обучение, требования и ограничения.
NVIDIA расширила семейство NVIDIA Cosmos 3 четырьмя моделями с открытыми весами для генерации дорожных сцен и интерактивных симуляций роботов. Они создают наблюдения с учётом управляющих сигналов: от синхронизированных изображений камер и данных LiDAR до видео, которое меняется вслед за действиями двурукого робота.
Главное в выпуске — не просто генерация роликов, а возможность связать действия и последующие наблюдения в один цикл. Это даёт разработчикам основу для экспериментов с роботами и автономным вождением, хотя достоверность такой симуляции для обучения и оценки управляющих алгоритмов ещё нужно проверять.
Что NVIDIA объявила о Cosmos 3?
5 ноября 2026 года команда NVIDIA опубликовала на Hugging Face статью о четырёх новых моделях платформы Cosmos для разработки моделей мира. Модель мира в этом контексте — система, которая генерирует визуальные наблюдения среды с учётом её состояния, управляющих сигналов и предыдущих кадров.
Все четыре новинки — дообученные варианты Cosmos 3 Nano. Каждая имеет 16 млрд обучаемых параметров:
Cosmos3-Nano-Transfer-Auto — генерация синтетических дорожных данных с нескольких камер, с возможностью совместного создания RGB-видео и LiDAR.
Cosmos3-Nano-Sim-Auto — потоковая генерация синхронизированных наблюдений камер и LiDAR для симуляции вождения.
Cosmos3-Nano-Sim-Transfer — преобразование управляющих представлений физического симулятора и текстового описания в фотореалистичное видео.
Cosmos3-Nano-Sim-Bimanual — предсказание видео по действиям двурукого робота или движениям камеры.
NVIDIA представила веса моделей и рецепты дообучения. Они распространяются по лицензии OpenMDW1.1, которая допускает коммерческое и некоммерческое использование на своих условиях.
Что умеют новые модели NVIDIA Cosmos 3?
Четыре модели решают разные задачи. Основные различия — откуда поступает управление, какие наблюдения генерируются и нужен ли результат в потоковом режиме.
Как Transfer-Auto создаёт дорожные данные?
Cosmos3-Nano-Transfer-Auto предназначена для офлайн-генерации синтетических данных: набор создаётся заранее, а не в ходе непрерывного взаимодействия с агентом.
Модель генерирует синхронизированное видео с числом ракурсов до 11, включая камеры с объективами «рыбий глаз». Поддерживается совместная генерация RGB — обычных цветных изображений — и LiDAR, то есть данных лазерного сканирования окружающего пространства.
Структуру сцены и движение участников задают управляющие карты World Scenario Map, или WSM, отдельно для каждой камеры. Текстовое описание определяет внешний вид: погоду, освещение и время суток. Начальные RGB-изображения можно добавить, чтобы закрепить исходный облик сцены. Для совместной генерации LiDAR нужны дополнительные карты дальности на основе HD-карты, согласованные с остальным управлением.
Transfer-Auto также служит отправной точкой для адаптации к собственному набору сенсоров. Модель можно дообучить под расположение камер, конфигурацию LiDAR и целевую среду, а затем использовать для подготовки данных или преобразовать в потоковый вариант.
Чем Sim-Auto отличается от Transfer-Auto?
Cosmos3-Nano-Sim-Auto — потоковый вариант Transfer-Auto, полученный с помощью каузального обучения и дистилляции. Каузальность означает, что при предсказании модель опирается на доступную историю, а не на будущие наблюдения. Дистилляция переносит поведение модели-учителя в модель, которой требуется меньше шагов генерации.
Sim-Auto выдаёт последовательные небольшие фрагменты видео и LiDAR. Для каждого следующего фрагмента она использует уже созданную историю и обновлённые управляющие сигналы.
На вход поступают текстовые описания для камер и синхронизированные WSM-карты; начальные изображения необязательны. Для LiDAR нужны согласованные управляющие карты дальности.
Сама модель не создаёт весь замкнутый цикл вождения. Нужны среда исполнения симуляции и рендерер WSM, которые будут обновлять управляющие карты после действий агента. При переходе на новый набор сенсоров NVIDIA предлагает сначала адаптировать Transfer-Auto, а затем получить из неё Sim-Auto.
Как Sim-Transfer связана с физическим симулятором?
Cosmos3-Nano-Sim-Transfer отвечает за визуальную часть. Движение, контакты объектов и физическое состояние рассчитывает внешний симулятор, а модель превращает его пространственные представления в цветные изображения.
Она использует следующие виды управления:
Глубина — относительное расстояние от камеры.
Сегментация — области объектов и их границы.
Контуры — очертания сцены.
Размытое представление — общая компоновка и внешний вид.
Текстовый запрос дополнительно направляет оформление сцены. Цикл выглядит так: действие агента → обновление физического симулятора → пространственные управляющие данные → сгенерированное RGB-изображение → следующее действие.
Это важное разделение ответственности: Sim-Transfer генерирует наблюдения, но физика и эталонное состояние среды остаются у симулятора.
Как Sim-Bimanual реагирует на действия робота?
Cosmos3-Nano-Sim-Bimanual генерирует следующие наблюдения непосредственно по исходной сцене и действиям робота или камеры. В опубликованном варианте поддерживаются двурукие роботы YAM и AgiBot, которыми может управлять алгоритм или человек с джойстиками.
Работа начинается с изображения. Затем можно перемещать робота или камеру и получать продолжение сцены. Одна управляющая последовательность позволяет чередовать смену ракурса и манипуляции предметами.
Здесь критичен формат действий. Пример со смешанным управлением использует 59 значений, которые при обучении дополняются до 64. Схема задаёт системы координат, вращения, калибровку захватов, маски валидности и области управления. Несоблюдение этих соглашений меняет смысл входных сигналов.
Есть и требование к времени: для T переходов нужны T+1 наблюдений. Опубликованные действия для инференса — запуска уже обученной модели — нормализованы; при подготовке обучающих данных исходные записи нужно преобразовать в представление модели.
Как устроена потоковая генерация?
В основе Cosmos 3 находится архитектура Mixture-of-Transformers: отдельные сети обработки текста и генерации визуальных данных связаны механизмом внимания. Генератор предсказывает короткий фрагмент по запросу, доступным управляющим сигналам и истории.
Рабочий цикл повторяется:
Модель получает управление и предыдущие наблюдения.
Создаёт следующий фрагмент в сжатом представлении.
Декодирует его в изображения.
Добавляет результат в историю для следующего предсказания.
Сжатые представления видео называются латентами. После начального изображения один временной шаг в таком представлении соответствует четырём RGB-кадрам. Для Transfer в описанной схеме предсказывается один шаг на фрагмент, а в оптимизированной конфигурации Bimanual из технического отчёта — два. Чем короче фрагмент, тем чаще новые управляющие сигналы могут влиять на генерацию.
Изображение формируется через шумоподавление: модель постепенно уточняет зашумлённое сжатое представление. Каузальное внимание разрешает читать доступную историю и управление, но блокирует будущие целевые наблюдения. Кэш ключей и значений, или KV-кэш, сохраняет информацию механизма внимания для следующего предсказания.
Зачем нужны четыре этапа обучения?
NVIDIA описывает последовательную подготовку моделей:
Двунаправленная адаптация. Модель изучает предметную область и связь управления с видео по полным записанным клипам.
Teacher forcing. Каждый фрагмент предсказывается по предыдущим записанным наблюдениям и доступному управлению. Правильный ответ и будущие целевые наблюдения скрываются.
Дистилляция согласованности. Зафиксированная модель-учитель обучает модель-ученика генерировать фрагмент за четыре шага шумоподавления.
Self-forcing. Ученик обучается уже на собственной сгенерированной истории. Учитель и вспомогательная модель оценки формируют сигнал для согласования распределений.
Последний этап нужен из-за накопления ошибок: неточно нарисованный объект становится частью контекста и может повлиять на следующие кадры. Обучение на собственной истории позволяет учитывать эту проблему, а дистилляция и кэширование сокращают затраты на генерацию наблюдений.
Где доступны модели и сколько стоит запуск?
NVIDIA опубликовала открытые веса, инструкции запуска и блокноты с примерами. В статье также описаны инструкции для кодовых агентов и рецепты адаптации на собственных данных.
Цены размещённого API и стоимость генерации компания пока не раскрыла. В публикации речь идёт о работе с весами моделей, а не о тарифе за запрос или токены. Открытая лицензия не означает отсутствия затрат на вычислительную инфраструктуру.
Для опубликованной конфигурации Sim-Bimanual перечислены требования:
Linux;
GPU NVIDIA;
Docker;
NVIDIA Container Toolkit.
Конфигурацию с vLLM-Omni проверяли на одном GB200. NVIDIA отдельно подчёркивает: это описание тестовой системы, а не спецификация минимально необходимой памяти. Переносить эту конфигурацию на все четыре модели как универсальное требование нельзя.
Минимальную видеопамять, универсальные показатели скорости и денежную стоимость запуска компания в этой публикации не приводит. Нет и оснований обещать определённую частоту кадров только потому, что генерация названа потоковой.
Кому и для каких задач нужен Cosmos 3?
Как использовать модели в автономном вождении?
Transfer-Auto позволяет менять погоду, освещение и время суток при заданной структуре дорожной сцены. Это помогает расширять наборы данных для обучения и оценки, не ограничиваясь одним вариантом внешнего вида.
Совместная генерация камер и LiDAR важна для задач, где визуальная информация должна согласовываться с трёхмерными наблюдениями. Управление дорожной сценой и состояниями светофоров позволяет исследовать реакцию алгоритма вождения на разные условия.
Sim-Auto добавляет потоковый режим: наблюдение может повлиять на следующее действие, а действие — на дальнейшую генерацию. Но для такого эксперимента нужно самостоятельно собрать цикл взаимодействия с симуляцией.
Как использовать модели в робототехнике?
Выбор зависит от того, где рассчитывается развитие среды:
Sim-Transfer подходит для схемы, в которой физический симулятор уже вычисляет состояние, а модели поручают визуализацию.
Sim-Bimanual предсказывает визуальное продолжение напрямую по сцене и действиям робота или камеры.
Для адаптации к собственному роботу NVIDIA описывает проверку данных, конфигурацию этапов обучения, передачу промежуточных весов между этапами и экспорт результата.
Что нужно проверить перед длительным обучением?
NVIDIA рекомендует сначала проверить окружение, валидировать образец данных, протестировать короткий запуск и возобновление обучения. Полные обучающие контрольные точки нужно сохранять: экспортированные веса для инференса не включают состояние оптимизатора и другие данные, необходимые для продолжения обучения.
Качество предлагается оценивать на эпизодах, которые не использовались при обучении. Успешный короткий запуск подтверждает работоспособность процесса, но не сходимость модели.
Это не готовая гарантия достоверного виртуального полигона. NVIDIA прямо обозначает дальнейшую задачу: измерять, насколько модели подходят для обучения и оценки стратегий управления, находить ограничения и улучшать результаты.
Чем отличаются четыре варианта Cosmos 3?
Выбирать модель стоит по источнику управления и нужному режиму работы:
Нужен заранее подготовленный набор дорожных данных — Transfer-Auto. Она поддерживает несколько камер и совместную генерацию RGB–LiDAR.
Нужны последовательные дорожные наблюдения с обновляемым управлением — Sim-Auto. Для замкнутого цикла потребуется дополнительная инфраструктура симуляции.
Есть физический симулятор и нужны цветные наблюдения — Sim-Transfer. Физическое состояние остаётся во внешней системе.
Нужно визуальное продолжение по действиям двурукого робота — Sim-Bimanual, с соблюдением схемы управления и временного выравнивания.
Прямого количественного сравнения с предыдущими версиями Cosmos или конкурирующими моделями в публикации нет. Поэтому оценивать прирост скорости, точности или качества по этому анонсу нельзя.
Частые вопросы
Cosmos 3 — это одна модель?
В этом выпуске представлены четыре дообученных варианта Cosmos 3 Nano, каждый с 16 млрд обучаемых параметров. Они рассчитаны на разные сценарии: дорожные данные, потоковую симуляцию, визуализацию состояния симулятора и действия двурукого робота.
Можно ли использовать модели в коммерческих проектах?
Да, лицензия OpenMDW1.1 допускает коммерческое и некоммерческое использование на своих условиях. Перед внедрением нужно проверить требования самой лицензии.
Заменяет ли Cosmos физический симулятор?
Не во всех сценариях. В Sim-Transfer физику рассчитывает внешний симулятор, а модель генерирует изображения; для замкнутого цикла Sim-Auto также нужны среда исполнения и рендерер управляющих карт.
Можно ли запустить Sim-Bimanual на обычной видеокарте?
В публикации нет минимальной спецификации видеопамяти. NVIDIA сообщает о проверке конфигурации на одном GB200, но отдельно предупреждает, что это не минимальное требование.
Можно ли адаптировать модели под свои камеры или робота?
Да, NVIDIA описывает рецепты дообучения. Для нового набора автомобильных сенсоров предлагается сначала адаптировать Transfer-Auto, а для потокового режима затем выполнить каузальное обучение и дистилляцию; для Sim-Bimanual предусмотрена адаптация под конструкцию робота.
Для отдельных текстовых задач модели GPT, Claude, Gemini и других можно использовать через Evrona дешевле, чем напрямую у поставщиков. Это другой класс инструментов, не замена описанным моделям симуляции.
Итог
Новый выпуск Cosmos 3 охватывает четыре способа генерации наблюдений: от офлайн-дорожных наборов до потокового видео, связанного с действиями агента. Практический выбор зависит от того, нужны ли камеры и LiDAR, внешний физический симулятор или прямое предсказание по действиям робота.
Открытые веса и рецепты обучения дают основу для адаптации, но не снимают задачи интеграции и проверки качества. Перед использованием для обучения или оценки управляющих алгоритмов нужно проверить согласованность наблюдений, устойчивость длинных последовательностей и соответствие собственной среде.