NVIDIA Cosmos 3 ajoute quatre modèles pour la simulation interactive

Le 5 novembre 2026, NVIDIA a ajouté quatre checkpoints à poids ouverts à la famille de modèles Cosmos 3, pour la simulation interactive de mondes et les scènes de conduite multimodales. L’annonce a été publiée sur Hugging Face. Selon NVIDIA, chacun de ces modèles de la famille Cosmos3-Nano compte 16 milliards de paramètres entraînables. Leurs applications vont de la génération de données de conduite à la prédiction des résultats visuels des mouvements robotiques.

À quelles tâches les quatre modèles sont-ils destinés ?

Cosmos3-Nano-Transfer-Auto a été conçu pour générer des scénarios de conduite dans des conditions météorologiques, lumineuses et temporelles variées. NVIDIA indique que le modèle prend en charge la génération de vidéos synchronisées et de données RGB–LiDAR pour jusqu’à 11 vues caméra, y compris des caméras fisheye. Des images RGB initiales facultatives peuvent aider à définir l’apparence de la scène. La génération LiDAR utilise également des contrôles de carte de distance HD alignés. La structure de la scène et la circulation sont pilotées par les contrôles World Scenario Map (WSM), tandis que l’apparence est guidée par des prompts textuels.

Cosmos3-Nano-Sim-Auto est une variante distillée de manière causale de Transfer-Auto, destinée à la simulation en flux. Selon NVIDIA, le modèle utilise les commandes de conduite actuelles et l’historique de génération précédent pour créer, sous forme de courtes séquences, des vidéos caméra et des observations LiDAR. Une plateforme d’exécution de simulation et un générateur WSM sont également nécessaires pour mettre à jour les données de commande et permettre une interaction en boucle fermée.

Cosmos3-Nano-Sim-Transfer se concentre sur la génération d’images RGB à partir des commandes du simulateur. Des informations telles que la profondeur, la segmentation, les contours et le flou peuvent être fournies comme contrôles ; le calcul de l’état physique et du mouvement reste du ressort du simulateur. Le quatrième modèle, Sim-Bimanual, prédit les observations suivantes à partir des actions du robot ou de la caméra. L’annonce présente des exemples d’interactions bimanuelles pour les configurations robotiques YAM et AgiBot.

Licence et informations d’installation

NVIDIA présente les quatre checkpoints comme des exemples d’entraînement ultérieur pour Cosmos 3 Nano. L’approche d’entraînement commune comprend l’adaptation aux relations entre domaines et contrôles, l’entraînement avec forçage de l’enseignant, la distillation de cohérence et des étapes d’entraînement sur l’historique généré par le modèle lui-même. L’entreprise recommande de tester les sorties du modèle sur les données utilisées pour l’entraînement et l’évaluation ; la réussite d’un court essai ne suffit pas, à elle seule, à démontrer que l’entraînement est terminé.

Selon l’annonce, les modèles sont soumis aux conditions d’OpenMDW1.1, qui autorisent les usages commerciaux et non commerciaux. Dans le contexte de Sim-Bimanual, les prérequis d’installation indiqués sont Linux, un GPU NVIDIA, Docker et NVIDIA Container Toolkit. L’installation publiée de vLLM-Omni a été testée sur un seul GB200 ; cette information n’est pas présentée comme une exigence minimale de mémoire ou comme un niveau de GPU obligatoire.

Conséquences pour les workflows d’architecture et de visualisation

Les modèles Cosmos 3 sont présentés pour la simulation de conduite et la robotique, et non comme des outils de modélisation architecturale ou de visualisation d’intérieur. Toutefois, l’approche consistant à convertir les commandes d’un simulateur en images pourrait intéresser les équipes techniques qui étudient les données visuelles et les interactions dans des scènes virtuelles contrôlées. L’annonce ne fait état d’aucune intégration directe avec des logiciels d’architecture ou d’archviz.

Pour les bureaux et les équipes de visualisation, l’intérêt potentiel réside donc davantage dans la recherche basée sur la simulation que dans une intégration immédiate à la chaîne de production. Avant toute mise en œuvre, il convient d’examiner les exigences du modèle choisi, sa compatibilité avec le matériel visé et les conditions d’OpenMDW1.1. Une adaptation à son propre dispositif de capteurs ou à son domaine d’application peut également nécessiter un entraînement ultérieur.