NVIDIA Cosmos 3 erweitert interaktive Simulation um vier Modelle

NVIDIA hat am 5. November 2026 die Cosmos-3-Modellfamilie um vier Modelle mit offenen Gewichten für interaktive Weltsimulationen und multisensorische Fahrszenen erweitert. Die Ankündigung wurde auf Hugging Face veröffentlicht. Laut NVIDIA verfügen die Modelle der Cosmos3-Nano-Familie jeweils über 16 Milliarden trainierbare Parameter. Ihre Einsatzbereiche reichen von der Erzeugung von Fahrdaten bis zur Vorhersage visueller Ergebnisse von Roboterbewegungen.

Auf welche Aufgaben konzentrieren sich die vier Modelle?

Cosmos3-Nano-Transfer-Auto wurde für die Erzeugung von Fahrszenarien bei unterschiedlichen Wetter-, Licht- und Tagesbedingungen entwickelt. NVIDIA zufolge unterstützt das Modell synchronisierte Videos aus bis zu 11 Kameraperspektiven – darunter Fischaugenkameras – sowie die Erzeugung von RGB- und LiDAR-Daten. Optionale RGB-Startbilder können dabei helfen, das Erscheinungsbild der Szene festzulegen. Für die LiDAR-Erzeugung kommen zusätzlich Kontrollen auf Basis ausgerichteter HD-Karten und Range-Maps zum Einsatz. Szenenstruktur und Verkehrsbewegungen werden über World Scenario Map (WSM)-Kontrollen gesteuert, das Erscheinungsbild über Text-Prompts.

Cosmos3-Nano-Sim-Auto ist eine kausal destillierte Variante von Transfer-Auto für Streaming-Simulationen. Laut NVIDIA erzeugt das Modell anhand aktueller Fahrsteuerungen und des bisherigen Generierungsverlaufs kurze Abschnitte mit Kameravideos und LiDAR-Beobachtungen. Für die Closed-Loop-Interaktion werden außerdem eine Simulationslaufzeit und ein WSM-Generator benötigt, die die Steuerungsdaten aktualisieren.

Cosmos3-Nano-Sim-Transfer konzentriert sich darauf, aus Simulatorkontrollen RGB-Bilder zu erzeugen. Informationen wie Tiefe, Segmentierung, Kanten und Unschärfe können als Kontrollen vorgegeben werden; die Berechnung des physikalischen Zustands und der Bewegung bleibt dem Simulator überlassen. Das vierte Modell, Sim-Bimanual, sagt anhand von Roboter- oder Kameraaktionen nachfolgende Beobachtungen voraus. Die Ankündigung zeigt Beispiele für beidhändige Interaktionen mit YAM- und AgiBot-Roboterkonfigurationen.

Lizenz- und Installationsinformationen

NVIDIA beschreibt die vier Checkpoints als nachtrainierte Varianten von Cosmos 3 Nano. Der gemeinsame Trainingsansatz umfasst die Anpassung an Domänen und Steuerungsbeziehungen, Training mit Teacher Forcing, Consistency Distillation sowie Trainingsphasen mit dem eigenen Generierungsverlauf des Modells. Das Unternehmen empfiehlt, die Modellausgaben anhand der für Training und Evaluierung verwendeten Daten zu prüfen. Ein erfolgreicher kurzer Testlauf allein belegt nicht, dass das Training abgeschlossen ist.

Laut Ankündigung unterliegen die Modelle den Bedingungen von OpenMDW1.1, die eine kommerzielle und nicht kommerzielle Nutzung erlauben. Im Zusammenhang mit Sim-Bimanual werden Linux, eine NVIDIA-GPU, Docker und das NVIDIA Container Toolkit als Installationsvoraussetzungen genannt. Die veröffentlichte vLLM-Omni-Installation wurde auf einem einzelnen GB200 getestet. Diese Angabe wird nicht als Mindestanforderung an den Speicher oder als zwingend erforderliche GPU-Leistung ausgewiesen.

Auswirkungen auf Workflows in Architektur und Visualisierung

Cosmos-3-Modelle werden nicht als Werkzeuge für Architekturmodellierung oder Innenraumvisualisierung vorgestellt, sondern für Fahrsimulation und Robotik. Der Ansatz, Simulatorkontrollen in Bilder umzuwandeln, könnte dennoch für technische Teams interessant sein, die visuelle Daten und Interaktionen in kontrollierten virtuellen Szenen erforschen. Eine direkte Integration mit Architekturdesign- oder Archviz-Software wird in der Ankündigung nicht beschrieben.

Für Büros und Visualisierungsteams liegt der mögliche Nutzen daher eher in der Bewertung für simulationsbasierte Forschung als in einer sofortigen Integration in die Produktionspipeline. Vor dem Einsatz sollten die Anforderungen des jeweiligen Modells, seine Kompatibilität mit der Zielhardware und die Bedingungen von OpenMDW1.1 geprüft werden. Eine Anpassung an die eigene Sensoranordnung oder den jeweiligen Arbeitsbereich kann ebenfalls Nachtraining erfordern.