Kurz gesagt
- Cosmos Data Factory bietet fünf cloudnative Workflow-Vorlagen.
- Cosmos Curator unterstützt die Verarbeitung multimodaler und multisensorischer Eingaben.
- Cosmos Framework umfasst Tools für Fine-Tuning, Reinforcement Learning und Modelloptimierung.
- Cosmos-3-Nano-Varianten sind darauf ausgelegt, Policies für autonome Fahrzeuge und zweiarmige Roboter in Simulationen zu testen.
NVIDIA hat die Cosmos-Plattform um neue Tools für Datenaufbereitung, Training und Simulation für Teams erweitert, die Weltmodelle entwickeln. Das Unternehmen veröffentlichte die Ankündigung am 22. Oktober in seinem Blog; einige der Updates wurden im Rahmen von Bekanntmachungen auf der GTC Berlin vorgestellt. NVIDIA zufolge vereint Cosmos Daten-, Modell- und Optimierungstools, damit Physical-AI-Systeme die reale Welt verstehen und simulieren können.
Fünf Workflow-Vorlagen für die Datenaufbereitung
Cosmos Data Factory konzentriert sich darauf, das Labeln, Kuratieren, Erweitern und Bewerten von Daten zu skalieren. Cosmos Curator, das GPU-beschleunigte Kuratieren von Video-Trainingsdatensätzen ermöglicht, unterstützt außerdem neue Bausteine für die Verarbeitung multimodaler und multisensorischer Eingaben.
Data Factory umfasst fünf cloudnative Blueprints, die über GitHub, Microsoft Azure, Nebius und CoreWeave verfügbar sind. Diese vorgefertigten Workflows zielen auf unterschiedliche Anforderungen bei der Datenaufbereitung ab:
Bei Projekten für autonome Fahrzeuge werden Fahrdaten kuratiert und gelabelt; für seltene oder schwer zu erfassende Situationen lassen sich zusätzliche Beispiele erzeugen.
Ein Workflow zur Erweiterung visueller Merkmale verändert das Aussehen von Objekten und erstellt so vielfältigere Inhalte für die visuelle Suche.
Der Blueprint für Ereignisvideos erstellt aus Einzelbildern bewegte Beispiele, die seltene oder sicherheitskritische Situationen zeigen.
Die Erzeugung von Fehlerbildern soll Inspektionsdaten zu Defekten auf Leiterplatten sowie in Metall und Glas liefern.
Der Workflow zur Videoerweiterung verändert Wetter- und Lichtbedingungen in Aufnahmen, wobei die Gesamtanordnung der Szene erhalten bleibt.
NVIDIA zufolge nutzt Porsche Cosmos Data Factory über Voxel51 und Microsoft Azure, um einen gemeinsamen Datenkreislauf für autonome Fahrzeuge zwischen den Marken der Volkswagen Group zu entwickeln. Das Unternehmen erwartet, dass dieser Ansatz wiederholte physische Testfahrten um bis zu 90 Prozent und die Entwicklungszeit um bis zu 85 Prozent reduziert. Diese Zahlen sind Prognosen von NVIDIA und wurden in der Ankündigung nicht als unabhängige Messwerte ausgewiesen.
Modelltraining und -optimierung
Cosmos Framework wird als offene, modulare Struktur für Modelltraining und -optimierung beschrieben. NVIDIA zufolge können Entwickler offene Modelle wie GR00T, Alpamayo, QWEN und Pi0.5 per Fine-Tuning oder Reinforcement Learning anpassen. Auch kompatible Hugging-Face-Modelle lassen sich mit diesen Tools verwenden. Nach dem Training können die Modelle mittels Destillation und Quantisierung optimiert und für die Bereitstellung vorbereitet werden.
Im in der Ankündigung vorgestellten MicroAGI-Beispiel wurde Cosmos 3 mit Videos nachtrainiert, die zeigen, wie Menschen mit Gegenständen interagieren. Anschließend wurde das Reasoning-Modell mit 32 Milliarden Parametern auf ein Nano-Modell mit 8 Milliarden Parametern destilliert; laut NVIDIA ging dabei keine Genauigkeit verloren. Dieses Ergebnis bezieht sich auf einen konkreten, vom Unternehmen vorgestellten Anwendungsfall und bedeutet nicht, dass dieselben Resultate bei anderen Modellen oder Aufgaben erzielt werden.
Auswirkungen auf Simulations- und Design-Workflows
Die neuen Simulationsvarianten von Cosmos 3 Nano sollen Policies für autonome Fahrzeuge und zweiarmige Roboter in reproduzierbaren, mehrperspektivischen und multisensorischen Szenarien testen. NVIDIA berichtet außerdem, dass Cosmos-3-NIM-Microservices in validierten Konfigurationen bis zu doppelt so schnelle Inferenz ohne Qualitätseinbußen bieten. Metropolis Blueprint 3.3 für Videosuche und -zusammenfassung soll mit derselben GPU dabei helfen, 40 Prozent mehr Videostreams zu überwachen.
Für Teams aus Architektur und Interior Design bringt die Ankündigung keine neue Modellierungs- oder Visualisierungsfunktion. Bei Projekten, die mit Daten aus physischen Umgebungen arbeiten – etwa der Inspektion von Gebäuden und Anlagen –, könnte sich jedoch die Erzeugung synthetischer Fehler- oder Ereignisdaten anbieten. Für Archviz-Künstler nennt die Ankündigung keine konkreten Softwareintegrationen oder Hardwareanforderungen. Vor der Einführung in einen Workflow sollten daher die Kompatibilität mit den verwendeten Tools, der GPU-Bedarf und die Zugangsbedingungen für die jeweiligen Dienste geprüft werden.
Quellen
1 QuelleQuelltexte werden nicht neu veröffentlicht; kurze Zitate sind gekennzeichnet, der Rest ist eigene Zusammenfassung und Einordnung.
Der praktische Nutzen des Cosmos-Updates liegt darin, dass es die Erzeugung synthetischer Daten mit Trainings- und Simulationstools auf einer Plattform zusammenführt. Teams, die seltene oder gefährliche Szenarien nicht physisch nachstellen wollen, können diesen Ansatz prüfen. Für Architektur- und Archviz-Büros lässt sich das Update jedoch nicht als direktes Produktionswerkzeug bezeichnen; die Ankündigung nennt keine Integrationen mit gängiger Designsoftware.
Teams in der Türkei sollten vor einer Entscheidung den Cloud-Zugang, den GPU-Bedarf, die bestehende Datenorganisation und die Lizenzbedingungen klären. Die genannten Leistungswerte basieren auf Angaben von NVIDIA und sollten nicht in Investitionskalkulationen einfließen, bevor sie unter Projektbedingungen überprüft wurden. Konkreter erscheinen dagegen Einsatzbereiche rund um Anlageninspektion und Robotik.
Häufige Fragen
Welche Workflow-Vorlagen bietet Cosmos Data Factory?
Die fünf Blueprints richten sich an die Bereiche Daten für autonome Fahrzeuge, Erweiterung visueller Merkmale, Ereignisvideos, Fehlerbilder und Videoerweiterung.
Welche Modelle lassen sich mit Cosmos Framework anpassen?
NVIDIA zufolge können GR00T, Alpamayo, QWEN und Pi0.5 sowie kompatible Hugging-Face-Modelle per Fine-Tuning und Reinforcement Learning angepasst werden.
Wofür soll Cosmos 3 Nano eingesetzt werden?
Die neuen Varianten sind dafür gedacht, Policies für autonome Fahrzeuge und zweiarmige Roboter in reproduzierbaren, mehrperspektivischen und multisensorischen Simulationsszenarien zu testen.
