NVIDIA Cosmos s’étend : nouveaux outils de données et d’entraînement pour les modèles du monde

NVIDIA a enrichi sa plateforme Cosmos avec de nouveaux outils de préparation des données, d’entraînement et de simulation destinés aux équipes qui développent des modèles du monde. L’entreprise a publié son annonce sur son blog le 22 octobre ; une partie des mises à jour a été présentée dans le cadre des annonces faites au GTC Berlin. Selon NVIDIA, Cosmos réunit des outils de données, de modèles et d’optimisation afin que les systèmes d’IA physique puissent comprendre et simuler le monde réel.

Cinq modèles de workflows pour la préparation des données

Cosmos Data Factory vise à déployer à grande échelle les processus d’étiquetage, d’organisation, de diversification et d’évaluation des données. Cosmos Curator, qui organise des jeux de données vidéo d’entraînement à l’aide de GPU, prend également en charge de nouveaux blocs pour traiter des entrées multimodales et multisensorielles.

Data Factory comprend cinq blueprints cloud natifs, disponibles via GitHub, Microsoft Azure, Nebius et CoreWeave. Ces workflows prêts à l’emploi répondent à différents besoins de préparation des données :

• Pour les projets de véhicules autonomes, les données de conduite sont organisées et étiquetées ; des exemples supplémentaires peuvent être générés pour des situations rares ou difficiles à enregistrer.

• Le workflow d’augmentation des attributs visuels modifie l’apparence des objets afin de créer des contenus plus variés pour la recherche visuelle.

• Le blueprint de vidéos d’événements produit, à partir d’images fixes, des exemples animés illustrant des situations rares ou présentant des risques pour la sécurité.

• La génération d’images de défauts vise à créer des données d’inspection portant sur les défauts des circuits imprimés, du métal et du verre.

• Le workflow d’augmentation vidéo modifie les conditions météorologiques et d’éclairage dans les images tout en préservant l’agencement général de la scène.

Selon NVIDIA, Porsche utilise Cosmos Data Factory via Voxel51 et Microsoft Azure pour développer un cycle de données commun sur les véhicules autonomes entre les marques du groupe Volkswagen. L’entreprise indique que cette approche devrait réduire jusqu’à 90 % les essais routiers physiques répétés et jusqu’à 85 % les délais de développement. Ces chiffres sont des estimations communiquées par NVIDIA ; l’annonce ne les présente pas comme des mesures indépendantes.

Entraînement et optimisation des modèles

Cosmos Framework est présenté comme une structure ouverte et modulaire pour l’entraînement et l’optimisation des modèles. NVIDIA explique que les développeurs peuvent adapter des modèles ouverts tels que GR00T, Alpamayo, QWEN et Pi0.5 par fine-tuning ou apprentissage par renforcement. Les modèles Hugging Face compatibles peuvent également fonctionner avec ces outils. Après l’entraînement, les modèles peuvent être optimisés par distillation et quantification, puis préparés pour le déploiement.

Dans l’exemple MicroAGI présenté dans l’annonce, Cosmos 3 a été réentraîné à partir de vidéos montrant des interactions humaines avec des objets. Le modèle de raisonnement de 32 milliards de paramètres a ensuite été distillé en un modèle Nano de 8 milliards de paramètres, sans perte de précision annoncée. Ce résultat concerne un cas d’usage particulier communiqué par l’entreprise ; il ne garantit pas les mêmes résultats pour d’autres modèles ou tâches.

Effets sur la simulation et les workflows de conception

Les nouvelles variantes de simulation de Cosmos 3 Nano sont destinées à tester les politiques développées pour les véhicules autonomes et les robots à deux bras dans des scénarios reproductibles, multi-angles et multisensoriels. NVIDIA indique également que, dans des configurations validées, les microservices Cosmos 3 NIM offrent une inférence jusqu’à deux fois plus rapide sans perte de qualité. Metropolis Blueprint 3.3, dédié à la recherche et au résumé vidéo, aiderait quant à lui à surveiller 40 % de flux vidéo supplémentaires avec le même GPU.

Pour les équipes d’architecture et de design d’intérieur, cette annonce n’apporte aucune nouvelle fonction de modélisation ou de visualisation. En revanche, la génération de données synthétiques sur les défauts ou les événements pourrait être envisagée pour des projets exploitant des données d’environnements physiques, comme l’inspection de bâtiments et d’installations. Pour les artistes archviz, l’annonce ne précise aucune intégration logicielle particulière ni aucun besoin matériel. Il est donc conseillé de vérifier la compatibilité avec les outils utilisés, les besoins en GPU et les conditions d’accès aux services concernés avant d’adopter un workflow.