NVIDIA Cosmos 3 añade cuatro modelos para simulación interactiva

El 5 de noviembre de 2026, NVIDIA añadió cuatro checkpoints de pesos abiertos a la familia de modelos Cosmos 3 para simulación interactiva de mundos y escenas de conducción con múltiples sensores. El anuncio se publicó en Hugging Face. Según NVIDIA, cada uno de estos modelos de la familia Cosmos3-Nano tiene 16.000 millones de parámetros entrenables; sus usos abarcan desde la generación de datos de conducción hasta la predicción de los resultados visuales de los movimientos de robots.

¿En qué se centran los cuatro modelos?

Cosmos3-Nano-Transfer-Auto está diseñado para generar escenarios de conducción en distintas condiciones meteorológicas, de iluminación y franjas horarias. NVIDIA indica que el modelo admite la generación sincronizada de video desde hasta 11 vistas de cámara, incluidas cámaras de ojo de pez, además de datos RGB–LiDAR. Las imágenes RGB iniciales opcionales pueden ayudar a definir la apariencia de la escena. La generación de LiDAR también utiliza controles de mapas de rango de mapas HD alineados. La estructura de la escena y el movimiento del tráfico se controlan mediante World Scenario Map (WSM), mientras que la apariencia se dirige con prompts de texto.

Cosmos3-Nano-Sim-Auto es una variante destilada causal de Transfer-Auto, orientada a la simulación en streaming. Según NVIDIA, el modelo utiliza los controles de conducción actuales y el historial de generaciones anteriores para crear, en fragmentos cortos, video de cámara y observaciones LiDAR. Para la interacción de bucle cerrado también se necesita un runtime de simulación y un generador de WSM que actualicen los datos de control.

Cosmos3-Nano-Sim-Transfer se centra en generar imágenes RGB a partir de controles del simulador. Se pueden proporcionar como controles datos como profundidad, segmentación, bordes y desenfoque; el cálculo del estado físico y del movimiento permanece en el simulador. El cuarto modelo, Sim-Bimanual, predice observaciones posteriores a partir de acciones del robot o de la cámara. El anuncio incluye ejemplos de interacción bimanual para las configuraciones de robots YAM y AgiBot.

Información sobre la licencia y la instalación

NVIDIA describe los cuatro checkpoints como ejemplos de entrenamiento posterior para Cosmos 3 Nano. El enfoque de entrenamiento compartido incluye adaptación a relaciones entre dominios y controles, entrenamiento con teacher forcing, destilación de consistencia y etapas de entrenamiento con el historial generado por el propio modelo. La empresa recomienda evaluar las salidas del modelo con los datos utilizados para entrenamiento y evaluación; que una ejecución breve termine correctamente no demuestra, por sí sola, que el entrenamiento haya finalizado.

Según el anuncio, los modelos están sujetos a los términos de OpenMDW1.1, que permiten el uso comercial y no comercial. En el contexto de Sim-Bimanual, los requisitos de instalación indicados son Linux, una GPU de NVIDIA, Docker y NVIDIA Container Toolkit. La instalación de vLLM-Omni publicada se probó en un único GB200; esta información no se presenta como requisito mínimo de memoria ni como nivel de GPU obligatorio.

Efectos en los flujos de trabajo de arquitectura y visualización

Los modelos Cosmos 3 se presentan para simulación de conducción y robótica, no como herramientas de modelado arquitectónico o visualización de interiores. Aun así, el enfoque de convertir controles del simulador en imágenes puede resultar interesante para equipos técnicos que investigan datos visuales e interacción en escenas virtuales controladas. El anuncio no menciona una integración directa con software de diseño arquitectónico o archviz.

Por tanto, el posible beneficio para estudios y equipos de visualización podría evaluarse en investigaciones basadas en simulación, más que incorporarse de inmediato a un flujo de producción. Antes de implementarlos, es necesario revisar los requisitos del modelo elegido, su compatibilidad con el hardware de destino y los términos de OpenMDW1.1. Adaptarlos a una configuración de sensores o un entorno de trabajo propios también podría requerir entrenamiento posterior.