Los desarrolladores crean simulaciones de robots rápidas y fiables con las bibliotecas NVIDIA Omniverse

TL;DR

• NVIDIA anunció actualizaciones de las bibliotecas Omniverse y de los Cosmos world foundation models (WFMs) en SIGGRAPH, impulsadas por OpenUSD.
• OpenUSD Exchange SDK 2.0 añade authoring UsdPhysics y una estructura de activos en capas para integrar la física en modelos USD.
• La biblioteca de materiales SimReady ofrece miles de materiales sustrato para IA física, permitiendo simulaciones de sensores tanto visuales como no visuales.
• Interoperabilidad entre MuJoCo (MJCF) y USD se avanza con mujoco-usd-converter (OpenUSD Exchange SDK 2.0) y los nuevos esquemas MjcPhysics USD de Google DeepMind, disponibles en fase temprana en GitHub y PyPi.
• NuRec renderizado fusiona RTX ray tracing con 3D Gaussian splatting para reconstrucción de mundos de alta fidelidad en Omniverse Kit, Isaac Sim y CARLA.
• Isaac Sim 5.0 e Isaac Lab 2.2 introducen esquemas OpenUSD para robots y OmniSensors; la extensión PhysX añade un nuevo modelo de fricción de articulaciones mediante un esquema OpenUSD, en colaboración con Hexagon Robotics y maxon.
• Adopción por parte de líderes de la industria destaca el ecosistema maduro alrededor de Omniverse y los modelos abiertos para flujos de IA física.
• El conjunto de herramientas para empezar incluye NuRec, Omniverse Kit SDK 108, la SimReady materials library, el conversor MuJoCo-to-USD, USD Exchange SDK 2.0 y previews tempranos de Isaac Sim 5.0 e Isaac Lab 2.2; también se menciona la certificación de OpenUSD Development para validar competencias en pipelines 3D basados en OpenUSD.

Contexto y antecedentes

En SIGGRAPH, NVIDIA señaló actualizaciones de las bibliotecas NVIDIA Omniverse y de Cosmos world foundation models (WFMs). Estos avances están destinados a permitir a los desarrolladores construir entornos virtuales físicamente precisos y agentes de IA que entienden el mundo real. OpenUSD se presenta como tecnología fundamental para flujos de IA física, lo que facilita la integración de datos 3D para simulaciones detalladas en robótica, vehículos autónomos y sistemas industriales. El objetivo es ofrecer materiales de simulación listos para usar, interoperabilidad de datos y renderizado escalable para acelerar el desarrollo de IA en robótica. El ecosistema OpenUSD se expande con OpenUSD Exchange SDK 2.0, que añade UsdPhysics y una estructura de activos en capas para incorporar física en activos USD. Este SDK es de código abierto y está disponible en GitHub y PyPi para facilitar la integración en los pipelines existentes. La interoperabilidad entre MuJoCo y USD se está fortaleciendo con mujoco-usd-converter, que permite la conversión interoperable de datos MJCF a USD, usando los esquemas MjcPhysics USD de Google DeepMind y el OpenUSD Exchange SDK 2.0. Versiones iniciales están disponibles en GitHub y PyPi, con documentación de DeepMind y vínculos en GitHub sobre USD en MuJoCo. NuRec ofrece renderizado de alta fidelidad que combina trazado de rayos RTX con splatting gaussiano 3D para reconstruir escenas reales en entornos OpenUSD, con integración en Omniverse Kit, Isaac Sim y CARLA. Isaac Sim 5.0 e Isaac Lab 2.2 traen esquemas OpenUSD para robots y OmniSensors, con una extensión PhysX que añade un nuevo modelo de fricción de articulaciones mediante un esquema OpenUSD. Estos trabajos se desarrollan en colaboración con Hexagon Robotics y maxon. La adopción por parte de empresas líderes sugiere un ecosistema maduro para flujos de IA física basados en simulación. Para empezar, NVIDIA destaca NuRec, Omniverse Kit SDK 108, la SimReady materials library, el conversor MuJoCo-to-USD, el USD Exchange SDK 2.0 y previews tempranos de Isaac Sim 5.0 e Isaac Lab 2.2, junto con la certificación de desarrollo OpenUSD como camino para validar habilidades en pipelines 3D basados en OpenUSD.

¿Qué hay de nuevo?

• OpenUSD Exchange SDK 2.0 añade UsdPhysics y una estructura de activos en capas para incorporar física en modelos USD.
• SimReady materials proporciona miles de materiales en USD con MaterialX/OpenPBR, permitiendo simulaciones de sensores visuales y no visuales en Isaac Sim.
• MuJoCo-to-USD mediante mujoco-usd-converter, construido con el OpenUSD Exchange SDK 2.0 y los esquemas MjcPhysics USD; disponibles en GitHub y PyPi en fases tempranas.
• Google DeepMind presenta una versión experimental que habilita importación de datos USD en MuJoCo a través de MjcPhysics USD Schemas y un SdfFileFormatPlugin; la exportación de capas de animación está en desarrollo.
• NuRec ofrece renderizado de alta fidelidad combinando trazado de rayos RTX y splatting Gaussiano 3D, integrado en Omniverse Kit, Isaac Sim y CARLA.
• Isaac Sim 5.0 e Isaac Lab 2.2 traen esquemas USD para robots y OmniSensors; extensión PhysX agrega un modelo de fricción de articulaciones; desarrollo conjunto con Hexagon Robotics y maxon.
• Adopción en la industria demuestra la relevancia práctica de estas herramientas para acelerar proyectos de robótica con IA.

¿Por qué importa? (impacto para desarrolladores/empresas)

Las actualizaciones abordan cuellos de botella en simulación robótica: necesidad de física precisa, formatos de datos interoperables, renderizado de alta fidelidad y un pipeline sólido para pasar de datos reales a entornos simulados. Incorporar la física directamente en activos USD a través de UsdPhysics permite modelos de robots más fieles y simulaciones de sensores más fiables. La biblioteca SimReady amplía el realismo de interacciones sensor-ambiente, facilitando entrenamientos y evaluaciones más robustos de percepción, control y planificación. La interoperabilidad entre MuJoCo y USD reduce fricciones para equipos que ya trabajan con MuJoCo y desean aprovechar el ecosistema USD y sus activos normalizados. El convertidor MuJoCo-USD ofrece una vía concreta para migrar o compartir datos entre ecosistemas, acelerando la colaboración entre investigación y socios industriales. Las experimentaciones con DeepMind amplían el uso de USD para MuJoCo, mostrando la aplicabilidad de esquemas USD para dinámica y sensorización robótica. NuRec aborda un reto central de IA física: convertir datos de sensores del mundo real en entornos de simulación precisos y escalables. Integrado en Omniverse Kit, Isaac Sim y CARLA, NuRec facilita el prototipado, la validación y la iteración de flujos de percepción y simulación. El desarrollo de Isaac Sim 5.0 e Isaac Lab 2.2 promete una pila de robótica más coherente y reutilizable, acercando la simulación al comportamiento real. La adopción por actores líderes señala un ecosistema maduro y viable para desplegar proyectos robóticos basados en simulación.

Detalles técnicos o Implementación

La base técnica es OpenUSD como columna vertebral de los flujos de IA física. Componentes clave:

• OpenUSD Exchange SDK 2.0: añade UsdPhysics y una estructura de activos en capas para incorporar física en activos USD; el SDK es de código abierto y está disponible en GitHub y PyPi.
• SimReady materials: biblioteca de materiales en USD con soporte MaterialX/OpenPBR, permitiendo simulaciones de sensores con renderizado visual y no visual en Isaac Sim.
• MuJoCo-to-USD (mujoco-usd-converter): convertidor construido con el OpenUSD Exchange SDK 2.0 y los esquemas MjcPhysics USD; lanzamientos tempranos disponibles en GitHub y PyPi; interfaz CLI mediante wheel de Python y —help.
• DeepMind: experiencia experimental para importar datos USD a MuJoCo a través de MjcPhysics USD Schemas y SdfFileFormatPlugin; exportación de animaciones en capas en desarrollo.
• NuRec: renderizado que combina trazado de rayos RTX y splatting Gaussiano 3D para reconstrucción de escenas reales en entornos OpenUSD, con integración en Omniverse Kit, Isaac Sim y CARLA.
• Isaac Sim 5.0 y Isaac Lab 2.2: previews con esquemas USD para robots y OmniSensors; extensión PhysX con nuevo modelo de fricción de articulaciones via un schema OpenUSD.
• Ecosistema: Kit SDK 108, SimReady, convertidor MuJoCo-to-USD, USD Exchange SDK 2.0 y previews de Isaac; certificación OpenUSD Development como camino de validación.

Notas de implementación

• Las herramientas OpenUSD son de código abierto y diseñadas para integrarse a pipelines existentes. Los SDKs y convertidores están disponibles en GitHub y PyPi.
• Omniverse Kit SDK 108 ofrece base para construir escenas interactivas con física; SimReady acelera la creación de entornos realistas para sensores.
• El convertidor MuJoCo-USD facilita la migración de datos entre MuJoCo y USD, promoviendo la reutilización y colaboración.
• Los previews de Isaac Sim 5.0 e Isaac Lab 2.2 presentan esquemas USD normalizados para robots y OmniSensors, acercando la simulación a comportamientos del mundo real.
• La adopción por grandes empresas ilustra la viabilidad de flujos de trabajo de IA física basados en simulación.

Conclusiones clave

• OpenUSD se presenta como pilar para flujos de IA física con simulaciones basadas en USD y física integrada.
• La interoperabilidad MuJoCo-USD facilita la colaboración entre investigación y empresa con pipelines unificados.
• SimReady y NuRec elevan la fidelidad de simulación para percepción y control, acelerando ciclos de desarrollo.
• Isaac Sim 5.0/Isaac Lab 2.2 estandarizan esquemas USD para robots y OmniSensors, con mejoras en la física.
• Un ecosistema en expansión con socios industriales ofrece una ruta pragmática para desplegar proyectos robóticos basados en simulación.

Referencias

• https://developer.nvidia.com/blog/developers-build-fast-and-reliable-robot-simulations-with-nvidia-omniverse-libraries