Les développeurs construisent des simulations robotiques rapides et fiables avec les bibliothèques NVIDIA Omniverse

TL;DR

• OpenUSD Exchange SDK 2.0 ajoute UsdPhysics et une structure d’actifs en couches pour intégrer directement la physique dans les modèles robotiques.
• Une bibliothèque de matériaux SimReady fournit des milliers de substrats pour l’IA physique, favorisant le réalisme des capteurs et les interactions physiques.
• Un convertisseur MuJoCo–USD (version préliminaire) permet l’interopérabilité entre les données MJCF et USD via les schémas Google DeepMind.
• Le rendu NuRec de NVIDIA allie le traçage de rayons RTX et le Gaussian splatting 3D pour des reconstructions du monde réel en simulations OpenUSD de haute fidélité.
• Isaac Sim 5.0 et Isaac Lab 2.2 en aperçu précoce incluent des schémas de robot et OmniSensor basés sur USD et des extensions PhysX pour des mouvements plus réalistes.

Contexte et arrière‑plan

Lors du SIGGRAPH, NVIDIA a dévoilé des mises à jour des bibliothèques NVIDIA Omniverse et des Cosmos world foundation models (WFMs). Les annonces mettent OpenUSD au cœur des flux de travail d’IA physique, permettant aux développeurs d’intégrer des données 3D détaillées dans des simulations soutenant la robotique, les véhicules autonomes et les systèmes industriels. L’objectif est d’accélérer les cycles de développement, d’améliorer la fidélité des simulations et de faciliter l’interopérabilité des données entre les principaux outils de robotique IA. OpenUSD Exchange SDK 2.0 introduit de nouveaux modules et une structure d’actifs en couches pour faciliter le flux de travail 3D et intégrer la physique directement dans les actifs USD. Le SDK reste open source et est disponible sur GitHub et PyPi, ce qui simplifie l’adoption et la contribution. Parallèlement, NVIDIA présente la bibliothèque de matériaux SimReady, un catalogue open‑source de substrats USD avec des milliers de matériaux, conçus pour l’IA physique. Les matériaux visent à soutenir le réalisme des capteurs et les interactions physiques dans les environnements simulés comme Isaac Sim. NVIDIA souligne également l’interopérabilité avec Google DeepMind pour faciliter l’échange de données entre MuJoCo (MJCF) et USD. Un nouveau mujoco-usd-converter est développé avec l’OpenUSD Exchange SDK 2.0 et les schémas MjcPhysics USD, offrant une conversion MJCF–USD interopérable. Une version préliminaire est disponible sur GitHub et PyPi. De plus, NuRec fusionne le traçage RTX et le splatting gaussien 3D pour reconstruire des scènes réelles dans des simulations OpenUSD à grande échelle et avec une grande efficacité. Le rendu NuRec est intégré au Omniverse Kit SDK, à Isaac Sim et à CARLA, l’un des simulateurs open source les plus utilisés par la communauté. Isaac Sim 5.0 et Isaac Lab 2.2 progressent avec des aperçus précoces qui incluent des schémas basés sur USD pour robots et OmniSensors. L’extension PhysX introduit un nouveau modèle de friction des joints, alignant les mouvements simulés avec le comportement du monde réel. Isaac Sim 5.0 est disponible en préversion sur GitHub. Des leaders industriels comme Amazon Lab126, Boston Dynamics, Figure AI, Haply Robotics, Hexagon, Lightwheel, RAI Institute, Resim.ai et Skild AI adoptent les bibliothèques Isaac et les modèles d’IA pour accélérer le développement en robotique. NVIDIA met également en avant les mises à jour des outils et kits (par exemple Omniverse Kit SDK 108), la bibliothèque SimReady et les préversions Isaac, qui soutiennent des flux de travail plus rapides et plus fiables. Une certification de développement OpenUSD est aussi proposée pour valider des pipelines de contenu 3D.

Ce qui est nouveau

Les annonces de SIGGRAPH présentent des mises à jour et des releases concrètes que les développeurs peuvent adopter dès maintenant ou en aperçus précoces:

• OpenUSD Exchange SDK 2.0: nouveaux modules pour l’authoring UsdPhysics et une structure de données en couches pour intégrer la physique directement dans les actifs USD. Le SDK est open source et disponible sur GitHub et PyPi.
• SimReady materials library: catalogue open source de matériaux substrats en USD, conçu pour l’IA physique et le réalisme des capteurs.
• MuJoCo–USD converter: convertisseur MJCF–USD construit avec le OpenUSD Exchange SDK 2.0 et les schémas MjcPhysics USD; disponible sur GitHub et PyPi.
• DeepMind MuJoCo USD integration: importations USD expérimentales dans MuJoCo via de nouveaux schémas MjcPhysics USD et un SdfFileFormatPlugin; exportation d’animations en couches en développement.
• NuRec rendering: rendu réaliste combinant traçage RTX et Gaussian splatting; intégré dans Omniverse Kit SDK, Isaac Sim et CARLA.
• Isaac Sim 5.0 et Isaac Lab 2.2: aperçus précoces incluent des schémas basés sur USD pour robots et OmniSensors et une extension PhysX avec un modèle de friction de joint.
• Adoption industrielle et écosystème: sondes et partenaires adoptent Isaac et les modèles IA pour accélérer le développement robotiques.
• Outils de soutien et certification: mises à jour des SDKs et bibliothèques (SimReady, MuJoCo‑to‑USD) et aperçus Isaac, avec une certification OpenUSD pour valider les pipelines.

Référence rapide des outils

| Outil / Bibliothèque | But | Disponibilité |---|---|---| | OpenUSD Exchange SDK 2.0 | Auteur UsdPhysics et structure en couches | GitHub, PyPi |SimReady materials library | Matériaux substrats prêts pour IA Physique | Open source / Omniverse workflows |MuJoCo–USD converter | Conversion MJCF vers USD | GitHub, PyPi |MuJoCo USD Schemas (Google DeepMind) | Importation USD dans MuJoCo | Doc DeepMind / GitHub |NuRec | Rendu RTX + Gaussian splatting | Intégré à Omniverse et Isaac |Isaac Sim 5.0 et Isaac Lab 2.2 | Schémas USD pour robots et OmniSensors | GitHub (aperçus) |Extensión PhysX | Nouveau modèle de friction des articulations | Omniverse/PhysX |Omniverse Kit SDK 108 | Outils principaux de développement | Inclus dans les releases Omniverse |OpenUSD Development certification | Validation professionnelle | Programme OpenUSD |

Pourquoi cela compte (impact pour les développeurs/entreprises)

Les mises à jour renforcent OpenUSD comme colonne vertébrale des flux de travail IA physique modernes. En intégrant la physique directement dans USD via le SDK Exchange 2.0 et des schémas robotiques et OmniSensor standardisés, les développeurs peuvent créer des simulations plus fidèles avec moins de travail de préparation. Les matériaux SimReady assurent que le réalisme visuel se traduise par un réalisme physique pour des simulations de capteurs essentielles à la robotique et aux systèmes autonomes. L’interopérabilité avec MuJoCo via le convertisseur ouvre des sources de données supplémentaires dans les pipelines USD, réduisant le friction lors de la migration entre outils. Les schémas DeepMind et l’import USD dans MuJoCo permettent des flux de travail plus cohérents et facilitent l’alignement des données pour l’entraînement et la simulation. NuRec offre un chemin pour des reconstructions fidèles des environnements réels, utiles pour l’entraînement et la validation de systèmes robotiques dans des environnements virtuels. L’écosystème Isaac, les schémas USD et les améliorations de PhysX participent à aligner les comportements simulés sur le monde réel, ce qui est crucial pour la sécurité et la fiabilité. Pour les entreprises, ces avancées peuvent réduire le temps de développement, augmenter la fidélité des modèles et améliorer la fiabilité des robots en production, tout en facilitant des pipelines de données plus transparents et auditées. L’ensemble open source et les programmes de certification favorisent la collaboration entre fournisseurs, chercheurs et clients finaux.

Détails techniques ou Mise en œuvre

Les composants fournissent des interfaces concrètes pour construire, tester et déployer des simulations robotiques à grande échelle:

• OpenUSD Exchange SDK 2.0
• Modules UsdPhysics pour authoring et une structure en couches pour lier la physique directement aux actifs USD.
• Structure d’actifs en couches pour organiser les actifs et leurs propriétés physiques à grande échelle.
• Disponible en open source sur GitHub et PyPi pour faciliter l’adoption et la contribution.
• SimReady materials library
• Catalogue de matériaux substrats en USD conçu pour l’IA Physique et les applications de capteurs.
• Matériaux compatibles avec le rendu visuel et la physique pour améliorer le réalisme en simulation.
• MuJoCo–USD converter
• Convertit les données MJCF en USD en utilisant les schémas MjcPhysics USD avec un CLI et de la documentation.
• DeepMind MuJoCo USD integration
• Import USD dans MuJoCo avec les schémas MjcPhysics USD et un plugin SdfFileFormatPlugin; exportation d’animations en couches en développement.
• Rendering NuRec
• Rendu réaliste via RTX et Gaussian splatting, intégration avec Omniverse Kit SDK, Isaac Sim et CARLA.
• Isaac Sim 5.0 et Isaac Lab 2.2
• Pré‑versions avec schémas USD pour robots et OmniSensors; extension PhysX pour le modèle de friction des joints.

Points clés

• OpenUSD est devenu la base pour les flux de travail IA physique, intégrant physique, matériaux et données 3D dans une plateforme unique.
• Les développeurs disposent de nouvelles outils et d’options d’interopérabilité pour accélérer leurs pipelines de simulation robotique.
• L’écosystème Isaac progresse avec des schémas basés sur USD et des améliorations physiques pour mieux refléter le comportement réel.
• Les reconstructions et rendus de haute fidélité facilitent la formation et la validation des systèmes robotiques dans des environnements virtuels.
• L’adoption par des partenaires industriels et les programmes de certification soutiennent une adoption plus large et une validation professionnelle.

References

• https://developer.nvidia.com/blog/developers-build-fast-and-reliable-robot-simulations-with-nVIDIA-omniverse-libraries