Rendre Instantanément des Scènes du Monde Réel en Simulation Interactive avec Omniverse NuRec et 3DGUT

TL;DR

• Omniverse NuRec associé à 3DGUT permet la reconstruction photoréaliste en 3D à partir de données de capteurs pour une simulation interactive en temps réel.
• Les scènes reconstruites peuvent être chargées directement dans Isaac Sim ou CARLA pour le développement de robots et de véhicules autonomes.
• Le flux exploite COLMAP SfM/MVS pour la reconstruction et exporte en USD, s’intégrant à l’écosystème de simulation NVIDIA.
• Les scènes reconstruites sont également disponibles sur le NVIDIA Physical AI Dataset pour une importation rapide et l’expérimentation.
• Cosmos Transfer offre une génération vidéo contrôlable pour synthétiser des environnements et conditions variés pour des tests robustes.

Contexte et arrière-plan

Transformer des environnements du monde réel en simulation interactive a historiquement demandé des jours, voire des semaines. NVIDIA propose une approche qui combine reconstruction neuronale et rendu gaussien pour accélérer ce processus. Les bibliothèques Omniverse NuRec, associées à 3DGUT (3D Gaussian with Unscented Transforms), permettent une reconstruction rapide à partir de données de capteurs et une déploiement rapide dans des simulateurs tels qu’Isaac Sim et CARLA. Cette approche soutient l’entraînement efficace de robots dans des environnements réalistes et améliore le transfert sim-to-real en accélérant le chemin de la capture de données vers des environnements photoréalistes et interactifs. La méthode privilégie la reproductibilité et la compatibilité inter‑environnements. En utilisant COLMAP pour générer une nuage de points épars et des paramètres de caméra, la reconstruction devient plus robuste face à des conditions d’éclairage difficiles et à des distorsions de caméra. Les actifs USD résultants s’intègrent sans effort à Isaac Sim pour faciliter les tests et l’interaction dans la scène. Pour le développement de véhicules autonomes, les bibliothèques NuRec s’intègrent au simulateur CARLA en open source, permettant de rejouer des scénarios reconstruits et de capturer des données dans un environnement AV contrôlable. Cette combinaison permet des tests de scénarios riches sans recréer manuellement les environnements. La stratégie s’étend également à Cosmos Transfer, qui permet de générer des vidéos photoréalistes sous diverses conditions. Cette capacité accélère la validation des modules de perception et de planification avec des données synthétiques.

Nouveautés

L’article présente une recette cohérente pour convertir des données du monde réel en actifs de simulation utilisables immédiatement. Principales nouveautés :

• Pipeline NuRec et 3DGUT qui transforme les données de capteurs en une scène 3D photoréaliste exportable en USD, prête pour Isaac Sim et CARLA.
• Flux de travail de bout en bout : capture, reconstruction COLMAP, entraînement de 3DGUT avec le fichier de configuration apps/colmap_3dgut_mcmc.yaml et exportation en USD.
• L’actif USD peut être chargé dans Isaac Sim via File > Import ou en glissant le USD dans la scène.
• Les scènes reconstruites sont disponibles sur le NVIDIA Physical AI Dataset pour une expérimentation rapide.
• Intégration avec CARLA pour le développement AV, permettant la répétition de scénarios NuRec et la collecte de données dans un simulateur AV contrôlable.
• Cosmos Transfer offre une génération de vidéos photoréalistes contrôlable ; Transfer-1 réduit les étapes de diffusion et peut générer des vidéos en moins de 30 secondes; Transfer-2 est en développement.

Pourquoi c’est important (impact pour les développeurs/entreprises)

Cette approche réduit considérablement le temps et l’expertise nécessaires pour générer des environnements de simulation fidèles à partir de scènes réelles. Pour les chercheurs et les développeurs, cela accélère l’itération du transfert sim-to-real, les tests de perception et de planification, et la validation de politiques de contrôle dans des contextes qui reflètent l’éclairage réel, les textures et les distorsions de caméra. La capacité d’importer des actifs USD directement dans Isaac Sim et de rejouer des trajets réels dans CARLA avec des scènes NuRec offre une voie pratique et scalable pour produire des jeux de données de test plus riches et une validation robuste sans recréer les environnements manuellement. Sur le plan du flux de travail, l’intégration avec le NVIDIA NVIDIA Physical AI Dataset et l’option de synthétiser des conditions supplémentaires via Cosmos Transfer réduisent les collectes manuelles et permettent une couverture rapide de scénarios extrêmes, supportant une validation plus rigoureuse des modules de perception et de planification. Cette chaîne d’outils renforce à la fois la recherche et le développement industriel en livrant un processus reproductible depuis la capture jusqu’à la simulation photoréaliste interactive.

Détails techniques ou Implémentation

Le flux privilégie une suite claire et répétable de la capture à la simulation interactive. Étapes essentielles :

• Capture d’environ 100 photos sous différents angles avec une bonne illumination et une superposition suffisante pour faciliter l’appariement de caractéristiques. Exemples de réglages : f/8, 1/100 s ou plus rapide, longueur focale autour de 18 mm.
• Générez un nuage de points épars et les paramètres de caméra avec COLMAP, un pipeline Structure-from-Motion et Multi-View Stereo largement éprouvé. Cela peut s’effectuer via l’interface graphique pour une reconstruction automatique ou via des commandes pour l’extraction des caractéristiques et la reconstruction esparse.
• Pour la compatibilité avec 3DGUT, choisissez le modèle de caméra pinhole ou pinhole simple. Utilisez les sorties COLMAP pour former avec 3DGUT et le fichier de configuration apps/colmap_3dgut_mcmc.yaml.
• Une fois l’entraînement terminé, exportez la scène reconstruite au format USD. Cet actif peut être chargé dans Isaac Sim via File > Import ou en faisant glisser le USD dans la scène.
• Dans Isaac Sim, il est possible de créer un plancher pour tester la mobilité et l’interaction.
• Les scènes reconstruites sont également disponibles sur le NVIDIA Physical AI Dataset, facilitant l’importation rapide et l’expérimentation.
• Pour le développement AV, les bibliothèques NuRec peuvent être intégrées à CARLA pour rejouer des scénarios reconstruits et capturer des données supplémentaires dans un environnement AV contrôlable.
• Pour améliorer davantage les scènes reconstruites, Cosmos Transfer permet une génération de vidéo photoréaliste contrôlable. Cosmos Transfer-1 réduit d’environ 70 les étapes de diffusion et peut produire des vidéos photoréalistes en moins de 30 secondes. Cosmos Transfer-2 est en développement pour accélérer encore la génération de données synthétiques pour AV. Ces étapes mettent en valeur la force de COLMAP pour une reconstruction fondée sur Structure-from-Motion et les complètent par les capacités avancées de rendu 3DGUT afin de traiter des scènes réelles complexes, y compris des conditions d’éclairage difficiles et des distorsions de caméra. Les actifs USD qui en résultent sont conçus pour s’intégrer aux écosystèmes de simulation de NVIDIA, permettant des flux de tests évolutifs pour la robotique et les systèmes de véhicules autonomes.

Remarques de mise en œuvre et flux recommandé

• Utilisez le modèle de caméra pinhole pour aligner COLMAP et l’entraînement 3DGUT.
• Maintenez une bonne superposition et illumination lors de la capture pour améliorer la correspondance des caractéristiques et la fidélité de la reconstruction.
• Utilisez le NVIDIA Physical AI Dataset pour démarrer rapidement les expériences et accélérer l’itération.
• En étendant à des scénarios AV, explorez l’intégration à CARLA pour rejouer des scénarios reconstruits et capturer davantage de données dans un environnement contrôlable.

Points clés

• NuRec et 3DGUT permettent une reconstruction instantanée de scènes photoréalistes à partir de données de capteurs pour une simulation interactive.
• Le flux produit des actifs USD pouvant être chargés directement dans Isaac Sim ou CARLA, simplifiant les pipelines de test et d’entraînement.
• Le NVIDIA Physical AI Dataset offre des scènes prêtes à l’emploi pour accélérer l’expérimentation et le benchmarking.
• Cosmos Transfer ajoute une génération vidéo synthétique contrôlable, améliorant la validation des modules de perception et de planification.
• Cette approche favorise une transfert sim-real plus rapide et fiable pour la robotique et le développement de véhicules autonomes.

Références

• Publication de NVIDIA : How to Instantly Render Real-World Scenes in Interactive Simulation