Skip to content
Cómo renderizar instantáneamente escenas del mundo real en simulación interactiva
Source: developer.nvidia.com

Cómo renderizar instantáneamente escenas del mundo real en simulación interactiva

Nvidia

Sources: https://developer.nvidia.com/blog/how-to-instantly-render-real-world-scenes-in-interactive-simulation, developer.nvidia.com

Share on X Share on LinkedIn

TL;DR

  • NVIDIA Omniverse NuRec y 3DGUT permiten reconstruir escenas 3D fotorrealistas a partir de datos de sensores reales y desplegarlas en Isaac Sim o CARLA, al instante. NVIDIA Blog
  • El flujo de trabajo combina captura de datos, reconstrucción neuronal y exportación a USD para integrarse con el ecosistema Isaac Sim o el simulador AV CARLA. NVIDIA Blog
  • Para el desarrollo de vehículos autónomos, las bibliotecas NuRec se integran con CARLA, permitiendo reproducir recorridos reales en una simulación controlable y capturar datos dentro de la simulación para pruebas. NVIDIA Blog
  • Cosmos Transfer añade síntesis de video fotorrealista y controlable, con diversidad de entornos y condiciones de iluminación; Cosmos Transfer-1 reduce las etapas de difusión y puede generar video fotorrealista en menos de 30 segundos; Cosmos Transfer-2 se anunciará para acelerar aún más la SDG. NVIDIA Blog
  • El enfoque utiliza COLMAP para SfM/MVS seguido del renderizado gaussiano 3DGUT, capaz de manejar condiciones de iluminación desafiantes y distorsiones de cámara. NVIDIA Blog

Contexto y antecedentes

Convertir entornos reales en simulaciones interactivas solía requerir días o semanas de trabajo. NVIDIA propone una combinación de reconstrucción neuronal y renderizado gaussiano para optimizar el camino desde la captura hasta entornos interactivos fotorrealistas. Usando Omniverse NuRec junto con 3DGUT, investigadores e ingenieros pueden reconstruir escenas a partir de datos de sensores y desplegarlas en simuladores como Isaac Sim y CARLA. Este flujo facilita iteraciones rápidas en robótica y desarrollo de vehículos autónomos, mejorando la transferencia sim-to-real y permitiendo pruebas más realistas. La reconstrucción basada en 3D Gaussians y COLMAP ofrece una base geométrica sólida que 3DGUT puede renderizar con fidelidad. El NVIDIA Physical AI Dataset también aloja escenas reconstruidas para experimentación rápida. NVIDIA Blog

Qué hay de nuevo

El artículo presenta un flujo de reconstrucción neural simplificado que conecta salidas de COLMAP con el entrenamiento de 3DGUT, dando como resultado activos USD que se integran directamente con Isaac Sim o CARLA. El proceso se describe como una receta de extremo a extremo: capturar datos del mundo real, entrenar la reconstrucción y cargar el USD en el simulador. También se destaca una integración experimental que permite reproducir recorridos del mundo real en CARLA usando NuRec, con la capacidad de capturar nuevos datos dentro de la simulación para pruebas adicionales. Además, Cosmos Transfer se presenta como un modelo multi-controlnet que permite síntesis de video fotorrealista y diversa, con control preciso de iluminación, clima y escenarios. Cosmos Transfer-1 reduce las etapas de difusión a menos de 30 segundos, y Cosmos Transfer-2 se espera acelerar aún más la generación de datos sintéticos. NVIDIA Blog

Por qué importa (impacto para desarrolladores/empresas)

  • Ciclos de desarrollo más rápidos: la reconstrucción neuronal con NuRec y el renderizado gaussiano aceleran el tránsito de la captura a activos de simulación, permitiendo validar software de robótica y AV con mayor celeridad. NVIDIA Blog
  • Entornos ricos y fotorrealistas: el enfoque de renderizado 3DGUT maneja condiciones de iluminación complejas y distorsiones de cámara, mejorando el realismo de datos sintéticos y pruebas. NVIDIA Blog
  • Implementación flexible: los activos USD generados a partir de reconstrucciones reales pueden cargarse en Isaac Sim o reproducirse en CARLA, facilitando pruebas entre plataformas. NVIDIA Blog
  • Aplicaciones AV y robótica ampliadas: la integración con CARLA y el NVIDIA Physical AI Dataset reducen las barreras para la experimentación en contextos realistas. NVIDIA Blog
  • Herramientas avanzadas de datos sintéticos: Cosmos Transfer ofrece control preciso sobre entornos, iluminación y clima, ayudando a validar la robustez de las aplicaciones. NVIDIA Blog

Detalles técnicos o Implementación

La cadena central combina captura de datos, reconstrucción neuronal y exportación a USD para entregar activos listos para entornos de simulación. Los pasos esenciales se describen a continuación, siguiendo la guía de NVIDIA. El flujo integra COLMAP, entrenamiento 3DGUT y exportación USD, luego la carga de activos en Isaac Sim o CARLA. También se menciona una integración experimental con CARLA para desarrollo de AV. NVIDIA Blog

Flujo paso a paso (resumen)

  • Captura aproximadamente 100 fotos desde todos los ángulos con buena iluminación y superposición para facilitar la coincidencia de características. Configuraciones de ejemplo: f/8, 1/100s o más rápido, 18 mm (o equivalente). Estas fotos alimentan el motor de reconstrucción. NVIDIA Blog
  • Generar una nube de puntos dispersa y los parámetros de la cámara usando COLMAP, un pipeline SfM/MVS general. COLMAP puede ejecutarse vía GUI con reconstrucción automática o mediante comandos para extracción de características, coincidencia de características y reconstrucción dispersa. Para compatibilidad con 3DGUT, elige el modelo de cámara pinhole o pinhole simple. NVIDIA Blog
  • Usar los outputs de COLMAP para entrenar con 3DGUT utilizando el archivo de configuración apps/colmap_3dgut_mcmc.yaml. Esta etapa de entrenamiento es el núcleo de la reconstrucción neuronal que alimenta el pipeline de render gaussiano. NVIDIA Blog
  • Tras completar el entrenamiento, exportar la escena reconstruida como un archivo USD usando las banderas esenciales. Este activo USD puede integrarse con el ecosistema de simulación Isaac Sim. Un tutorial proporciona un script de ejemplo que se puede ejecutar desde Script Editor o como Aplicación Independiente para crear el activo USD. NVIDIA Blog
  • Cargar el activo USD en Isaac Sim mediante File > Import o arrastrando y soltando el archivo USD desde el content browser. Una vez cargado, se puede crear un plano de suelo dentro de Isaac Sim para la simulación de movilidad. NVIDIA Blog
  • Las escenas reconstruidas también están disponibles en el NVIDIA NVIDIA Physical AI Dataset para importación rápida y experimentación inmediata, facilitando pruebas. NVIDIA Blog
  • Para desarrollo de AV, las bibliotecas Omniverse NuRec se integran con el simulador abierto CARLA. Esta es una funcionalidad experimental que funciona con escenas de muestra ya reconstruidas disponibles en el NVIDIA Physical AI Dataset. Seleccione una escena del conjunto de datos, luego navegue al directorio CARLA y ejecute el script para reproducir el escenario NuRec. También se puede capturar datos dentro de la simulación para pruebas adicionales. NVIDIA Blog
  • Más allá de la reconstrucción, Cosmos Transfer ofrece generación de video sintético controlable para diversificar entornos, iluminación y clima. Permite editar objetos dinámicamente mediante segmentación, mapas de profundidad, HD maps y más, facilitando la creación de conjuntos de datos ricos para validación fotorrealista. Cosmos Transfer-1 reduce las etapas de difusión a menos de 70 pasos, permitiendo video fotorrealista en menos de 30 segundos; Cosmos Transfer-2 se acercará para acelerar aún más la SDG. NVIDIA Blog

Notas prácticas de implementación

  • El flujo hace hincapié en la compatibilidad con 3DGUT eligiendo el modelo de cámara pinhole para alinear el entrenamiento con el régimen de renderizado. NVIDIA Blog
  • Exportar a USD es un paso clave, ya que permite una integración fluida con el ecosistema de simulación y facilita la reutilización entre simuladores. NVIDIA Blog
  • El NVIDIA Physical AI Dataset se destaca como una fuente práctica de escenas reconstruidas listas para experimentar, reduciendo el tiempo para comenzar pruebas con nuevos escenarios. NVIDIA Blog
  • La integración CARLA es descrita como una función experimental, lo que indica capacidades en desarrollo y mejoras en el soporte de diversos ecosistemas de simulación AV. NVIDIA Blog
  • Cosmos Transfer ofrece generación de datos sintéticos con control detallado de entorno, iluminación y clima, ayudando a validar la robustez de las aplicaciones. NVIDIA Blog

Puntos clave

  • La reconstrucción neuronal con NuRec y 3DGUT puede acortar el camino desde la captura hasta activos de simulación interactivos. NVIDIA Blog
  • La integración COLMAP + renderizado gaussiano ofrece una base robusta para manejar condiciones reales complejas. NVIDIA Blog
  • Los activos USD pueden cargarse en Isaac Sim o reactivarse en CARLA, facilitando pruebas entre plataformas. NVIDIA Blog
  • Cosmos Transfer expande las capacidades de datos sintéticos con control de entornos y clima, acelerando la validación. NVIDIA Blog
  • El enfoque es práctico para investigación y escalable para flujos de trabajo empresariales en robótica y desarrollo de AV. NVIDIA Blog

FAQ

  • ¿Qué son NuRec y 3DGUT en este flujo de trabajo?

    NuRec es la biblioteca de renderizado gaussiano de Omniverse, y 3DGUT significa 3D Gaussian with Unscented Transforms; juntos reconstruyen escenas 3D fotorrealistas a partir de datos de sensores para usar en simuladores. [NVIDIA Blog](https://developer.nvidia.com/blog/how-to-instantly-render-real-world-scenes-in-interactive-simulation)

  • ¿Cuántas fotos debo capturar para la reconstrucción?

    Aproximadamente 100 fotos desde todos los ángulos con buena iluminación y superposición para facilitar la coincidencia de características. [NVIDIA Blog](https://developer.nvidia.com/blog/how-to-instantly-render-real-world-scenes-in-interactive-simulation)

  • ¿Cómo entrenar la reconstrucción y exportar activos?

    Use COLMAP para generar la nube de puntos dispersa y parámetros de cámara, entrene con 3DGUT usando colmap_3dgut_mcmc.yaml, y luego exporte el resultado a USD para importar en Isaac Sim o CARLA. [NVIDIA Blog](https://developer.nvidia.com/blog/how-to-instantly-render-real-world-scenes-in-interactive-simulation)

  • ¿Qué aporta Cosmos Transfer?

    Cosmos Transfer permite generar video sintético controlable en diversos entornos, iluminación y clima; Cosmos Transfer-1 reduce las etapas de difusión a menos de 30 segundos y Cosmos Transfer-2 se espera para acelerar SDG. [NVIDIA Blog](https://developer.nvidia.com/blog/how-to-instantly-render-real-world-scenes-in-interactive-simulation)

Referencias

More news