Desenvolvedores constroem Simulações de Robôs Rápidas e Confiáveis com as Bibliotecas NVIDIA Omniverse

TL;DR

• A NVIDIA anunciou atualizações nas bibliotecas Omniverse e nos Cosmos world foundation models (WFMs) no SIGGRAPH, alimentados pelo OpenUSD, fornecendo novas bibliotecas, modelos e ferramentas de desenvolvimento para ambientes virtuais fisicamente precisos e agentes de IA que entendem o mundo real. Fonte
• OpenUSD Exchange SDK 2.0 traz authoring UsdPhysics e uma estrutura de ativos em camadas, facilitando a integração direta de física em modelos de robôs e acelerando fluxos de trabalho 3D. O SDK é de código aberto e está disponível no GitHub e PyPi.
• Biblioteca de materiais SimReady oferece milhares de materiais substrato criados em USD com recursos MaterialX/OpenPBR para simulação de sensores realistas e interações físicas, em ambientes como o Isaac Sim.
• Interoperabilidade MuJoCo com USD é expandida por meio de um conversor mujoco-usd e das schemas experimentais da Google DeepMind para importação de USD no MuJoCo, viabilizando pipelines de dados entre formatos e, em breve, exportação de animação.
• Renderização NuRec combina traçado de raios RTX com suavização gaussiana 3D para reconstruções de cenas com alta fidelidade no OpenUSD, com integração no Omniverse Kit SDK, Isaac Sim e CARLA.
• Isaac Sim 5.0 (prévia para desenvolvedores) e Isaac Lab 2.2 avançam no ecossistema de simulação de robôs de código aberto, incluindo esquemas OpenUSD de robôs e OmniSensor e um modelo de atrito do PhysX definido por OpenUSD. Empresas líderes já estão adotando as bibliotecas para acelerar o desenvolvimento de robótica com IA.
• Comece já com as bibliotecas e ferramentas mais recentes do NVIDIA Omniverse, incluindo NuRec, Omniverse Kit SDK 108, biblioteca de materiais SimReady, conversor NVIDIA MuJoCo-para-USD (pré-lançamento no GitHub/PyPi), USD Exchange SDK 2.0 e prévias de Isaac Sim 5.0 e Isaac Lab 2.2.
• Certificação de desenvolvimento OpenUSD: exame profissional reconhecido para validar habilidades em construir, manter e otimizar pipelines de conteúdo 3D usando OpenUSD.

Contexto e antecedentes

A NVIDIA destacou atualizações abrangentes do ecossistema Omniverse no SIGGRAPH, ressaltando o OpenUSD como tecnologia fundamental para fluxos de trabalho de IA física. Isso permite que desenvolvedores tragam dados 3D complexos para simulações detalhadas e acelerem o desenvolvimento de robótica, veículos autônomos e sistemas industriais. O foco está em unir realismo visual com comportamento baseado em física para treinar agentes de IA que possam entender e interagir com o mundo real. O OpenUSD Exchange SDK 2.0 é central nesses esforços, adicionando módulos e uma estrutura de ativos mais flexível para facilitar pipelines de dados desde a criação até a implantação. Cobertura oficial da NVIDIA sobre o SIGGRAPH OpenUSD funciona como ponte entre criação de conteúdo, simulação física e tomada de decisão baseada em IA. Em contextos de IA física, ir além da renderização de geometrias é essencial: materiais precisam estar prontos para simulação para suportar simulação precisa de sensores e interações físicas realistas. Para atender a isso, a NVIDIA lançou a SimReady materials library e reforçou a interoperabilidade com MuJoCo por meio de formatos USD, refletindo a ênfase em fluxos de trabalho de dados entre plataformas com fidelidade do começo ao fim. Essa atualização do ecossistema também sinaliza colaboração contínua com parceiros do ecossistema e clientes que dependem de Omniverse, Isaac Sim e ferramentas associadas para prototipar, testar e implantar sistemas robóticos com mais rapidez e confiabilidade. O objetivo é reduzir ciclos de iteração, ao mesmo tempo em que se melhora o realismo e a robustez no teste virtual e na aplicação no mundo real.

O que há de novo

As atualizações cobrem diversos componentes para melhorar fidelidade física, interoperabilidade de dados e fluxos de robótica de ponta a ponta. Destaques:

• OpenUSD Exchange SDK 2.0: recursos de authoring UsdPhysics e estrutura de ativos em camadas, permitindo a integração direta de física em ativos USD. O SDK é código aberto e disponível no GitHub e PyPi.
• SimReady: biblioteca de materiais com milhares de substratos criados em USD, com recursos MaterialX/OpenPBR, suportando renderização visual e não visual, útil para simulação de sensores em Isaac Sim.
• MuJoCo e USD: conversor mujoco-usd que facilita a conversão de MJCF para USD usando o OpenUSD Exchange SDK 2.0 e as schemas MjcPhysics. Importação experimental para USD com as novas schemas e um plugin SdfFileFormat, com exportação de animação prevista.
• NuRec: renderização que combina traçado de raios RTX com reconstrução de cenas via Gaussian Splatting, integrada ao Omniverse Kit SDK, Isaac Sim e CARLA.
• Isaac Sim 5.0 e Isaac Lab 2.2: prévias com esquemas OpenUSD para robôs e OmniSensor, além de uma extensão PhysX com modelo de atrito definido por OpenUSD. Adoção por várias empresas reforça o avanço dos fluxos de trabalho abertos.
• Acesso e previews: disponibilidade de prévias de desenvolvimento de Isaac Sim 5.0 e Isaac Lab 2.2, além de versões iniciais de NuRec, MuJoCo-USD e USD Exchange SDK 2.0.
• Certificação OpenUSD: programa de certificação para validar competências em pipelines 3D com OpenUSD.

Por que isso importa (impacto para desenvolvedores/empresas)

As atualizações ampliam a capacidade de desenvolvedores criarem ambientes virtuais com físicas mais confiáveis e dados interoperáveis, reduzindo atritos entre equipes de modelagem, simulação e IA. A combinação de UsdPhysics, materiais SimReady e compatibilidade MuJoCo/USD facilita cenários de teste mais próximos do mundo real, melhorando a qualidade de políticas de IA, transfer learning e simulação de sensores. Para empresas, isso se traduz em ciclos de desenvolvimento mais curtos, verificação mais sólida de robôs em ambientes virtuais e menor risco na implantação. A presença de NuRec reforça a qualidade das reconstruções de mundo a partir de dados reais, enriquecendo modelos de percepção e integração com robôs autônomos. Com clientes adotando as bibliotecas, o ecossistema demonstra um caminho claro de evolução para pipelines de simulação física e IA.

Detalhes técnicos ou Implementação

• OpenUSD Exchange SDK 2.0: núcleo para incorporar física em fluxos USD. UsdPhysics permite autoria física dentro de ativos USD, enquanto a estrutura em camadas oferece flexibilidade na composição de ativos sem duplicar dados. O SDK é código aberto e disponível no GitHub e PyPi.
• SimReady: biblioteca de materiais com milhares de substratos criados em USD, suportando MaterialX/OpenPBR, para simulações com sensor e interações físicas realistas em Isaac Sim.
• MuJoCo e USD: o conversor mujoco-usd converte MJCF para USD usando o OpenUSD Exchange SDK 2.0 e schemas MjcPhysics. Há importação experimental para USD com as novas schemas e um plugin SdfFileFormat, com exportação de animação planejada.
• NuRec: renderização que combina traçado de raios RTX com Gaussian Splatting para reconstruções de mundo de alta fidelidade dentro de pipelines USD. Integrado ao Omniverse Kit SDK, Isaac Sim e CARLA.
• Isaac Sim 5.0 e Isaac Lab 2.2: prévias com esquemas abertos para robôs e OmniSensor, definindo robôs e sensores em USD. A extensão PhysX adiciona um modelo de atrito via esquema OpenUSD, aproximando movimentos simulados do comportamento do mundo real. Adoption por organizações relevantes reforça a maturidade dessas ferramentas.
• Disponibilidade e prévias: as atualizações incluem prévias de Isaac Sim 5.0 e Isaac Lab 2.2, além de NuRec, MuJoCo-USD e USD Exchange SDK 2.0, disponíveis para desenvolvedores por meio do ecossistema Omniverse.
• Certificação OpenUSD: oferece um caminho profissional para comprovar habilidades de construção, manutenção e otimização de pipelines 3D com OpenUSD.

Principais aprendizados

• OpenUSD continua sendo a espinha dorsal de fluxos de trabalho físicos para robótica, IA e automação industrial.
• OpenUSD Exchange SDK 2.0 aproxima a física da prática de pipeline, com UsdPhysics e estrutura de ativos em camadas.
• Interoperabilidade MuJoCo/USD facilita transferência de dados entre formatos, acelerando ciclos de desenvolvimento.
• Materiais SimReady elevam o realismo de simulações com sensores sem sacrificar desempenho.
• NuRec permite reconstruções de mundo de alta fidelidade em pipelines USD em grande escala.
• Esquemas OpenUSD para robôs e melhorias no PhysX ajudam a alinhar simulação com comportamento real.
• Adoção por líderes da indústria sinaliza uma mudança de ecossistema em direção a pipelines de simulação física mais unificados.
• A certificação OpenUSD oferece certificação formal para profissionais de pipelines 3D com OpenUSD.

Referências

• NVIDIA anuncia atualizações das Omniverse Libraries e Cosmos WFMs no SIGGRAPH: https://developer.nvidia.com/blog/developers-build-fast-and-reliable-robot-simulations-with-nvidia-omniverse-libraries