Lightwheel Acelera o Desenvolvimento de IA Física com os Modelos Base de Simulação da NVIDIA

Para superar esses desafios, a Lightwheel desenvolveu a Plataforma de Simulação Lightwheel, uma solução abrangente criada com o NVIDIA Omniverse, o Isaac Sim e o Isaac Lab, que aborda o desenvolvimento de IA incorporada por meio de três componentes principais.

Ativos SimReady da Lightwheel e Base de Simulação 

Os ativos SimReady da Lightwheel são projetados para física real, projetados com geometria precisa e propriedades físicas validadas. Esses ativos permitem que os usuários montem rapidamente gêmeos digitais precisos, acelerando os workflows para a coleta de dados de teleoperação e aprendizagem por reforço. Com suporte integrado para o formato Universal Scene Description (USD) e o MJCF, as equipes podem integrar perfeitamente ativos ao Omniverse e ao Isaac Sim, desbloqueando ambientes de simulação robustos e interoperáveis.

Aproveitando o OpenUSD, a Lightwheel cria simulações de alta qualidade e fisicamente precisas para impulsionar a IA física moderna em escala. A Lightwheel usa o NVIDIA USD Search para simplificar a descoberta de ativos, facilitando a localização dos ativos SimReady adequados para cada tarefa de simulação e permitindo a montagem de cenas em poucos minutos. Essa flexibilidade permite que as equipes acelerem o desenvolvimento em seu ambiente de simulação preferido. Essa biblioteca de ativos está apoiada pelo framework de simulação da Lightwheel, que integra perfeitamente o Isaac Sim.

Teleoperação Avançada e Geração de Dados

A Lightwheel permite a coleta de dados de teleoperação de alta qualidade por meio de headsets de VR (Apple Vision Pro, Meta Quest), Space Mouse e soluções de exoesqueleto com garantia robusta de qualidade. A plataforma combina o MimicGen e o DexMimicGen com os ativos, ambientes e Isaac Sim SimReady da Lightwheel para generalizar dados de simulação teleoperados, ampliando o valor dos dados sintéticos em 100 a 1000 vezes.

Para gerar esse conjunto de dados de treinamento diversificado, os operadores controlam os robôs humanoides Unitree H1 simulados por meio de tarefas industriais complexas, incluindo a manipulação de componentes cilíndricos com o Dex Hand e a coordenação de dois braços para levantar bandejas pesadas em ambientes automotivos.

GR00T N1.5 Integração e Garantia de Qualidade

Com o modelo baseGR00T N1.5 de linguagem visual-action (VLA), a Lightwheel ajustou o modelo usando dados sintéticos gerados por simulação de seus ambientes SimReady. Esses dados incluíam imagens RGB, estados conjuntos, descrições de tarefas geradas pelo GPT e metadados de cena. Esse processo robusto de treinamento resultou em um desempenho impressionante no downstream, validando a eficácia de pipelines baseados em simulação para IA incorporada.

A Plataforma de Simulação Lightwheel aplica uma rigorosa garantia de qualidade em duas fases: validação automatizada para realismo visual e integridade de anotações, seguida de revisão manual para comportamento realista sob restrições físicas.

Para a implantação automotiva da Geely, a equipe adaptou o GR00T N1.5 à morfologia específica do robô Unitree H1, personalizando o planejador de linguagem de visão com prompts otimizados de fábrica. Usando técnicas de aumento de dados Isaac Sim e DexMimicGen, eles expandiram a diversidade de treinamentos em várias condições de iluminação, materiais e posicionamentos de objetos, permitindo um desempenho confiável em condições dinâmicas de fábricas.

Durante a prototipagem, o sistema é executado em GPUs NVIDIA GeForce RTX™ 4090, fornecendo capacidade computacional para adaptação de incorporações e otimização de tarefas antes da implantação.

A plataforma de simulação da Lightwheel com tecnologia NVIDIA oferece melhorias transformadoras na velocidade de desenvolvimento, sucesso da implantação e desempenho em situações reais, estabelecendo novos benchmarks para o desenvolvimento de IA incorporada em aplicações industriais.

Desenvolvimento e Eficiência de Custo Acelerados

A abordagem com foco em simulação reduziu os ciclos de desenvolvimento de meses para semanas, permitindo a rápida iteração em ambientes virtuais. A proporção de dados simulados para reais de 100:1 eliminou a dispendiosa coleta de dados reais, mantendo a precisão física necessária para a transferência confiável de simulações para reais, gerando dados sintéticos escaláveis e de alta qualidade com intervenção manual mínima.

Implantação Industrial em Situações Reais

A Lightwheel implantou com sucesso os modelos base GR00T N1.5 em robôs humanoides Unitree H1 na fábrica automotiva de operação contínua da Geely. Os robôs realizam de forma autônoma o transporte de componentes entre workstations, o posicionamento preciso de peças em bandejas de inspeção e a manipulação coordenada de dois braços para componentes pesados, mantendo o equilíbrio em ambientes dinâmicos com trabalhadores humanos. Essas implantações demonstram um progresso significativo em direção à autonomia robusta e de nível de fábrica, capaz de ser escalada em diversos workflows.

Impacto em Vários Setores e Desenvolvimento Futuro

Os principais parceiros de tecnologia, como Google DeepMind, Figure, AgiBot, ByteDance, Geely e BYD, aproveitam os ativos e os conjuntos de dados sintéticos da Plataforma de Simulação Lightwheel para melhorar o desempenho da IA incorporada em aplicações de robótica e automação. A integração da plataforma com o ecossistema mais amplo da NVIDIA completa a cadeia de serviços de ponta a ponta para geração de dados sintéticos e abre novos fluxos de receita do setor de robótica.

O desenvolvimento em andamento se concentra na expansão dos recursos da plataforma para modelagem de objetos deformáveis, na criação de SimReady Assets para tarefas de uso geral e na escalabilidade de pipelines de geração de dados com o GR00T N1.5 como demonstrador semiautônomo para demonstrações iniciais de tarefas em escala.