Simulação de Robótica

Robôs e frotas de robôs de IA física devem detectar, planejar e agir de forma autônoma para executar tarefas complexas do mundo real, como deslocar-se por instalações movimentadas e lidar com objetos com segurança em condições de mudança.

Uma abordagem baseada em sim ajuda as equipes a alcançar essa autonomia mais rapidamente. Com a simulação de robôs, os desenvolvedores podem treinar, testar e validar o comportamento dos robôs em gêmeos digitais fisicamente precisos, isso pode incluir representações digitais de armazéns e fábricas, usando aprendizagem de robôs e cenários de teste repetíveis antes da implantação. A mesma abordagem escala para frotas de vários robôs, para que possam entender e interagir com instalações industriais com base em dados de produção em tempo real, entradas de sensores e raciocínio.

A simulação fornece um ambiente virtual seguro e consistente, onde os modelos fundamentais e de políticas robóticas podem praticar tarefas, aprender com o feedback e melhorar seu comportamento antes de serem executados no mundo real. Os ambientes de treinamento realistas podem ser reconstruídos e renderizados no NVIDIA Isaac Sim™ usando as bibliotecas NVIDIA Omniverse™ NuRec e aumentados com geração de dados sintéticos(SDG). Esses dados podem ser texto, imagens 2D ou 3D no espectro visual e não visual, e até mesmo dados de movimento ou trajetórias que podem ser usados em conjunto com dados reais para treinar modelos de IA física multimodal. 

A randomização de domínios é um passo fundamental no workflow de SDG, no qual muitos parâmetros em uma cena podem ser alterados para gerar um conjunto de dados diversificado. Isso pode incluir tudo, desde a localização até a cor, texturas e iluminação dos objetos. Com o Physical AI Data Factory, os desenvolvedores podem aumentar e avaliar ainda mais os dados de treinamento em escala usando os world foundation models do NVIDIA Cosmos™. O Cosmos Transfer adiciona variações realistas aos dados existentes, enquanto o Cosmos Evaluator e o Cosmos Reason validam, selecionam e anotam automaticamente os resultados para garantir que apenas dados de alta qualidade sejam usados para treinamento de modelos.

A aprendizagem de robôs é fundamental para garantir que máquinas autônomas possam executar habilidades robustas de forma repetida e eficiente no mundo físico. A simulação de alta fidelidade fornece um campo de treinamento virtual para robôs aprimorarem suas habilidades por meio de tentativa e erro ou imitação. Isso garante que os comportamentos aprendidos pelo robô na simulação sejam mais facilmente transferíveis para o mundo real.

O NVIDIA Isaac™ Lab, um framework de código aberto, unificado e modular para treinamento de robôs, construído no NVIDIA Isaac Sim™, simplifica os workflows comuns na robótica, como aprendizagem por reforço, aprendizagem com demonstrações e planejamento de movimentos. 

Os desenvolvedores também podem aproveitar o Newton, um mecanismo de física de código aberto e acelerado por GPU, criado com base no NVIDIA Warp para simulação de alta velocidade, fisicamente precisa e diferenciável.

Os blueprints NVIDIA Isaac GR00T-Mimic e GR00T-Dreams, criados no NVIDIA Cosmos, produzem grandes e diversificados conjuntos de dados de movimento sintético para treinamento. Esses conjuntos de dados podem ser usados para treinar os modelos fundacionais abertos Isaac GR00T N no Isaac Lab, permitindo lógica humanoide generalizada e aquisição robusta de habilidades.

O Software-in-the-loop (SIL) é um estágio crítico de testes e validação no desenvolvimento de software para sistemas de robótica com IA física. No SIL, o software que controla o robô é testado em um ambiente simulado, em vez de em hardware físico. 

O SIL com simulação garante a modelagem precisa da física real, incluindo entradas de sensores, dinâmica de atuadores e interações ambientais.  O Isaac Sim fornece aos desenvolvedores os recursos necessários para testar se o stack de software do robô se comporta na simulação como se fosse o robô físico, melhorando a validade dos resultados dos testes.

O SIL também pode ser estendido de um único robô para frotas de robôs. Depósitos e outras instalações industriais são ambientes logísticos altamente complexos com desafios, incluindo flutuações de demanda, restrições de espaço e disponibilidade da força de trabalho. Esses ambientes podem se beneficiar da integração de frotas de sistemas robóticos para oferecer suporte às operações.

O Mega é um NVIDIA Omniverse™ Blueprint para desenvolver, testar e otimizar frotas de IA física e robôs em escala em um ambiente de Gêmeo Digital antes da implantação em instalações do mundo real. Com gêmeos digitais orientados por Mega, incluindo simuladores de mundo que coordenam todas as atividades de robôs e dados de sensores, as empresas podem atualizar continuamente os cérebros de robôs para rotas e tarefas inteligentes para eficiência operacional.

A geração de dados sintéticos, a aprendizagem e os testes de robôs são workflows altamente interdependentes e exigem uma orquestração cuidadosa em uma infraestrutura heterogênea. Os workflows robóticos também exigem especificações amigáveis para desenvolvedores que simplificam a configuração de infraestrutura, criam maneiras perfeitas de rastrear a linhagem de dados e modelos e fornecem uma maneira segura e simplificada de implantar cargas de trabalho. 

O NVIDIA OSMO é uma plataforma de orquestração nativa da nuvem para escalar cargas de trabalho de robótica complexas, em vários estágios e em vários contêineres em nuvens locais, privadas e públicas. Com o OSMO, você pode orquestrar, visualizar e gerenciar uma variedade de tarefas. Isso inclui tudo, desde a geração de dados sintéticos até o treinamento de modelos, conduzindo aprendizagem por reforço e implementando sistemas de software-in-the-loop para humanoides, robôs móveis autônomos (AMRs) e manipuladores industriais.