Geração de dados sintéticos para IA Física

Os modelos de IA Física permitem que os sistemas autônomos percebam, entendam, interajam e percorram o mundo físico. Os dados sintéticos são fundamentais para o treinamento e o teste de modelos de IA física.

Os world foundation models (WFM), ou modelos de mundo, utilizam diversos dados de entrada, incluindo texto, imagens, vídeos e informações de movimento, para gerar e simular mundos virtuais com precisão notável.   

Esses modelos são caracterizados por seus recursos de generalização excepcionais, exigindo ajuste fino mínimo para várias aplicações. Eles servem como mecanismos cognitivos para robôs e veículos autônomos, utilizando seu entendimento profundo da dinâmica real. Para alcançar esse nível de sofisticação, esses modelos dependem de grandes quantidades de dados de treinamento. 

O desenvolvimento de world foundation models se beneficia significativamente da geração de dados sintéticos infinitos por meio de simulações fisicamente precisas. Essa abordagem não apenas acelera o processo de treinamento de modelos, mas também aprimora a capacidade do modelo de generalizar em diversos cenários. As técnicas de randomização de domínio aumentam ainda mais esse processo, permitindo a manipulação de inúmeros parâmetros, como iluminação, fundo, cor, localização e ambiente, variações que seriam quase impossíveis de capturar de forma abrangente apenas com dados reais.

A aprendizagem de robôs engloba uma variedade de algoritmos e metodologias que permitem que um robô adquira novas habilidades, incluindo manipulação, locomoção e classificação, em ambientes simulados ou reais. Aprendizagem por reforço, aprendizagem por imitação e política de difusão são as principais metodologias aplicadas para treinar robôs.

Uma habilidade importante para robôs é a manipulação: pegar, classificar e montar itens, semelhante ao que você vê em fábricas. As demonstrações humanas do mundo real são geralmente usadas como dados de entrada para o treinamento. No entanto, a coleta de um conjunto de dados grande e diversificado tem altos custos.

Para superar esse desafio, os desenvolvedores podem utilizar os blueprints NVIDIA Isaac GR00T-Mimic e GR00T-Dreams, criados com base no NVIDIA Cosmos™, para gerar grandes e diversificados conjuntos sintéticos de dados de movimento para treinamento.

O blueprint NVIDIA Isaac GR00T-Dreams gera grandes quantidades de dados de trajetórias sintéticas usando o Cosmos, baseados em uma única imagem e instruções de linguagem. Isso permite que os robôs aprendam novas tarefas em ambientes desconhecidos sem a necessidade de dados específicos de teleoperação.

O blueprint NVIDIA Isaac GR00T-Mimic gera grandes quantidades de dados de trajetórias sintéticas a partir de apenas algumas demonstrações humanas. Isso permite que os robôs melhorem sua manipulação em uma tarefa e um ambiente conhecidos.

Esses conjuntos de dados podem ser usados para treinar os modelos de base aberta do Isaac GR00T no Isaac Lab, permitindo raciocínio humanoide generalizado e aquisição robusta de habilidades.

Os testes de software-in-loop (SIL) são um estágio crucial para robôs com IA e veículos autônomos, onde o software de controle é avaliado em um ambiente simulado, em vez de em hardware real.

Os dados sintéticos gerados pela simulação garantem a modelagem precisa da física do mundo real, incluindo entradas de sensores, dinâmica de atuadores e interações ambientais. Isso também oferece uma forma de capturar cenários raros que seriam perigosos para coletar no mundo real. Isso garante que o stack de software do robô na simulação se comporte como se fosse no robô físico, permitindo fazer testes e validação minuciosos sem a necessidade de hardware físico.

Os dados sintéticos dessas simulações são alimentados de volta para os cérebros de robôs. O cérebro do robô processa os resultados, decidindo a próxima ação. Esse ciclo continua com a Mega rastreando com precisão o estado e a posição de todos os ativos no gêmeo digital.