Génération de données synthétiques pour l'IA physique

Les modèles d'IA physique permettent aux systèmes autonomes de percevoir, de comprendre, d'interagir avec le monde physique et d'y naviguer. Les données synthétiques sont essentielles pour entraîner et tester les modèles d'IA physique.

Les modèles de fondation de mondes (WFM) utilisent diverses données d'entrée, notamment du texte, des images, des vidéos et des informations sur les mouvements, pour générer et simuler des mondes virtuels avec une précision remarquable. 

Les WFM se caractérisent par leurs capacités de généralisation exceptionnelles et nécessitent un réglage minimal dans différentes applications. Ils jouent le rôle de moteurs cognitifs dans les robots et les véhicules autonomes, en tirant parti de leur compréhension complète des différents dynamiques du monde réel. Pour atteindre ce niveau de sophistication, les WFM s'appuient sur de grandes quantités de données d'entraînement. 

La génération de données synthétiques infinies par le biais de simulations physiquement précises profite grandement au développement des WFM. Cette approche accélère non seulement le processus d'entraînement des modèles, mais améliore également la capacité des modèles à effectuer des généralisations dans différentes situations. Les techniques de randomisation de domaines améliorent encore ce processus en permettant de manipuler de nombreux paramètres tels que l'éclairage, l'arrière-plan, la couleur, l'emplacement et l'environnement, des variations qui seraient presque impossibles à extraire pleinement de données réelles.

L'apprentissage des robots englobe une gamme d'algorithmes et de méthodologies qui permettent à un robot d'acquérir de nouvelles compétences, notamment en matière de manipulation, de locomotion et de classification, dans des environnements simulés ou réels. L'apprentissage par renforcement, l'apprentissage par imitation et les politiques de diffusion sont les méthodologies clés qui sont appliquées pour entraîner les robots.  

Une compétence importante pour les robots est la manipulation, c'est-à-dire ramasser, trier et assembler des articles, comme l'on peut l'observer dans les usines. Des démonstrations humaines effectuées dans le monde réel sont généralement utilisées comme intrants pour l'entraînement. Cependant, la collecte d'un jeu de données important et diversifié coûte assez cher.

Pour résoudre ce problème, les développeurs peuvent utiliser les modèles NVIDIA Isaac GR00T-Mimic et GR00T-Dreams basés sur NVIDIA Cosmos™ pour produire des jeux de données de mouvement à la fois synthétiques, diversifiés et de grande taille pour l'entraînement. 

Le modèle NVIDIA Isaac GR00T-Dreams génère de grandes quantités de données de trajectoire synthétiques à l'aide de Cosmos, à partir d'une seule image et d'instructions de langage. Les robots peuvent ainsi apprendre de nouvelles tâches dans des environnements inconnus sans avoir besoin de données de téléopération spécifiques.

Le modèle NVIDIA Isaac GR00T-Mimic génère de grandes quantités de données de trajectoire synthétiques à partir d'une poignée de démonstrations humaines. Cela permet aux robots d'améliorer leur manipulation dans une tâche et un environnement connus.

Ces jeux de données peuvent ensuite être utilisés pour entraîner les modèles de fondation ouverts Isaac GR00T au sein d'Isaac Lab, permettant ainsi un raisonnement humanoïde généralisé et une acquisition robuste de compétences.

L'étape Software-in-loop (SIL) est une étape de test et de validation critique dans le développement de robots et de véhicules autonomes pilotés par l'IA, dans laquelle les logiciels de contrôle sont testés dans un environnement simulé plutôt que sur du matériel réel.

Les données synthétiques générées à partir de simulations garantissent une modélisation précise de la physique du monde réel, y compris les entrées des capteurs, la dynamique des actionneurs et les interactions environnementales. Cela permet également d'inclure des situations rares qui sont dangereuses à gérer dans le monde réel pour la collecte. Cela garantit que la pile logicielle du robot utilisée en simulation se comporte comme elle le ferait dans le robot physique ; il est donc possible de la tester et de la valider soigneusement sans avoir recours à du matériel physique.

Les données synthétiques tirées de ces simulations sont renvoyées dans le cerveau des robots. Les cerveaux des robots perçoivent les résultats et décident de la marche à suivre. Ce cycle se poursuit, Mega suivant avec précision l'état et la position de tous les actifs du jumeau numérique.