Génération de données synthétiques pour l'IA physique

Les modèles d'IA physique permettent aux systèmes autonomes de percevoir, de comprendre, d'interagir avec le monde physique et d'y naviguer. Les données synthétiques sont essentielles pour entraîner et tester les modèles d'IA physique.

Les modèles de fondation de mondes (WFM) utilisent diverses données d'entrée, notamment du texte, des images, des vidéos et des informations sur les mouvements, pour générer et simuler des mondes virtuels avec une précision remarquable. 

Les WFM se caractérisent par leurs capacités de généralisation exceptionnelles et nécessitent un réglage minimal dans différentes applications. Ils jouent le rôle de moteurs cognitifs dans les robots et les véhicules autonomes, en tirant parti de leur compréhension complète des différents dynamiques du monde réel. Pour atteindre ce niveau de sophistication, les WFM s'appuient sur de grandes quantités de données d'entraînement. 

Le développement de modèles mondiaux bénéficie considérablement des compétences des agents qui contribuent à automatiser des flux de travail de génération de données synthétiques fragmentés. Les agents peuvent accéder à des outils de simulation, à des modèles ouverts et à des bibliothèques pour générer des données synthétiques physiquement précises, créer des cas limites et appliquer la randomisation de domaine à l'éclairage, aux arrière-plans, aux couleurs, aux emplacements et aux environnements. Cela aide les équipes à produire plus rapidement diverses données d'entraînement, à améliorer la généralisation des modèles, à accélérer l'entraînement des modèles et à faire évoluer le développement bien au-delà de ce qui est réalisable uniquement avec des données réelles.

L'apprentissage des robots englobe une gamme d'algorithmes et de méthodologies qui permettent à un robot d'acquérir de nouvelles compétences, notamment en matière de manipulation, de locomotion et de classification, dans des environnements simulés ou réels. L'apprentissage par renforcement, l'apprentissage par imitation et les politiques de diffusion sont les méthodologies clés qui sont appliquées pour entraîner les robots.  

Une compétence importante pour les robots est la manipulation, c'est-à-dire ramasser, trier et assembler des articles, comme l'on peut l'observer dans les usines. Des démonstrations humaines effectuées dans le monde réel sont généralement utilisées comme intrants pour l'entraînement. Cependant, la collecte d'un jeu de données important et diversifié coûte assez cher.

Pour relever ce défi, les développeurs peuvent utiliser le schéma directeur NVIDIA Isaac GR00T-Dreams, bâti sur NVIDIA Cosmos™, pour générer de grands jeux de données de mouvement synthétiques diversifiés pour l'entraînement.

Le modèle NVIDIA Isaac GR00T-Dreams génère de grandes quantités de données de trajectoire synthétiques à l'aide de Cosmos, à partir d'une seule image et d'instructions de langage. Les robots peuvent ainsi apprendre de nouvelles tâches dans des environnements inconnus sans avoir besoin de données de téléopération spécifiques.

Le modèle NVIDIA Isaac GR00T-Mimic génère de grandes quantités de données de trajectoire synthétiques à partir d'une poignée de démonstrations humaines. Cela permet aux robots d'améliorer leur manipulation dans une tâche et un environnement connus.

Ces jeux de données peuvent ensuite être utilisés pour entraîner les modèles de fondation ouverts Isaac GR00T au sein d'Isaac Lab, permettant ainsi un raisonnement humanoïde généralisé et une acquisition robuste de compétences.

Grâce à NVIDIA Cosmos 3, les développeurs peuvent commencer avec une base solide pour l'apprentissage des robots et se spécialiser en utilisant le post-entraînement pour leurs incarnations, leurs environnements et leurs tâches.

L'étape Software-in-loop (SIL) est une étape de test et de validation critique dans le développement de robots et de véhicules autonomes pilotés par l'IA, dans laquelle les logiciels de contrôle sont testés dans un environnement simulé plutôt que sur du matériel réel.

Les données synthétiques générées à partir de simulations garantissent une modélisation précise de la physique du monde réel, y compris les entrées des capteurs, la dynamique des actionneurs et les interactions environnementales. Cela permet également d'inclure des situations rares qui sont dangereuses à gérer dans le monde réel pour la collecte. Cela garantit que la pile logicielle du robot utilisée en simulation se comporte comme elle le ferait dans le robot physique ; il est donc possible de la tester et de la valider soigneusement sans avoir recours à du matériel physique.

Les données synthétiques tirées de ces simulations sont renvoyées dans le cerveau des robots. Les cerveaux des robots perçoivent les résultats et décident de la marche à suivre. Ce cycle se poursuit, Mega suivant avec précision l'état et la position de tous les actifs du jumeau numérique.