Génération de données synthétiques (SDG)

Les modèles d'IA physique permettent aux systèmes autonomes de percevoir, de comprendre, d'interagir avec le monde physique et d'y naviguer. Les données synthétiques sont essentielles pour entraîner et tester les modèles d'IA physique.

Les modèles de fondation de mondes (WFM) utilisent diverses données d'entrée, notamment du texte, des images, des vidéos et des informations sur les mouvements, pour générer et simuler des mondes virtuels avec une précision remarquable. 

Les WFM se caractérisent par leurs capacités de généralisation exceptionnelles et nécessitent un réglage minimal dans différentes applications. Ils jouent le rôle de moteurs cognitifs dans les robots et les véhicules autonomes, en tirant parti de leur compréhension complète des différents dynamiques du monde réel. Pour atteindre ce niveau de sophistication, les WFM s'appuient sur de grandes quantités de données d'entraînement. 

La génération de données synthétiques infinies par le biais de simulations physiquement précises profite grandement au développement des WFM. Cette approche accélère non seulement le processus d'entraînement des modèles, mais améliore également la capacité des modèles à effectuer des généralisations dans différentes situations. Les techniques de randomisation de domaines améliorent encore ce processus en permettant de manipuler de nombreux paramètres tels que l'éclairage, l'arrière-plan, la couleur, l'emplacement et l'environnement, des variations qui seraient presque impossibles à extraire pleinement de données réelles. 

L'apprentissage robotique est constitué d'algorithmes et de méthodologies qui aident un robot à apprendre de nouvelles compétences, telles que la manipulation, la locomotion et la classification, dans un environnement simulé ou réel. L'apprentissage par renforcement, l'apprentissage par imitation et les politiques de diffusion sont les méthodologies clés qui sont appliquées pour entraîner les robots.  

Une compétence importante des robots est la manipulation, à savoir, saisir des objets, les trier et les assembler, comme vous le voyez dans les usines. Des démonstrations humaines effectuées dans le monde réel sont généralement utilisées comme intrants pour l'entraînement. Cependant, la collecte d'ensembles de données volumineux et diversifiés coûte assez cher.

Pour surmonter ce défi, les développeurs peuvent utiliser les modèles NVIDIA Isaac GR00T-Mimic et GR00T-Dreams basés sur NVIDIA Cosmos™ pour produire des jeux de données de mouvements synthétiques importants et diversifiés à des fins d'entraînement.

Le modèle NVIDIA Isaac GR00T-Dreams génère de grandes quantités de données de trajectoire synthétiques à l'aide de Cosmos, à partir d'une seule image et d'instructions de langage. Les robots peuvent ainsi apprendre de nouvelles tâches dans des environnements inconnus sans avoir besoin de données de téléopération spécifiques.

Ces jeux de données peuvent ensuite être utilisés pour entraîner les modèles de fondation ouverts Isaac GR00T N au sein d'Isaac Lab, afin de permettre un raisonnement humanoïde généralisé et une solide acquisition de compétences.

L'étape Software-in-loop (SIL) est une étape de test et de validation critique dans le développement de robots et de véhicules autonomes pilotés par l'IA, dans laquelle les logiciels de contrôle sont testés dans un environnement simulé plutôt que sur du matériel réel.

Les données synthétiques générées à partir de simulations garantissent que la modélisation des composants physiques du monde réel est précise, notamment les entrées des capteurs, la dynamique des actionneurs et les interactions environnementales. Cela permet également d'inclure des situations rares qui sont dangereuses à collecter dans le monde réel. Cela garantit que la pile logicielle du robot utilisée en simulation se comporte comme elle le ferait dans le robot physique et permet de la tester et de la valider soigneusement sans avoir recours à du matériel physique.

Mega est un modèle Omniverse™ qui permet de développer, de tester et d'optimiser l'IA physique et des flottes de robots à grande échelle dans un jumeau numérique avant de les déployer dans des installations réelles.

Ces robots simulés peuvent effectuer des tâches en percevant et en raisonnant dans leurs environnements. Ils sont capables de planifier les prochains mouvements et d'exécuter des actions qui sont simulées dans le jumeau numérique. Les données synthétiques tirées de ces simulations sont renvoyées dans le cerveau des robots. Le cerveau des robots perçoit les résultats qui déterminent la prochaine action et ce cycle se poursuit, Mega suivant précisément l'état et la position de tous les éléments dans le jumeau numérique.

Les modèles génératifs peuvent être utilisés pour amorcer et augmenter les processus de génération de données synthétiques. Les modèles texte-à-3D permettent de créer des ressources 3D pour remplir une scène de simulation 3D. Les modèles d'IA générative texte-à-image peuvent également être utilisés pour modifier et augmenter des images existantes, issues de simulations ou collectées dans le monde réel par le biais de procédures additives ou soustractives.

Les modèles d'IA générative texte-à-texte, tels que Evian 2 405B et Nemotron-4 340B, peuvent être utilisés pour générer des données synthétiques afin de développer de puissants LLM dans les secteurs de la santé, de la finance, de la cybersécurité, de la vente au détail et des télécommunications. 

Evian 2 405B et Nemotron-4 340B fournissent une licence ouverte, accordant aux développeurs les droits de posséder et d'utiliser les données générées dans leurs applications d'enseignement et commerciales.