Simulation robotique

Les robots d'IA physiques et les flottes de robots doivent détecter, planifier et agir de manière autonome pour effectuer des tâches complexes dans le monde réel, comme se déplacer dans des installations très fréquentées et manipuler des objets en toute sécurité dans des conditions changeantes. 

Une approche axée sur la simulation permet aux équipes d'atteindre plus rapidement cette autonomie. Grâce à la simulation des robots, les développeurs peuvent entraîner, tester et valider le comportement des robots sur des jumeaux numériques physiquement précis, qui peuvent inclure des représentations numériques d'entrepôts et d'usines, à l'aide de l'apprentissage des robots et de scénarios de test reproductibles avant le déploiement. La même approche s'applique aux flottes multi-robots, ce qui leur permet de comprendre et d'interagir avec les installations industrielles en se basant sur les données de production en temps réel, les informations fournies par les capteurs et le raisonnement.

La simulation fournit un environnement virtuel sûr et cohérent où les modèles de politiques fondamentales et robotiques peuvent s'entraîner à des tâches, tirer des enseignements des retours d'expérience et améliorer leur comportement avant d'être mis en œuvre dans le monde réel. Des environnements d'entraînement réalistes peuvent être reconstruits et rendus dans NVIDIA Isaac Sim™ à l'aide des bibliothèques NVIDIA Omniverse™ NuRec et augmentés par la génération de données synthétiques (SDG). Ces données peuvent être constituées de texte, d'images 2D ou 3D dans le spectre visuel et non visuel, et même de données de mouvement ou de trajectoire qui peuvent être utilisées conjointement avec des données réelles afin d'entraîner des modèles d'IA physique multimodaux. 

La randomisation de domaine est une étape clé du workflow SDG, car elle permet de modifier de nombreux paramètres d'une scène pour générer un jeu de données diversifié. Ces derniers peuvent inclure tout, de l'emplacement aux couleurs, en passant par les textures et l'éclairage des objets. Grâce au modèle d'IA physique pour les usines de données, les développeurs peuvent augmenter et évaluer les données d'entraînement à grande échelle à l'aide des modèles de fondation de monde NVIDIA Cosmos™. Cosmos Transfer ajoute des variations réalistes aux données existantes, tandis que Cosmos Evaluator et Cosmos Reason valident, organisent et annotent automatiquement les résultats afin de garantir que seules les données de haute qualité sont utilisées pour l'entraînement des modèles.

Le Robot Learning est essentiel pour garantir que les machines autonomes sont en mesure d'effectuer des tâches difficiles de manière répétée et efficace en conditions réelles. La simulation haute fidélité fournit un terrain d'entraînement virtuel pour les robots afin de perfectionner leurs compétences par essais et erreurs ou par imitation. Cela garantit que les comportements que le robot apprend en simulation sont plus facilement transférables dans le monde réel.

NVIDIA Isaac™ Lab, un framework open source, unifié et modulaire créé sur NVIDIA Isaac Sim pour l'entraînement des robots, simplifie les workflows courants dans le domaine de la robotique, tels que l'apprentissage par renforcement, l'apprentissage à partir de démonstrations et la planification de mouvements.

Les développeurs peuvent également tirer parti de Newton, un moteur physique open source accéléré par GPU basé sur NVIDIA Warp pour une simulation à haute vitesse, physiquement précise et différentiable.

Les modèles NVIDIA Isaac GR00T-Mimic et GR00T-Dreams sont basés sur NVIDIA Cosmos et produisent de grands jeux de données de mouvement synthétique pour l'entraînement. Ces jeux de données peuvent ensuite être utilisés pour entraîner les modèles de fondation ouverts Isaac GR00T N au sein d'Isaac Lab et ainsi ouvrir la voie au raisonnement humanoïde généralisé et à un processus solide d'acquisition de compétences.

L'étape Software-in-loop (SIL) est une étape critique de test et de validation dans le développement de logiciels pour les systèmes de robotique physiques optimisés par l'IA. Pendant l'étape SIL, le logiciel qui contrôle le robot est testé dans un environnement simulé plutôt que sur du matériel physique. 

Le SIL avec simulation garantit une modélisation précise de la physique réelle, notamment des entrées des capteurs, de la dynamique des actionneurs et des interactions environnementales. Isaac Sim fournit aux développeurs les fonctionnalités nécessaires pour tester le comportement de la pile logicielle du robot en simulation comme il le ferait sur le robot physique, ce qui améliore la validité des résultats des tests.

Le SIL peut également être utilisé pour un seul robot ou pour des flottes de robots. Les entrepôts, tout comme les autres installations industrielles, sont des environnements logistiques très complexes qui doivent relever des défis tels que les fluctuations de la demande, les contraintes d'espace et la disponibilité de la main-d'œuvre. Ces environnements peuvent bénéficier de l'intégration de flottes de systèmes robotiques pour prendre en charge les opérations.

Mega est un modèle de NVIDIA Omniverse™ qui permet de développer, de tester et d'optimiser l'IA physique et des flottes de robots à grande échelle dans un jumeau numérique avant de les déployer dans des installations réelles. Grâce aux jumeaux numériques basés sur Mega, notamment les simulateurs de monde qui coordonnent toutes les activités des robots et les données des capteurs, les entreprises peuvent continuellement mettre à jour le cerveau des robots pour des itinéraires et des tâches intelligents afin d'améliorer l'efficacité opérationnelle.

Les workflows de génération de données synthétiques, de Robot Learning et de test des robots sont hautement interdépendants et nécessitent une orchestration minutieuse sur une infrastructure hétérogène. Les workflows robotiques nécessitent également des spécifications conviviales pour les développeurs qui simplifient la configuration de l'infrastructure, créent des moyens fluides de suivre les données et la lignée des modèles, et fournissent un moyen sécurisé et rationalisé de déployer des charges de travail. 

NVIDIA OSMO est une plateforme d'orchestration native du cloud pour la mise à l'échelle des charges de travail complexes, à plusieurs étapes et multi-conteneurs de robotique sur site, privé et public. Avec OSMO, vous pouvez orchestrer, visualiser et gérer une grande variété de tâches. Cela inclut toutes les technologies, de la génération de données synthétiques à l'entraînement des modèles, en passant par l'apprentissage par renforcement et la mise en œuvre de systèmes logiciels en boucle pour les humanoïdes, les robots mobiles autonomes (AMR) et les manipulateurs industriels.