Robot Learning
Entraînez des politiques de robotique en simulation pour une adaptabilité concrète.
Charges de travail
Simulation / Modélisation / Co
nception Robotique
Industries
Fabrication
Santé et sciences de la vie
Vente au détail/biens de grande consommation
Villes/espaces intelligents
Objectifs commerciaux
Innovation
Retour sur investissement
Produits
NVIDIA Omniverse
NVIDIA Isaac
NVIDIA Jetson
Aperçu
Développer des politiques robotiques généralistes
Bien que les robots préprogrammés puissent être utiles pour des tâches spécifiques et répétitives, ils présentent un inconvénient majeur : ils fonctionnent à l'aide d'instructions fixes dans des environnements définis, ce qui limite leur capacité d'adaptation aux changements inattendus.
Par comparaison, les robots basés sur l'IA sont capables d'apprendre par simulation, ce qui leur permet de percevoir, de planifier et d'agir de manière autonome dans des conditions dynamiques. Ils peuvent acquérir et affiner de nouvelles compétences en utilisant des politiques apprises (c'est-à-dire des ensembles de comportements pour la navigation, la manipulation et autres) afin d'améliorer leur capacité à prendre des décisions dans diverses situations, et ce, avant d'être déployés dans le monde réel.
Liens rapides
Pourquoi recourir à l'apprentissage robotique basé sur la simulation ?
Flexibilité et évolutivité
Utilisez une approche Sim-First pour entraîner des centaines, voire des milliers, d'instances de robots en parallèle, en combinant des données robotiques réelles et des données synthétiques sur des AMR, des bras mécaniques et des robots humanoïdes.
Développement des compétences accéléré
Entraînez vos robots dans des environnements de simulation à haute précision physique, ce qui les aide à s'adapter à de nouvelles variations de tâches et réduit l'écart entre la simulation et la réalité.
Environnement de test sécurisé
Testez des scénarios potentiellement dangereux sans compromettre la sécurité du personnel ni endommager l'équipement.
Des coûts réduits
Passez-vous de la collecte chronophage de données réelles et minimisez les coûts d'étiquetage de vos ressources en générant de grandes quantités de données synthétiques, puis en validant les politiques robotiques entraînées en simulation et en déployant les robots plus rapidement.
Algorithmes de Robot Learning
Les algorithmes d'apprentissage robotique peuvent aider les robots à généraliser les compétences acquises et à améliorer leurs performances dans des environnements dynamiques ou entièrement nouveaux. Il existe plusieurs techniques d'apprentissage, notamment :
- Apprentissage par imitation : le robot peut apprendre à partir de démonstrations de tâches effectuées par des humains ou d'autres robots, ou bien via des données vidéo ou des capteurs d'agents adoptant le comportement souhaité.
- Apprentissage par renforcement : cette approche par "essais et erreurs" donne au robot une récompense ou une pénalité en fonction des actions qu'il entreprend.
- Apprentissage supervisé : le robot peut être entraîné à l'aide de données étiquetées pour apprendre des tâches spécifiques.
- Apprentissage auto-supervisé : en cas de jeux de données étiquetés limités, les robots peuvent générer leurs propres étiquettes d'entraînement à partir de données non étiquetées pour extraire des informations utiles.
Implémentation technique
Enseignez aux robots à apprendre et à s'adapter
Un workflow robotique de bout en bout typique implique de traiter des données, d'entraîner des modèles, de valider par la simulation et de déployer sur un robot réel.
Traitement des données : pour combler les lacunes de données, utilisez un ensemble diversifié de données de haute qualité qui combine des données à l'échelle d'Internet, des données synthétiques et des données robotiques réelles. Les développeurs peuvent organiser, augmenter et évaluer des données synthétiques à grande échelle à l'aide du blueprint de NVIDIA pour l'IA physique, qui peut être utilisé pour l'affinage et l'évaluation de politiques dans l'environnement Isaac Lab-Arena.
Entraînement et validation en simulation : les robots doivent être entraînés et déployés pour des scénarios définis par des tâches. Ils ont besoin d'une représentation virtuelle précise des conditions réelles. Le framework open source NVIDIA Isaac™ Lab pour l'apprentissage des robots peut aider à entraîner des politiques robotiques en utilisant des techniques d'apprentissage par renforcement et par imitation dans une approche modulaire.
Isaac Lab est intégré de manière native à NVIDIA Isaac Sim, une application de simulation robotique de référence ouverte basée sur les bibliothèques NVIDIA Omniverse, et utilise les modèles physiques NVIDIA PhysX et le système de rendu RTX accélérés par GPU pour mettre en œuvre une validation de haute fidélité. Ce framework unifié vous permet de prototyper rapidement des politiques dans des environnements de simulation légers avant de les déployer dans des systèmes de production.
Reposant sur Isaac Lab, Isaac Lab-Arena est un framework open source pour une évaluation de politiques évolutive en simulation vous donnant accès à des API rationalisées qui simplifient la conservation et la diversification des tâches.
Déploiement sur le robot réel : les politiques robotiques et les modèles d'IA préalablement entraînés peuvent être déployés sur NVIDIA Jetson™, une plateforme d'ordinateurs embarqués à destination des robots. Ces systèmes de pointe fournissent les performances et la sécurité fonctionnelle nécessaires pour un fonctionnement autonome.
Apprentissage par imitation et par renforcement pour les robots
d'apprentissage par imitation
L'apprentissage par imitation permet aux robots humanoïdes de développer de nouvelles compétences en copiant les démonstrations d'experts. Toutefois, la collecte de jeux de données réelles est une tâche souvent coûteuse et qui demande du temps.
Pour résoudre ce problème, les développeurs peuvent utiliser les blueprints GR00T-Mimic et GR00T-Dreams basés sur NVIDIA Cosmos™ pour produire des jeux de données de mouvement à la fois synthétiques, diversifiés et de grande taille pour l'entraînement.
Ces jeux de données peuvent ensuite être utilisés pour entraîner les modèles de fondation ouverts Isaac GR00T N au sein d'Isaac Lab et ainsi ouvrir la voie au raisonnement humanoïde généralisé et à un processus solide d'acquisition de compétences.
d'apprentissage par renforcement,
Utilisez Isaac Lab pour réaliser des simulations physiques de haute fidélité, calculer les récompenses et permettre l'apprentissage par renforcement (RL) basé sur la perception dans des environnements modulaires et personnalisables.
Commencez par configurer une grande variété de robots dans des environnements variés : définissez des tâches de RL et entraînez les modèles à l'aide de bibliothèques optimisées par GPU, telles que RSL RL, RL-Games, SKRL et Stable Baselines3 (toutes prises en charge par défaut par Isaac Lab).
Isaac Lab propose des workflows de tâches d'une grande polyvalence, directs ou basés sur un gestionnaire. Vous pouvez ainsi contrôler la complexité et l'automatisation de vos tâches d'entraînement.
Vous pouvez également tirer parti de Newton, un moteur physique open source accéléré par GPU basé sur NVIDIA Warp, pour bénéficier d'une simulation à haute vitesse, physiquement précise et différenciable.
En outre, NVIDIA OSMO, une plateforme d'orchestration pensée pour le Cloud, permet de faire évoluer et de gérer efficacement des charges de travail robotiques complexes, en plusieurs étapes et avec de multiples conteneurs sur des systèmes multi-GPU et multi-nœuds. Soit une accélération considérable du développement et de l'évaluation des stratégies d'apprentissage des robots.
Liens rapides
Écosystème de partenaires
Écosystème
FAQ
Les robots traditionnels sont généralement contrôlés à l'aide de scripts fixes, via lesquels les équipes d'ingénierie codent manuellement des instructions et des règles étape par étape. Par exemple, "passer à cette position exacte, puis fermer la pince si cette valeur de capteur est supérieure à un certain seuil" constitue une instruction susceptible d'être utilisée. L'apprentissage des robots en simulation vise plutôt à entraîner des politiques d'IA qui associent les entrées de capteurs (telles que les images de caméra et les états des articulations) à des actions spécifiques. Cela permet aux robots de percevoir, de planifier et d'agir de manière autonome dans des environnements virtuels avant leur déploiement, mais aussi de s'adapter à des variations qui n'ont pas été explicitement programmées.
L'apprentissage basé sur la simulation s'applique à de nombreuses configurations, notamment les robots mobiles autonomes (AMR), les véhicules autonomes, les bras mécaniques et les robots humanoïdes. Les tâches typiques incluent la navigation, la locomotion, la manipulation d'objets et la coordination de workflows dans les usines, les entrepôts, les hôpitaux et les espaces de vente au détail.
Isaac Sim fournit une approche de simulation physique et de capteurs à haute fidélité, tandis qu'Isaac Lab en open source facilite le déploiement évolutif de milliers d'environnements parallèles accélérés par GPU. Ensemble, ils génèrent d'énormes quantités de données synthétiques pour affiner les modèles ouverts de vision-langage-action Isaac GR00T N. Cela permet aux développeurs d'enseigner des tâches aux systèmes robotiques et des compétences spécifiques aux robots en simulation avant le déploiement en conditions réelles.
Un workflow courant commence par le traitement de diverses données provenant de robots réels, de données synthétiques et de sources à l'échelle d'Internet. Les politiques sont ensuite entraînées et validées dans Isaac Lab et Isaac Sim, avant d'être déployées sur des systèmes de calcul embarqués tels que NVIDIA Jetson pour une exploitation réelle.
L'entraînement et la validation de politiques dans des environnements de simulation physiquement précis permettent aux équipes de tester en toute sécurité une multitude de cas limites, de scénarios dangereux et d'événements rares. Cela réduit le besoin d'une expérimentation approfondie sur le robot, réduit l'usure du matériel et les risques, et permet une transposition plus fiable des politiques dans des environnements réels.
Liens rapides
RTX PRO Server, la meilleure plateforme pour l’IA industrielle et physique
NVIDIA RTX PRO Server accélère toutes les charges de travail de numérisation industrielle, de simulation de robots et de génération de données synthétiques.