Robots humanoïdes
Accélérer le développement de la robotique avancée pilotée par l'IA.
Charges de travail
Simulation / Modélisation / Co
nception Robotique
Industries
Fabrication
Matériel / semi-conducteurs
Santé et sciences de la vie
Vente au détail / biens de consommation emballés
Villes / espaces intelligents
Objectifs commerciaux
Innovation
Retour sur investissement
Produits
NVIDIA Isaac Lab
NVIDIA Isaac Sim
NVIDIA Isaac GROOT
NVIDIA Jetson Thor
NVIDIA Omniverse
Aperçu
La nouvelle ère de l'IA physique
Les robots humanoïdes à usage général sont conçus pour rapidement s'adapter aux espaces de travail urbains et industriels existants pensés pour l'homme, et pour aider à s'attaquer à des tâches fastidieuses, répétitives ou exigeantes sur le plan physique.
Ces robots se frayent un chemin des usines aux établissements de santé, où ils assistent les humains et atténuent les pénuries en termes de main-d’œuvre grâce à l’automatisation.
Figure
Cependant, le développement de robots humanoïdes présente des couches de complexité et des défis en matière d’ingénierie. Ceux-ci incluent la réplication de la perception humaine, les degrés de liberté, la dextérité, la mobilité, la cognition et le contrôle du corps entier.
Cela exige des progrès accélérés dans les domaines et les technologies de recherche en robotique, notamment l’intelligence artificielle, l’apprentissage automatique, la simulation basée sur la physique, les technologies de capteurs et la mécatronique.
Liens rapides
Implémentation technique
Faire progresser le développement de robots humanoïdes
NVIDIA développe des systèmes accélérés, des modèles, des outils, des services, des algorithmes et d’autres technologies de robotique qui peuvent être utilisés pour développer des robots dont le facteur de forme humain est à usage général.
Solution composée de trois ordinateurs
Les robots humanoïdes doivent détecter, planifier et agir de manière autonome dans un environnement donné, ce qui implique le traitement de grandes quantités de données en temps réel. Cela nécessite l’entraînement de modèles de fondation qui alimentent le cerveau du robot, en simulant et en validant le cerveau du robot, et enfin en déployant ces cerveaux et les logiciels associés sur le robot réel.
Les trois systèmes d'IA sont :
- Un supercalculateur d’IA de NVIDIA (NVIDIA DGX™ avec des processeurs NVIDIA H100 ou B100) pour l’entraînement de puissants modèles d’IA physique générative et de modèles de fondation robotique.
- Un ordinateur NVIDIA OVX™ avec GPU NVIDIA RTX™ pour la génération de données synthétiques, l’apprentissage robotique et les tests en simulation, avec des frameworks de simulation tels que NVIDIA Isaac Sim™ et Isaac™ Lab basés sur NVIDIA Omniverse™.
- Un ordinateur d’exécution intégré au robot, tel que NVIDIA Jetson Thor™, basé sur l’architecture Blackwell de NVIDIA, capable d’exécuter une inférence à faible latence et à haut débit.
NVIDIA Isaac GR00T
GR00T est une initiative de recherche et une plateforme de développement pour les modèles de fondation de robots à usage général et les pipelines de données, afin d’accélérer la robotique humanoïde.
Modèles de fondation de robots
Les robots effectuent désormais une grande variété de tâches dans divers environnements. Chacune de ces tâches nécessite souvent un modèle d’IA dédié. Cependant, l’entraînement de ces modèles à partir de zéro pour chaque nouvelle tâche et environnement est un processus laborieux. Au lieu de développer des modèles individuels pour chaque tâche, les modèles de fondation de robots, entraînés sur diverses données, apprennent des compétences généralisables. Cette formation élargie leur permet de gérer une grande variété de tâches, d’environnements et de réalisations robotiques, ce qui améliore considérablement l’évolutivité et l’adaptabilité.
NVIDIA Isaac GR00T N1 est le premier modèle de fondation ouvert au monde pour le raisonnement et les compétences des robots humanoïdes généralisés. Ce modèle multi-incarnations utilise des entrées multimodales, notamment un langage et des images, pour effectuer des tâches de manipulation dans divers environnements. GR00T N1 a été entraîné sur un vaste jeu de données humanoïdes composé de données réelles capturées, de données synthétiques générées à l'aide des composants du modèle NVIDIA Isaac GR00T-Mimic et de données vidéo à l'échelle d'Internet. Il est adaptable grâce à un post-entraînement aux incarnations, des tâches et des environnements spécifiques.
Frameworks d’apprentissage robotique et de simulation
La simulation est essentielle pour les développeurs qui souhaitent entraîner des robots humanoïdes dans une grande variété d’environnements et de conditions physiquement précises, avant de les déployer dans le monde réel.
Les frameworks d'apprentissage et de simulation robotique tels que NVIDIA Isaac Sim et Isaac Lab basés sur la plateforme Omniverse permettent des simulations physiquement précises pour entraîner et valider plusieurs agents robotiques humanoïdes en parallèle.
Isaac Lab est un framework d’apprentissage robotique unifié open source basé sur Isaac Sim qui peut être utilisé pour appliquer ces techniques d’apprentissage pour entraîner une politique de robots. Les politiques de robots entraînées peuvent ensuite être validées dans Isaac Sim, une application de référence pour le développement, la simulation et le test d’humanoïdes dans des environnements virtuels basés sur la physique.
Agility Robotics
Workflows GR00T
Génération et traitement des données
Pour ce faire, la collecte de jeux de données importants et de haute qualité peut s’avérer difficile, coûteuse et chronophage. Les données synthétiques, générées à partir de simulations physiquement précises, relèvent ce défi en accélérant la collecte de données et en offrant la diversité nécessaire pour rendre les modèles d'apprentissage robotique plus généraux.
Les workflows de référence GR00T pour la génération de données permettent aux développeurs de générer des mouvements synthétiques pour la manipulation, le mouvement et la localisation à partir d’une poignée de démonstrations humaines. Les images ou les vidéos générées peuvent être augmentées en 3D grâce à NVIDIA Cosmos™, réduisant l'écart entre la simulation et la réalité.
Manipulation agile
La fonctionnalité de saisie de robots humanoïdes nécessite des compétences en manipulation agile d’objets comme c'est le cas pour l’homme, capables d’effectuer des tâches de manipulation grossières et à dextérité fine. GR00T-Dexterity est une suite complète de modèles et de politiques conçues à l’aide d’une approche basée sur l’apprentissage par renforcement, combinée à des workflows de référence, pour permettre le développement de ces capacités avancées.
Itinérance
La navigation à usage général dans des environnements complexes et dynamiques nécessite un réglage approfondi. Avec le workflow de référence GR00T-Mobility, vous pouvez créer un cadre généraliste pour naviguer à travers des paramètres et des réalisations de robots variés.
Contrôle du corps entier
Atteindre le contrôle du corps entier chez les robots humanoïdes est difficile et exige à la fois une manipulation stable et une locomotion robuste. GR00T-Control résout ce problème avec une suite de modèles avancés, de politiques et de workflows de référence pour la planification et le contrôle des mouvements, rationalisant le développement de systèmes de contrôle efficaces.
En utilisant l’apprentissage par imitation et des ensembles de données téléopérés, GR00T-Control facilite l’entraînement sur des politiques de mouvement robustes pour le corps entier, permettant aux robots humanoïdes d’apprendre des compétences de manipulation et de locomotion adroites.
Perception robotique basée sur l’IA
Pour améliorer la conscience situationnelle et l’efficacité des interactions, les robots humanoïdes nécessitent une mémoire à long terme pour les événements, les espaces, les paramètres personnalisés et les réponses sensibles au contexte.
GR00T-Perception permet cela avec une suite robuste de bibliothèques de perception, de modèles de fondation et de workflows de référence basés sur Isaac Sim et Isaac ROS. Ces outils intègrent des technologies avancées telles que les modèles de langage de vision et la mémoire augmentée par récupération pour améliorer la perception, la cognition et l’adaptabilité chez les robots humanoïdes.
La plateforme de calcul sur robot de nouvelle génération
Le matériel robotique est également crucial pour exécuter un ensemble de modèles d’IA multimodaux qui permettent d’alimenter les humanoïdes avec les performances, la latence et la sécurité fonctionnelle appropriées dans diverses conditions.
NVIDIA Jetson AGX Thor, basé sur l’architecture GPU Blackwell de NVIDIA, offre des calculs d’IA à ultra-hautes performances et un nouveau moteur de transformateur. Cela fournit la superpuissance d’IA nécessaire à l’Edge pour activer la nouvelle génération d’humanoïdes.
Liens rapides
Écosystème
Commencer avec nos partenaires en robotique humanoïde.
Commencer
Développer des robots humanoïdes
Faites progresser votre développement de robots humanoïdes avec les technologies fondamentales GR00T en accédant à des didacticiels, à des forums, à des notes de version et à une documentation complète.
