Robots humanoïdes
Accélérer le développement de la robotique avancée pilotée par l'IA.
Charges de travail
Robotique
Industries
Santé et sciences de la vie
Production industrielle
Vente au détail/biens de grande consommation
Objectifs commerciaux
Innovation
Retour sur investissement
Produits
NVIDIA Isaac Lab
NVIDIA Isaac Sim
NVIDIA Isaac GROOT
NVIDIA Jetson Thor
NVIDIA Omniverse
Aperçu
La nouvelle ère de l'IA physique
Les robots humanoïdes à usage général sont conçus pour rapidement s'adapter aux espaces de travail urbains et industriels existants pensés pour l'homme, et pour aider à s'attaquer à des tâches fastidieuses, répétitives ou exigeantes sur le plan physique.
Ces robots se frayent un chemin des usines aux établissements de santé, où ils assistent les humains et atténuent les pénuries en termes de main-d’œuvre grâce à l’automatisation.
Cependant, le développement de robots humanoïdes présente des couches de complexité et des défis en matière d’ingénierie. Ceux-ci incluent la réplication de la perception humaine, les degrés de liberté, la dextérité, la mobilité, la cognition et le contrôle du corps entier.
Cela exige d'accélérer les progrès en matière de technologies et de champs de recherche associés à la robotique, notamment l'intelligence artificielle, l'apprentissage automatique, la simulation basée sur la physique, les technologies de capteurs, l'informatique embarquée et la mécatronique.
Figure
Cependant, le développement de robots humanoïdes présente des couches de complexité et des défis en matière d’ingénierie. Ceux-ci incluent la réplication de la perception humaine, les degrés de liberté, la dextérité, la mobilité, la cognition et le contrôle du corps entier.
Cela exige des progrès accélérés dans les domaines et les technologies de recherche en robotique, notamment l’intelligence artificielle, l’apprentissage automatique, la simulation basée sur la physique, les technologies de capteurs et la mécatronique.
Liens rapides
Implémentation technique
Faire progresser le développement de robots humanoïdes
NVIDIA développe des systèmes accélérés, des modèles, des outils, des services, des algorithmes et d’autres technologies de robotique qui peuvent être utilisés pour développer des robots dont le facteur de forme humain est à usage général.
Solution composée de trois ordinateurs
Les robots humanoïdes doivent détecter, planifier et agir de manière autonome dans un environnement donné, ce qui implique le traitement de grandes quantités de données en temps réel. Cela nécessite l’entraînement de modèles de fondation qui alimentent le cerveau du robot, en simulant et en validant le cerveau du robot, et enfin en déployant ces cerveaux et les logiciels associés sur le robot réel.
Les trois systèmes d'IA sont :
- Un supercalculateur d’IA de NVIDIA (NVIDIA DGX™ avec des processeurs NVIDIA H100 ou B100) pour l’entraînement de puissants modèles d’IA physique générative et de modèles de fondation robotique.
- Un ordinateur NVIDIA OVX™ avec GPU NVIDIA RTX™ pour la génération de données synthétiques, l’apprentissage robotique et les tests en simulation, avec des frameworks de simulation tels que NVIDIA Isaac Sim™ et Isaac™ Lab basés sur NVIDIA Omniverse™.
- Un ordinateur d’exécution intégré au robot, tel que NVIDIA Jetson Thor™, basé sur l’architecture Blackwell de NVIDIA, capable d’exécuter une inférence à faible latence et à haut débit.
NVIDIA Isaac GR00T
GR00T est une initiative de recherche et une plateforme de développement pour les modèles de fondation de robots à usage général et les pipelines de données, afin d’accélérer la robotique humanoïde.
Modèles de fondation de robots
Les robots effectuent désormais une grande variété de tâches dans divers environnements. Chacune de ces tâches nécessite souvent un modèle d’IA dédié. Cependant, l’entraînement de ces modèles à partir de zéro pour chaque nouvelle tâche et environnement est un processus laborieux. Au lieu de développer des modèles individuels pour chaque tâche, les modèles de fondation de robots, entraînés sur diverses données, apprennent des compétences généralisables. Cette formation élargie leur permet de gérer une grande variété de tâches, d’environnements et de réalisations robotiques, ce qui améliore considérablement l’évolutivité et l’adaptabilité.
NVIDIA Isaac GR00T N1 est le premier modèle de fondation ouvert au monde pour le raisonnement et les compétences des robots humanoïdes généralisés. Ce modèle multi-incarnations utilise des entrées multimodales, notamment un langage et des images, pour effectuer des tâches de manipulation dans divers environnements. GR00T N1 a été entraîné sur un vaste jeu de données humanoïdes composé de données réelles capturées, de données synthétiques générées à l'aide des composants du modèle NVIDIA Isaac GR00T-Mimic et de données vidéo à l'échelle d'Internet. Il est adaptable grâce à un post-entraînement aux incarnations, des tâches et des environnements spécifiques.
Frameworks d’apprentissage robotique et de simulation
La simulation est essentielle pour les développeurs qui souhaitent entraîner des robots humanoïdes dans une grande variété d’environnements et de conditions physiquement précises, avant de les déployer dans le monde réel.
Les frameworks d'apprentissage et de simulation robotique tels que NVIDIA Isaac Sim et Isaac Lab basés sur la plateforme Omniverse permettent des simulations physiquement précises pour entraîner et valider plusieurs agents robotiques humanoïdes en parallèle.
Isaac Lab est un framework d’apprentissage robotique unifié open source basé sur Isaac Sim qui peut être utilisé pour appliquer ces techniques d’apprentissage pour entraîner une politique de robots. Les politiques de robots entraînées peuvent ensuite être validées dans Isaac Sim, une application de référence pour le développement, la simulation et le test d’humanoïdes dans des environnements virtuels basés sur la physique.
Agility Robotics
Workflows GR00T
Génération et traitement des données
Pour ce faire, la collecte de jeux de données importants et de haute qualité peut s’avérer difficile, coûteuse et chronophage. Les données synthétiques, générées à partir de simulations à haute précision physique, relèvent ce défi en accélérant la collecte de données et en offrant la diversité nécessaire pour généraliser les modèles de robot learning.
Le blueprint NVIDIA Isaac GR00T-Dreams génère par exemple de vastes quantités de données de trajectoires synthétiques à l'aide de NVIDIA Cosmos™, une plateforme qui centralise des modèles de fondation du monde à partir d'instructions de langage sur mesure et d'une image unique. Les robots peuvent ainsi apprendre de nouvelles tâches dans des environnements inconnus sans avoir besoin de données de téléopération spécifiques.
Le modèle GR00T-Dreams complète le modèle GR00T-Mimic. Alors que GR00T-Mimic utilise Omniverse et Cosmos pour enrichir les données existantes, GR00T-Dreams met à profit Cosmos pour générer des données entièrement nouvelles.
Manipulation agile
La fonctionnalité de saisie de robots humanoïdes nécessite des compétences en manipulation agile d’objets comme c'est le cas pour l’homme, capables d’effectuer des tâches de manipulation grossières et à dextérité fine. GR00T-Dexterity constitue une suite exhaustive de modèles et de politiques s'appuyant sur une approche basée sur l’apprentissage par renforcement, qui est combinée à des workflows de référence pour permettre le développement de capacités avancées.
Itinérance
La navigation à usage général dans des environnements complexes et dynamiques nécessite un réglage approfondi. Avec le workflow de référence GR00T-Mobility, vous pouvez créer un cadre généraliste pour naviguer à travers des paramètres et des réalisations de robots variés.
Contrôle du corps entier
Atteindre le contrôle du corps entier chez les robots humanoïdes est difficile et exige à la fois une manipulation stable et une locomotion robuste. GR00T-Control résout ce problème avec une suite de modèles avancés, de politiques et de workflows de référence pour la planification et le contrôle des mouvements, rationalisant le développement de systèmes de contrôle efficaces.
En utilisant l’apprentissage par imitation et des ensembles de données téléopérés, GR00T-Control facilite l’entraînement sur des politiques de mouvement robustes pour le corps entier, permettant aux robots humanoïdes d’apprendre des compétences de manipulation et de locomotion adroites.
Perception robotique basée sur l’IA
Pour améliorer la conscience situationnelle et l’efficacité des interactions, les robots humanoïdes nécessitent une mémoire à long terme pour les événements, les espaces, les paramètres personnalisés et les réponses sensibles au contexte.
GR00T-Perception permet cela avec une suite robuste de bibliothèques de perception, de modèles de fondation et de workflows de référence basés sur Isaac Sim et Isaac ROS. Ces outils intègrent des technologies avancées telles que les modèles de langage de vision et la mémoire augmentée par récupération pour améliorer la perception, la cognition et l’adaptabilité chez les robots humanoïdes.
La plateforme de calcul sur robot de nouvelle génération
Le matériel robotique est également crucial pour exécuter un ensemble de modèles d’IA multimodaux qui permettent d’alimenter les humanoïdes avec les performances, la latence et la sécurité fonctionnelle appropriées dans diverses conditions.
NVIDIA Jetson AGX Thor, basé sur l’architecture GPU Blackwell de NVIDIA, offre des calculs d’IA à ultra-hautes performances et un nouveau moteur de transformateur. Cela fournit la superpuissance d’IA nécessaire à l’Edge pour activer la nouvelle génération d’humanoïdes.
Liens rapides
Écosystème
Commencer avec nos partenaires en robotique humanoïde.
Commencer
Développer des robots humanoïdes
Faites progresser le développement de votre robot humanoïde avec les technologies de fondation d'Isaac GR00T en accédant à des didacticiels, à des forums, à des notes de version et à une documentation complète.
FAQ
Les robots humanoïdes sont conçus pour être exploités dans des environnements centrés sur l'humain en effectuant des tâches fastidieuses, répétitives ou physiquement exigeantes dans les usines, les entrepôts, les hôpitaux ou les environnements de vente au détail. À court terme, ces activités incluent la manutention de matériaux, le ramassage et le placement d'articles, la maintenance de machines, les contrôles de base et l'assistance aux travailleurs qui manipulent, soulèvent ou transportent des marchandises.
Les technologies NVIDIA Isaac constituent une pile de bout en bout pour l'entraînement, la simulation et le déploiement de "cerveaux" à destination des robots humanoïdes. Cette pile inclut un accès aux modèles ouverts Isaac GR00T N pour un raisonnement généralisé. Les développeurs peuvent par ailleurs tirer parti d'Isaac Lab, un framework de robot learning open-source qui permet d'apporter des modifications rapidement, de réutiliser des compétences sur plusieurs incarnations et de valider des politiques dans Isaac Sim avant tout déploiement concret sur du matériel.
La simulation permet aux équipes d'entraîner et de tester des robots humanoïdes sur des jumeaux numériques d'installations réelles avant tout déploiement physique, de manière à pouvoir évaluer les comportements, les cas limites et les modes de défaillance sans mettre en danger les personnes, les équipements ou les robots. Cette approche axée sur la simulation réduit la nécessité de recourir à des prototypes physiques coûteux et à des tests sur site à grande échelle, ce qui contribue à résoudre les problèmes d'intégration plus tôt et à raccourcir les cycles de déploiement.
La plateforme de NVIDIA a été conçue pour combler le manque en ressources de robotique en combinant des démonstrations limitées du monde réel avec des données synthétiques et des simulations à grande échelle. À l'aide du framework Isaac Lab open-source et d'Isaac Sim, les développeurs peuvent générer de vastes quantités de données d'entraînement photoréalistes. En outre, des blueprints de référence tels que GR00T-Dreams utilisent les modèles de fondation du monde de NVIDIA Cosmos pour créer des données de trajectoires synthétiques entièrement nouvelles à partir d'instructions simples, ce qui facilite la mise en œuvre de politiques sans nécessiter au préalable d'énormes jeux de données réels.
Les robots humanoïdes nécessitent de puissantes capacités de calcul embarqué pour traiter les données multimodales et garantir une sécurité fonctionnelle sans recourir à la connectivité Cloud. NVIDIA Jetson AGX Thor, reposant sur l'architecture Blackwell, remplit ce rôle en fournissant les performances d'IA et la faible latence nécessaires pour exécuter l'IA générative et des modèles de fondation directement sur le robot. Cette approche permet aux robots de détecter, de planifier et d'agir de manière autonome dans divers environnements réels.
Liens rapides
RTX PRO Server, la meilleure plateforme pour l’IA industrielle et physique
NVIDIA RTX PRO Server accélère toutes les charges de travail de numérisation industrielle, de simulation de robots et de génération de données synthétiques.
