Production
Lightwheel accélère le développement de l’IA physique avec les modèles de simulation et de fondation de NVIDIA
Objectif
Lightwheel, un fournisseur de solutions de robotique axées sur la simulation, fait face à deux obstacles critiques en matière d'IA physique : la rareté des données provenant de la collecte coûteuse de données réelles et l'écart entre la simulation et la réalité, puisque les politiques entraînées grâce à la simulation ne parviennent pas à se traduire sur du matériel physique. Pour aider les constructeurs de robots à surmonter ces défis, Lightwheel a mis à profit NVIDIA Omniverse™, Isaac Sim™, Isaac™ Labet le modèle de fondation vision-langage-action Isaac GR00T N1.5 pour créer la plateforme de simulation Lightwheel, qui propose un workflow axé sur la simulation qui comble le fossé entre la recherche et le déploiement robotique dans le monde réel.
Client
AgiBot
BYD
ByteDance
Figure
Fourier
Galbot
Geely
Google Deepmind
Zordi
Partenaire
Lightwheel
Cas d'utilisation
Robotique
Produits
NVIDIA Isaac
NVIDIA Omniverse
Principaux enseignements
- Cycles de développement accélérés faisant passer l'entraînement des modèles de robotique de plusieurs semaines ou mois à des boucles itératives rapides grâce à des workflows axés sur la simulation
- Rapport de 100:1 des données simulées aux données concrètes, évitant une coûteuse collecte de données réelles tout en maintenant des environnements d'entraînement physiquement réalistes
- Déploiement fructueux d'usines automobiles via les modèles de fondation GR00T N1.5 dans l'environnement de production en direct de Geely avec des robots humanoïdes Unitree H1
- Solutions multi-industries évolutives au service de clients importants tels qu'AgiBot, ByteDance et Figure reposant sur des applications de robotique et d'automatisation
- Pipeline complet d'IA incarnée via la plateforme de simulation Lightwheel, de la génération d'actifs SimReady à la simulation basée sur le Cloud et à la collecte de données de téléopération VR
Rareté des données et écart entre simulation et monde réel
L'industrie de l'IA incarnée et de la robotique est confrontée à deux obstacles fondamentaux : la rareté des données et l'écart entre la simulation et la réalité. La collecte de données réelles reste lente et coûteuse, ce qui limite la vitesse de développement et limite le nombre de jeux de données d'entraînement nécessaires pour les systèmes autonomes intelligents. L’écart entre la simulation et la réalité représente un défi tout aussi important, puisque les politiques d’IA entraînées dans des environnements de simulation ne parviennent pas à se traduire par des performances fiables sur du matériel physique.
Pour les chercheurs, les développeurs et les industries en robotique déployant des systèmes autonomes dans les domaines de la production, de la santé, de la logistique et de l'agriculture, ces défis peuvent constituer des limitations opérationnelles importantes. Les approches traditionnelles nécessitent un prototypage physique approfondi, des tests pratiques coûteux et une collecte de données chronophage, ce qui limite significativement la vitesse d’innovation et augmente les coûts de développement tout en limitant le déploiement de systèmes d’IA avancés au sein d'applications pratiques.
Lightwheel
Lightwheel
Conception d'une plateforme de simulation
Pour surmonter ces défis, Lightwheel a développé la plateforme de simulation Lightwheel, une solution complète basée sur NVIDIA Omniverse, Isaac Simet Isaac Lab, qui met en œuvre le développement de l'IA incarnée à travers trois composants de base.
Ressources Lightwheel SimReady et fondation pour la simulation
Lightwheel propose des ressources SimReady de haute qualité, conçues spécifiquement pour la simulation robotique avancée. Conçues avec une géométrie et des propriétés physiques précises, ces ressources sont optimisées pour des cas d'utilisation allant de la collecte de données de téléopération à l'apprentissage par renforcement afin de garantir qu'elles sont non seulement physiquement prêtes, mais aussi au point pour la téléopération et le Robot Learning.
Pour maximiser la compatibilité, les ressources SimReady sont disponibles dans les deux formats USD (Universal Scene Description) pour Omniverse et Isaac Sim au format MJCF pour MuJoCo. Cette flexibilité permet aux équipes d'accélérer le développement dans leur environnement de simulation favori. Cette bibliothèque de ressources peut s'appuyer sur le framework de simulation de Lightwheel, qui intègre parfaitement Isaac Sim.
Téléopération avancée et génération de données
Lightwheel permet la collecte de données de téléopération de haute qualité grâce à des casques VR (Apple Vision Pro, Meta Quest), à Space Mouse et à des solutions d'exosquelette avec une assurance qualité robuste. La plateforme combine MimicGen et DexMimicGen avec les environnements, les ressources SimReady de Lightwheel et Isaac Sim pour généraliser des données de simulation téléopérées, en adaptant la valeur des données synthétiques de 100 à 1000 fois.
Pour générer ce jeu de données d'entraînement diversifié, les opérateurs contrôlent des robots humanoïdes Unitree H1 simulés pour des tâches industrielles complexes, y compris la manipulation de composants cylindriques avec Dex Hand et la coordination à deux bras pour soulever des plateaux lourds dans des environnements automobiles.
Intégration de GR00T N1.5 et assurance qualité
En exploitant le modèle de fondation vision-langage-action (VLA) GR00T N1.5 , Lightwheel a affiné le modèle à l'aide de données synthétiques générées par simulation à partir de ses environnements SimReady. Ces données comprenaient des images RGB, des états communs, des descriptions de tâches générées par GPT et des métadonnées de scène. Ce processus d'entraînement à haut degré de fiabilité a donné lieu à des performances impressionnantes, validant l'efficacité des pipelines basés sur la simulation pour l'IA incarnée.
La plateforme de simulation Lightwheel applique une assurance qualité rigoureuse en deux phases : validation automatisée du réalisme visuel et de l'exhaustivité des annotations, suivie d'une révision manuelle du comportement réaliste sous contraintes physiques.
Pour le déploiement automobile de Geely, l'équipe a en outre adapté la technologie GR00T N1.5 à la morphologie spécifique du robot Unitree H1, personnalisant ainsi l'outil de planification vision-langage avec des invites optimisées en usine. En utilisant les techniques d'augmentation de données d'Isaac Sim et DexMimicGen, elle a élargi la diversité de l'entraînement via plusieurs gammes d'éclairage, de matériaux et de placements d'objets, ce qui a engendré des performances fiables dans des conditions d'usine dynamiques.
Pendant le prototypage, le système fonctionne sur des GPU NVIDIA GeForce RTX™ 4090 fournissant des capacités de calcul à même d'adapter l'incarnation et d'optimiser les tâches avant le déploiement.
Lightwheel
Fourniture de l’IA incarnée à l’industrie
La plateforme de simulation NVIDIA de Lightwheel offre des améliorations transformatrices en termes de vitesse de développement, de succès de déploiement et de performances concrètes, établissant de nouvelles références pour le développement de l'IA incarnée au sein des applications industrielles.
Développement accéléré et rentabilité
L'approche axée sur la simulation a réduit les cycles de développement de plusieurs mois à quelques semaines seulement en permettant une itération rapide dans des environnements virtuels. Le rapport de 100:1 des données simulées aux données concrètes a évité une coûteuse collecte de données réelles tout en maintenant la précision physique nécessaire pour transformer en toute fiabilité les données simulées en données réelles, générant des données synthétiques évolutives de haute qualité avec une intervention manuelle minimale.
Déploiement industriel concret
Lightwheel a déployé avec succès des modèles de fondation GR00T N1.5 dans des robots humanoïdes Unitree H1 au sein de son usine automobile de Geely. Les robots effectuent de manière autonome le transport des composants entre les postes de travail, disposent de manière précise les pièces sur les plateaux d'inspection et coordonnent la manipulation à deux bras des composants lourds tout en maintenant l'équilibre avec des travailleurs humains dans des environnements dynamiques. Ces déploiements démontrent des progrès significatifs vers une autonomie fiable de qualité professionnelle et capable de s'adapter à divers workflows.
Impact multi-industries et développement futur
Des partenaires technologiques majeurs, parmi lesquels Google DeepMind, Figure, AgiBot, ByteDance, Geely et BYD, exploitent les ressources de la plateforme de simulation Lightwheel et les jeux de données synthétiques pour améliorer les performances de l'IA incarnée dans les applications de robotique et d'automatisation. L’intégration de la plateforme à un écosystème NVIDIA plus vaste enrichit la chaîne de services de bout en bout pour la génération de données synthétiques tout en ouvrant de nouveaux flux de revenus issus de l’industrie de la robotique.
Le développement en cours se concentre sur l'extension des capacités de la plateforme pour la modélisation d'objets déformables, la construction de ressources SimReady pour les tâches généralistes et la mise à l'échelle des pipelines de génération de données en tirant parti du modèle GR00T N1.5 en tant que démonstrateur semi-autonome pour les démonstrations de tâches initiales à l'échelle.
Transformation de la recherche avancée en solutions concrètes
La collaboration entre Lightwheel et NVIDIA démontre dans quelle mesure les plateformes de simulation avancée et les modèles de fondation peuvent révolutionner le développement de l’IA incarnée en transformant la recherche théorique en solutions robotiques pratiques et déployables. Le déploiement réussi de robots humanoïdes disposant de GR00T N1.5 dans des environnements de construction automobile en direct illustre à quel point les stratégies axées sur la simulation peuvent fournir une automatisation fiable et évolutive au sein d'une usine.
Cette approche exhaustive montre comment les entreprises peuvent tirer parti de l’écosystème d’IA de NVIDIA pour surmonter les obstacles traditionnels liés au développement de la robotique, en atteignant une vitesse, une rentabilité et un taux de succès de déploiement sans précédent dans des secteurs allant de la construction automobile au développement de robots de nouvelle génération.
“En tirant parti des technologies d’IA de NVIDIA, nous avons réussi à affiner notre modèle de fondation vision-langage-action avec nos propres données synthétiques et réelles de haute qualité et à le déployer sur de vrais robots. En utilisant le modèle GR00T N1.5, nous avons permis aux robots de comprendre des instructions complexes et d’effectuer des tâches polyvalentes dans des environnements dynamiques et réels, ce qui n'était pas possible auparavant."
Jay Yang
Architecte en chef
Découvrez comment NVIDIA Isaac Sim peut accélérer le développement de votre robotique de la simulation à la réalité grâce à des environnements de simulation photoréalistes.