Production industrielle
Lightwheel accélère le développement de l’IA physique avec les modèles de simulation et de fondation de NVIDIA
Objectif
Lightwheel, un fournisseur de solutions de robotique axées sur la simulation, s'attaque à deux obstacles critiques à l'IA physique : la rareté de données résultant d'une collecte de données coûteuse dans le monde réel et l'écart entre la simulation et la réalité, où les politiques entraînées en simulation ne parviennent pas à se traduire sur du matériel physique. Pour aider les fabricants de robots à surmonter ces défis, Lightwheel a exploité NVIDIA Isaac Sim™ et Isaac™ Lab, les bibliothèques NVIDIA Omniverse™ et le modèle de fondation Isaac GR00T N1.5 pour créer la plateforme de simulation Lightwheel, un workflow axé sur la simulation qui comble le fossé entre la recherche et le déploiement robotique dans le monde réel.
Client
AgiBot
BYD
ByteDance
Figure
Fourier
Galbot
Geely
Google Deepmind
Zordi
Partenaire
Lightwheel
Cas d'utilisation
Robotique
Produits
Principaux enseignements
- Cycles de développement accélérés faisant passer l'entraînement des modèles de robotique de plusieurs semaines ou mois à des boucles itératives rapides grâce à des workflows axés sur la simulation
- Rapport de 100:1 des données simulées aux données concrètes, évitant une coûteuse collecte de données réelles tout en maintenant des environnements d'entraînement physiquement réalistes
- Déploiement fructueux d'usines automobiles via les modèles de fondation GR00T N1.5 dans l'environnement de production en direct de Geely avec des robots humanoïdes Unitree H1
- Solutions multi-industries évolutives au service de clients importants tels qu'AgiBot, ByteDance et Figure reposant sur des applications de robotique et d'automatisation
- Propulsé par OpenUSD, la plateforme de simulation Lightwheel fournit un pipeline d'IA complet et intégré, de la génération d'actifs SimReady à la simulation sur le Cloud, en passant par la collecte de données de téléopération en réalité virtuelle.
Rareté des données et écart entre simulation et monde réel
Le secteur de l'IA et de la robotique incarnées est confronté à deux obstacles fondamentaux : la rareté des données et l'écart entre la simulation et la réalité. La collecte de données du monde réel reste lente et coûteuse, ce qui limite la vitesse de développement et les jeux de données d'entraînement nécessaires aux systèmes autonomes intelligents. L’écart entre la simulation et la réalité représente un défi tout aussi important, puisque les politiques d’IA entraînées dans des environnements de simulation ne parviennent pas à se traduire par des performances fiables sur du matériel physique.
Pour les chercheurs en robotique, les développeurs et les industries qui déploient des systèmes autonomes dans les domaines de la fabrication, de la santé, de la logistique et de l'agriculture, ces défis créent des limitations opérationnelles substantielles. Les approches traditionnelles nécessitent un prototypage physique approfondi, des tests pratiques coûteux et une collecte de données chronophage, ce qui limite significativement la vitesse d’innovation et augmente les coûts de développement tout en limitant le déploiement de systèmes d’IA avancés au sein d'applications pratiques.
Lightwheel
Conception d'une plateforme de simulation
Pour surmonter ces défis, Lightwheel a développé la plateforme de simulation Lightwheel, une solution complète basée sur les bibliothèques Isaac Sim, Isaac Lab et NVIDIA Omniverse, qui aborde le développement de l'IA embarquée grâce à trois composants principaux.
Ressources Lightwheel SimReady et fondation pour la simulation
Les ressources SimReady de Lightwheel sont conçues pour une physique réelle, avec une géométrie précise et des propriétés physiques validées. Ces ressources permettent aux utilisateurs d'assembler rapidement des jumeaux numériques précis, accélérant ainsi les workflows de collecte de données de téléopération et l'apprentissage par renforcement. Grâce à la prise en charge intégrée du format Universal Scene Description (USD) et de MJCF, les équipes peuvent intégrer facilement des ressources dans Isaac Sim, débloquant des environnements de simulation robustes et interopérables.
En tirant parti d'OpenUSD, Lightwheel crée des simulations de haute qualité et physiquement précises pour piloter l'IA physique moderne à grande échelle. Lightwheel utilise NVIDIA USD Search pour rationaliser la découverte d'actifs, ce qui permet de localiser facilement les bons actifs SimReady pour chaque tâche de simulation et d'assembler des scènes en quelques minutes. Cette flexibilité permet aux équipes d'accélérer le développement dans leur environnement de simulation favori. Cette bibliothèque de ressources peut s'appuyer sur le framework de simulation de Lightwheel, qui intègre parfaitement Isaac Sim.
Téléopération avancée et génération de données
Lightwheel permet la collecte de données de téléopération de haute qualité via des casques VR (Apple Vision Pro, Meta Quest), des souris spatiales et des solutions d'exosquelette avec une assurance qualité robuste. La plateforme combine MimicGen et DexMimicGen avec les ressources, les environnements et Isaac Sim de Lightwheel pour généraliser les données de simulation téléopérées, ce qui multiplie la valeur des données synthétiques de 100 à 1 000 fois.
Pour générer ce jeu de données d'entraînement diversifié, les opérateurs contrôlent des robots humanoïdes Unitree-H1 simulés par le biais de tâches industrielles complexes, notamment la manipulation de composants cylindriques avec Dex Hand et la coordination à double bras pour le soulèvement de plateaux lourds dans des environnements automobiles.
Intégration GR00T N1.5 et assurance qualité
En tirant parti du modèle de fondation de langage-visuel (VLA) GR00T N1.5, Lightwheel a affiné le modèle à l'aide de données synthétiques générées par simulation à partir de ses environnements SimReady. Ces données incluaient des images RVB, des états des articulations, des descriptions de tâches générées par GPT et des métadonnées de scène. Ce processus d'entraînement à haut degré de fiabilité a donné lieu à des performances impressionnantes, validant l'efficacité des pipelines basés sur la simulation pour l'IA incarnée.
La plateforme de simulation Lightwheel applique une assurance qualité rigoureuse en deux phases : validation automatisée du réalisme visuel et de l'exhaustivité des annotations, suivie d'une révision manuelle du comportement réaliste sous contraintes physiques.
Pour le déploiement automobile de Geely, l'équipe a en outre adapté GR00T N1.5 à la morphologie spécifique du robot Unitree H1, en personnalisant le planificateur de vision-langage avec des instructions optimisées en usine. À l'aide de techniques d'augmentation de données Isaac Sim et DexMimicGen, ils ont élargi la diversité de l'entraînement grâce à divers types d'éclairage, de matériaux et de placements d'objets, permettant ainsi de réaliser des performances fiables dans des conditions d'usine dynamiques.
Pendant le prototypage, le système fonctionne sur des GPU NVIDIA GeForce RTX™ 4090, ce qui fournit une capacité de calcul pour l'adaptation de l'implémentation et l'optimisation des tâches avant le déploiement.
Lightwheel
Fourniture de l’IA incarnée à l’industrie
La plateforme de simulation de Lightwheel alimenté par NVIDIA offre des améliorations transformatives en matière de vitesse de développement, de réussite de déploiement et de performances réelles, établissant ainsi de nouveaux points de référence pour le développement de l'IA incarnée dans des applications industrielles.
Développement accéléré et efficacité des coûts
L'approche axée sur la simulation a réduit les cycles de développement de plusieurs mois à quelques semaines en permettant une itération rapide dans des environnements virtuels. Le rapport de 100:1 des données simulées aux données concrètes a évité une coûteuse collecte de données réelles tout en maintenant la précision physique nécessaire pour transformer en toute fiabilité les données simulées en données réelles, générant des données synthétiques évolutives de haute qualité avec une intervention manuelle minimale.
Déploiement industriel dans le monde réel
Lightwheel a déployé avec succès des modèles de fondation GR00T N1.5 dans des robots humanoïdes Unitree H1 dans l'usine automobile de Geely. Les robots effectuent de manière autonome un transport de composants entre les stations de travail, un placement précis des pièces sur les plateaux d'inspection et une manipulation à double bras coordonnée des composants lourds, tout en maintenant l'équilibre dans des environnements dynamiques avec des travailleurs humains. Ces déploiements démontrent des progrès significatifs vers une autonomie fiable de qualité professionnelle et capable de s'adapter à divers workflows.
Impact multi-industriel et développement futur
De grands partenaires technologiques, notamment Google DeepMind, Figure, AgiBot, ByteDance, Geely et BYD, tirent parti des ressources de la plateforme de simulation Lightwheel et des jeux de données synthétiques pour améliorer les performances d'IA intégrées dans les applications de robotique et d'automatisation. L’intégration de la plateforme à un écosystème NVIDIA plus vaste enrichit la chaîne de services de bout en bout pour la génération de données synthétiques tout en ouvrant de nouveaux flux de revenus issus de l’industrie de la robotique.
Le développement en cours se concentre sur l'extension des capacités de la plateforme pour la modélisation d'objets déformables, la construction de ressources SimReady pour les tâches généralistes et la mise à l'échelle des pipelines de génération de données en tirant parti du modèle GR00T N1.5 en tant que démonstrateur semi-autonome pour les démonstrations de tâches initiales à l'échelle.
Transformation de la recherche avancée en solutions concrètes
La collaboration de Lightwheel avec NVIDIA démontre comment les plateformes de simulation avancées et les modèles fondamentaux peuvent transformer le développement de l'IA incarnée, transformant la recherche théorique en solutions robotiques pratiques et déployables. Le déploiement réussi de robots humanoïdes disposant de GR00T N1.5 dans des environnements de construction automobile en direct illustre à quel point les stratégies axées sur la simulation peuvent fournir une automatisation fiable et évolutive au sein d'une usine.
Cette approche complète montre comment les entreprises peuvent tirer parti de l'écosystème d'IA de NVIDIA pour surmonter les obstacles traditionnels en matière de développement de la robotique, en atteignant une vitesse sans précédent, une rentabilité, et le succès du déploiement dans des secteurs, de la fabrication automobile au développement de robots de nouvelle génération.
« En tirant parti des technologies d'IA de NVIDIA, nous avons affiné notre modèle de fondation vision-langage-action avec nos propres données synthétiques et réelles de haute qualité, puis nous l'avons déployé sur de vrais robots. » En utilisant le modèle GR00T N1.5, nous avons permis aux robots de comprendre des instructions complexes et d’effectuer des tâches polyvalentes dans des environnements dynamiques et réels, ce qui n'était pas possible auparavant."
Jay Yang
Architecte en chef
Découvrez comment NVIDIA Isaac Sim peut accélérer votre propre développement robotique, de la simulation à la réalité, grâce à des environnements de simulation photoréalistes.