Automobile
Comment Li Auto a doublé la couverture de ses simulations ADAS à l'aide de NVIDIA Omniverse NuRec
Objectif
Li Auto est l'un des principaux constructeurs chinois de véhicules électriques intelligents, doté d'une plateforme Full-Stack de système avancé d'aide à la conduite (ADAS) développée en interne. Au cœur de son processus de développement se trouve un environnement de simulation en boucle fermée conçu en interne pour l'évaluation des algorithmes, l'entraînement et la validation de la régression par rapport à des données de conduite réelles. La plateforme reconstruit les scènes de conduite réelles dans des simulations 3D, puis rejoue ces scènes à plusieurs reprises pour évaluer la réponse de ses algorithmes ADAS avant qu'une mise à jour ne soit déployée dans la flotte. La couverture de validation évolue directement en fonction du nombre de scènes qu'elle peut reconstruire. Cela signifie que le coût de la reconstruction et le débit constituent un frein direct à la quantité de données de la flotte pouvant être utilisées pour tester les algorithmes.
Afin de passer de la simulation ADAS en boucle fermée à la production tout en maîtrisant les coûts de reconstruction par scène, Li Auto intègre NVIDIA Omniverse™ NuRec à cette plateforme. NuRec transforme les données réelles de conduite en scènes 3D haute fidélité, permettant ainsi une validation reproductible en boucle fermée sans augmenter proportionnellement la charge de calcul.
Client
Li Auto
Cas d'utilisation
Simulation / Modélisation / Conception
Domaine
Simulation / Modélisation / Conception
Produits
Principaux enseignements
Échelle de la simulation
- Couverture des scènes de simulation multipliée par 2 avec une puissance de calcul équivalente, élargissant la validation des algorithmes à une gamme plus large de scénarios de conduite et de stationnement.
Efficacité de la reconstruction
- Réduction d'environ 50 % du coût de reconstruction par scène grâce à la représentation unifiée de la caméra et du LiDAR proposée par 3DGUT. Accélération par 4 de la vitesse d'entraînement multi-GPU sur 8 GPU, améliorant ainsi le débit pour la reconstruction des incidents et les itérations de simulation.
Qualité de la simulation
- Amélioration de l'exhaustivité des ressources et de la cohérence visuelle des scénarios de points de vue dispersés grâce à TokenGS et Harmonizer, ce qui permet d'obtenir des données de simulation plus fiables pour l'entraînement des modèles ADAS.
Qu'est-ce qui rend la simulation multimodale ADAS en boucle fermée difficile à mettre à l'échelle ?
La mise à l'échelle de la simulation en boucle fermée pour atteindre un niveau de qualité de production sur l'ensemble des capteurs multimodaux a nécessité de surmonter trois contraintes cumulatives :
Reconstruction et rendu multimodaux
Les nuages de points LiDAR constituent, avec les images des caméras, une source d'informations essentielle pour les algorithmes ADAS. Les approches conventionnelles d'éclaboussures gaussiennes 3D ne sont pas optimisées pour les données LiDAR. Le fait de maintenir des modèles de reconstruction distincts pour la caméra et le LiDAR alourdit la charge de travail technique et rend plus difficile la cohérence des simulations multicapteurs.
Débit de reconstruction
Le traitement des scènes de conduite à l'échelle de la production nécessite un débit de reconstruction élevé. Les longs délais de reconstruction par scène entraînent des goulots d'étranglement dans la relecture des incidents, la régression des algorithmes et la vitesse d'itération de la simulation en boucle fermée.
Qualité de la synthèse des vues inédites
Les scènes de conduite couvrent de vastes étendues spatiales avec une couverture de points de vue relativement limitée. Sans signaux d'entraînement pour les angles de caméra non visibles, les modèles de reconstruction ont tendance à faire du surapprentissage sur les points de vue capturés plutôt que de former les représentations 3D stables et généralisables nécessaires à une simulation fiable.
Comment NVIDIA Omniverse NuRec permet une reconstruction neuronale à l'échelle de la production
Li Auto a développé sa solution de reconstruction interne en intégrant les capacités de NVIDIA Omniverse NuRec à sa plateforme propriétaire de simulation en boucle fermée. NuRec convertit les données brutes des scènes de conduite en scènes 3D reconstruites et génère des rendus de capteurs haute fidélité pour les caméras et les LiDAR. Quatre capacités NuRec ont été intégrées au pipeline :
3DGUT : Représentation unifiée du LiDAR et de la caméra
La représentation 3DGUT (3D Gaussians with Unscented Transforms) de NuRec permet à un seul ensemble de gaussiennes de modéliser et de procéder au rendu des nuages de points LiDAR et des images simultanément. Cela élimine le besoin de disposer de pipelines de caméras et de LiDAR distincts, réduisant ainsi la charge d'ingénierie et améliorant la cohérence des simulations intermodales.
Entraînement multi-GPU hybride
Une stratégie d'entraînement parallèle combinant les méthodes DDP et FSDP répartit les particules gaussiennes en 3D sur plusieurs GPU. Cette approche accélère la reconstruction des scènes de conduite ADAS à grande échelle, avec une prise en charge ciblée des objets dynamiques et déformables. Sur une configuration à 8 GPU, cette approche permet d'obtenir une accélération d'environ 4 fois supérieure à celle d'une configuration de référence à un seul GPU.
Génération de ressources TokenGS (workflow Asset Harvester)
Le pipeline Asset Harvester convertit les observations d'objets clairsemées issues de scènes de conduite réelles en ressources 3D plus complètes, améliorant ainsi la qualité visuelle sous de nouveaux angles de vue. Li Auto a entraîné et déployé son propre modèle TokenGS pour prendre en charge ce workflow de génération de ressources sur son jeu de données interne.
Harmonisation visuelle avec Harmonizer
Le modèle Harmonizer de NuRec, basé sur la diffusion, corrige les artéfacts lors de la synthèse de nouvelles vues et améliore la cohérence de l'apparence, des couleurs et des ombres entre les ressources insérées et l'arrière-plan de la scène reconstruite avec NuRec. Cela permet d'obtenir des scènes de simulation en boucle fermée visuellement cohérentes, adaptées à l'entraînement et à l'évaluation des algorithmes ADAS.
Comment NVIDIA Omniverse NuRec jette les bases d'une simulation ADAS pérenne
La mise en œuvre par Li Auto démontre que NVIDIA Omniverse NuRec offre une valeur qui va au-delà de l’efficacité de la reconstruction de scènes unique, en constituant un investissement durable dans les infrastructures. À mesure que les fonctionnalités de NuRec continuent de s'intégrer au workflow en boucle fermée de Li Auto, la plateforme se positionne pour accélérer le développement des systèmes ADAS, améliorer la fidélité des simulations et étendre la couverture des tests sans nécessiter une augmentation équivalente des ressources informatiques physiques.
Activement impliquée dans le développement d'ADAS destinés à la production, Li Auto utilise une infrastructure de simulation pour faire progresser la validation et l'apprentissage des algorithmes sur l'ensemble de sa flotte déployée. L'intégration continue des capacités NuRec dans le pipeline en boucle fermée fournit une base pour améliorer à la fois le rythme et la qualité des itérations des systèmes de conduite intelligente.
NVIDIA Omniverse NuRec est basé sur une architecture logicielle modulaire qui prend en charge différents modèles d'intégration. Il peut faire office de solution complète de reconstruction neuronale de bout en bout, à moins que les développeurs ne choisissent d'intégrer des composants spécifiques, tels que le cadre de reconstruction, le moteur de rendu et les modules de modèles génératifs, dans des workflows personnalisés. La distribution open source de NuRec permet aux équipes d'adopter, d'étendre et de contribuer en retour à la plateforme à mesure que les besoins évoluent.
"La simulation de modèles de monde en boucle fermée est une capacité fondamentale du département de R&D de Li Auto pour la conduite intelligente. Nous concevons et possédons notre plateforme de simulation pour l'adapter à notre propre architecture technique. Dans le cadre de ce processus, nous avons travaillé en étroite collaboration avec NVIDIA sur la reconstruction neuronale, l'entraînement parallèle multi-GPU, la génération de ressources et la cohérence visuelle. L'intégration des fonctionnalités pertinentes de NuRec aux étapes clés de notre processus a permis d'améliorer l'efficacité de la reconstruction des scènes et la qualité de la simulation multimodale, d'accélérer la validation et le déploiement en production des technologies associées, et a contribué à notre capacité à faire évoluer en permanence notre infrastructure de simulation autonome et évolutive en boucle fermée."
Zhan Kun
Responsable des modèles de fondation, Li Auto
Découvrez comment NVIDIA alimente la simulation et la validation des véhicules autonomes.