Automobilindustrie
So verdoppelte Li Auto die Abdeckung der ADAS-Simulation mit NVIDIA Omniverse NuRec
Ziel
Li Auto ist einer der führenden chinesischen Hersteller intelligenter Elektrofahrzeuge mit einer Full-Stack-Plattform für fortschrittliche Fahrerassistenzsysteme (ADAS). Im Mittelpunkt des Entwicklungsprozesses steht eine intern entwickelte Closed-Loop-Simulationsumgebung für die Algorithmenbewertung, das Training und die Regressionsvalidierung anhand realer Fahrdaten. Die Plattform rekonstruiert reale Fahrprotokolle zu 3D-Simulationen und spielt diese Szenen dann wiederholt ab, um zu bewerten, wie ihre ADAS-Algorithmen reagieren, bevor eine Aktualisierung die Flotte erreicht. Die Validierungsabdeckung skaliert direkt mit der Anzahl der Szenen, die rekonstruiert werden können. Dadurch bilden die Kosten für die Rekonstruktion und der Durchsatz eine direkte Obergrenze dafür, welcher Anteil der Flottendaten für Algorithmen-Tests genutzt werden kann.
Um Closed-Loop-ADAS-Simulationen für die Produktion zu skalieren und gleichzeitig die Rekonstruktionskosten pro Szene zu kontrollieren, integriert Li Auto NVIDIA Omniverse™ NuRec in diese Plattform. NuRec wandelt reale Fahrprotokolle in hochpräzise 3D-Szenen um und ermöglicht eine reproduzierbare Closed-Loop-Validierung ohne proportionale Erhöhung der Rechenleistung.
Kunde
Li Auto
Anwendungsbeispiel
Simulation/Modellierung/Design
Thema
Simulation/Modellierung/Design
Produkte
Das Wichtigste im Überblick
Simulationsskalierung
- Zweifache Simulationsszenenabdeckung mit gleichwertiger Rechenleistung, wodurch die Algorithmenvalidierung auf eine breitere Palette von Fahr- und Parkszenarien erweitert wird.
Effizienz der Rekonstruktion
- Ca. 50 % Reduzierung der Rekonstruktionskosten pro Szene durch die einheitliche Kamera- und LiDAR-Darstellung von 3DGUT; vierfache Multi-GPU-Trainingsbeschleunigung auf 8 GPUs, Verbesserung des Durchsatzes für Vorfallrekonstruktion und Simulationsiterationen.
Simulationsqualität
- Verbesserte Asset-Vollständigkeit und visuelle Konsistenz in Szenarien mit wenigen Blickwinkeln durch TokenGS und Harmonizer, was zuverlässigere Simulationseingaben für das ADAS-Modelltraining liefert.
Was macht die Skalierung der multimodalen ADAS-Closed-Loop-Simulation so schwierig?
Um Closed-Loop-Simulationen auf Produktionsqualität über multimodale Sensoren hinweg zu skalieren, mussten drei sich gegenseitig verstärkende Einschränkungen berücksichtigt werden:
Multimodale Rekonstruktion und Rendering
LiDAR-Punktwolken sind neben Kameradaten eine primäre Eingangsgröße für ADAS-Algorithmen. Herkömmliche 3D-Gaussian-Splatting-Ansätze sind nicht für LiDAR-Daten optimiert. Die Pflege separater Kamera- und LiDAR-Rekonstruktionsmodelle erhöht den technischen Aufwand und macht es schwieriger, bei der Multi-Sensor-Simulation Konsistenz zu erzielen.
Rekonstruktionsdurchsatz
Die Verarbeitung von Fahrprotokollen im Produktionsmaßstab erfordert einen hohen Rekonstruktionsdurchsatz. Lange Rekonstruktionszeiten pro Szene führen zu Engpässen bei der Wiedergabe von Zwischenfällen, bei der Algorithmus-Regression und bei der Iterationsgeschwindigkeit der Closed-Loop-Simulation.
Qualität der Novel-View-Synthese
Szenen aus Fahrprotokollen erstrecken sich über große räumliche Bereiche mit relativ spärlicher Abdeckung der Blickwinkel. Ohne Trainingssignale für unsichtbare Kamerawinkel neigen Rekonstruktionsmodelle dazu, sich an die erfassten Blickwinkel überanzupassen, anstatt stabile, generalisierbare 3D-Darstellungen zu bilden, die für zuverlässige Simulationen erforderlich sind.
Wie NVIDIA Omniverse NuRec die neuronale Rekonstruktion im Produktionsmaßstab ermöglicht
Li Auto entwickelte seine interne Rekonstruktionslösung, indem es Funktionen von NVIDIA Omniverse NuRec in seine proprietäre Closed-Loop-Simulationsplattform integrierte. NuRec wandelt Rohdaten aus Fahrprotokollen in rekonstruierte 3D-Szenen um und generiert hochpräzise Sensor-Renderings sowohl für Kamera als auch für LiDAR. Vier NuRec-Funktionen wurden in die Pipeline integriert:
3DGUT: Einheitliche LiDAR- und Kamera-Darstellung
Die 3D-Gaussian-Darstellung von NuRec mit Unscented Transforms (3DGUT) ermöglicht es einem einzigen Satz von Gaussians, sowohl LiDAR-Punktwolken als auch Bildframes gleichzeitig zu modellieren und zu rendern. Dies macht separate Kamera- und LiDAR-Pipelines überflüssig, reduziert den technischen Aufwand und verbessert die Konsistenz modalübergreifender Simulationen.
Hybrides Multi-GPU-Training
Eine kombinierte parallele DDP- und FSDP-Trainingsstrategie verteilt 3D Gaussian-Partikel über mehrere GPUs. Dieser Ansatz beschleunigt die Rekonstruktion großer ADAS-Fahrszenen mit gezielter Unterstützung für dynamische und deformierbare Objekte. Bei einer 8-GPU-Konfiguration liefert der Ansatz eine etwa vierfache Beschleunigung gegenüber einer Single-GPU-Basis.
TokenGS Asset-Generierung (Asset Harvester-Arbeitsablauf)
Die Asset Harvester-Pipeline wandelt spärliche Objektbeobachtungen aus realen Fahrprotokollen in vollständigere 3D-Assets um und verbessert die visuelle Qualität aus neuen Blickwinkeln. Li Auto hat sein eigenes TokenGS-Modell trainiert und bereitgestellt, um diesen Asset-Generierungs-Workflow auf Basis seines internen Datensatzes zu unterstützen.
Harmonizer Visuelle Harmonisierung
Das diffusionsbasierte Harmonizer-Modell von NuRec korrigiert Artefakte in der Novel-View-Synthese und verbessert die Konsistenz in Bezug auf Aussehen, Farbe und Schatten zwischen eingefügten Assets und dem mit NuRec rekonstruierten Szenenhintergrund. Das Ergebnis sind visuell kohärente Closed-Loop-Simulationsszenen, die sich für das Training und die Bewertung von ADAS-Algorithmen eignen.
Wie NVIDIA Omniverse NuRec eine dauerhafte ADAS-Simulationsgrundlage schafft
Die Implementierung durch Li Auto zeigt, dass NVIDIA Omniverse NuRec eine Funktion erfüllt, die über die Effizienz bei der Rekonstruktion einzelner Szenen hinausgeht – nämlich die Schaffung einer dauerhaften Infrastrukturinvestition. Da die NuRec-Funktionen weiter in den Closed-Loop-Workflow von Li Auto integriert werden, ist die Plattform positioniert, um die ADAS-Entwicklungsgeschwindigkeit zu steigern, die Simulationsgenauigkeit zu verbessern und die Testabdeckung zu erweitern, ohne ein entsprechendes Wachstum der physischen Rechenressourcen zu erfordern.
Als aktiver Teilnehmer an der ADAS-Entwicklung im Produktionsmaßstab nutzt Li Auto die Simulationsinfrastruktur, um die Algorithmenvalidierung und das Training seiner gesamten Einsatzflotte voranzutreiben. Die kontinuierliche Integration von NuRec-Funktionen in die Closed-Loop-Pipeline bietet eine Grundlage für die Verbesserung sowohl des Tempos als auch der Qualität der Iteration intelligenter Fahrsysteme.
NVIDIA Omniverse NuRec basiert auf einer modularen Softwarearchitektur, die verschiedene Integrationsmuster unterstützt. Es kann als vollständige End-to-End-Lösung für neuronale Rekonstruktion dienen, oder Entwickler können einzelne Komponenten auswählen, einschließlich des Rekonstruktionsframeworks, der Rendering-Engine und der generativen Modellmodule, für die Integration in benutzerdefinierte Workflows. Die Open-Source-Distribution von NuRec ermöglicht es Teams, die Plattform einzusetzen, zu erweitern und selbst Beiträge zu leisten, wenn sich die Anforderungen ändern.
„Die Closed-Loop-Weltmodell-Simulation ist eine grundlegende Funktion in der Forschung und Entwicklung für intelligentes Fahren von Li Auto. Wir entwickeln und besitzen unsere Simulationsplattform, um sie an unsere eigene technische Architektur anzupassen. In diesem Prozess haben wir eng mit NVIDIA an neuronaler Rekonstruktion, parallelem Multi-GPU-Training, Asset-Generierung und visueller Konsistenz zusammengearbeitet. Die Integration relevanter NuRec-Funktionen in wichtige Phasen unserer Pipeline hat die Effizienz der Szenenrekonstruktion und die multimodale Simulationsqualität verbessert, die Validierung und Produktionsbereitstellung verwandter Technologien beschleunigt und zu unserer Fähigkeit beigetragen, unsere autonome, skalierbare Closed-Loop-Simulationsinfrastruktur kontinuierlich weiterzuentwickeln.“
Zhan Kun
Head of Foundation Models bei Li Auto
Erfahren Sie mehr darüber, wie NVIDIA die Simulation und Validierung für autonome Fahrzeuge unterstützt.