Industria automobilistica
Come Li Auto ha raddoppiato la copertura della simulazione ADAS grazie a NVIDIA Omniverse NuRec
Obiettivo
Li Auto è uno dei principali produttori cinesi di veicoli elettrici intelligenti, dotato di una piattaforma ADAS (sistema avanzato di assistenza alla guida) full-stack sviluppata interamente in-house. Al centro del suo processo di sviluppo c'è un ambiente di simulazione a circuito chiuso integrato internamente, utilizzato per la valutazione degli algoritmi, l'addestramento e la validazione della regressione rispetto ai dati di guida del mondo reale. La piattaforma ricostruisce i registri di guida reali in simulazioni 3D, quindi riproduce ripetutamente tali scene per valutare come rispondono i suoi algoritmi ADAS prima che qualsiasi aggiornamento venga distribuito alla flotta. La copertura della validazione aumenta in modo direttamente proporzionale al numero di scene che la piattaforma è in grado di ricostruire. Ciò rende il costo e la capacità di calcolo della ricostruzione un limite diretto alla quantità di dati della flotta utilizzabile per i test degli algoritmi.
Per portare la simulazione ADAS a circuito chiuso a livello di produzione, controllando al contempo i costi di ricostruzione per singola scena, Li Auto sta integrando NVIDIA Omniverse™ NuRec all'interno di questa piattaforma. NuRec converte i registri di guida reali in scene 3D ad alta fedeltà, consentendo una validazione a circuito chiuso riproducibile senza aumenti proporzionali della potenza di calcolo.
Cliente
Li Auto
Caso d'uso
Simulazione / Modellazione / Design
Argomento
Simulazione/Modellazione/Design
Prodotti
Punti chiave
Scala di simulazione
- Copertura delle scene di simulazione raddoppiata a parità di potenza di calcolo, estendendo la validazione degli algoritmi a una gamma più ampia di scenari di guida e parcheggio.
Efficienza della ricostruzione
- Riduzione di circa il 50% dei costi di ricostruzione per singola scena grazie alla rappresentazione unificata di telecamera e LiDAR di 3DGUT; accelerazione di 4 volte dell'addestramento multi-GPU su 8 GPU, migliorando l'efficienza nella ricostruzione degli incidenti e nelle iterazioni di simulazione.
Qualità della simulazione
- Maggiore completezza degli asset e consistenza visiva negli scenari a vista sparsa grazie a TokenGS e Harmonizer, con la conseguente generazione di input di simulazione più affidabili per l'addestramento dei modelli ADAS.
Cosa rende difficile scalare la simulazione ADAS multimodale a circuito chiuso?
Scalare la simulazione a circuito chiuso a un livello di qualità da produzione su sensori multimodali ha richiesto la risoluzione di tre vincoli interconnessi:
Ricostruzione e rendering multimodali
Le nuvole di punti LiDAR costituiscono un input primario per gli algoritmi ADAS, insieme ai flussi video delle telecamere. Gli approcci convenzionali di 3D Gaussian Splatting non sono ottimizzati per i dati LiDAR. Mantenere modelli di ricostruzione separati per telecamere e LiDAR aumenta il sovraccarico ingegneristico e rende più difficile ottenere la coerenza della simulazione multi-sensore.
Capacità di elaborazione della ricostruzione
L'elaborazione dei registri di guida su scala di produzione richiede un'elevata capacità di elaborazione della ricostruzione. Tempi di ricostruzione prolungati per singola scena creano colli di bottiglia nella riproduzione degli incidenti, nella regressione degli algoritmi e nella velocità di iterazione della simulazione a circuito chiuso.
Qualità della sintesi di viste inedite
Le scene dei registri di guida coprono vaste aree spaziali con una copertura dei punti di vista relativamente sparsa. In mancanza di segnali di addestramento per angolazioni di ripresa inedite, i modelli di ricostruzione tendono a soffrire di overfitting rispetto ai punti di vista acquisiti, anziché generare rappresentazioni 3D stabili e generalizzabili necessarie per una simulazione affidabile.
In che modo NVIDIA Omniverse NuRec consente la ricostruzione neurale su scala di produzione
Li Auto ha sviluppato la propria soluzione di ricostruzione interna integrando le funzionalità di NVIDIA Omniverse NuRec nella sua piattaforma di simulazione a circuito chiuso proprietaria. NuRec converte i dati grezzi dei registri di guida in scene 3D ricostruite e genera rendering dei sensori ad alta fedeltà sia per le telecamere che per il LiDAR. Nella pipeline sono state integrate quattro funzionalità di NuRec:
3DGUT: rappresentazione unificata di LiDAR e telecamera
La rappresentazione 3DGUT (3D Gaussian with Unscented Transforms) di NuRec consente a un singolo set di Gaussiane di modellare e renderizzare simultaneamente sia le nuvole di punti LiDAR sia i fotogrammi delle immagini. Ciò elimina la necessità di pipeline separate per telecamere e LiDAR, riducendo il sovraccarico ingegneristico e migliorando la coerenza della simulazione cross-modale.
Addestramento ibrido multi-GPU
Una strategia di addestramento parallelo combinata DDP e FSDP distribuisce particelle Gaussiane 3D su più GPU. Questo approccio accelera la ricostruzione di scene di guida ADAS su vasta scala, con un supporto mirato per gli oggetti dinamici e deformabili. Con una configurazione a 8 GPU, questo approccio garantisce un'accelerazione di circa 4 volte rispetto a una baseline a singola GPU.
Generazione degli asset con TokenGS (flusso di lavoro Asset Harvester)
La pipeline Asset Harvester converte le osservazioni sparse degli oggetti ricavate dai registri di guida reali in asset 3D più completi, migliorando la qualità visiva nei punti di vista inediti. Li Auto ha addestrato e distribuito il proprio modello TokenGS per supportare questo flusso di lavoro di generazione degli asset sul suo dataset interno.
Harmonizer: armonizzazione visiva
Il modello Harmonizer di NuRec, basato su modelli di diffusione, corregge gli artefatti nella sintesi di viste inedite e migliora la coerenza di aspetto, colore e ombra tra gli asset inseriti e lo sfondo della scena ricostruito da NuRec. Il risultato è rappresentato da scene di simulazione a circuito chiuso visivamente coerenti, idonee per l'addestramento e la valutazione degli algoritmi ADAS.
In che modo NVIDIA Omniverse NuRec stabilisce una base duratura per la simulazione ADAS
L'implementazione di Li Auto dimostra che NVIDIA Omniverse NuRec svolge una funzione che va ben oltre l'efficienza della ricostruzione per singola scena, stabilendo un investimento infrastrutturale duraturo. Man mano che le funzionalità di NuRec continuano a integrarsi nel flusso di lavoro a circuito chiuso di Li Auto, la piattaforma si posiziona per incrementare la velocità di sviluppo degli ADAS, migliorare la fedeltà della simulazione ed estendere la copertura dei test senza richiedere una crescita equivalente delle risorse fisiche di calcolo.
In qualità di partecipante attivo nello sviluppo di ADAS su scala di produzione, Li Auto sta utilizzando l'infrastruttura di simulazione per far progredire l'addestramento e la validazione degli algoritmi su tutta la sua flotta distribuita. L'integrazione continua delle funzionalità di NuRec nella pipeline a circuito chiuso fornisce una base solida per migliorare sia il ritmo sia la qualità dell'iterazione dei sistemi di guida intelligente.
NVIDIA Omniverse NuRec si basa su un'architettura software modulare che supporta diversi modelli di integrazione. Può fungere da soluzione di ricostruzione neurale end-to-end completa, oppure gli sviluppatori possono selezionare singoli componenti — inclusi il framework di ricostruzione, il motore di rendering e i moduli del modello generativo — per integrarli in flussi di lavoro personalizzati. La distribuzione open source di NuRec consente ai team di adottare, estendere e contribuire nuovamente alla piattaforma con l'evolversi dei requisiti.
"La simulazione a circuito chiuso con modelli del mondo (world model) costituisce una funzionalità fondamentale nella ricerca e sviluppo della guida intelligente di Li Auto. Sviluppiamo e gestiamo internamente la nostra piattaforma di simulazione per allinearla alla nostra architettura tecnica. In questo processo, abbiamo lavorato a stretto contatto con NVIDIA sulla ricostruzione neurale, l'addestramento parallelo multi-GPU, la generazione degli asset e la coerenza visiva. L'integrazione delle relative funzionalità di NuRec nelle fasi chiave della nostra pipeline ha migliorato l'efficienza di ricostruzione delle scene e la qualità della simulazione multimodale, ha accelerato la validazione e il deployment in produzione delle relative tecnologie, e ha contribuito alla nostra capacità di far evolvere continuamente un'infrastruttura di simulazione a circuito chiuso autonoma e scalabile."
Zhan Kun
Responsabile dei modelli di Base di Li Auto
Scopri di più su come NVIDIA supporta la simulazione e la validazione dei veicoli autonomi.