Automoción
Cómo Li Auto duplicó la cobertura de la simulación ADAS utilizando NVIDIA Omniverse NuRec
Objetivo
Li Auto es uno de los principales fabricantes de vehículos eléctricos inteligentes de China con una plataforma de Sistema Avanzado de Asistencia al Controlador (ADAS) de pila completa y de desarrollo propio. En el centro de su proceso de desarrollo se encuentra un entorno de simulación de bucle cerrado creado internamente para la evaluación de algoritmos, el entrenamiento y la validación de regresión en comparación con datos de conducción del mundo real. La plataforma reconstruye los registros de conducción reales en simulaciones 3D y luego reproduce esas escenas repetidamente para evaluar cómo responden sus algoritmos ADAS antes de que cualquier actualización llegue a la flota. La cobertura de validación escala directamente con el número de escenas que puede reconstruir. Eso hace que el coste de reconstrucción y el rendimiento limiten directamente la cantidad de datos de su flota que se pueden utilizar para las pruebas de algoritmos.
Para escalar la simulación ADAS de bucle cerrado a la producción, al tiempo que controla los costes de reconstrucción por escena, Li Auto está integrando NVIDIA Omniverse™ NuRec en esta plataforma. NuRec convierte los registros de conducción reales en escenas 3D de alta fidelidad, lo cual permite una validación de bucle cerrado reproducible sin aumentos proporcionales en el esfuerzo de computación.
Cliente
Li Auto
Caso de uso
Simulación/Modelado/Diseño
Tema
Simulación/Modelado/Diseño
Productos
Principales conclusiones
Escala de simulación
- 2 veces más cobertura de escenas de simulación en computación equivalente, lo cual amplía la validación de algoritmos en una gama más amplia de escenarios de conducción y estacionamiento.
Eficiencia de la reconstrucción
- Reducción de ~50 % en el coste de reconstrucción por escena gracias a la cámara unificada de 3DGUT y la representación LiDAR; 4 veces más aceleración del entrenamiento multi-GPU en 8 GPU, lo cual mejora el rendimiento para la reconstrucción de incidentes y las iteraciones de simulación.
Calidad de simulación
- Mejora de la integridad de los activos y de la coherencia visual en escenarios de puntos de vista dispersos mediante TokenGS y Harmonizer, lo cual proporciona entradas de simulación más fiables para el entrenamiento de modelos ADAS.
¿Qué hace que la simulación de bucle cerrado multimodal ADAS sea difícil de escalar?
Para escalar la simulación de bucle cerrado para obtener calidad de producción en todos los sensores multimodales, fue necesario abordar tres restricciones combinadas:
Reconstrucción y renderizado multimodal
Las nubes de puntos LiDAR son una entrada principal para los algoritmos ADAS, junto con las transmisiones de las cámaras. Los enfoques de splatting gaussiano 3D convencionales no están optimizados para los datos LiDAR. El mantenimiento de modelos de reconstrucción de cámara y LiDAR independientes aumenta la sobrecarga de ingeniería y dificulta la coherencia de la simulación multisensor.
Rendimiento de reconstrucción
El procesamiento de registros de conducción a escala de producción exige un alto rendimiento de reconstrucción. Los largos tiempos de reconstrucción por escena provocan cuellos de botella en la reproducción de incidentes, la regresión de algoritmos y la velocidad de iteración de simulación en bucle cerrado.
Calidad de la síntesis de vistas nuevas
Las escenas del registro de conducción abarcan grandes extensiones espaciales con una cobertura relativamente escasa de los puntos de vista. Sin señales de entrenamiento para ángulos de cámara invisibles, los modelos de reconstrucción tienden a ajustarse de forma excesiva a los puntos de vista capturados, en lugar de formar las representaciones 3D estables y generalizables necesarias para una simulación fiable.
Cómo NVIDIA Omniverse NuRec permite la reconstrucción neuronal a escala de producción
Li Auto desarrolló su solución de reconstrucción interna integrando las capacidades de NVIDIA Omniverse NuRec en su plataforma de simulación de bucle cerrado patentada. NuRec convierte los datos sin procesar del registro de conducción en escenas 3D reconstruidas y genera renderizados de sensores de alta fidelidad tanto para la cámara como para LiDAR. Se integraron cuatro capacidades de NuRec en el flujo de trabajo:
3DGUT: LiDAR y representación de cámara unificados
La representación de gaussianas 3D con transformaciones Unscented (3DGUT) de NuRec permite que un solo conjunto de gaussianas modele y renderice tanto las nubes de puntos LiDAR como los fotogramas de imágenes de forma simultánea. Esto elimina la necesidad de canalizaciones de cámaras y LiDAR independientes, lo cual reduce la sobrecarga de ingeniería y mejora la coherencia de la simulación intermodal.
Entrenamiento híbrido multi-GPU
Una estrategia de entrenamiento paralelo combinada de DDP y FSDP distribuye las partículas gaussianas 3D en varias GPU. Este enfoque acelera la reconstrucción de escenas de conducción de ADAS a gran escala, con soporte específico para objetos dinámicos y deformables. Con una configuración de 8 GPU, el enfoque proporciona una aceleración aproximadamente 4 veces superior a la de una línea de base de una sola GPU.
Generación de activos de TokenGS (flujo de trabajo del recolector de activos)
La canalización de Asset Harvester convierte las observaciones de objetos dispersas de registros de conducción reales en activos 3D más completos, lo cual mejora la calidad visual desde nuevos puntos de vista. Li Auto entrenó e implementó su propio modelo TokenGS para apoyar este flujo de trabajo de generación de activos en su conjunto de datos internos.
Armonización visual de Harmonizer
El modelo Harmonizer basado en difusión de NuRec corrige los artefactos en la síntesis de vista novedosa y mejora la coherencia en la apariencia, el color y la sombra entre los activos insertados y el fondo de la escena reconstruida por NuRec. El resultado son escenas de simulación de bucle cerrado visualmente coherentes y adecuadas para el entrenamiento y la evaluación de algoritmos ADAS.
Cómo NVIDIA Omniverse NuRec establece una base de simulación ADAS duradera
La implementación de Li Auto demuestra que NVIDIA Omniverse NuRec cumple una función que va más allá de la eficiencia de la reconstrucción de una sola escena: establecer una inversión en infraestructura duradera. A medida que las capacidades de NuRec se siguen integrando en el flujo de trabajo de bucle cerrado de Li Auto, la plataforma está posicionada para aumentar la velocidad de desarrollo de las ADAS, mejorar la fidelidad de la simulación y ampliar la cobertura de las pruebas sin requerir un crecimiento equivalente en los recursos de computación física.
Como participante activo en el desarrollo de ADAS a escala de producción, Li Auto utiliza la infraestructura de simulación para avanzar en la validación y el entrenamiento de algoritmos en toda su flota implementada. La integración continua de las capacidades de NuRec en la canalización de bucle cerrado proporciona una base para mejorar tanto el ritmo como la calidad de la iteración de los sistemas de conducción inteligente.
NVIDIA Omniverse NuRec se basa en una arquitectura de software modular que admite diferentes patrones de integración. Puede funcionar como una solución de reconstrucción neuronal completa de extremo a extremo o los desarrolladores pueden seleccionar componentes individuales, como el marco de reconstrucción, el motor de renderizado y los módulos de modelos generativos, para integrarlos en flujos de trabajo personalizados. La distribución de código abierto de NuRec permite a los equipos adoptar, ampliar y contribuir a la plataforma a medida que evolucionan los requisitos.
«La simulación de modelos de mundo de bucle cerrado es una capacidad fundamental en la I+D de conducción inteligente de Li Auto. Creamos y somos propietarios de nuestra plataforma de simulación para que coincida con nuestra propia arquitectura técnica. En ese proceso, colaboramos estrechamente con NVIDIA en la reconstrucción neuronal, el entrenamiento paralelo con varias GPU, la generación de activos y la coherencia visual. La integración de las capacidades relevantes de NuRec en las etapas clave de nuestro pipeline mejoró la eficiencia de la reconstrucción de escenas y la calidad de la simulación multimodal, aceleró la validación y la implementación en producción de tecnologías relacionadas y contribuyó a nuestra capacidad para evolucionar continuamente nuestra infraestructura de simulación de bucle cerrado autónoma y escalable».
Zhan Kun
Jefe de Modelos de Base, Li Auto
Obtenga más información sobre cómo NVIDIA impulsa la simulación y la validación para vehículos autónomos.