Un vistazo al software de los vehículos autónomos
La serie de videos sobre DRIVE Labs analiza en detalle la ingeniería para resolver los desafíos de la conducción autónoma, desde la percepción de los caminos hasta el recorrido de intersecciones. Estos cortos ilustran la forma en que el equipo de software de NVIDIA DRIVE™ crea sistemas seguros y robustos de conducción autónoma.
En este episodio de DRIVE Labs, mostramos cómo DRIVE IX percibe la atención, actividad, emoción, comportamiento, postura, habla, gesto y estado de ánimo del conductor. La percepción del conductor es un aspecto clave de la plataforma que permite al sistema AV garantizar que el conductor esté alerta y preste atención a la carretera. También permite que el sistema de IA realice funciones de cabina que son más intuitivas e inteligentes.
En este episodio de DRIVE Labs, mostramos cómo las técnicas de IA definidas por software se pueden utilizar para mejorar significativamente el rendimiento y la funcionalidad de nuestra red neuronal profunda (DNN) de percepción de la fuente de luz, aumentando el rango, agregando capacidades de clasificación y más, en cuestión de semanas.
Los automóviles de conducción autónoma confían en la IA para anticipar los patrones de tráfico y maniobrar de forma segura en un entorno complejo. En este episodio sobre DRIVE Labs, demostramos la forma en que la red neuronal profunda PredictionNet puede predecir los caminos futuros de otros usuarios del camino mediante datos de mapas y la percepción en vivo.
El manejo de intersecciones de manera autónoma presenta un conjunto complejo de desafíos para los automóviles de conducción autónoma. Anteriormente en la serie DRIVE Labs, demostramos cómo detectamos intersecciones, semáforos y señales de tránsito con WaitNet DNN. Además, cómo clasificamos el estado del semáforo y el tipo de señal de tráfico con las DNN de LightNet y SignNet. En este episodio, vamos más allá para mostrar cómo NVIDIA usa la AI para percibir las diversas estructuras de intersección que un vehículo autónomo podría encontrar en un viaje diario.
El aprendizaje activo permite que la IA elija automáticamente los datos indicados para el entrenamiento. Un conjunto de DNN dedicadas analiza un grupo de cuadros de imágenes y selecciona aquellos que pueden resultar confusos. Esos cuadros se etiquetan y se agregan al conjunto de datos de entrenamiento. Este proceso puede mejorar la percepción de las DNN en condiciones difíciles, como la detección de peatones a la noche.
Los métodos tradicionales para procesar datos de los lidares presentan desafíos importantes, como la capacidad de detectar y clasificar diferentes tipos de objetos, escenas y condiciones climáticas, así como limitaciones en el rendimiento y la solidez. Nuestra red neuronal profunda LidarNet de vistas múltiples utiliza diversas perspectivas o vistas de la escena alrededor del automóvil para abordar estos desafíos de procesamiento de lidares.
La localización es una capacidad crítica para los vehículos autónomos, ya que calcula su ubicación tridimensional (3D) dentro de un mapa, incluida la posición 3D, la orientación 3D y cualquier incertidumbre en estos valores de posición y orientación. En este DRIVE Labs, mostramos cómo nuestros algoritmos de localización permiten lograr una alta precisión y robustez gracias a los sensores para mercados masivos y mapas HD.
Evolucionamos nuestra DNN LaneNet para convertirla en la DNN MapNet de alta precisión. Esta evolución incluye un aumento en las clases de detección para cubrir también las marcas viales y los puntos de referencia verticales (por ejemplo, postes) además de la detección de líneas de carril. También aprovecha la detección integral que proporciona una inferencia más rápida en el automóvil.
La capacidad de detectar y reaccionar a objetos que se encuentran alrededor de todo el vehículo permite ofrecer una experiencia de conducción cómoda y segura. En este video de DRIVE Labs, explicamos por qué es esencial tener un proceso de fusión de sensores que pueda combinar las entradas de cámaras y de radares para lograr una sólida percepción envolvente.
Para los escenarios de conducción altamente complejos, es útil que el sistema de percepción del vehículo autónomo proporcione una comprensión más detallada de su entorno. Con nuestro enfoque de DNN de segmentación panóptica, podemos obtener resultados muy detallados segmentando el contenido de la imagen con precisión al nivel de píxeles.
Las luces altas pueden aumentar significativamente el rango de visibilidad nocturna de los faros comunes; sin embargo, pueden encandilar a otros conductores. Hemos entrenado una red neuronal profunda (DNN) con datos de cámaras, llamada AutoHighBeamNet, para generar automáticamente información que controla el sistema de luz alta del vehículo, lo que aumenta la visibilidad y la seguridad de la conducción nocturna.
El seguimiento de características estima las correspondencias a nivel de píxel y los cambios a nivel de píxel entre los cuadros de video adyacentes, lo que proporciona información crítica temporal y geométrica para estimar el movimiento y la velocidad de los objetos, autocalibrar la cámara y determinar la odometría visual.
Nuestra red neuronal profunda ParkNet puede detectar un lugar de estacionamiento disponible según una variedad de condiciones. Observa cómo maniobra en los espacios interiores y exteriores, separados por marcas de carriles simples, dobles o degradadas, y cómo diferencia entre los espacios ocupados, desocupados y parcialmente oscurecidos.
Esta edición especial del episodio de DRIVE Labs muestra cómo el software NVIDIA DRIVE AV combina los componentes fundamentales de percepción, localización y planificación/control para conducir de forma autónoma en las vías públicas alrededor de nuestra sede en Santa Clara, California.
El software NVIDIA DRIVE AV utiliza una combinación de DNN para clasificar las señales de tráfico y las luces. Observe cómo nuestro LightNet DNN clasifica la forma del semáforo (por ejemplo, figura sólida o flecha) y el estado (es decir, el color), mientras que SignNet DNN identifica el tipo de señal de tráfico.
Nuestro software de prevención de choques Safety Force Field (SFF) actúa como un supervisor independiente de las acciones del sistema primario de planificación y control del vehículo. SFF verifica dos veces los controles elegidos por el sistema primario y, si los considera inseguros, anulará y corregirá la decisión del sistema primario.
El procesamiento de las redes neuronales profundas (DNN) se ha convertido en una importante técnica basada en IA para la detección de carriles. Nuestra DNN LaneNet aumenta el rango y la robustez de la detección de carriles, junto con la recuperación de bordes de carril, con una precisión de píxeles.
Calcular la distancia a los objetos utilizando datos de imágenes de una sola cámara puede crear desafíos cuando se trata de un terreno montañoso. Con la ayuda de las redes neuronales profundas, los vehículos autónomos pueden predecir distancias 3D a partir de imágenes 2D.
Conoce la forma en que usamos nuestra configuración de seis cámaras para ver 360 grados alrededor del automóvil y rastrear los objetos a medida que se mueven en el entorno.
Los vehículos autónomos deben usar métodos de procesamiento y datos de sensores, como una secuencia de imágenes, para descubrir cómo se mueve un objeto en el tiempo.
La DNN ClearSightNet está capacitada para evaluar la habilidad de las cámaras para ver con claridad y determinar las causas de oclusiones, bloqueos y reducciones en la visibilidad.
Conoce la forma en que la DNN WaitNet puede detectar intersecciones sin usar un mapa.
Este trío de DNN crea y evalúa la confianza para las predicciones de la ruta central y las líneas de carriles, así como los cambios, divisiones y combinaciones de carriles.
Recibe las últimas entregas de DRIVE Labs directamente en tu bandeja de entrada con el boletín sobre la industria automotriz de NVIDIA.