Inside look at autonomous vehicle software
The DRIVE Labs video series takes an engineering-focused look at a range of self-driving challenges, from perceiving paths to handling intersections. These short clips illustrate how the NVIDIA DRIVE™ Software team is creating safe and robust self-driving systems.
En este episodio de DRIVE Labs, mostramos cómo DRIVE IX percibe la atención, la actividad, la emoción, el comportamiento, la postura, el habla, el gesto y el estado de ánimo del conductor. La percepción del conductor es un aspecto clave de la plataforma que permite al sistema AV asegurar que el conductor está alerta y que presta atención a la carretera. También permite al sistema IA realizar funciones de cabina más intuitivas e inteligentes.
En esta unidad DRIVE Labs, mostramos cómo se pueden usar las técnicas de IA definidas por software para mejorar significativamente el rendimiento y la funcionalidad de nuestra red neuronal profunda (DNN) de la percepción de la fuente de luz (el rango creciente, la adición de capacidades de clasificación y mucho más) en cuestión de semanas.
Los vehículos autónomos se basan en la IA para anticipar los patrones de tráfico y maniobrar de forma segura en un entorno complejo. En este episodio de DRIVE Labs, demostramos cómo nuestra red neuronal profunda PredictionNet puede predecir los movimientos que van a realizar otros conductores utilizando datos de percepción y cartográficos en tiempo real.
La gestión autónoma de intersecciones presenta un conjunto complejo de desafíos para los coches autónomos. Anteriormente en la serie DRIVE Labs, demostramos cómo detectamos intersecciones, semáforos y señales de tráfico con la DNN WaitNet. También demostramos cómo clasificamos el estado del semáforo y el tipo de señal de tráfico con las DNN LightNet y SignNet. En este episodio, mostraremos cómo NVIDIA utiliza la IA para percibir la variedad de estructuras de intersección que un vehículo autónomo podría encontrar en un viaje diario.
El aprendizaje activo permite que la IA elija automáticamente los datos de entrenamiento adecuados. Un conjunto de DNN dedicadas pasa a través de un grupo de fotogramas de imagen, marcando los que considera que son confusos. Estos fotogramas se etiquetan y se agregan al conjunto de datos de entrenamiento. Este proceso puede mejorar la percepción de la DNN en condiciones difíciles, como la detección nocturna de peatones.
Los métodos tradicionales para procesar datos Lidar plantean desafíos significativos, como la capacidad de detectar y clasificar diferentes tipos de objetos, escenas y condiciones climáticas, así como limitaciones en el rendimiento y la robustez. Nuestra red neuronal profunda LidarNet multivista utiliza múltiples perspectivas, o vistas, de la escena alrededor del coche para abordar estos desafíos de procesamiento Lidar.
La localización es una funcionalidad esencial para los vehículos autónomos, procesando su ubicación tridimensional (3D) en un mapa, incluida la posición 3D, la orientación 3D y cualquier incerteza en esos valores de posición y orientación. En este DRIVE Labs, te mostramos cómo los algoritmos de localización hacen posible conseguir una gran precisión y seguridad con mapas en alta definición y sensores disponibles en el mercado.
Descubre cómo ha evolucionado nuestra DNN de LaneNet hasta convertirse en la DNN de MapNet de alta precisión. Esta evolución ha traído consigo un aumento en las clases de detección para cubrir también las marcas viales y los puntos de referencia verticales (por ejemplo, los postes), además de la detección de líneas de carril. También aprovecha la detección integral, que ofrece una inferencia más rápida en el vehículo.
La capacidad de detectar y reaccionar a los objetos alrededor del vehículo permite ofrecer una experiencia de conducción cómoda y segura. En este vídeo de DRIVE Labs, explicamos por qué es esencial tener una tubería de fusión de sensores que pueda combinar entradas de cámara y radar para una percepción envolvente robusta.
Para escenarios de conducción muy complejos, es útil que el sistema de percepción del vehículo autónomo proporcione una comprensión más detallada de su entorno. Con nuestro enfoque DNN de segmentación panóptica, podemos obtener resultados detallados segmentando el contenido de la imagen con precisión a nivel de píxel.
Las luces de haz alto pueden aumentar significativamente el rango de visibilidad nocturna de los faros delanteros estándar; sin embargo, pueden crear deslumbramiento peligroso a otros conductores. Hemos entrenado una red neuronal profunda (DNN) basada en cámara, llamada AutoHighBeamNet, para generar automáticamente salidas de control para el sistema de luz de haz alto del vehículo, aumentando la visibilidad y la seguridad de la conducción nocturna.
El seguimiento de características calcula las correspondencias a nivel de píxel y los cambios a nivel de píxel entre fotogramas de vídeo adyacentes, proporcionando información temporal y geométrica crítica para la estimación de movimiento/velocidad de objetos, autocalibración de la cámara y odometría visual.
La red neuronal profunda de ParkNet puede detectar un aparcamiento libre de acuerdo con una serie de condiciones. Descubre cómo se desenvuelve tanto en espacios interiores como exteriores, separados por marcas de carril simples, dobles o descoloridas, así como diferencia entre aparcamientos ocupados, libres y parcialmente escondidos.
En este episodio especial de DRIVE Labs se muestra cómo NVIDIA DRIVE AV Software combina los aspectos más básicos de la percepción, la localización, la planificación y el control para conducir de forma autónoma en la vía pública alrededor de nuestra sede en Santa Clara (California).
NVIDIA DRIVE AV software uses a combination of DNNs to classify traffic signs and lights. Watch how our LightNet DNN classifies traffic light shape (e.g. solid versus arrow) and state (i.e. color), while the SignNet DNN identifies traffic sign type.
Nuestro software de prevención de colisiones Safety Force Field (SFF) actúa como un supervisor independiente de las acciones del sistema principal de planificación y control del vehículo. SFF comprueba los controles elegidos por el sistema principal y, si los considera no seguros, veta y corrige la decisión de este.
El procesamiento de redes neuronales profundas (DNN) ha surgido como una importante técnica basada en IA para la detección de carril. Nuestra DNN de LaneNet aumenta el rango de detección de carril, la recuperación del borde del carril y la robustez de detección de carril con precisión a nivel de píxel.
El cálculo de la distancia de los objetos mediante los datos de imágenes de una única cámara puede conllevar desafíos en terrenos montañosos. Con ayuda de las redes neuronales profundas, los vehículos autónomos pueden predecir distancias en 3D a partir de imágenes en 2D.
Mira cómo usamos nuestro sistema de seis cámaras para ver 360 grados alrededor del coche y realizar un seguimiento de los objetos a medida que se mueven en el entorno que rodea al vehículo.
Los vehículos autónomos deben usar métodos computacionales y datos de sensores, como una secuencia de imágenes, para percibir el movimiento de un objeto a lo largo de un período de tiempo.
La red neuronal profunda de ClearSightNet cuenta con entrenamiento para evaluar la posibilidad de las cámaras de ver claramente y determinar causas de oclusiones, bloqueos y reducciones de visibilidad.
Obtén información sobre cómo la red neuronal profunda de WaitNet puede detectar intersecciones sin ayuda de un mapa.
This trio of DNNs builds and evaluates confidence for center path and lane line predictions, as well as lane changes/splits/merges.
Obtén las novedades de DRIVE Labs directamente en tu bandeja de entrada con el boletín de automoción de NVIDIA.