NVIDIA DRIVE Labs

Inside look at autonomous vehicle software

The DRIVE Labs video series takes an engineering-focused look at a range of self-driving challenges, from perceiving paths to handling intersections. These short clips illustrate how the NVIDIA DRIVE AV Software team is creating safe and robust self-driving systems.

En la dirección correcta: cómo ayuda la IA a los vehículos autónomos a predecir el futuro

Los vehículos autónomos se basan en la IA para anticipar los patrones de tráfico y maniobrar de forma segura en un entorno complejo. En este episodio de DRIVE Labs, demostramos cómo nuestra red neuronal profunda PredictionNet puede predecir los movimientos que van a realizar otros conductores utilizando datos de percepción y cartográficos en tiempo real.

 

Cómo la IA ayuda a los vehículos autónomos a percibir la estructura de las intersecciones

La gestión autónoma de intersecciones presenta un conjunto complejo de desafíos para los coches autónomos. Anteriormente en la serie DRIVE Labs, demostramos cómo detectamos intersecciones, semáforos y señales de tráfico con la DNN WaitNet. También demostramos cómo clasificamos el estado del semáforo y el tipo de señal de tráfico con las DNN LightNet y SignNet. En este episodio, mostraremos cómo NVIDIA utiliza la IA para percibir la variedad de estructuras de intersección que un vehículo autónomo podría encontrar en un viaje diario.

Cómo el aprendizaje activo mejora la detección nocturna de peatones

El aprendizaje activo permite que la IA elija automáticamente los datos de entrenamiento adecuados. Un conjunto de DNN dedicadas pasa a través de un grupo de fotogramas de imagen, marcando los que considera que son confusos. Estos fotogramas se etiquetan y se agregan al conjunto de datos de entrenamiento. Este proceso puede mejorar la percepción de la DNN en condiciones difíciles, como la detección nocturna de peatones.

Centrado en láser: cómo LidarNet multivista presenta una perspectiva rica para los coches autónomos

Los métodos tradicionales para procesar datos Lidar plantean desafíos significativos, como la capacidad de detectar y clasificar diferentes tipos de objetos, escenas y condiciones climáticas, así como limitaciones en el rendimiento y la robustez. Nuestra red neuronal profunda LidarNet multivista utiliza múltiples perspectivas, o vistas, de la escena alrededor del coche para abordar estos desafíos de procesamiento Lidar.

¿Te has perdido en el espacio? La localización ayuda a los coches autónomos a encontrar su camino

La localización es una funcionalidad esencial para los vehículos autónomos, procesando su ubicación tridimensional (3D) en un mapa, incluida la posición 3D, la orientación 3D y cualquier incerteza en esos valores de posición y orientación. En este DRIVE Labs, te mostramos cómo los algoritmos de localización hacen posible conseguir una gran precisión y seguridad con mapas en alta definición y sensores disponibles en el mercado.

Cómo la IA interpreta las señales del camino

Descubre cómo ha evolucionado nuestra DNN de LaneNet hasta convertirse en la DNN de MapNet de alta precisión. Esta evolución ha traído consigo un aumento en las clases de detección para cubrir también las marcas viales y los puntos de referencia verticales (por ejemplo, los postes), además de la detección de líneas de carril. También aprovecha la detección integral, que ofrece una inferencia más rápida en el vehículo.

IA en la carretera: la fusión de radar y cámara envolvente elimina los puntos ciegos para los coches autónomos

La capacidad de detectar y reaccionar a los objetos alrededor del vehículo permite ofrecer una experiencia de conducción cómoda y segura. En este vídeo de DRIVE Labs, explicamos por qué es esencial tener una tubería de fusión de sensores que pueda combinar entradas de cámara y radar para una percepción envolvente robusta.

Percepción perfecta de píxeles: cómo la IA ayuda a los vehículos autónomos a ver fuera de la caja

Para escenarios de conducción muy complejos, es útil que el sistema de percepción del vehículo autónomo proporcione una comprensión más detallada de su entorno. Con nuestro enfoque DNN de segmentación panóptica, podemos obtener resultados detallados segmentando el contenido de la imagen con precisión a nivel de píxel.

¿Cegado por la Luz? Cómo la IA evita el deslumbramiento de haz alto para otros vehículos

Las luces de haz alto pueden aumentar significativamente el rango de visibilidad nocturna de los faros delanteros estándar; sin embargo, pueden crear deslumbramiento peligroso a otros conductores. Hemos entrenado una red neuronal profunda (DNN) basada en cámara, llamada AutoHighBeamNet, para generar automáticamente salidas de control para el sistema de luz de haz alto del vehículo, aumentando la visibilidad y la seguridad de la conducción nocturna.

Right On Track: Seguimiento de características para una conducción automática fiable

El seguimiento de características calcula las correspondencias a nivel de píxel y los cambios a nivel de píxel entre fotogramas de vídeo adyacentes, proporcionando información temporal y geométrica crítica para la estimación de movimiento/velocidad de objetos, autocalibración de la cámara y odometría visual.

¿Buscas aparcamiento? La IA lo hace por ti

La red neuronal profunda de ParkNet puede detectar un aparcamiento libre de acuerdo con una serie de condiciones. Descubre cómo se desenvuelve tanto en espacios interiores como exteriores, separados por marcas de carril simples, dobles o descoloridas, así como diferencia entre aparcamientos ocupados, libres y parcialmente escondidos.

Viaja en el coche autónomo de NVIDIA

En este episodio especial de DRIVE Labs se muestra cómo NVIDIA DRIVE AV Software combina los aspectos más básicos de la percepción, la localización, la planificación y el control para conducir de forma autónoma en la vía pública alrededor de nuestra sede en Santa Clara (California).

Classifying Traffic Signs and Traffic Lights with AI

NVIDIA DRIVE AV software uses a combination of DNNs to classify traffic signs and lights. Watch how our LightNet DNN classifies traffic light shape (e.g. solid versus arrow) and state (i.e. color), while the SignNet DNN identifies traffic sign type.

Eliminación de colisiones con Safety Force Field

Nuestro software de prevención de colisiones Safety Force Field (SFF) actúa como un supervisor independiente de las acciones del sistema principal de planificación y control del vehículo. SFF comprueba los controles elegidos por el sistema principal y, si los considera no seguros, veta y corrige la decisión de este.

Detección de carril de alta precisión

El procesamiento de redes neuronales profundas (DNN) ha surgido como una importante técnica basada en IA para la detección de carril.  Nuestra DNN de LaneNet aumenta el rango de detección de carril, la recuperación del borde del carril y la robustez de detección de carril con precisión a nivel de píxel.

Percepción de una nueva dimensión

El cálculo de la distancia de los objetos mediante los datos de imágenes de una única cámara puede conllevar desafíos en terrenos montañosos. Con ayuda de las redes neuronales profundas, los vehículos autónomos pueden predecir distancias en 3D a partir de imágenes en 2D.

Visión de cámara en 360 grados

Mira cómo usamos nuestro sistema de seis cámaras para ver 360 grados alrededor del coche y realizar un seguimiento de los objetos a medida que se mueven en el entorno que rodea al vehículo.

Predicción del futuro con redes neuronales recurrentes

Los vehículos autónomos deben usar métodos computacionales y datos de sensores, como una secuencia de imágenes, para percibir el movimiento de un objeto a lo largo de un período de tiempo.

Red neuronal profunda de ClearSightNet

La red neuronal profunda de ClearSightNet cuenta con entrenamiento para evaluar la posibilidad de las cámaras de ver claramente y determinar causas de oclusiones, bloqueos y reducciones de visibilidad.

Red neuronal profunda de WaitNet

Obtén información sobre cómo la red neuronal profunda de WaitNet puede detectar intersecciones sin ayuda de un mapa.

Ensamblado de percepción de rutas

Este trío de redes neuronales profundas crea y evalúa la confianza para la predicción de la ruta principal y los carriles, así como cambios, divisiones o empalmes de carriles.

Obtén las novedades de DRIVE Labs directamente en tu bandeja de entrada con el boletín de automoción de NVIDIA.