Tudo sobre o software de veículos autônomos
A série de vídeos DRIVE Labs apresenta uma visão focada na engenharia de uma variedade de desafios da direção autônoma, desde a percepção de caminhos até lidar com cruzamentos. Esses pequenos clipes ilustram como a equipe do software NVIDIA DRIVE™ está criando sistemas autônomos seguros e robustos.
Neste episódio do DRIVE Labs, mostramos como o DRIVE IX percebe a atenção, atividade, emoção, comportamento, postura, fala, gestos e humor do motorista. A percepção do motorista é um aspecto chave da plataforma que permite ao sistema AV garantir que o motorista esteja alerta e prestando atenção na estrada. Ele também permite que o sistema de AI execute funções de cockpit mais intuitivas e inteligentes.
Neste episódio do DRIVE Labs, mostramos como as técnicas de AI definidas por software podem ser usadas para melhorar significativamente o desempenho e a funcionalidade de nossa rede neural profunda (DNN) de percepção de fonte de luz, aumentando o alcance, adicionando recursos de classificação e muito mais, em questão de semanas.
Os carros autônomos contam com a AI para antecipar os padrões de tráfego e dirigir com segurança em um ambiente complexo. Neste episódio da DRIVE Labs, demonstramos como nossa rede neural profunda PredictionNet pode prever manobras futuras de outros motoristas na estrada usando a percepção dinâmica e os dados de mapas.
Lidar com cruzamentos de maneira autônoma é um desafio complexo para carros autônomos. Em episódios anteriores da série DRIVE Labs, demonstramos como detectamos cruzamentos, semáforos e sinalização de trânsito com a DNN WaitNet. Além de como classificamos as luzes do semáforo e o tipo de sinalização com as DNNs LightNet e SignNet. Neste episódio, vamos além para mostrar como a NVIDIA usa AI para perceber a variedade de formatos de cruzamento que um veículo autônomo poderia encontrar ao dirigir diariamente.
O aprendizado ativo possibilita que a AI escolha automaticamente os dados de treinamento corretos. Diversas DNNs dedicadas analisam um conjunto de frames de imagens, sinalizando os frames considerados confusos. Esses frames são então rotulados e adicionados ao conjunto de dados de treinamento. Esse processo pode melhorar a percepção da DNN em condições difíceis, como a detecção noturna de pedestres.
Os métodos tradicionais de processamento de dados Lidar apresentam desafios significativos, como a capacidade de detectar e classificar diferentes tipos de objetos, cenas e condições de clima, bem como limitações no desempenho e na robustez. Nossa rede neural profunda Multi-View LidarNet usa várias perspectivas, ou visualizações, da cena em torno do carro para solucionar esses desafios de processamento Lidar.
A localização é um recurso essencial para veículos autônomos, calculando seu local tridimensional (3D) dentro de um mapa, incluindo a posição 3D, a orientação 3D e incertezas nesses valores de posição e orientação. Neste DRIVE Labs, mostramos como nossos algoritmos de localização possibilitam obter alta precisão e robustez usando os sensores de comercialização em massa e os mapas HD.
Veja como evoluímos nossa DNN LaneNet em nossa DNN MapNet de alta precisão. Essa evolução inclui um aumento nas classes de detecção para abranger também as marcações da estrada e os pontos de referência verticais (por exemplo, postes), além da detecção de faixas de trânsito. Ela também aproveita a detecção de ponta a ponta que proporciona inferência mais rápida no carro.
A capacidade de detectar e reagir a objetos em torno do veículo possibilita oferecer uma experiência de condução segura e confortável. Neste vídeo da DRIVE Labs, explicamos por que é essencial ter um pipeline de fusão de sensores que pode combinar as entradas de câmera e radar para uma percepção de surround avançada.
Para obter cenários de condução altamente complexos, é útil que o sistema de percepção do veículo autônomo forneça uma compreensão mais detalhada de seus arredores. Com nossa abordagem de DNN de segmentação panóptica, podemos obter resultados refinados segmentando o conteúdo da imagem com precisão no nível de pixels.
As luzes de farol alto podem aumentar a extensão de visibilidade noturna de faróis padrão significativamente, mas podem também criar um ofuscamento perigoso aos outros motoristas. Treinamos uma ampla rede neural (DNN – Deep Neural Network) baseada em câmera, chamada AutoHighBeamNet, para gerar automaticamente saídas de controle para o sistema de farol alto do veículo, aumentando a visibilidade e a segurança à noite.
O monitoramento de recursos estima as correspondências e as alterações no nível de pixels entre os frames de vídeo adjacentes, fornecendo informações essenciais temporais e geométricas para a estimativa de movimento/velocidade dos objetos, a autocalibragem da câmera e a odometria visual.
Nossa rede neural profunda ParkNet pode detectar uma vaga de estacionamento sob várias condições. Veja como ela lida com espaços internos e externos, separados por marcações únicas, duplas ou desbotadas, além de como ela diferencia entre as vagas ocupadas, livres e parcialmente escondidas.
Este episódio especial da DRIVE Labs mostra como o software AV NVIDIA DRIVE combina os fundamentos essenciais de percepção, localização e planejamento/controle para dirigir de modo autônomo em estradas públicas em torno da nossa sede em Santa Clara, Califórnia.
O software AV NVIDIA DRIVE usa uma combinação de DNNs para classificar sinais de trânsito e luzes de semáforo. Veja como nossa DNN LightNet classifica a forma da luz de semáforo (por exemplo, sólida ou seta) e o estado (ou seja, cor), enquanto a DNN SignNet identifica o tipo de sinalização de tráfego.
Nosso software de prevenção de colisões Safety Force Field (SFF) atua como um supervisor independente nas ações do sistema principal de planejamento e controle do veículo. O SFF revisa os controles escolhidos pelo sistema principal e, se considerar que eles não são seguros, vetará e corrigirá a decisão do sistema principal.
O processamento de rede neural profunda (DNN) surgiu como uma técnica importante baseada em AI para detecção de faixas. Nossa DNN LaneNet aumenta o alcance da detecção de faixas, recuperação de beira de faixa e robustez de detecção de faixas com precisão no nível de pixel.
O cálculo da distância dos objetos usando dados de imagem de uma única câmera pode criar desafios quando se trata de um terreno acidentado. Com a ajuda das redes neurais profundas, os veículos autônomos podem prever distâncias 3D a partir de imagens em 2D.
Veja como usamos nossa configuração de seis câmeras para ver 360 graus em torno do carro e monitorar objetos à medida que eles se movem no ambiente ao redor.
Os veículos autônomos devem usar métodos computacionais e dados de sensores, como uma sequência de imagens, para descobrir como um objeto está se movendo no tempo.
A DNN ClearSightNet é treinada para avaliar a capacidade de visualização de câmeras de maneira clara e determinar as causas de oclusões, bloqueios e reduções na visibilidade.
Saiba como a DNN WaitNet é capaz de detectar cruzamentos sem usar um mapa.
Esse trio de DNNs cria e avalia a confiança de previsões de linha de faixa e caminho central, bem como alterações/divisões/confluências de faixas.
Receba os mais atuais vídeos DRIVE Labs por e-mail com a newsletter NVIDIA Automotive.