NVIDIA DRIVE Labs

Einblick in die Software für autonome Fahrzeuge

Die DRIVE Labs-Videostrecke zeigt eine Reihe von Herausforderungen im Bereich autonomes Fahren, von der Wegerkennung bis hin zum Kreuzungshandling, aus Entwicklersicht. Diese kurzen Clips veranschaulichen, wie das NVIDIA DRIVE AV-Software-Team sichere und zuverlässige Systeme für autonome Fahrzeuge entwickelt.

Unterwegs mit KIs: Surround-Kamera mit Sensorfusion verringert den toten Winkel bei selbstfahrenden Autos

Dank ihrer Fähigkeit, Objekte rund um das Fahrzeug herum zu erkennen und darauf zu reagieren, ermöglicht die Kamera ein komfortables und sicheres Fahrerlebnis. In diesem Video von DRIVE Labs erläutern wir, warum es wichtig ist, über eine Sensorfusions-Pipeline zu verfügen, die Kamera und Eingangssignale des Sensors miteinander kombinieren kann, um eine optimierte Umgebungswahrnehmung zu erhalten.

Pixelgenaue Wahrnehmung: So können selbstfahrende Fahrzeuge mit KI ihre Umgebung wahrnehmen

Bei sehr komplexen Fahrszenarien sollte das System des selbstfahrenden Fahrzeugs umfassendere Informationen zu seiner Umgebung erhalten können. Mit unserem panoptischen DNN-Segmentierungsansatz können wir durch die pixelgenaue Segmentierung von Bildinhalten sehr detaillierte Ergebnisse erzielen.

Werden Sie vom Licht geblendet? So verhindert KI, dass andere Fahrzeugen vom Fernlicht geblendet werden

Das Fernlicht erhöht die Sichtweite bei Nacht deutlich, aber es kann andere Fahrer auch gefährlich blenden. Wir haben ein kamerabasiertes Deep Neural Network (DNN) mit dem Namen „AutoHighBeamNet“ trainiert, das die Fernlichtsteuerung des Fahrzeugs automatisch steuert. So erhöhen sich die Sichtweite und Sicherheit bei Nacht.

Immer auf dem richtigen Weg: Feature-Tracking für zuverlässiges autonomes Fahren

Beim Feature-Tracking werden auf Pixelebene die Übereinstimmungen und Änderungen nebeneinander liegender Video-Frames analysiert. Dadurch werden wichtige zeitliche und geometrische Informationen für die Objektbewegung/Geschwindigkeitseinschätzung, die Kameraselbstkalibrierung und die visuelle Odometrie zur Verfügung gestellt.

Sie suchen einen Parkplatz? Die KI hat einen gefunden.

Unser tiefes neuronales Netzwerk ParkNet kann unter verschiedenen Bedingungen einen freien Parkplatz erkennen. Sehen Sie sich an, wie es mit Parkplätzen in Parkhäusern und im Außenbereich umgeht, die durch einzelne, doppelte oder verblasste Markierungen getrennt sind, und zwischen besetzten, unbesetzten und teilweise besetzten Parkplätzen unterscheidet.

Fahren Sie mit dem selbstfahrenden Auto von NVIDIA

In dieser Sonderausgabe von Drive Labs erfahren Sie, wie NVIDIA Drive AV Software die wesentlichen Bausteine der Wahrnehmung, Lokalisierung und Planung/Steuerung kombiniert, um autonom auf den öffentlichen Straßen rund um unseren Geschäftssitz in Santa Clara, Kalifornien, zu fahren.

Verkehrszeichen und Verkehrsampeln mit KI klassifizieren

Die NVIDIA DRIVE AV-Software verwendet eine Kombination aus DNNs, um Verkehrszeichen und Verkehrsampeln zu klassifizieren. Sehen Sie sich an, wie unsere LightNet DNN die Ampelvariante (z. B. Streuscheibe vs. Richtungssignal) und -phase  (z. B. Farbe) klassifiziert, während der SignNet DNN die Art des Verkehrszeichens identifiziert.

Kollisionen mit dem Sicherheitskraftfeld vermeiden

Unsere Kollisionsvermeidungssoftware (Safety Force Field, SFF) fungiert als unabhängige Aufsicht für die Aktionen des primären Planungs- und Steuerungssystems des Fahrzeugs. Durch das SFF werden die Steuerelemente, die vom primären System ausgewählt wurden, doppelt überprüft, und wenn sie als unsicher eingestuft werden, wird die Entscheidung des Primärsystems abgelehnt und korrigiert.

Hochpräzise Fahrspurerkennung

Die Verarbeitung mit Deep Neural Network (DNN) wurde als wichtige KI-basierte Technik für die Spurerkennung entwickelt. Unser LaneNet DNN erhöht den Spurerkennungsbereich, die Spurrand-Rückrufe und die Robustheit der Fahrspurerkennung mit Präzision auf das Pixel genau.

Eine neue Dimension wahrnehmen

Die Berechnung der Entfernung von Objekten mithilfe von Bilddaten einer einzigen Kamera kann bei hügeligem Terrain schwierig werden. Mit Hilfe von Deep Neural Networks können autonome Fahrzeuge Entfernungen in 3D mithilfe von 2D-Bildern erkennen.

Rundumsichtkamera

Erfahren Sie, wie wir unsere sechs Kameras verwenden, um eine 360-Grad-Sicht um das Auto zu erhalten und um bewegte Objekte in der Umgebung zu verfolgen.

Zukunftsvorhersagen mit RNNs

Autonome Fahrzeuge müssen mithilfe von Berechnungsmethoden und Sensordaten, z. B. einer Bildsequenz, herausfinden, wie sich ein Objekt im Laufe der Zeit bewegt.

ClearSightNet Deep Neural Network

ClearSightNet DNN wurde darauf trainiert, die einwandfreie Kamerasicht zu überprüfen und die Ursachen für Sichtverdeckungen, Sichtversperrungen und verringerte Sichtverhältnisse zu bestimmen.

WaitNet Deep Neural Network

Erfahren Sie, wie das WaitNet DNN Kreuzungen ohne eine Karte entdeckt.

Wegerkennungspaket

Diese drei DNNs erstellen und bewerten Sicherheitsprognosen für Mittelstreifen und Seitenlinien sowie für Spurwechsel/-teilung/-zusammenführung.

Mit dem NVIDIA Automotive-Newsletter erhalten Sie die neuesten DRIVE Labs Beiträge direkt in Ihren Posteingang.