NVIDIA DRIVE-Videos

Das NVIDIA DRIVE-Team arbeitet ständig an Innovationen und End-to-End-Lösungen für autonomes Fahren, die die Branche verändern. 

Erfahren Sie mehr über unsere neuesten Innovationen für autonome Fahrzeuge

Wählen Sie unten die Registerkarte aus und erhalten Sie einen Einblick in den Prozess.

  • NVIDIA DRIVE Labs
  • NVIDIA DRIVE Dispatch

In kompakten Videos werden die Bausteine unserer Technologie für autonome Fahrzeuge vorgestellt.

 

Autonomen Fahrzeugen helfen, Geschwindigkeitsbegrenzungsschilder besser zu verstehen

Das Verstehen von Geschwindigkeitsbegrenzungsschildern mag wie eine einfache Aufgabe erscheinen, kann jedoch schnell komplexer werden – beispielsweise in Situationen, in denen unterschiedliche Beschränkungen für verschiedene Fahrspuren gelten oder wenn Sie in einem anderen Land Auto fahren. In dieser Episode von DRIVE Labs erfahren Sie, wie KI-basierte Live-Wahrnehmung autonomen Fahrzeugen helfen kann, die Komplexität von Geschwindigkeitsbegrenzungsschildern besser zu verstehen, indem sowohl explizite als auch implizite Hinweise verwendet werden.

 

Wie KI die Radarwahrnehmung bei autonomen Fahrzeugen verbessert

Die Wahrnehmung autonomer Fahrzeuge ist ohne vielfältige und redundante Sensoren, wie etwa Kameras oder Radarsensoren, nicht vorstellbar. Radarsensoren, mit denen nur eine herkömmliche Verarbeitung möglich ist, sind der Aufgabe jedoch möglicherweise nicht gewachsen. In diesem DRIVE Labs-Video zeigen wir, wie mithilfe von KI die Schwachstellen der herkömmlichen Radarsignalverarbeitung bei der Unterscheidung von mobilen und dauerhaften Objekten behoben werden können und eine verbesserte AV-Wahrnehmung möglich ist.

 

NVIDIA DRIVE IX AI-Algorithmen nehmen den Fahrzeuginnenraum intuitiv wahr

In dieser DRIVE Labs-Episode zeigen wir, wie DRIVE IX die Aufmerksamkeit, Aktivität, Emotion, das Verhalten, die Haltung, Sprache, Gestik und Stimmung des Fahrers wahrnimmt. Die Fahrerwahrnehmung ist ein wichtiger Aspekt der Plattform. Dadurch kann das System des autonomen Fahrzeugs sicherstellen, dass ein Fahrer wachsam ist und auf die Straße achtet. Es ermöglicht dem KI-System auch, Cockpit-Funktionen auszuführen, die intuitiver und intelligenter sind.

 

Optimierung der Lichtquellenwahrnehmung mit softwaredefinierter KI

In dieser Episode von DRIVE Labs zeigen wir, wie softwaredefinierte KI verwendet werden kann, um in wenigen Wochen die Leistung und Funktionalität der Lichtquellenwahrnehmung unseres Deep Neural Network (DNN) deutlich zu verbessern und dabei die Reichweite zu erhöhen, Klassifikationsmöglichkeiten hinzuzufügen und mehr.

 

Immer die richtige Wahl: Wie KI selbstfahrenden Fahrzeugen hilft, die Zukunft vorherzusehen

Selbstfahrende Fahrzeuge nutzen KI, um Verkehrsmuster vorherzusehen und in einer komplexen Umgebung sicher zu fahren. In dieser Folge von DRIVE Labs zeigen wir, wie unser Deep Neural Network PredictionNet mittels Live-Wahrnehmung und Kartendaten den Fahrweg anderer Verkehrsteilnehmer vorhersagen kann.

 

Wie KI autonomen Fahrzeugen dabei hilft, die Struktur einer Kreuzung wahrzunehmen

Die eigenständige Bewältigung von Straßenkreuzungen stellt für selbstfahrende Autos eine komplexe Reihe an Herausforderungen dar. In unserer Serie DRIVE Labs haben wir schon früher einmal gezeigt, wie die Erkennung von Kreuzungen, Ampeln und Verkehrsschildern mit dem DNN WaitNet funktioniert und wie wir Ampelphasen und Verkehrsschilder mit den DNNs LightNet und SignNet klassifizieren. In dieser Folge gehen wir noch einen Schritt weiter und zeigen, wie NVIDIA mithilfe von KI die unterschiedlichen Kreuzungsstrukturen wahrnimmt, auf die ein autonomes Fahrzeug im Laufe des Tages während einer Fahrt treffen könnte.

 

Wie aktives Lernen die Erkennung von Fußgängern bei Nacht verbessert

Aktives Lernen ermöglicht es der KI, automatisch die richtigen Trainingsdaten auszuwählen. Ein Reihe dedizierter DNNs durchläuft einen Pool an Bild-Frames und markiert Frames, die als verwirrend eingestuft werden. Diese Frames werden dann gekennzeichnet und dem Trainingsdatensatz hinzugefügt. Dieser Vorgang kann die Wahrnehmung von DNNs unter schwierigen Bedingungen verbessern und beispielsweise dabei helfen, Fußgänger bei Nacht zu erkennen.

 

Mit Laserfokus: Wie die Multiansicht-DNN LidarNet unzählige Perspektiven für selbstfahrende Autos bietet

Herkömmliche Methoden zur Verarbeitung von LIDAR-Daten stellen erhebliche Herausforderungen dar, wie die Erkennung und Klassifizierung verschiedener Objekttypen, Umgebungen und Wetterbedingungen sowie Einschränkungen bei Leistung und Robustheit. Unsere Multiansicht-DNN LidarNet verwendet mehrere Perspektiven bzw. Ansichten von der Umgebung rund um das Auto herum, um diese Herausforderungen bei der LIDAR-Verarbeitung zu bewältigen.

 

Sie benötigen Navigation? Lokalisierung hilft selbstfahrenden Autos dabei, ihren Weg zu finden

Lokalisierung ist eine wichtige Funktion für autonome Fahrzeuge, bei der deren dreidimensionaler (3D-)Standort innerhalb einer Karte berechnet wird, einschließlich 3D-Position, 3D-Ausrichtung und etwaige Unsicherheiten in diesen Positions- und Ausrichtungswerten. In diesen Drive Labs zeigen wir Ihnen, wie unsere Lokalisierungsalgorithmen mithilfe von Standardsensoren und -HD-Karten eine hohe Genauigkeit und Stabilität ermöglichen.

 

So erfasst KI Straßenmarkierungen

Sehen Sie sich an, wie wir unser DNN LaneNet zu unserem hochpräzisen MapNet-DNN weiterentwickelt haben. Diese Entwicklung beinhaltet eine Erweiterung der Erkennungsklassen, sodass neben den Fahrbahnlinien auch Straßenmarkierungen und vertikale Orientierungspunkte (z. B. Leitpfosten) erfasst werden. Außerdem kommt eine End-to-End-Erkennung zum Einsatz, die eine schnellere im Auto generierte Inferenz ermöglicht.

 

Unterwegs mit KI: Surround-Kamera mit Sensorfusion beseitigt tote Winkel bei selbstfahrenden Autos

Dank ihrer Fähigkeit, Objekte rund um das Fahrzeug herum zu erkennen und darauf zu reagieren, ermöglicht die Kamera ein komfortables und sicheres Fahrerlebnis. In diesem Video von DRIVE Labs erläutern wir, warum es wichtig ist, über eine Sensorfusions-Pipeline zu verfügen, die Kamera und Eingangssignale des Sensors für eine optimierte Umgebungswahrnehmung miteinander kombinieren kann.

 

Pixelgenaue Wahrnehmung: So können autonome Fahrzeuge mit KI ihre Umgebung wahrnehmen

In sehr komplexen Fahrszenarien ist es von Vorteil, wenn das Wahrnehmungssystem des selbstfahrenden Fahrzeugs umfassendere Informationen zu seiner Umgebung erhält. Mit unserem panoptischen DNN-Segmentierungsansatz können wir durch die pixelgenaue Segmentierung von Bildinhalten sehr detaillierte Ergebnisse erzielen.

 

Sie möchten Blendungen vermeiden? So verhindert KI, dass andere Fahrzeuge vom Fernlicht geblendet werden

Das Fernlicht erhöht die Sichtweite bei Nacht deutlich, kann jedoch andere Fahrer aufgrund von Blendung gefährden. Wir haben ein kamerabasiertes Deep Neural Network (DNN) mit dem Namen „AutoHighBeamNet“ trainiert, das das Fernlichtsystem des Fahrzeugs automatisch steuert, um die Sichtweite und Sicherheit bei Nacht zu erhöhen.

 

Immer auf Erfolgsspur: Feature-Tracking für zuverlässiges autonomes Fahren

Beim Feature-Tracking werden auf Pixelebene die Übereinstimmungen und Änderungen nebeneinander liegender Video-Frames analysiert. Dadurch werden wichtige zeitliche und geometrische Informationen für die Objektmotion/Geschwindigkeitseinschätzung, die Kameraselbstkalibrierung und die visuelle Odometrie zur Verfügung gestellt.

 

Sie suchen einen Parkplatz? Mit KI sind Sie auf der sicheren Seite.

Unser Deep Neural Network ParkNet kann unter verschiedenen Bedingungen einen freien Parkplatz erkennen. Sehen Sie sich an, wie es mit Parkplätzen in Parkhäusern und im Straßenraum umgeht, die durch einzelne, doppelte oder verblasste Markierungen separiert sind, und wie es zwischen besetzten, unbesetzten und teilweise besetzten Parkplätzen unterscheidet.

 

Fahren Sie mit dem selbstfahrenden Auto von NVIDIA

In dieser Sonderausgabe von Drive Labs erfahren Sie, wie die NVIDIA DRIVE AV-Software die wesentlichen Bausteine der Wahrnehmung, Lokalisierung und Planung/Steuerung kombiniert, um ein Auto autonom auf öffentlichen Straßen rund um unseren Geschäftssitz in Santa Clara, Kalifornien, fahren zu lassen.

 

Klassifizierung von Verkehrszeichen und Verkehrsampeln mit KI

Die NVIDIA DRIVE AV-Software verwendet eine Kombination aus DNNs, um Verkehrszeichen und Verkehrsampeln zu klassifizieren. Sehen Sie sich an, wie unser DNN LightNet die Ampelvariante (z. B. Streuscheibe vs. Richtungssignal) und Ampelphase (z. B. Farbe) klassifiziert, während das DNN SignNet die Art des Verkehrszeichens identifiziert.

 

Vermeidung von Kollisionen mit Safety Force Field

Unsere Kollisionsvermeidungssoftware Safety Force Field (SFF) fungiert als unabhängige Überwachungsinstanz für die Aktionen des primären Planungs- und Steuerungssystems des Fahrzeugs. Durch SFF werden die Steuerelemente, die vom primären System ausgewählt wurden, doppelt überprüft, und wenn sie als unsicher eingestuft werden, wird die Entscheidung des Primärsystems abgelehnt und korrigiert.

 

Hochpräzise Fahrspurerkennung

Die Verarbeitung mit Deep Neural Networks (DNNs) wurde als wichtige KI-basierte Technik für die Fahrspurerkennung entwickelt. Unser DNN LaneNet erhöht den Spurerkennungsbereich, die Spurrand-Rückrufe und die Zuverlässigkeit der Fahrspurerkennung mit pixelgenauer Präzision.

 

Wahrnehmung einer neuen Dimension

Die Berechnung der Entfernung von Objekten mithilfe von Bilddaten einer einzigen Kamera kann bei hügeligem Terrain schwierig werden. Mithilfe von Deep Neural Networks können autonome Fahrzeuge Entfernungen in 3D mithilfe von 2D-Bildern erkennen.

 

Rundumsicht der Kamera

Erfahren Sie, wie wir unseren aus sechs Kameras bestehenden Aufbau verwenden, um eine 360-Grad-Sicht um das Auto herum zu erhalten und Objekte in der Umgebung zu erkennen.

 

Zukunftsvorhersagen mit RNNs

Autonome Fahrzeuge müssen mithilfe von Berechnungsmethoden und Sensordaten, z. B. einer Bildsequenz, herausfinden, in welche Richtung ein Objekt im Zeitverlauf läuft.

 

Deep Neural Network ClearSightNet

Das DNN ClearSightNet wurde darauf trainiert, die einwandfreie Kamerasicht zu überprüfen und die Ursachen für Sichtverdeckungen, Sichtversperrungen und verringerte Sichtverhältnisse zu bestimmen.

 

Deep Neural Network WaitNet

Erfahren Sie, wie das DNN WaitNet Kreuzungen ohne eine Karte erkennen kann.

 

Wegerkennungs-Ensemble

Diese drei DNNs erstellen und bewerten Sicherheitsprognosen für Mittel- und Fahrbahnbegrenzungslinien sowie für Spuränderungen, -teilungen und -zusammenführungen.

Kurze Updates von unserer Flotte autonomer Fahrzeuge über neue innovative Entwicklungen

 

Januar 2023

Sehen Sie sich die neuesten Fortschritte in der Wahrnehmung autonomer Fahrzeuge mit NVIDIA DRIVE an. In diesem Dispatch verwenden wir Ultraschallsensoren, um die Höhe von Objekten in der Umgebung in Bereichen mit geringer Fahrgeschwindigkeit wie Parkplätzen zu erkennen. Das DNN RadarNet erkennt befahrbaren freien Raum, während das DNN Stereo Depth die Geometrie der Umgebung schätzt.

 

Februar 2022

DRIVE Dispatch kommt erneut für Staffel 2 zum Einsatz. In dieser Folge zeigen wir Fortschritte bei DNN-basiertem End-to-End-Radar-Clustering, Real2Sim, der Fahrer- und Insassenüberwachung und vielem mehr.

 

Juli 2021

In dieser Folge von NVIDIA DRIVE Dispatch zeigen wir Fortschritte bei der Vorhersage des Verkehrsflusses, der Straßenmarkierungserkennung, der Visualisierung synthetischer 3D-Daten und vielem mehr.

 

Juni 2021

In dieser Episode von NVIDIA DRIVE Dispatch zeigen wir Fortschritte bei der Wahrnehmung befahrbarer Wege, der Lokalisierung mit Kameras und Radarsensoren, der Parkplatzerkennung und vielem mehr.

 

März 2021

In dieser Folge von NVIDIA DRIVE Dispatch zeigen wir Fortschritte bei synthetischen Daten für verbessertes DNN-Training, radarbasierte Wahrnehmung zur Prognose zukünftiger Abläufe, MapStream-Erstellung für Crowdsourcing-HD-Karten und mehr.

 

Februar 2021

Erfahren Sie mehr über die neuesten Fortschritte in den Kategorien DepthNet, Straßenmarkierungserkennung, Multiradar-Egomotion-Schätzung, kameraübergreifendes Feature-Tracking und vieles mehr.

 

Januar 2021

Entdecken Sie die Fortschritte bei der Parkplatzerkennung, dem 3D-Standort bei der Erkennung von Orientierungspunkten, unserer ersten autonomen Fahrt mit einer automatisch generierten MyRoute-Karte und Straßenebene sowie der Fahrwerkseinschätzung.

 

Dezember 2020

Informieren Sie sich über Fortschritte in der Scooter-Klassifizierung und -Vermeidung, Ampelerkennung, 2D-Quaderstabilität, 3D-Freiraum von Kamera-Annotationen, LIDAR-Wahrnehmungspipeline und Scheinwerfer-/Rücklicht-/Straßenlichtwahrnehmung.

Mit dem NVIDIA Automotive-Newsletter erhalten Sie die neuesten DRIVE-Videos direkt in Ihren Posteingang.