Das NVIDIA DRIVE™ Software-Team arbeitet ständig an Innovationen und redundanten und vielfältigen Deep Neural Networks für sichere und zuverlässige selbstfahrende Systeme, die die Branche verändern.
Wählen Sie unten die Registerkarte aus und erhalten Sie einen Einblick in den Prozess.
Kurze Videos über spezielle Algorithmen für selbstfahrende Autos
Ein fortschrittliches, algorithmusbasiertes „Parking Sign Assist“-System („Parken, Schilder, Assistenz“, PSA) ist von entscheidender Bedeutung, damit autonome Fahrzeuge die Komplexität von Parkregeln verstehen und entsprechend reagieren können. In dieser Folge von DRIVE Labs zeigen wir Ihnen, wie der NVIDIA DRIVE AV-Softwarestack modernste DNNs und Computer Vision-Algorithmen zur Optimierung des autonomen Parkens in realen Szenarien nutzt. Mit diesen Methoden können eine Vielzahl von Verkehrsschildern fürs Parken und Straßenkreuzungen in Echtzeit erkannt, nachverfolgt und klassifiziert werden.
Das Verstehen von Geschwindigkeitsbegrenzungsschildern mag wie eine einfache Aufgabe erscheinen, aber es kann schnell komplexer werden – beispielsweise in Situationen, in denen unterschiedliche Einschränkungen für verschiedene Fahrspuren gelten oder wenn Sie in einem neuen Land fahren. In dieser Episode von DRIVE Labs erfahren Sie, wie KI-basierte Live-Wahrnehmung AVs helfen kann, die Komplexität von Geschwindigkeitsbegrenzungsschildern besser zu verstehen, indem sowohl explizite als auch implizite Hinweise verwendet werden.
Die AV-Wahrnehmung ist ohne vielfältige und redundante Sensoren, wie etwa Kameras oder Radar, nicht vorstellbar. Radarsensoren, mit denen nur eine herkömmliche Verarbeitung möglich ist, sind der Aufgabe jedoch möglicherweise nicht gewachsen. In diesem DRIVE Labs-Video zeigen wir, wie mithilfe von KI die Schwachstellen der herkömmlichen Radarsignalverarbeitung bei der Unterscheidung von bewegten und fixen Objekten behoben werden können und eine verbesserte AV-Wahrnehmung möglich ist.
In dieser DRIVE Labs-Episode zeigen wir, wie DRIVE IX Aufmerksamkeit, Aktivität, Emotion, Verhalten, Haltung, Sprache, Geste und Stimmung des Fahrers wahrnimmt. Die Fahrerwahrnehmung ist ein wichtiger Aspekt der Plattform. Dadurch kann das System des autonomen Fahrzeugs sicherstellen, dass ein Fahrer wachsam ist und auf die Straße achtet. Es ermöglicht dem KI-System auch, Cockpit-Funktionen auszuführen, die intuitiver und intelligenter sind.
In dieser Episode von DRIVE Labs zeigen wir, wie softwaredefinierte KI verwendet werden kann, um die Leistung und Funktionalität der Lichtquelle unseres Deep Neural Network (DNN) deutlich zu verbessern und in wenigen Wochen Reichweite zu erhöhen, Klassifikationsmöglichkeiten hinzuzufügen und mehr.
Selbstfahrende Fahrzeuge verlassen sich auf KI, um Verkehrsmuster vorherzusehen und in einer komplexen Umgebung sicher zu fahren. In dieser Folge von DRIVE Labs zeigen wir, wie unser PredictionNet Deep Neural Network den Fahrweg anderer Verkehrsteilnehmer mit Live-Wahrnehmung und Kartendaten vorhersagen kann.
Die autonome Bewältigung von Straßenkreuzungen stellt für selbstfahrende Autos eine komplexe Reihe an Herausforderungen dar. In unserer Serie DRIVE Labs haben wir schon früher einmal gezeigt, wie die Erkennung von Kreuzungen, Ampeln und Verkehrsschildern mit dem WaitNet DNN funktioniert und wie wir Ampelphasen und Verkehrsschilder mit den DNNs LightNet und SignNet klassifizieren. In dieser Folge gehen wir noch einen Schritt weiter und zeigen, wie NVIDIA mithilfe von KI die unterschiedlichen Kreuzungsstrukturen wahrnimmt, auf die ein autonomes Fahrzeug im Laufe des Tages während einer Fahrt stoßen könnte.
Aktives Lernen ermöglicht es der KI, automatisch die richtigen Trainingsdaten auszuwählen. Ein Reihe dedizierter DNNs durchläuft einen Pool an Bild-Frames und markiert Frames, die als verwirrend empfunden werden. Diese Frames werden dann gekennzeichnet und dem Trainingsdatensatz hinzugefügt. Dieser Vorgang kann die Wahrnehmung von DNNs unter schwierigen Bedingungen verbessern und beispielsweise dabei helfen, Fußgänger bei Nacht zu erkennen.
Herkömmliche Methoden zur Verarbeitung von LIDAR-Daten stellen erhebliche Herausforderungen dar, wie die Erkennung und Klassifizierung verschiedener Objekttypen, Umgebungen und Wetterbedingungen sowie Einschränkungen bei Leistung und Robustheit. Unsere Multiansicht-DNN LidarNet verwendet mehrere Perspektiven bzw. Ansichten von der Umgebung rund um das Auto herum, um diese Herausforderungen bei der LIDAR-Verarbeitung zu bewältigen.
Lokalisierung ist eine wichtige Funktion für autonome Fahrzeuge und berechnet ihren dreidimensionalen (3D-)Standort innerhalb einer Karte, einschließlich 3D-Position, 3D-Ausrichtung und etwaige Unsicherheiten in diesen Positions- und Ausrichtungswerten. In diesen Drive Labs zeigen wir Ihnen, wie unsere Lokalisierungsalgorithmen mithilfe von Standardsensoren und -HD-Karten eine hohe Genauigkeit und Stabilität ermöglichen.
Sehen Sie sich an, wie wir unsere LaneNet-DNN zu unserer hochpräzisen MapNet-DNN weiterentwickelt haben. Diese Entwicklung beinhaltet eine Erweiterung der Detektionsklassen, sodass neben den Fahrbahnlinien auch Straßenmarkierungen und vertikale Orientierungspunkte (z. B. Masten) erfasst werden. Außerdem kommt eine End-to-End-Erkennung zum Einsatz, die schnellere Inferenz im Auto ermöglicht.
Dank ihrer Fähigkeit, Objekte rund um das Fahrzeug herum zu erkennen und darauf zu reagieren, ermöglicht die Kamera ein komfortables und sicheres Fahrerlebnis. In diesem Video von DRIVE Labs erläutern wir, warum es wichtig ist, über eine Sensorfusions-Pipeline zu verfügen, die Kamera und Eingangssignale des Sensors miteinander kombinieren kann, um eine optimierte Umgebungswahrnehmung zu erhalten.
Bei sehr komplexen Fahrszenarien sollte das System des selbstfahrenden Fahrzeugs umfassendere Informationen zu seiner Umgebung erhalten können. Mit unserem panoptischen DNN-Segmentierungsansatz können wir durch die pixelgenaue Segmentierung von Bildinhalten sehr detaillierte Ergebnisse erzielen.
Das Fernlicht erhöht die Sichtweite bei Nacht deutlich, aber es kann andere Fahrer auch gefährlich blenden. Wir haben ein kamerabasiertes Deep Neural Network (DNN) mit dem Namen „AutoHighBeamNet“ trainiert, das die Fernlichtsteuerung des Fahrzeugs automatisch steuert. So erhöhen sich die Sichtweite und Sicherheit bei Nacht.
Beim Feature-Tracking werden auf Pixelebene die Übereinstimmungen und Änderungen nebeneinander liegender Video-Frames analysiert. Dadurch werden wichtige zeitliche und geometrische Informationen für die Objektbewegung/Geschwindigkeitseinschätzung, die Kameraselbstkalibrierung und die visuelle Odometrie zur Verfügung gestellt.
Unser tiefes neuronales Netzwerk ParkNet kann unter verschiedenen Bedingungen einen freien Parkplatz erkennen. Sehen Sie sich an, wie es mit Parkplätzen in Parkhäusern und im Außenbereich umgeht, die durch einzelne, doppelte oder verblasste Markierungen getrennt sind, und zwischen besetzten, unbesetzten und teilweise besetzten Parkplätzen unterscheidet.
In dieser Sonderausgabe von Drive Labs erfahren Sie, wie die NVIDIA Drive-AV-Software die wesentlichen Bausteine der Wahrnehmung, Lokalisierung und Planung/Steuerung kombiniert, um autonom auf den öffentlichen Straßen rund um unseren Geschäftssitz in Santa Clara, Kalifornien, zu fahren.
Die NVIDIA DRIVE AV-Software verwendet eine Kombination aus DNNs, um Verkehrszeichen und Verkehrsampeln zu klassifizieren. Sehen Sie sich an, wie unsere LightNet DNN die Ampelvariante (z. B. Streuscheibe vs. Richtungssignal) und -phase (z. B. Farbe) klassifiziert, während der SignNet DNN die Art des Verkehrszeichens identifiziert.
Unsere Kollisionsvermeidungssoftware (Safety Force Field, SFF) fungiert als unabhängige Aufsicht für die Aktionen des primären Planungs- und Steuerungssystems des Fahrzeugs. Durch das SFF werden die Steuerelemente, die vom primären System ausgewählt wurden, doppelt überprüft, und wenn sie als unsicher eingestuft werden, wird die Entscheidung des Primärsystems abgelehnt und korrigiert.
Die Verarbeitung mit Deep Neural Network (DNN) wurde als wichtige KI-basierte Technik für die Spurerkennung entwickelt. Unser LaneNet DNN erhöht den Spurerkennungsbereich, die Spurrand-Rückrufe und die Robustheit der Fahrspurerkennung mit Präzision auf das Pixel genau.
Die Berechnung der Entfernung von Objekten mithilfe von Bilddaten einer einzigen Kamera kann bei hügeligem Terrain schwierig werden. Mit Hilfe von Deep Neural Networks können autonome Fahrzeuge Entfernungen in 3D mithilfe von 2D-Bildern erkennen.
Erfahren Sie, wie wir unsere sechs Kameras verwenden, um eine 360-Grad-Sicht um das Auto zu erhalten und um bewegte Objekte in der Umgebung zu verfolgen.
Autonome Fahrzeuge müssen mithilfe von Berechnungsmethoden und Sensordaten, z. B. einer Bildsequenz, herausfinden, wie sich ein Objekt im Laufe der Zeit bewegt.
ClearSightNet DNN wurde darauf trainiert, die einwandfreie Kamerasicht zu überprüfen und die Ursachen für Sichtverdeckungen, Sichtversperrungen und verringerte Sichtverhältnisse zu bestimmen.
Erfahren Sie, wie das WaitNet DNN Kreuzungen ohne eine Karte entdeckt.
Diese drei DNNs erstellen und bewerten Sicherheitsprognosen für Mittelstreifen und Seitenlinien sowie für Spurwechsel/-teilung/-zusammenführung.
Kurze Updates von unserer AV-Flotte über neue bahnbrechende Entwicklungen
DRIVE Dispatch kehrt mit Staffel 2 zurück. In dieser Folge zeigen wir Fortschritte bei DNN-basiertem End-to-End-Radar-Clustering, Real2Sim, der Fahrer- und Insassenüberwachung und vielem mehr.
In dieser Folge von NVIDIA DRIVE Dispatch zeigen wir Fortschritte bei der Vorhersage von Verkehrsbewegungen, der Straßenmarkierungserkennung, der Visualisierung synthetischer 3D-Daten und vielem mehr.
In dieser Episode von NVIDIA DRIVE Dispatch zeigen wir Fortschritte bei der Wahrnehmung fahrbarer Wege, der Lokalisierung von Kameras und Radaren, der Parkplatzerkennung und vielem mehr.
In dieser Folge von NVIDIA DRIVE Dispatch zeigen wir Fortschritte in synthetischen Daten für verbessertes DNN-Training, radarbasierte Wahrnehmung zur Prognose künftiger Bewegungen, MapStream-Erstellung für Crowdsourcing-HD-Karten und mehr.
Sehen Sie sich die neuesten Fortschritte in den Kategorien DepthNet, Straßenmarkierungserkennung, Multiradar-Egomotion-Schätzung, kameraübergreifendes-Feature-Tracking und vieles mehr an.
Entdecken Sie die Fortschritte bei der Parkplatzerkennung, dem 3D-Standort bei der Straßenmarkierungserkennung, unserer ersten autonomen Fahrt mit einer automatisch generierten MyRoute-Karte und Straßenebene sowie der Fahrwerksschätzung.
Sehen Sie sich die Fortschritte in der Scooter-Klassifizierung und -Vermeidung, Ampelerkennung, 2D-Quaderstabilität, 3D-Freiraum von Kamera-Anmerkungen, LIDAR-Wahrnehmungspipeline und Scheinwerfer-/Rücklicht-/Straßenlichtwahrnehmung an.
Mit dem NVIDIA Automotive-Newsletter erhalten Sie die neuesten DRIVE-Videos direkt in Ihren Posteingang.