KI-gestütztes Multi-Kamera-Tracking
Verfolgen und identifizieren Sie Objekte mit mehreren Kameras anonym in Städten, Lagern, Fabriken und im Einzelhandel.
Workloads
Computer Vision / Videoanalyse
Edge-Computing
Robotik
Branchen
Smart Cities / Spaces
Einzelhandel / Konsumgüter
Fertigung
Gesundheitswesen und Biowissenschaften
Geschäftsziel
Return on Investment
Risikominderung
Warum Multi-Kamera-Tracking?
Stellen Sie sich eine Welt vor mit hochsicheren, effizienten Fabriken, Einzelhandelsflächen, die für ein perfektes Einkaufserlebnis optimiert sind, und noch sicheren, optimierten öffentlichen Räume, wie Krankenhäuser, Flughäfen und Campus. Diese Räume sind zu groß, um sie von einer einzigen Kamera abzudecken, daher werden sie in der Regel von Hunderten überlappenden Kameras überwacht. Die genaue Überwaachung von Objekten und die Erfassung von Aktivitäten mit mehreren Kameras und in verschiedenen Räumen wird als Multi-Kamera-Tracking bezeichnet und ermöglicht eine noch effektivere Überwachung und Kontrolle von Umgebungen.
Multi-Kamera-Tracking ist wichtig, weil es aus einer Sammlung isolierter Kamera-Feeds ein einheitliches, intelligentes Erfassungssystem macht. Durch die Verknüpfung von Beobachtungen aus verschiedenen Ansichten werden tote Winkel reduziert, die Erkennung von Vorfällen verbessert und ausführlichere Analysen wie Crowd-Flow, Verweilzeit und zonenübergreifendes Verhalten ermöglicht. Dies ist von einem einzigen Sichtwinkel aus nicht zuverlässig möglich. In der Praxis bedeutet das bessere Sicherheitsreaktionen, intelligentere Entscheidungen hinsichtlich Personalbesetzung und Raumaufteilung im Einzelhandel sowie einen effizienteren Betrieb in großen Einrichtungen.
Vorteile von Multi-Kamera-Tracking:
- Überblick über alle Bereiche aus einheitlicher Perspektive
- Schnellere Reaktion auf Sicherheitsprobleme
- Nutzung von Bewegungsmustern zur Verbesserung von Raumaufteilung und Betriebsabläufen
- Kostensenkung durch die Automatisierung der routinemäßigen Überwachung bei gleichzeitiger Abdeckung größerer Flächen
IIn diesem Beispiel für ein Lager mit mehreren Kameras verfolgen Decken- und Seitenkameras Mitarbeiter, Gabelstapler und AMRs in der gesamten Anlage – und bieten so einen Überblick über jedem Gang in Echtzeit.
Wie Multi-Kamera-Tracking in verschiedenen Branchen eingesetzt wird
Fertigungs- und Lagerautomatisierung: Verbessern Sie Ihre Fertigungsabläufe durch eine optimierte Streckenführung für autonome Roboter, Geräte und Mitarbeiter. KI-gestützte Analysen helfen dabei, Engpässe und Risiken zu identifizieren und ermöglichen datengestützte Entscheidungen zu treffen, die die Produktivität, die Sicherheit der Mitarbeiter und die Sicherheit von Robotern verbessern.
Optimierte Raumaufteilung im Einzelhandel: Durch die Analyse der Kundenbewegungen im Geschäft lassen sich zur Maximierung von Verkauf und Umsatz die Gänge und die Produktplatzierung neu gestalten. Multi-Kamera-Tracking hilft dabei, Engpässe zu identifizieren, das Kundenverhalten zu verfolgen und Layout-Szenarien zu simulieren, um Auswirkungen auf die Verkäufe und die Kundenerfahrung vorherzusagen.
Smart Cities: Mithilfe von Multi-Kamera-Tracking lassen sich der Verkehrsfluss und die Fußgängerbewegung an Kreuzungen, Verkehrsknotenpunkten und öffentlichen Plätzen überwachen. Dies unterstützt die Stadtverwaltung bei der Staureduzierung, bei der Verbesserung der öffentlichen Sicherheit und bei optimierten Entscheidungen in der Stadtplanung.
In-Krankenhaus-Patientenversorgung: Nutzen Sie die kontinuierliche Überwachung von Patienten in Krankenhäusern für zusätzliche Sicherheit und Schutz. Die Lösung ermöglicht Echtzeit-Warnungen und -Benachrichtigungen und gewährleistet sofortige Aufmerksamkeit und Promptheit, wenn sie benötigt wird.
Technische Umsetzung
Architekturaufbau
Die NVIDIA DeepStream Multi-View 3D Tracking (Mv3DT)-Architektur will den Übergang von einer Einzelkamera zu einem Multi-Kamera-Tracking innerhalb einer einheitlichen containerisierten Anwendung zu optimieren.
- Ingestion und Inferenz: Man kann von der bestehenden DeepStream-Pipeline ausgehen oder die verfügbare Referenzanwendung nutzen. Ein wesentlicher Vorteil von Mv3DT besteht darin, dass standardmäßige DeepStream-Pipelines einfach für Multi-Kamera-Tracking aktualisiert werden können. Das System ist flexibel und unterstützt sowohl 2D- als auch 3D-KI-Detektoren für die Objekt-Ersterkennung.
- Multi-View-3D-Tracking-Core: Dies ist die Basis des Systems. Für jede Kamera – Cam 1 bis Cam N – wird 3D-Objektprojektion, Zustandsschätzung und Pose-Schätzung durchgeführt.
- Fusion und Synchronisation: Die Tracker nutzen die kameraübergreifende Kommunikation über einen MQTT-Broker und verarbeiten den Echtzeit-Standort pro Kamera. Dies ermöglicht die Zuordnung und Zusammenführung mehrerer Ansichten, sodass sichergestellt wird, dass Daten aus verschiedenen Blickwinkeln zu einer einzigen, genauen Einheit zusammengeführt werden.
- Ausgabe und Visualisierung: Das System bietet zwei Ausgaben:
- Live-Ansicht: Eine On-Screen-Anzeige (OSD), die Tracking-Daten über den ursprünglichen Videofeed legt.
- Vogelperspektive: Eine flächige 2D-Karte, die von einem Kafka-Broker unterstützt wird, der die Metadaten zur Objektposition in das Visualisierungstool überträgt.
Mit dem NVIDIA Blueprint für Videosuche und Zusammenfassung (VSS) kann man KI-Agenten für die Videoanalyse erstellen, die nicht nur visuelle Inhalte verstehen, sondern auch fortschrittliches Multi-Kamera-Tracking übernehmen. Diese Agenten werden von DeepStream unterstützt und können demselben Objekt folgen, während es sich durch mehrere synchronisierte Kameraansichten bewegt. Dadurch bleibt eine konsistente Identität erhalten und es werden ausführlichere kameraübergreifende Erkenntnisse wie End-to-End-Pfade, Verweilzeiten und genaue Zählungen ermöglicht.
Quick-Links
Erste Schritte
Die Einrichtung ud Anpassung von KI-gestütztem Multi-Kamera-Tracking mit DeepStream Mv3DT erfolgt in folgenden vier Phasen:
- Einrichten (Umgebung vorbereiten): Installieren von Kameras mit überlappendem Blickwinkel, damit kritische Bereiche aus mindestens zwei Perspektiven erfasst werden, um Sichtbehinderungen sicher zu vermeiden.
- Überprüfen (Test-Referenz-App): Ausführen der Mv3DT-Referenzanwendung mit synthetischen Daten, um die Funktionsfähigkeit des Software-Stacks (DeepStream SDK, MQTT und Kafka-Broker) zu überprüfen.
- Kalibrieren (automatische Kalibrierung): Offline-Kalibrierung der Kameras mit dem Auto Magic Calibration-Tool (AMC), um die Projektionsmatrizen zu generieren, die für den Tracking-Kern erforderlich sind.
- Bereitstellen und Anpassen: Integrieren von Mv3DT in die eigene Pipeline, Visualisieren der 3D-Verfolgung in Echtzeit und schnelles Anpassen des Anwendungscodes an die eigenen Anforderungen mithilfe von DeepStream Copilot.
Häufig gestellte Fragen
Mithilfe des Multi-Kamera-Trackings von DeepStream lassen sich Daten von mehreren Standard-IP-Kameras zu einer einzigen Ansicht über die gesamte Einrichtung zusammenführen. Dieses System koordiniert überlappende Blickwinkel und gibt einheitliche 3D-Positionsdaten aus. Es ermöglicht eine konsistente Identifizierung jeder Person oder jedes Objekts, während diese sich zwischen den Kameras bewegen. Es lässt sich problemlos auf Hardware von NVIDIA von Edge-Geräten bis hin zu Rechenzentrums-GPUs skalieren.
Ja, das visionbasierte Tracking bietet eine taglose Alternative zu herkömmlichen RTLS-Technologien wie Wi-Fi, Bluetooth-Beacons, UWB oder RFID. Menschen oder Objekte müssen keine Vorrichtungen mehr mitführen. Stattdessen verfolgen kamerabasierte Systeme Objekte direkt mithilfe von Computer Vision. Das Multi-Kamera-Tracking von NVIDIA DeepStream liefert 3D-Koordinaten in Echtzeit in einem globalen Referenzrahmen und Standortdaten, die mit Tag-basierten Systemen vergleichbar sind, ohne dass Hardwarekosten für jedes überwachte Objekt entstehen, Batteriewartung oder das Mitführen von Tags erforderlich sind.
Das Multi-View-3D-Tracking von DeepStream ermöglicht konsistente Objekt-IDs mithilfe eines verteilten Protokolls. Kameras mit überlappenden Blickwinkeln handeln hier globale IDs mithilfe von einfachem MQTT-Messaging automatisch aus und geben sie weiter. Wenn ein Objekt im Blickwinkel einer anderen Kamera auftaucht, gleicht das System es mit Tracklets benachbarter Kameras mithilfe von 3D-Positionskorrelation ab. Ein zentraler Server ist hierbei nicht erforderlich. Das System bietet außerdem eine automatische Fehlerkorrektur für Fälle, in denen IDs während der Übergabe fehlen oder falsch zugewiesen werden.
DeepStream ermöglicht flexible Bereitstellungsoptionen in Edge-Geräten, Rechenzentren oder hybriden Konfigurationen. Das verteilte Design des Systems verarbeitet Daten lokal, anstatt alle Videos zentral zu streamen. Dadurch sind die Anforderungen an die Bandbreite reduziert und es ist möglich, die Anzahl der Kameras anzupassen, ohne dass Leistungsengpässe entstehen.
NVIDIA DeepStream ist detektorunabhängig und unterstützt jedes Modell, das Begrenzungsbereiche erzeugt. Man kann Standardarchitekturen wie YOLO und Faster R-CNN, mit dem NVIDIA TAO Toolkit trainierte Modelle oder eigene benutzerdefinierte Modelle verwenden. Da das Tracking der Erkennung nachgelagert ist, kann man den Detektor auswählen oder austauschen, der am besten zum eigenen Anwendungsfall passt.
Erste Schritte
Diesen Anwendungsfall erstellen
Beschleunigen Sie die Entwicklung Ihrer KI-Anwendung für Multi-Kamera-Tracking.
