Tracciamento multicamera basato sull'IA
Traccia e identifica gli oggetti in modo anonimo attraverso le telecamere per città, magazzini, industrie e operazioni retail.
Carichi di lavoro
Computer Vision / Analisi video
Edge Computing
Robotica
Settori
Città / Spazi intelligenti
Vendita al dettaglio/Beni di consumo confezionati
Produzione
Sanità e scienze della vita
Obiettivo aziendale
Ritorno sugli investimenti
Mitigazione del rischio
Perché il tracciamento multi-camera?
Immagina un mondo in cui le fabbriche funzionano automaticamente con sicurezza ed efficienza in modo eccezionale, gli spazi retail sono ottimizzati per l'esperienza di acquisto e le aree pubbliche come ospedali, aeroporti e campus sono più sicuri e semplificate. Poiché questi spazi sono troppo grandi per essere coperti da una singola telecamera, in genere sono monitorati da centinaia di telecamere sovrapposte. Il tracciamento multicamera consiste nel seguire gli oggetti misurandone l'attività con precisione attraverso varie telecamere e nello spazio, consentendo di monitorare e gestire le aree in modo più efficace.
Il tracciamento multi-telecamera è importante perché trasforma una raccolta di feed delle telecamere isolati in un sistema di rilevamento unificato e intelligente. Collegando le osservazioni tra le visualizzazioni, riduce i punti ciechi, migliora il rilevamento degli incidenti e consente analisi più ricche come il flusso di folla, il tempo di sosta e il comportamento tra le varie aree. Non è possibile farlo in modo affidabile da un singolo punto di vista. In pratica, ciò significa migliori risposte di sicurezza, decisioni più intelligenti sul personale e sul layout nel settore retail e operazioni più efficienti nelle grandi strutture.
Il tracciamento multi-camera consente di:
- Vedere tutto il sito con una singola visione connessa.
- Rispondere più rapidamente ai problemi di sicurezza e protezione.
- Utilizzare i modelli di movimento per migliorare i layout e le operazioni.
- Ridurre i costi automatizzando il monitoraggio di routine e coprendo più terreno.
In questo esempio di magazzino multi-telecamera, le telecamere aeree e laterali tracciano lavoratori, carrelli elevatori e AMR in tutta la struttura, fornendo una consapevolezza situazionale in tempo reale di ogni corridoio.
In che modo i settori stanno utilizzando il tracciamento multi-camera
Automazione della produzione e del magazzino: migliorare le operazioni di reparto ottimizzando i percorsi per robot autonomi, apparecchiature e lavoratori. L'analisi basata sull'IA aiuta a identificare le congestioni, i colli di bottiglia e i rischi, consentendo di prendere decisioni basate sui dati che migliorano la produttività, la sicurezza dei lavoratori e la sicurezza dei robot.
Ottimizzazione del layout dei negozi retail:Analizzando i percorsi dei clienti in tutto il negozio, è possibile riconfigurare le corsie e il posizionamento dei prodotti per massimizzare le vendite e le entrate. Il tracciamento multi-camera aiuta a identificare i colli di bottiglia, monitorare il comportamento dei clienti e simulare scenari di layout per prevedere l'impatto sulle vendite e sull'esperienza dei clienti.
Città intelligenti: Sfrutta il tracciamento multi-telecamera per monitorare il flusso di traffico e i movimenti dei pedoni negli incroci, negli hub di trasporto pubblico e nei luoghi pubblici. Ciò aiuta gli operatori urbani a ridurre la congestione, migliorare la sicurezza pubblica e ottimizzare le decisioni di pianificazione urbana.
Assistenza dei pazienti ospedalieri: monitoraggio continuo dei pazienti negli ospedali per aumentare la sicurezza. La soluzione consente di inviare avvisi e notifiche in tempo reale, garantendo attenzione e assistenza tempestive quando necessario.
Implementazione tecnica
Diagramma dell'architettura
L'architettura NVIDIA DeepStream Multi-View 3D Tracking (Mv3DT) è progettata per semplificare la transizione dal tracciamento a singola telecamera a quello a più telecamere all'interno di un'applicazione containerizzata unificata.
- Ingestione e inferenza: inizia con la tua pipeline DeepStream esistente o utilizza l'applicazione di riferimento fornita. Un vantaggio chiave di Mv3DT è data dalla facilità di aggiornamento delle pipeline DeepStream standard per supportare il tracciamento multi-telecamera. Il sistema è flessibile e supporta sia i rilevatori IA 2D che quelli 3D per il rilevamento iniziale degli oggetti.
- Multi-View 3D Tracking Core: questo è il motore del sistema. Per ogni telecamera — da Cam 1 a Cam N — esegue la proiezione di oggetti 3D, la stima dello stato e la Pose Estimation.
- Fusione e sincronizzazione: i tracker utilizzano la comunicazione tra telecamere attraverso un broker MQTT, gestendo la posizione in tempo reale per telecamera. Ciò consente l'associazione e la fusione multi-vista, garantendo che i dati provenienti da diverse angolazioni vengano fusi in una singola entità accurata.
- Output e visualizzazione: il sistema fornisce doppi output:
- Live View: un display su schermo (OSD) che sovrappone i dati di tracciamento sul feed video originale.
- Birdseye View: una mappa planare 2D basata su un Kafka Broker, che trasmette i metadati della posizione degli oggetti allo strumento di visualizzazione.
Con NVIDIA Blueprint per la ricerca e il riepilogo video (VSS), puoi creare agenti IA per l'analisi video in grado di comprendere non solo i contenuti visivi, ma anche eseguire un tracciamento multi-camera avanzato. Basati su DeepStream, questi agenti possono seguire lo stesso oggetto mentre si muove attraverso più viste della telecamera sincronizzate. Ciò preserva un'identità coerente e consente informazioni cross-camera più ricche come percorsi end-to-end, tempi di sosta e conteggi unici.
Collegamenti rapidi
Primi passi
Per creare e personalizzare una soluzione di tracciamento multi-camera basata sull'IA utilizzando DeepStream Mv3DT, segui queste quattro fasi:
- Configurazione (preparare l'ambiente): installare le telecamere sovrapposte, garantendo che le aree critiche siano coperte da almeno due viste per gestire le occlusioni in modo efficace.
- Verify (app di riferimento per test): Esegui l'applicazione di riferimento Mv3DT con dati sintetici per verificare il funzionamento dello stack software (DeepStream SDK, MQTT e broker Kafka).
- Calibrazione (calibrazione automatica): esegui il processo di calibrazione della telecamera offline utilizzando lo strumento Auto Magic Calibration (AMC) per generare le matrici di proiezione richieste dal core di tracciamento.
- Distribuisci e personalizza: integra Mv3DT nella tua pipeline, visualizza il tracciamento 3D in tempo reale e utilizza DeepStream Copilot per personalizzare rapidamente il codice dell'applicazione in base alle tue esigenze.
Domande frequenti
È possibile ottenere una visibilità a livello di struttura utilizzando il tracciamento multi-camera di DeepStream per unificare i dati da più telecamere IP standard. Questo sistema coordina i campi visivi sovrapposti per mantenere un'identità coerente per ogni persona o risorsa mentre si sposta tra le telecamere, producendo dati di posizione 3D unificati. Scala facilmente sull'hardware NVIDIA, dai dispositivi edge alle GPU per data center.
Sì, il tracciamento basato sulla visione offre un'alternativa senza tag alle tecnologie RTLS tradizionali come Wi-Fi, beacon Bluetooth, UWB o RFID. Invece di richiedere alle persone o per le risorse di portare dispositivi, i sistemi basati su telecamere tracciano gli oggetti direttamente utilizzando la visione artificiale. Il tracciamento multicamera di NVIDIA DeepStream fornisce coordinate 3D in tempo reale in un sistema di riferimento globale, offrendo dati sulla posizione paragonabili ai sistemi basati su tag senza il costo dell'hardware per oggetto tracciato, la manutenzione della batteria o il requisito che gli oggetti portino i tag.
Il tracciamento 3D Multi-View di DeepStream mantiene gli ID degli oggetti coerenti utilizzando un protocollo distribuito in cui le telecamere con campi visivi sovrapposti negoziano e propagano automaticamente gli ID globali utilizzando una messaggistica MQTT leggera. Quando un oggetto appare nella vista di una nuova telecamera, il sistema lo abbina ai tracklet delle telecamere vicine utilizzando la correlazione della posizione 3D, senza alcun server centrale. Il sistema include inoltre la correzione automatica degli errori per i casi in cui gli ID vengono persi o assegnati in modo errato durante i handoff.
DeepStream supporta opzioni di distribuzione flessibili su dispositivi edge, data center o configurazioni ibride. Il design distribuito del sistema elabora i dati localmente anziché trasmettere in streaming tutti i video a livello centrale, riducendo i requisiti di larghezza di banda e consentendo di scalare il numero di telecamere senza creare colli di bottiglia delle prestazioni.
NVIDIA DeepStream è indipendente dal rilevatore e supporta qualsiasi modello che produca riquadri di delimitazione. Puoi utilizzare architetture standard come YOLO e Faster R-CNN, modelli addestrati con NVIDIA TAO Toolkit o modelli personalizzati. Poiché il tracciamento avviene a valle del rilevamento, è possibile selezionare o sostituire il rilevatore più adatto al proprio caso d'uso specifico.
Inizia
Costruisci questo caso d'uso
Accelerate lo sviluppo della vostra applicazione IA di tracciamento multicamera.
