Suivi multi-caméras basé sur l'IA
Suivez et identifiez des objets anonymement sur plusieurs caméras pour les opérations dans les villes, les entrepôts, les usines et les magasins de vente au détail.
Charges de travail
Vision par ordinateur / Analyse vidéo
Edge Computing
Robotique
Industries
Villes intelligentes / Environnements intelligents
Vente au détail / Biens de consommation courante
Production
Santé et sciences de la vie
Objectifs commerciaux
Retour sur investissement,
réduction des risques
Pourquoi un suivi multi-caméras ?
Imaginez un monde où les usines fonctionnent automatiquement de manière exceptionnellement sécurisée et efficace, où les espaces de vente au détail sont optimisés pour l'expérience client et où les espaces publics tels que les hôpitaux, les aéroports et les campus sont à la fois plus sûrs et plus rationalisés. Ces espaces étant trop grands pour qu'une seule caméra puisse les couvrir, c'est pourquoi ils sont généralement surveillés par des centaines de caméras dont les rayons d'action se chevauchent. Le fait de suivre des objets et de mesurer avec précision l'activité dans un espace via des caméras s'appelle le suivi multi-caméras, qui vous permet de surveiller et de gérer plus efficacement vos espaces.
Le suivi multi-caméras est important car il transforme une collection de flux de caméras isolés en un système de détection unifié et intelligent. En reliant les observations des différents angles de vue, il réduit les angles morts, améliore la détection des incidents et permet des analyses plus riches, telles que les flux de foule, les temps d'attente et le comportement entre les zones. Il n'est pas possible de faire une telle analyse de manière fiable à partir d'un seul point de vue. En pratique, cela se traduit par de meilleures réponses en matière de sécurité, des décisions du personnel et d'agencement plus intelligentes dans la vente au détail, et des opérations plus efficaces dans les grandes installations.
Le suivi multi-caméras vous permet de :
- Garder un œil sur l’ensemble de votre site avec une seule vue connectée.
- Répondre plus rapidement aux problèmes de sécurité et de sûreté.
- Utiliser des modèles de mouvement pour améliorer les dispositions et les opérations.
- Réduire les coûts en automatisant la surveillance de routine tout en couvrant plus de terrain.
Dans cet exemple d'entrepôt multi-caméras, des caméras en hauteur et latérales suivent les travailleurs, les chariots élévateurs et les robots mobiles autonomes (AMR) sur l'ensemble du site, fournissant une connaissance de la situation dans chaque allée en temps réel.
Comment les industries utilisent le suivi multi-caméras
Production et automatisation des entrepôts : améliorez vos opérations sur site en optimisant les itinéraires pour les robots autonomes, les équipements et les travailleurs. Les analyses basées sur l'IA aident à identifier la congestion, les goulets d'étranglement et les risques, ce qui permet de prendre des décisions axées sur les données afin d'améliorer la productivité, la sécurité des travailleurs et la sécurité des robots.
Optimisation de l'agencement des magasins de vente au détail : en analysant la navigation des clients dans votre magasin, vous pouvez reconfigurer les allées et le placement des produits afin de maximiser les ventes et vos revenus. Le suivi multi-caméras aide à identifier les goulets d'étranglement, à suivre le comportement des clients et à simuler des scénarios d'aménagement pour prédire l'impact sur les ventes et les expériences client.
Villes intelligentes : tirez parti du suivi multi-caméras pour surveiller le flux de trafic et les déplacements des piétons aux intersections, aux principaux arrêts des transports en commun et dans les lieux publics. Vous aidez ainsi les opérateurs urbains à réduire la congestion, à améliorer la sécurité publique et à optimiser les décisions de planification urbaine.
Soins aux patients en milieu hospitalier : bénéficiez d'une surveillance continue des patients dans les hôpitaux pour apporter un supplément de sécurité. La solution permet des alertes et des notifications en temps réel, ce qui garantit une réaction et une intervention rapides en cas de besoin.
Implémentation technique
Diagramme d'architecture
L'architecture NVIDIA DeepStream Multi-View 3D Tracking (Mv3DT) est conçue pour rationaliser la transition d'un suivi à caméra unique à un suivi multi-caméras au sein d'une application conteneurisée unifiée.
- Ingestion et inférence : commencez avec votre pipeline DeepStream existant ou utilisez l'application de référence fournie. L'un des principaux avantages de Mv3DT est que les pipelines DeepStream standard peuvent être facilement mis à niveau pour prendre en charge le suivi multi-caméras. Le système est flexible et prend en charge les détecteurs d'IA 2D et 3D pour la détection initiale d'objets.
- Cœur de suivi Multi-View 3D : c'est le moteur du système. Pour chaque caméra (de Cam 1 à Cam N), il effectue une projection des objets en 3D, une estimation d'état et une estimation de pose.
- Fusion et synchronisation : les trackers utilisent une communication multi-caméras via un courtier MQTT afin de gérer la localisation en temps réel par caméra. Cela permet une association et une fusion multi-vues afin de garantir que les données captées depuis différents angles fusionnent en une seule entité précise.
- Sortie et visualisation : le système fournit deux types de sorties :
- Vue en direct (Live View) : un affichage à l'écran (OSD) superpose les données de suivi sur le flux vidéo original.
- Vue aérienne (Birdseye View) : une carte planaire 2D basée sur un courtier Kafka transmet des métadonnées de localisation d'objets à l'outil de visualisation.
Avec le modèle NVIDIA pour la recherche et la synthèse vidéo (VSS), vous pouvez créer des agents d'IA d'analyse vidéo qui non seulement comprennent le contenu visuel, mais effectuent également un suivi multi-caméras avancé. Alimentés par DeepStream, ces agents peuvent suivre le même objet lors de ses déplacements grâce à plusieurs vues de caméra synchronisées. Cela préserve une identité cohérente et permet d'obtenir des informations multi-caméras plus riches, telles que des parcours de bout en bout, des temps d'attente et des comptages uniques.
Liens rapides
Démarrage
Pour créer et personnaliser une solution de suivi multi-caméras basée sur l'IA à l'aide de DeepStream Mv3DT, suivez les quatre phases suivantes :
- Configuration (préparation de l'environnement) : installez des caméras qui se chevauchent, afin de garantir que les zones critiques sont couvertes par au moins deux angles de vue pour gérer efficacement les occlusions.
- Vérification (test de l'application de référence) : exécutez l'application de référence Mv3DT avec des données synthétiques pour vous assurer du bon fonctionnement de la pile logicielle (kit de développement DeepStream, courtiers MQTT et Kafka).
- Calibrage (auto-calibrage) : procédez à l'étalonnage des caméras hors ligne à l'aide de l'outil Auto Magic Calibration (AMC) pour générer les matrices de projection requises par le cœur de suivi.
- Déploiement et personnalisation : intégrez Mv3DT à votre propre pipeline, visualisez le suivi 3D en temps réel et utilisez DeepStream Copilot pour adapter rapidement le code d'application à vos besoins.
Foire aux questions
Vous pouvez obtenir une visibilité à l'échelle de l'installation en utilisant le suivi multi-caméras de DeepStream pour unifier les données de plusieurs caméras IP standard. Ce système coordonne les champs de vision qui se chevauchent afin de maintenir une identité cohérente pour chaque personne ou ressource en cas de déplacement entre deux angles de caméra, fournissant ainsi des données de localisation 3D unifiées. Il peut évoluer facilement sur du matériel NVIDIA, des appareils à l'Edge aux GPU de Data Center.
Oui, le suivi basé sur la vision offre une alternative sans balises aux technologies RTLS traditionnelles telles que le Wi-Fi, le Bluetooth, l'UWB ou la RFID. Au lieu d'exiger que des personnes ou des ressources transportent des appareils, les systèmes basés sur des caméras suivent directement les objets à l'aide de la vision par ordinateur. Le suivi multi-caméras de NVIDIA DeepStream produit des coordonnées 3D en temps réel dans un cadre de référence global, fournissant des données de localisation comparables à des systèmes basés sur des balises sans coût matériel par objet suivi, maintenance de batterie ni obligation pour les objets de porter des étiquettes.
Le suivi 3D Multi-View de DeepStream conserve des identifiants d'objet cohérents en utilisant un protocole distribué via lequel des caméras aux champs de vision qui se chevauchent négocient et propagent automatiquement des identifiants globaux à l'aide d'une messagerie MQTT légère. Lorsqu'un objet apparaît sur une nouvelle caméra, le système l'associe aux trajectoires des caméras voisines à l'aide d'une corrélation de position en 3D, sans passer par un serveur central. Le système inclut également une correction automatique d'erreurs dans le cas où des identifiants seraient manqués ou incorrectement assignés lors des transferts.
DeepStream prend en charge des options de déploiement flexibles sur les appareils à l'Edge, les Data Centers et les configurations hybrides. La conception distribuée du système traite les données localement plutôt que de diffuser en streaming toutes les vidéos de manière centralisée, ce qui réduit les besoins en bande passante et vous permet de faire évoluer le nombre de caméras sans créer de goulets d'étranglement de performances.
NVIDIA DeepStream est agnostique vis-à-vis des détecteurs puisqu'il prend en charge tous les modèles dotés de cadres de délimitation. Vous pouvez utiliser des architectures standard telles que YOLO et Faster R-CNN, des modèles entraînés avec le kit d'outils NVIDIA TAO ou vos propres modèles personnalisés. Étant donné que le suivi s'effectue en aval de la détection, vous pouvez sélectionner le détecteur qui correspond le mieux à votre cas d'utilisation spécifique.
Démarrer
Mettre en œuvre ce cas d'utilisation
Accélérez le développement de votre application d'IA de suivi multi-caméras.
