Seguimiento multicámara con tecnología de IA
Realice un seguimiento e identifique objetos de forma anónima en todas las cámaras para ciudades, almacenes, fábricas y operaciones minoristas.
Cargas de trabajo
Visión computarizada / Análisis de vídeo
Computación perimetral
Robótica
Sectores
Ciudades / espacios inteligentes
Venta minorista/bienes de consumo envasados
Fabricación
Sanidad y ciencias de la vida
Objetivo comercial
Retorno de la inversión, mitigación de riesgos
¿Por qué el seguimiento con varias cámaras?
Imagine un mundo en el que las fábricas funcionen de forma automática con seguridad y eficiencia excepcionales, los espacios del comercio minorista estén optimizados para la experiencia del comprador y los espacios públicos como hospitales, aeropuertos y campus sean más seguros y ágiles. Estos espacios son demasiado grandes para que una sola cámara los pueda cubrir, por lo que suelen estar supervisados por cientos de cámaras superpuestas. El seguimiento de objetos y la medición de la actividad con precisión en varias cámaras y en el espacio se denomina seguimiento de varias cámaras, lo que le permite supervisar y gestionar sus espacios de forma más eficaz.
El seguimiento de varias cámaras es importante porque convierte una colección de transmisiones de cámaras aisladas en un sistema de detección unificado e inteligente. Al vincular las observaciones de varias vistas, reduce los puntos ciegos, mejora la detección de incidentes y permite análisis más completos, como flujo de multitudes, tiempo de permanencia y comportamiento entre zonas. Esto no se puede hacer de forma fiable desde un único punto de vista. En la práctica, esto significa mejores respuestas de seguridad y decisiones más inteligentes sobre personal y disposición de las tiendas en el comercio minorista, así como operaciones más eficientes en grandes instalaciones.
El seguimiento de varias cámaras le permite:
- Ver todo en sus instalaciones con una única vista conectada.
- Responder a los problemas de seguridad y protección más rápido.
- Utilizar patrones de movimiento para mejorar la disposición del espacio y las operaciones.
- Reducir costes al automatizar la supervisión rutinaria al tiempo que cubre más espacio.
En este ejemplo de almacén con varias cámaras, las cámaras superiores y laterales realizan un seguimiento de trabajadores, carretillas elevadoras y AMR en todas las instalaciones, lo que proporciona una conciencia situacional en tiempo real de cada pasillo.
Cómo utilizan los sectores el seguimiento de varias cámaras
Automatización de fabricación y almacenes: mejore sus operaciones de planta optimizando las rutas para robots autónomos, equipos y trabajadores. El análisis impulsado por IA ayuda a identificar congestiones, cuellos de botella y riesgos, lo que permite tomar decisiones basadas en datos que mejoran la productividad, la seguridad de los trabajadores y la seguridad de los robots.
Optimización de la distribución de la tienda minorista: al analizar el recorrido de los clientes en toda la tienda, puede volver a configurar los pasillos y el posicionamiento de los productos para maximizar las ventas y los ingresos. El seguimiento de varias cámaras ayuda a identificar cuellos de botella, realizar un seguimiento del comportamiento de los clientes y simular situaciones de diseño para predecir el impacto en las ventas y las experiencias de los clientes.
Ciudades inteligentes: aproveche el seguimiento con varias cámaras para supervisar el flujo de tráfico y el movimiento de peatones en intersecciones, terminales de transporte y lugares públicos. Esto ayuda a los encargados de la gestión urbanística a reducir la congestión, mejorar la seguridad pública y optimizar las decisiones de planificación urbana.
Atención al paciente en el hospital: acceda a la supervisión continua de pacientes en hospitales para añadir una capa de seguridad adicional. La solución habilita alertas y notificaciones en tiempo real, lo que garantiza una atención rápida cuando es necesaria.
Implementación técnica
Diagrama de arquitectura
La arquitectura NVIDIA DeepStream con seguimiento multivista 3D (Mv3DT) está diseñada para agilizar la transición del seguimiento de una sola cámara al seguimiento de varias cámaras dentro de una aplicación unificada basada en contenedores.
- Ingestión e inferencia: comience con su canalización de DeepStream existente o utilice la aplicación de referencia proporcionada. Una ventaja clave de Mv3DT es que las canalizaciones estándar de DeepStream se pueden actualizar fácilmente para admitir el seguimiento de varias cámaras. El sistema es flexible y admite detectores de IA 2D y 3D para la detección inicial de objetos.
- Núcleo de seguimiento multivista 3D: es el motor del sistema y realiza proyecciones de objetos 3D, estimaciones de estado y estimaciones de postura en cada cámara, desde la cámara 1 hasta la cámara N.
- Fusión y sincronización: los rastreadores utilizan la comunicación entre cámaras a través de un broker MQTT, que gestiona la ubicación en tiempo real de cada cámara. Esto permite la asociación y la fusión de varias vistas, lo que garantiza que los datos procedentes de diferentes ángulos se fusionen en una sola entidad precisa.
- Salida y visualización: el sistema proporciona salidas dobles:
- Vista en directo: una visualización en pantalla (OSD) que superpone los datos de seguimiento sobre la imagen de vídeo original.
- Vista cenital: un mapa plano 2D impulsado por Kafka Broker que transmite metadatos de ubicación de objetos a la herramienta de visualización.
Con el blueprint de NVIDIA para la búsqueda y el resumen de vídeos (VSS) puede crear agentes de IA de análisis de vídeo que no solo entiendan el contenido visual, sino que también realicen un seguimiento avanzado de varias cámaras. Con la tecnología de DeepStream, estos agentes pueden seguir el mismo objeto a medida que se mueve a través de varias vistas de cámara sincronizadas. Esto mantiene una identidad uniforme y permite obtener información entre cámaras más completa, como rutas de extremo a extremo, tiempos de permanencia y recuentos únicos.
Enlaces rápidos
Primeros pasos
Para crear y personalizar una solución de seguimiento de varias cámaras impulsada por IA con DeepStream Mv3DT, siga estas cuatro fases:
- Configurar (prepare el entorno): instale cámaras superpuestas y asegúrese de que las áreas críticas estén cubiertas por al menos dos vistas para gestionar las oclusiones de forma efectiva.
- Verificar (pruebe la aplicación de referencia): ejecute la aplicación de referencia Mv3DT con datos sintéticos para verificar que la pila de software (SDK de DeepStream, MQTT y los brokers Kafka) funciona.
- Calibrar (autocalibración): realice el proceso de calibración de cámaras sin conexión con la herramienta Auto Magic Calibration (AMC) para generar las matrices de proyección que requiere el núcleo de seguimiento.
- Implementar y personalizar: integre Mv3DT en su propia canalización, visualice el seguimiento 3D en tiempo real y utilice DeepStream Copilot para adaptar rápidamente el código de la aplicación a sus necesidades.
Preguntas frecuentes
Puede lograr visibilidad en toda la instalación si utiliza el seguimiento de varias cámaras de DeepStream para unificar los datos de varias cámaras IP estándar. Este sistema coordina campos de visión superpuestos para mantener una identidad uniforme de cada persona o activo a medida que se mueve entre las cámaras, lo que proporciona datos de ubicación 3D unificados. Se escala fácilmente en el hardware de NVIDIA, que va desde dispositivos perimetrales hasta GPU de centros de datos.
Sí, el seguimiento basado en visión ofrece una alternativa sin localizadores a las tecnologías tradicionales de sistemas de localización en tiempo real (RTLS) como Wi-Fi, balizas Bluetooth, UWB o RFID. En lugar de requerir que las personas o los activos lleven dispositivos, los sistemas basados en cámaras realizan un seguimiento de los objetos directamente con la visión computarizada. El seguimiento con varias cámaras de NVIDIA DeepStream genera coordenadas 3D en tiempo real en un marco de referencia global, proporcionando datos de ubicación comparables a los de los sistemas basados en localizadores, pero sin el coste de hardware por objeto seguido, el mantenimiento de la batería ni el requisito de que los objetos lleven localizadores.
El seguimiento multivista 3D de DeepStream mantiene la uniformidad de la identidad de los objetos al utilizar un protocolo distribuido en el que las cámaras con campos de visión superpuestos negocian y propagan automáticamente las identidades globales a través de mensajería MQTT ligera. Cuando un objeto aparece en la vista de una nueva cámara, el sistema lo compara con los tracklets de cámaras vecinas mediante la correlación de posición 3D (no es necesario un servidor central). El sistema también incluye la corrección de errores automática para casos en que las identidades se pierdan o se asignen incorrectamente durante las transferencias.
DeepStream admite opciones de implementación flexibles en dispositivos perimetrales, centros de datos o configuraciones híbridas. El diseño distribuido del sistema procesa los datos localmente en lugar de transmitir todos los vídeos de forma centralizada, lo que reduce los requisitos de ancho de banda y permite escalar el número de cámaras sin crear cuellos de botella de rendimiento.
NVIDIA DeepStream es independiente de detectores y admite cualquier modelo que produzca cajas delimitadoras. Puede utilizar arquitecturas estándar como YOLO y Faster R-CNN, modelos entrenados con el kit de herramientas NVIDIA TAO o sus propios modelos personalizados. Dado que el seguimiento se realiza después de la detección, puede seleccionar o cambiar el detector que mejor se adapte a su caso de uso específico.
Empezar
Desarrollar este caso de uso
Acelere el desarrollo de su aplicación de IA de seguimiento de varias cámaras.
