Agentes de IA para análisis de video
Convierta el vídeo en directo en inteligencia operativa en tiempo real con agentes de IA visual que pueden ver, razonar y actuar.
Cargas de trabajo
Visión por computador / Análisis de vídeo
IA generativa / LLM
Computación perimetral
Sectores
Fabricación
Ciudades inteligentes/espacios inteligentes
Sector minorista/Bienes de consumo envasados
Medios de comunicación y entretenimiento
Sector sanitario y biociencias
Objetivo comercial
Retorno de inversión
Innovación
Descripción general
¿Cómo mejoran los agentes de IA en comparación con el análisis de vídeo tradicional?
Las aplicaciones de análisis de vídeo tradicionales y sus flujos de trabajo de desarrollo suelen basarse en modelos limitados de función fija que están diseñados para ver e identificar solo un conjunto selecto de objetos predefinidos. Con la IA generativa y los modelos básicos, ahora puedes crear aplicaciones con menos modelos que tengan una percepción increíblemente compleja y amplia y una rica comprensión contextual. Esta nueva generación de modelos de lenguaje de visión (VLM), como NVIDIA Cosmos™, está dando lugar a agentes de IA para análisis de vídeo inteligentes y potentes.
¿Qué es un agente de IA para análisis de vídeo?
Un agente de IA de análisis de vídeo puede ver, razonar y actuar, ya que combina modalidades de visión y lenguaje para comprender una amplia gama de preguntas o indicaciones en lenguaje natural aplicadas a una transmisión de vídeo grabada o en directo. Esta comprensión más profunda del contenido de vídeo permite interpretaciones más precisas y significativas, mejorando la funcionalidad de las aplicaciones de análisis de vídeo y el análisis de escenarios del mundo real. Estos agentes prometen desbloquear información y posibilidades completamente nuevas para la automatización.
¿Dónde se implementan los agentes de IA de análisis de vídeo?
Los agentes de IA para análisis de vídeo altamente perceptivos, precisos e interactivos se implementarán en fábricas, almacenes, tiendas minoristas, aeropuertos, intersecciones de tráfico, etc. Estos agentes apoyarán la inspección visual para detectar defectos en los productos y problemas de montaje; la seguridad y la protección para identificar peligros y accesos no autorizados; la inteligencia operativa para descubrir cuellos de botella y mejorar los flujos de trabajo; y el mantenimiento preventivo para detectar signos visibles de desgaste o daños en los equipos antes de que ocurran fallos. Los gerentes y los equipos de operaciones se comunicarán con estos agentes en lenguaje natural para obtener información más completa, crear espacios más seguros y tomar mejores decisiones, todo ello impulsado por IA generativa y VLM en su núcleo.
Enlaces rápidos
Implementación técnica
Comprenda el mundo con NVIDIA Cosmos
El cerebro dentro de cada agente de IA de análisis de vídeo es un VLM que puede ver y razonar. Dos VLM comunes son NVIDIA Cosmos 3 y Cosmos Embed. Ambos se pueden utilizar para aumentar las aplicaciones de visión computarizada actuales con metadatos y resúmenes de contenido enriquecidos.
NVIDIA NIM™ es un conjunto de microservicios de inferencia acelerada que están optimizados para las GPU NVIDIA e incluyen API estándar del sector, código específico del dominio, motores de inferencia optimizados y tiempo de ejecución empresarial.
Enlaces rápidos
Cree agentes de IA rápidamente con NVIDIA Metropolis VSS Blueprint and Skills
La creación de agentes de IA para análisis de vídeo personalizados puede consumir más de 10 000 horas de ingeniería al año, ya que los equipos integran modelos, procesamiento de vídeo, búsqueda y razonamiento en aplicaciones de trabajo. El NVIDIA Metropolis Blueprint para búsqueda y resumen de vídeos (VSS) simplifica este desarrollo. Los desarrolladores pueden utilizar las habilidades de agente de VSS para crear una pila de visión personalizada y lista para agentes en 30 minutos, utilizando indicaciones de lenguaje natural y un agente de codificación.
VSS combina IA generativa, modelos de lenguaje de visión, modelos de lenguaje de gran tamaño, generación aumentada por recuperación y NVIDIA NIM para ayudar a los agentes a analizar grandes cantidades de vídeo y convertir las solicitudes de lenguaje natural en información práctica. Sus componentes modulares, microservicios acelerados, búsqueda de fusión agéntica en diversas embeddings y sus informes integrales ayudan a los equipos a personalizar aplicaciones que optimizan los procesos, mejoran la seguridad y reducen los costes. Las habilidades de agentes de VSS simplifican la implementación y el funcionamiento mediante agentes de codificación.
VSS aporta comprensión multimodal y razonamiento zero-shot a las canalizaciones de visión por ordenador existentes, mejorando la inspección, la búsqueda y el análisis. Admite la implementación desde el perímetro hasta la nube en NVIDIA RTX™ 4500, RTX PRO™ 6000, DGX Spark™, Jetson Thor™, Jetson Orin™, Orin NX y GB300.
Enlaces rápidos
Mejore la precisión con planes de agentes para el ajuste fino de modelos y la generación de datos sintéticos
Los enfoques tradicionales para personalizar modelos para agentes de IA de análisis de vídeo eran lineales y lentos (recopilar vídeo, etiquetar fotogramas, entrenar, evaluar y repetir), con la intervención de un ser humano en cada paso y meses para lograr una precisión aceptable. Los enfoques modernos rompen este ciclo al permitir a los agentes de codificación mejorar de forma iterativa el rendimiento de VLM y los modelos base de visión en función de los objetivos.
Ajuste modelos de lenguaje de visión con el marco de trabajo de NVIDIA Cosmos.
El marco de NVIDIA Cosmos es un conjunto de habilidades y herramientas de agentes para el preentrenamiento, posentrenamiento o ajuste fino de modelos de mundo, incluyendo Cosmos 3, con indicaciones de lenguaje natural.
Resuelva los desafíos de datos de entrenamiento con habilidades de agentes para selección, etiquetado, generación de datos sintéticos y evaluación.
Con Cosmos Data Factory, los desarrolladores pueden seleccionar datos sin procesar en conjuntos de datos listos para entrenamiento y generar rápidamente datos de defectos sintéticos para inspecciones visuales o aumentar vídeos para diferentes escenarios, como condiciones meteorológicas, iluminación y mucho más, cuando los datos son limitados.
Enlaces rápidos
Preguntas frecuentes
Sí, ahora puede crear agentes de IA para análisis de vídeo más rápido a partir de simples indicaciones de lenguaje natural utilizando las habilidades de VSS con agentes de codificación como Codex y Claude. Explore un conjunto de habilidades de VSS en github.
Un NIM es un conjunto de microservicios fáciles de usar diseñados para implementar, de forma segura y fiable, inferencias de modelos de IA de alto rendimiento en la nube, centros de datos y estaciones de trabajo. Es compatible con una amplia gama de modelos de IA, entre ellos los de la comunidad de código abierto y los modelos básicos de NVIDIA AI, para garantizar una inferencia de IA fluida y escalable, en las instalaciones o en la nube, utilizando las API estándar del sector. Todos los microservicios NIM y las API de vista previa asociadas se pueden encontrar en build.nvidia.com.
Visite build.nvidia.com para empezar a explorar el NVIDIA Metropolis VSS Blueprint y los microservicios NIM disponibles, como Cosmos 3 Reasoner NIM.
Todos los usuarios pueden empezar gratis con las API de vista previa en build.nvidia.com. Cada cuenta nueva puede recibir hasta 5000 créditos para probar las API. Para continuar el desarrollo después de que se agoten los créditos, puede implementar los microservicios NIM descargables de forma local en su hardware o en una instancia de la nube. Los desarrolladores también pueden acceder a NIM a través del programa de desarrolladores de NVIDIA. Ver los detalles en estas preguntas frecuentes.
NVIDIA NIM es gratuito para que los desarrolladores lo prueben. Para pasar a producción, los microservicios NIM descargables requieren una licencia de NVIDIA AI Enterprise. Para más información, visite esta página.
El foro de desarrolladores de NIM es el mejor lugar para hacer preguntas e interactuar con nuestra comunidad de desarrolladores. Puede acceder a los foros aquí.
Empezar
Cree agentes de IA para análisis de vídeo
Explore el flujo de trabajo de referencia, impulsado por múltiples modelos de lenguaje visual, para crear fácilmente su agente de IA para análisis de vídeo.
Guías para desarrolladores: Cree un agente de IA para análisis de vídeo
-
Blogs
-
Vídeos
-
Vídeos bajo demanda de GTC
Implemente agentes de IA desde el perímetro a la nube
Aproveche la potencia del Blueprint de VSS para implementar óptimamente agentes de IA, desde el perímetro hasta la nube, con un rendimiento escalable en una variada gama de GPU.
Casos de éxito relacionados
