Los agentes de IA de análisis de video son asistentes impulsados por IA que pueden ver, razonar y actuar en transmisiones de video en vivo o grabadas. Usan modelos de lenguaje-visión y grandes modelos de lenguaje para ayudar a buscar, resumir y comprender el video a través del lenguaje natural.
Cargas de Trabajo
Visión por Computadora / Análisis de Videos
Industrias
Manufactura
Ciudades/Espacios Inteligentes
Venta Minorista/Bienes de Consumo Empaquetados
Medios de Comunicación y Entretenimiento
Área de la Salud y Ciencias Biológicas
Objetivo Empresarial
Retorno de la Inversión
Innovación
Descripción general
Las aplicaciones tradicionales de análisis de video y sus workflows de desarrollo normalmente se basan en modelos limitados de función fija que están diseñados para ver e identificar solo un conjunto seleccionado de objetos predefinidos. Con la IA generativa y los modelos fundacionales, usted ahora puede desarrollar aplicaciones con menos modelos, ya que estos cuentan con una percepción increíblemente compleja y amplia, y una rica comprensión contextual. Esta nueva generación de modelos de lenguaje de visión (VLM), como NVIDIA Cosmos™, está dando lugar a agentes de IA de análisis de video inteligentes y potentes.
Un agente de IA de análisis de video puede ver, razonar y actuar mediante la combinación de modalidades de visión y lenguaje para comprender una amplia gama de preguntas o indicaciones en lenguaje natural aplicadas a una transmisión de video grabada o en vivo. Esta comprensión más profunda del contenido de video permite interpretaciones más exactas y significativas, lo que mejora la funcionalidad de las aplicaciones de análisis de video y el análisis de escenarios del mundo real. Estos agentes prometen abrir camino a ideas y posibilidades totalmente nuevas para la automatización.
Se implementarán agentes de IA de análisis de video altamente perceptivos, precisos e interactivos en fábricas, almacenes, tiendas minoristas, aeropuertos, intersecciones de tráfico y más. Esto tendrá un enorme impacto en los equipos de operaciones que buscan espacios más seguros y mejores decisiones mediante información más rica generada a partir de interacciones reales. Los gerentes y equipos de operaciones también se comunicarán con estos agentes en lenguaje natural, todos impulsados por IA generativa y VLM con microservicios NVIDIA NIM™ en su núcleo.
Enlaces Rápidos
Implementación Técnica
El cerebro dentro de cada agente de IA de análisis de video es un VLM que puede ver y razonar. Dos VLM comunes son NVIDIA Cosmos 3 y Cosmos Embed. Ambos se pueden usar para aumentar las aplicaciones de visión por computadora actuales con metadatos y resúmenes de contenido enriquecidos.
NVIDIA NIM es un conjunto de microservicios de inferencia acelerados que están optimizados para las GPU de NVIDIA e incluyen API estándar de la industria, código específico de dominio, motores de inferencia optimizados y un tiempo de ejecución empresarial. Ofrece una combinación de VLM, grandes modelos de lenguaje (LLM) y generación aumentada por recuperación (RAG) para que desarrolle un agente de IA de análisis de video que pueda procesar imágenes o videos en vivo o archivados para extraer información procesable mediante lenguaje natural. Creamos un workflow de referencia de un agente de IA de análisis de video que usted puede probar para acelerar su proceso de desarrollo.
Enlaces Rápidos
NVIDIA Metropolis Blueprint para la búsqueda y el resumen de videos (VSS) facilita el desarrollo y la personalización de agentes de IA de análisis de video mediante IA generativa, VLM, LLM, RAG y NVIDIA NIM. A los agentes de IA de análisis de video se les asignan tareas por medio del lenguaje natural. Estos pueden analizar, interpretar y procesar grandes cantidades de datos de video para proporcionar información crítica que ayudará a una gama de industrias a optimizar procesos, mejorar la seguridad y reducir costos.
VSS ofrece componentes modularizados que permiten una alta flexibilidad, microservicios acelerados que admiten inteligencia de video en tiempo real, búsqueda de fusión basada en agentes en diversas integraciones y capacidades integrales de generación de informes. También proporciona herramientas y habilidades de agente que permiten a los desarrolladores desarrollar agentes de IA de análisis de video con simples indicaciones en lenguaje natural y agentes de codificación.
VSS también permite una integración perfecta de la IA generativa en los pipelines de visión por computadora existentes, lo que mejora la inspección, la búsqueda y el análisis con comprensión multimodal y razonamiento sin ejemplos previos. VSS se implementa fácilmente desde el edge hasta la nube en plataformas como NVIDIA RTX™ 4500, NVIDIA RTX PRO™ 6000, NVIDIA DGX Spark™ y NVIDIA® Jetson Thor™.
Enlaces Rápidos
Los enfoques tradicionales con respecto a la personalización de modelos para agentes de IA de análisis de video eran lineales y lentos (recopilar video, etiquetar fotogramas, entrenar, evaluar, repetir), había un humano involucrado en cada paso y se demoraba meses en alcanzar una precisión aceptable. Los enfoques modernos rompen este ciclo al permitir que los agentes de codificación mejoren iterativamente el desempeño de los VLM y de los modelos fundacionales de visión en función de los objetivos.
Ajuste los modelos de lenguaje de visión con las habilidades de agente de NVIDIA TAO.
NVIDIA TAO es un conjunto de habilidades y herramientas de agentes para ajustar modelos de IA de visión con indicaciones en lenguaje natural. Los agentes de codificación usan estas herramientas y habilidades para alcanzar de forma autónoma los objetivos de precisión de los modelos mediante la evaluación iterativa de la precisión del modelo, la determinación de los datos de entrenamiento precisos necesarios y, luego, la extracción de los datos existentes o la generación sintética de los datos necesarios.
Resuelva el desafío de los datos de entrenamiento con habilidades de agente para la generación de datos sintéticos.
Cuando los datos de entrenamiento son limitados, los desarrolladores pueden generar rápidamente datos de defectos sintéticos para la inspección visual o aumentar videos para diferentes escenarios como el clima, la iluminación y más.
Enlaces Rápidos
Preguntas frecuentes
Sí, ahora puede desarrollar agentes de IA de análisis de video más rápido a partir de indicaciones simples en lenguaje natural mediante habilidades de VSS con agentes de codificación como Codex y Claude. Explore un conjunto de habilidades de VSS en github.
Un NIM es un conjunto de microservicios fáciles de usar diseñados para la implementación segura y confiable de la inferencia de modelos de IA de alto desempeño en la nube, los data centers y las workstations. Admite una amplia gama de modelos de IA, incluidos los de la comunidad de código abierto y los de NVIDIA AI Foundation, para garantizar una inferencia de IA escalable y fluida, ya sea en las instalaciones o en la nube, mediante el uso de API estándar de la industria. Todos los microservicios de NIM y las API de vista previa asociadas se pueden encontrar en build.nvidia.com.
Visite build.nvidia.com para comenzar a explorar NVIDIA Metropolis VSS Blueprint y los microservicios de NIM disponibles como Cosmos 3 Reasoner NIM.
Todos los usuarios pueden comenzar gratuitamente con las API de vista previa en build.nvidia.com. Cada cuenta nueva puede recibir hasta 5000 créditos para probar las API. Para seguir desarrollando una vez agotados los créditos, usted puede implementar los microservicios NIM descargables a nivel local, en su hardware, o en una instancia de nube. Los desarrolladores también pueden acceder a NIM a través del Programa para Desarrolladores de NVIDIA. Consulte los detalles en estas preguntas frecuentes.
Los NVIDIA NIM son gratuitos para que los desarrolladores los prueben. Para pasar a producción, los microservicios NIM descargables requieren una licencia de NVIDIA AI Enterprise. Para más información, visite esta página.
El foro para desarrolladores de NIM es el mejor lugar para hacer preguntas e interactuar con nuestra comunidad de desarrolladores. Puede acceder a los foros aquí.
Explore el workflow de referencia, que se encuentra impulsado por múltiples modelos de lenguaje visual, para desarrollar fácilmente su agente de IA de análisis de video.
Aproveche el poder del blueprint de VSS para implementar agentes de IA de forma fluida y eficiente desde el edge hasta la nube, con un desempeño escalable en una diversa gama de GPU.