Agentes de IA para Análisis de Video

Los agentes de IA de análisis de video son asistentes impulsados por IA que pueden ver, razonar y actuar en transmisiones de video en vivo o grabadas. Usan modelos de lenguaje-visión y grandes modelos de lenguaje para ayudar a buscar, resumir y comprender el video a través del lenguaje natural.

Cargas de Trabajo

Visión por Computadora / Análisis de Videos

Industrias

Manufactura
Ciudades/Espacios Inteligentes
Venta Minorista/Bienes de Consumo Empaquetados
Medios de Comunicación y Entretenimiento
Área de la Salud y Ciencias Biológicas

Objetivo Empresarial

Retorno de la Inversión
Innovación

Descripción general

¿Cómo Mejoran los Agentes de IA con Respecto al Análisis de Video Tradicional?

Las aplicaciones tradicionales de análisis de video y sus workflows de desarrollo normalmente se basan en modelos limitados de función fija que están diseñados para ver e identificar solo un conjunto seleccionado de objetos predefinidos. Con la IA generativa y los modelos fundacionales, usted ahora puede desarrollar aplicaciones con menos modelos, ya que estos cuentan con una percepción increíblemente compleja y amplia, y una rica comprensión contextual. Esta nueva generación de modelos de lenguaje de visión (VLM), como NVIDIA Cosmos™, está dando lugar a agentes de IA de análisis de video inteligentes y potentes.

¿Qué Es un Agente de IA de Análisis de Video?

Un agente de IA de análisis de video puede ver, razonar y actuar mediante la combinación de modalidades de visión y lenguaje para comprender una amplia gama de preguntas o indicaciones en lenguaje natural aplicadas a una transmisión de video grabada o en vivo. Esta comprensión más profunda del contenido de video permite interpretaciones más exactas y significativas, lo que mejora la funcionalidad de las aplicaciones de análisis de video y el análisis de escenarios del mundo real. Estos agentes prometen abrir camino a ideas y posibilidades totalmente nuevas para la automatización.

¿Dónde se Implementan los Agentes de IA de Análisis de Video?

Se implementarán agentes de IA de análisis de video altamente perceptivos, precisos e interactivos en fábricas, almacenes, tiendas minoristas, aeropuertos, intersecciones de tráfico y más. Esto tendrá un enorme impacto en los equipos de operaciones que buscan espacios más seguros y mejores decisiones mediante información más rica generada a partir de interacciones reales. Los gerentes y equipos de operaciones también se comunicarán con estos agentes en lenguaje natural, todos impulsados por IA generativa y VLM con microservicios NVIDIA NIM™ en su núcleo.

Desarrolle Agentes de IA de Análisis de Video

Explore el workflow de referencia, impulsado por múltiples modelos de lenguaje visual, y desarrolle fácilmente su agente de análisis de video.


Implementación Técnica

Desarrolle con NVIDIA Cosmos

El cerebro dentro de cada agente de IA de análisis de video es un VLM que puede ver y razonar. Dos VLM comunes son NVIDIA Cosmos 3 y Cosmos Embed. Ambos se pueden usar para aumentar las aplicaciones de visión por computadora actuales con metadatos y resúmenes de contenido enriquecidos.   

NVIDIA NIM es un conjunto de microservicios de inferencia acelerados que están optimizados para las GPU de NVIDIA e incluyen API estándar de la industria, código específico de dominio, motores de inferencia optimizados y un tiempo de ejecución empresarial. Ofrece una combinación de VLM, grandes modelos de lenguaje (LLM) y generación aumentada por recuperación (RAG) para que desarrolle un agente de IA de análisis de video que pueda procesar imágenes o videos en vivo o archivados para extraer información procesable mediante lenguaje natural. Creamos un workflow de referencia de un agente de IA de análisis de video que usted puede probar para acelerar su proceso de desarrollo.

Desarrolle Agentes de IA con el Blueprint y las Habilidades de NVIDIA Metropolis VSS

NVIDIA Metropolis Blueprint para la búsqueda y el resumen de videos (VSS) facilita el desarrollo y la personalización de agentes de IA de análisis de video mediante IA generativa, VLM, LLM, RAG y NVIDIA NIM. A los agentes de IA de análisis de video se les asignan tareas por medio del lenguaje natural. Estos pueden analizar, interpretar y procesar grandes cantidades de datos de video para proporcionar información crítica que ayudará a una gama de industrias a optimizar procesos, mejorar la seguridad y reducir costos.

VSS ofrece componentes modularizados que permiten una alta flexibilidad, microservicios acelerados que admiten inteligencia de video en tiempo real, búsqueda de fusión basada en agentes en diversas integraciones y capacidades integrales de generación de informes. También proporciona herramientas y habilidades de agente que permiten a los desarrolladores desarrollar agentes de IA de análisis de video con simples indicaciones en lenguaje natural y agentes de codificación.

VSS también permite una integración perfecta de la IA generativa en los pipelines de visión por computadora existentes, lo que mejora la inspección, la búsqueda y el análisis con comprensión multimodal y razonamiento sin ejemplos previos. VSS se implementa fácilmente desde el edge hasta la nube en plataformas como NVIDIA RTX™ 4500, NVIDIA RTX PRO™ 6000, NVIDIA DGX Spark™ y NVIDIA® Jetson Thor™.

Mejore la Precisión con las Habilidades de Agentes de Generación de Datos Sintéticos de Ajuste Fino de Modelos

Los enfoques tradicionales con respecto a la personalización de modelos para agentes de IA de análisis de video eran lineales y lentos (recopilar video, etiquetar fotogramas, entrenar, evaluar, repetir), había un humano involucrado en cada paso y se demoraba meses en alcanzar una precisión aceptable. Los enfoques modernos rompen este ciclo al permitir que los agentes de codificación mejoren iterativamente el desempeño de los VLM y de los modelos fundacionales de visión en función de los objetivos.

Ajuste los modelos de lenguaje de visión con las habilidades de agente de NVIDIA TAO.

NVIDIA TAO es un conjunto de habilidades y herramientas de agentes para ajustar modelos de IA de visión con indicaciones en lenguaje natural. Los agentes de codificación usan estas herramientas y habilidades para alcanzar de forma autónoma los objetivos de precisión de los modelos mediante la evaluación iterativa de la precisión del modelo, la determinación de los datos de entrenamiento precisos necesarios y, luego, la extracción de los datos existentes o la generación sintética de los datos necesarios.

Resuelva el desafío de los datos de entrenamiento con habilidades de agente para la generación de datos sintéticos.

Cuando los datos de entrenamiento son limitados, los desarrolladores pueden generar rápidamente datos de defectos sintéticos para la inspección visual o aumentar videos para diferentes escenarios como el clima, la iluminación y más.

Cree Agentes de Edge con los Servicios de la Plataforma Jetson

Puede desarrollar agentes de IA de análisis de video impulsados por la plataforma de IA de edge NVIDIA Jetson™ mediante la función más nueva de NVIDIA JetPack™: los servicios de la plataforma Jetson. La aplicación de IA generativa se está ejecutando enteramente en un dispositivo NVIDIA Jetson Orin™ capaz de detectar eventos para generar alertas y facilitar sesiones interactivas de preguntas y respuestas.


Preguntas frecuentes

Sí, ahora puede desarrollar agentes de IA de análisis de video más rápido a partir de indicaciones simples en lenguaje natural mediante habilidades de VSS con agentes de codificación como Codex y Claude. Explore un conjunto de habilidades de VSS en github

Un NIM es un conjunto de microservicios fáciles de usar diseñados para la implementación segura y confiable de la inferencia de modelos de IA de alto desempeño en la nube, los data centers y las workstations. Admite una amplia gama de modelos de IA, incluidos los de la comunidad de código abierto y los de NVIDIA AI Foundation, para garantizar una inferencia de IA escalable y fluida, ya sea en las instalaciones o en la nube, mediante el uso de API estándar de la industria. Todos los microservicios de NIM y las API de vista previa asociadas se pueden encontrar en build.nvidia.com.

Visite build.nvidia.com para comenzar a explorar NVIDIA Metropolis VSS Blueprint y los microservicios de NIM disponibles como Cosmos 3 Reasoner NIM.

Todos los usuarios pueden comenzar gratuitamente con las API de vista previa en build.nvidia.com. Cada cuenta nueva puede recibir hasta 5000 créditos para probar las API. Para seguir desarrollando una vez agotados los créditos, usted puede implementar los microservicios NIM descargables a nivel local, en su hardware, o en una instancia de nube. Los desarrolladores también pueden acceder a NIM a través del Programa para Desarrolladores de NVIDIA. Consulte los detalles en estas preguntas frecuentes.

Los NVIDIA NIM son gratuitos para que los desarrolladores los prueben. Para pasar a producción, los microservicios NIM descargables requieren una licencia de NVIDIA AI Enterprise. Para más información, visite esta página.

El foro para desarrolladores de NIM es el mejor lugar para hacer preguntas e interactuar con nuestra comunidad de desarrolladores. Puede acceder a los foros aquí.

Comenzar

Desarrolle Agentes de IA de Análisis de Video

Explore el workflow de referencia, que se encuentra impulsado por múltiples modelos de lenguaje visual, para desarrollar fácilmente su agente de IA de análisis de video.

Guías para Desarrolladores: Desarrolle un Agente de IA de Análisis de Video

Convierta Horas de Video en Información Apta para Búsqueda con Agentes de IA

Aprenda a implementar agentes de video mediante las habilidades de VSS para las alertas de inteligencia en tiempo real y la búsqueda basada en agentes.

Desarrolle Agentes de IA de Análisis de Video Avanzados

Aprenda a desarrollar a la perfección un agente de IA de análisis de video mediante NVIDIA AI Blueprint para búsqueda y resumen de videos (VSS).

Aumente los Pipelines de Visión por Computadora con IA Generativa

Explore las nuevas funciones de la última VSS 2.4, como la verificación de eventos, la integración con Cosmos Reason y la compatibilidad ampliada con hardware.

Desarrolle un Workflow de Video Basado en Agentes

Aprenda a desarrollar un workflow con entrada de audio, salida de voz para búsqueda de video y resumen.

Desarrolle Aplicaciones Multimodales de XR en Tiempo Real

Aprenda a usar NVIDIA AI Blueprint para búsqueda y resumen de videos a fin de admitir audio en un entorno de XR.

Implemente Agentes de IA Desde el Edge Hasta la Nube.

Aproveche el poder del blueprint de VSS para implementar agentes de IA de forma fluida y eficiente desde el edge hasta la nube, con un desempeño escalable en una diversa gama de GPU.

GPU de la Serie NVIDIA RTX PRO 6000 Blackwell

Las GPU de la serie NVIDIA RTX PRO 6000 Blackwell aceleran la IA física al ejecutar todas las cargas de trabajo de desarrollo de robots en entrenamiento, generación de datos sintéticos, aprendizaje de robots y simulación.

NVIDIA Jetson Thor

Acelere el futuro de la IA física y la robótica con los módulos de la serie NVIDIA Jetson Thor™ que ofrecen hasta 2070 FP4 TFLOPS de computación de IA y 128 GB de memoria, todo en un formato compacto.

NVIDIA DGX Spark

NVIDIA DGX Spark lleva el poder de NVIDIA Grace Blackwell a los desktops de los desarrolladores. El superchip NVIDIA GB10, combinado con 128GB de memoria de sistema unificada, permite a los investigadores de IA, científicos de datos y estudiantes trabajar localmente con modelos de IA de hasta 200 mil millones de parámetros.

Historias de Éxito Relacionadas