Ciudades/Espacios Inteligentes
Linker Vision usa IA de Visión para Optimizar las Operaciones de las Ciudades
Kaohsiung City Government
Objetivo
Linker Vision proporciona soluciones de visión por computadora centradas en datos que están optimizadas para una implementación rápida y una escalabilidad eficiente de las aplicaciones de IA de visión, desde la nube hasta el edge. Kaohsiung, una de las ciudades más grandes de Taiwán, es un cliente final clave para Linker Vision. Han implementado soluciones avanzadas de ciudades inteligentes mediante NVIDIA Metropolis para abordar un desafío urbano crítico con silos departamentales. Estas infraestructuras gubernamentales fragmentadas dificulta en extremo el compartir información esencial de forma rápida y eficiente, lo que impide respuestas coordinadas a problemas en toda la ciudad. Linker Vision usa la estrategia de tres computadoras de NVIDIA (simulación de gemelos digitales con NVIDIA Omniverse™, entrenamiento de modelos de IA con NVIDIA NeMo™ Curator e implementación de agentes de IA con NVIDIA AI Blueprint para búsqueda y resumen de videos (VSS)) para ayudarles a las ciudades a proporcionar una mejor conciencia situacional y tomar decisiones proactivas y basadas en datos. Esto también ayuda a romper los silos organizativos y a sentar las bases de una ciudad verdaderamente inteligente.
Mejora del Conocimiento Situacional Urbano con Modelos de Lenguaje de Visión
Uno de los desafíos clave en la aplicación de la IA de visión en ciudades es la alta variabilidad e impredecibilidad de los eventos anormales. Los sistemas de visión por computadora tradicionales están entrenados para detectar objetos estándar como automóviles, edificios o personas. Sin embargo, a menudo tienen dificultades para interpretar la situación general o comprender eventos críticos, como un accidente de tránsito, una inundación o un árbol caído.
Para abordar esta limitación, Linker Vision utiliza VLM, impulsados por IA generativa, para ir más allá de la simple detección de objetos al interpretar las relaciones entre los elementos visuales y generar narrativas descriptivas de la escena. Al instar a los VLM a describir lo que está sucediendo, Linker Vision habilita al sistema para proporcionar explicaciones inteligentes de escenarios complejos, y así ayuda a los respondedores urbanos y a los responsables de la toma de decisiones a comprender mejor la situación en tiempo real. Este enfoque mejora significativamente la conciencia situacional y la efectividad de la respuesta, particularmente en entornos urbanos dinámicos e impredecibles.
“A través de las innovaciones de la IA generativa y los VLM, nuestro objetivo es demostrar el inmenso potencial de la IA de visión en el desarrollo de ciudades inteligentes. Al integrar las tecnologías de NVIDIA, nuestras soluciones se están volviendo más eficientes y valiosas. La colaboración con NVIDIA muestra cómo las tecnologías inteligentes pueden alinearse con las visiones urbanas para crear cambios significativos e impactantes”.
Willy Kuo
, CTO y Cofundador, Linker Vision
Cómo el Análisis de Video Impulsa una Infraestructura Urbana Más Inteligente y Conectada
Las ciudades tienen un desafío urbano crítico: los silos departamentales. Históricamente, diferentes departamentos municipales, como la Oficina de Recursos Hídricos y la Oficina de Transporte, operaban en sistemas aislados desarrollados por diferentes integradores de sistemas (IS) y proveedores. Esto hace que sea extremadamente difícil coordinar respuestas oportunas a los problemas. Por ejemplo, considere un evento de inundación detectado por la Oficina de Recursos Hídricos. Si bien estos datos son vitales para la Oficina de Transporte, ya que las inundaciones pueden interrumpir gravemente el flujo de tráfico y la seguridad pública, la falta de un sistema unificado significó que esta información no se pudo compartir automáticamente o de inmediato. Como resultado, los departamentos a menudo trabajaban de forma aislada, perdiendo oportunidades de respuestas que podrían mitigar el impacto en los ciudadanos y la infraestructura.
Para abordar esta brecha, Linker Vision desarrolló e implementó una plataforma integrada e impulsada por IA de visión. Usó NVIDIA AI Blueprint para búsqueda y resumen de videos (VSS) a fin de desarrollar agentes de IA de análisis de video que puedan procesar miles de transmisiones de cámaras en vivo en toda la ciudad y ofrecer una información más profunda sobre los incidentes de tráfico. Esta información les ayuda a los equipos de emergencia a reaccionar rápidamente y mejorar las operaciones de la ciudad. Por ejemplo, los agentes de IA detectan inundaciones en una carretera importante y alertan automáticamente a las respectivas agencias y a los ciudadanos impactados con información crítica sobre la ubicación, el momento y las acciones sugeridas. La plataforma de IA sirve como una base unificada para datos en tiempo real, lo que permite la colaboración entre departamentos y lleva a un nivel más alto la conciencia situacional y toma de decisiones en toda la ciudad.
La Estrategia de Tres Computadoras de NVIDIA en Acción en Linker Vision
Linker Vision estructura su solución de IA de visión para ciudades en torno a la estrategia de tres computadoras de NVIDIA, y así impulsar cada etapa del pipeline: simulación, entrenamiento y tiempo de ejecución.
Primero, Linker Vision convierte imágenes satelitales y aéreas en escenas de OpenUSD y crea un gemelo digital de la ciudad, mediante NVIDIA Omniverse, que se ejecuta en los servidores NVIDIA OVX™. Usan NVIDIA Cosmos™ para generar diversos datos sintéticos de video en escenarios complejos como daños estructurales o inundaciones, lo que ayuda a cubrir casos de cola larga que son difíciles de capturar en el mundo real.
En el entrenamiento de modelos de IA, Linker Vision usa NeMo Curator y nv-grounding-dino para la selección, anotación y etiquetado de datos del mundo real. Estos conjuntos de datos reales y sintéticos se usan para ajustar los VLM a fin de aumentar la exactitud y obtener mejor información sobre actividades urbanas complejas.
Para la implementación, Linker Vision usa el blueprint VSS, que combina los pipelines de visión NVIDIA Metropolis con modelos de IA generativa, como VLM basados en la arquitectura NVIDIA VILA en los servidores NVIDIA DGX™. Esto les permite a los agentes de IA detectar, comprender y responder a eventos del mundo real con información significativa y oportuna para las operaciones de ciudades inteligentes.
Por último, Linker Vision conecta su pipeline de IA de visión en un entorno de gemelos digitales en tiempo real impulsado por Omniverse. Al integrar las salidas de su pipeline de análisis de visión, crean un centro de comando interactivo donde los funcionarios de la ciudad pueden supervisar y responder de forma intuitiva a eventos en toda la ciudad.
Avance de la IA para las Operaciones Urbanas
Linker Vision está contribuyendo activamente al desarrollo de ecosistemas de IA, particularmente en gobernanza de ciudades inteligentes, infraestructura impulsada por IA y toma de decisiones autónoma. En la ciudad de Kaohsiung, Linker Vision está integrando 30 000 transmisiones de diversas cámaras de ciudades inteligentes, todas administradas en una plataforma de gemelo digital 3D a escala de ciudad. El sistema está entrenado para comprender más de diez dominios urbanos y empresariales importantes (como el transporte, la administración del agua, el área de la salud y la logística) y más de 300 escenarios como accidentes de tránsito, respuesta a desastres, seguridad pública y administración de infraestructura.
Las soluciones de IA de visión mejoran la habitabilidad en las ciudades y proporcionan una reducción de hasta un 80% en los tiempos de respuesta a incidentes. El trabajo de Linker Vision, destacado en una charla reciente de GTC, “City-Scale AI with Digital Twins”, muestra cómo integran las tecnologías de IA de NVIDIA para el procesamiento de IA en tiempo real, el entrenamiento de modelos a gran escala y las aplicaciones de IA entre dominios en ciudades inteligentes, automatización industrial y ecosistemas de IA.
Aproveche el poder de los VLM y comience a desarrollar con NVIDIA AI Blueprints.