Ciudades/espacios inteligentes
Linker Vision utiliza IA de visión para optimizar las operaciones urbanas
Objetivo
Linker Vision ofrece soluciones de visión por ordenador centradas en los datos, optimizadas para una implementación rápida y un escalado eficiente de las aplicaciones de IA de visión, de la nube al perímetro. Kaoshiung, una de las ciudades más grandes de Taiwán, sirve como un cliente final clave para Linker Vision. Han implementado soluciones de ciudades inteligentes avanzadas utilizando NVIDIA Metropolis para abordar un desafío urbano crítico con silos departamentales. Estas infraestructuras gubernamentales fragmentadas hacen extremadamente difícil compartir información esencial de forma rápida y eficiente, lo que impide ejecutar respuestas coordinadas en toda la ciudad. Linker Vision utiliza la estrategia de tres ordenadores de NVIDIA: simulación de gemelos digitales con NVIDIA Omniverse™, entrenamiento de modelos de IA con NVIDIA NeMo™ Curator e implementación de agentes de IA con el blueprint de NVIDIA AI para búsqueda y resumen de vídeos (VSS) para ayudar a las ciudades a proporcionar un mayor conocimiento sobre la situación y tomar decisiones proactivas basadas en los datos. Esto también contribuye a integrar los silos organizativos y sentar las bases para una ciudad verdaderamente inteligente.
Mejora del conocimiento de la situación urbana con modelos lingüísticos de visión
Uno de los desafíos clave en la aplicación de IA de visión en las ciudades es la alta variabilidad e imprevisibilidad de los eventos anormales. Los sistemas de visión por ordenador tradicionales están entrenados para detectar objetos estándar como automóviles, edificios o personas. Sin embargo, a menudo les cuesta interpretar la situación general o comprender eventos críticos, como un accidente de tráfico, una inundación o un árbol caído.
Para abordar esta limitación, Linker Vision utiliza VLM impulsados por IA generativa para ir más allá de la simple detección de objetos al interpretar las relaciones entre los elementos visuales y generar narrativas descriptivas de la escena. Al solicitar al VLM que describa lo que está sucediendo, Linker Vision permite al sistema proporcionar explicaciones inteligentes de escenarios complejos, lo que ayuda a los agentes de respuesta de la ciudad y a los responsables de la toma de decisiones a comprender mejor la situación en tiempo real. Este enfoque mejora significativamente la comprensión de la situación y la eficacia de la respuesta, especialmente en entornos urbanos dinámicos e impredecibles.
A través de las innovaciones de la IA generativa y los VLM, nuestro objetivo es demostrar el inmenso potencial de la IA de visión en el desarrollo de ciudades inteligentes. Mediante la integración de tecnologías de NVIDIA, nuestras soluciones son cada vez más eficientes y valiosas. La colaboración con NVIDIA muestra cómo las tecnologías inteligentes pueden alinearse con las visiones urbanas para crear cambios significativos e impactantes».
Willy Kuo
, director de tecnología y cofundador de Linker Vision
Cómo el análisis de vídeo impulsa una infraestructura urbana más inteligente y conectada
Las ciudades tienen un desafío urbano crítico: los silos departamentales. Históricamente, diferentes departamentos municipales (como la Oficina de Recursos Hídricos y la Oficina de Transporte) operaban en sistemas aislados desarrollados por diferentes integradores de sistemas (SI) y proveedores. Esto hace extremadamente difícil coordinar las respuestas oportunas a los problemas. Tomemos, por ejemplo, un evento de inundación detectado por la Oficina de Recursos Hídricos. Si bien estos datos son vitales para la Oficina de Transporte (ya que las inundaciones pueden interrumpir gravemente el flujo de tráfico y la seguridad pública), la falta de un sistema unificado significaba que esta información no podía compartirse de forma automática o rápida. Como resultado, los departamentos a menudo trabajaban en aislamiento y perdían oportunidades de responder que podrían mitigar el impacto en los ciudadanos y la infraestructura.
Para abordar esta brecha, Linker Vision desarrolló e implementó una plataforma integrada con tecnología de IA de visión. Se utilizó el blueprint de NVIDIA AI para búsqueda y resumen de vídeos (VSS) para crear agentes de IA de análisis de vídeos que pueden procesar miles de transmisiones de cámaras en directo en toda la ciudad y ofrecer una información más profunda sobre los incidentes de tráfico. Esta información ayuda a los servicios de emergencia a reaccionar rápidamente y mejorar las operaciones urbanas. Por ejemplo, los agentes de IA detectan inundaciones en una carretera principal y alertan automáticamente a las respectivas agencias y a los ciudadanos afectados con información crítica sobre la ubicación, el tiempo y las acciones sugeridas. La plataforma de IA sirve de base unificada para los datos en tiempo real, lo que permite la colaboración entre departamentos y conduce a un mayor nivel de conocimiento de la situación y de la toma de decisiones por toda la ciudad.
La estrategia de tres ordenadores de NVIDIA en acción en Linker Vision
Linker Vision estructura su solución de IA de visión para ciudades en torno a la estrategia de tres sistemas informáticos de NVIDIA, lo que impulsa cada etapa del proceso: la simulación, el entrenamiento y el tiempo de ejecución.
En primer lugar, Linker Vision convierte las imágenes aéreas y de satélite en escenas OpenUSD y crea un gemelo digital de la ciudad utilizando NVIDIA Omniverse que se ejecuta en los servidores NVIDIA OVX™. Utilizan NVIDIA Cosmos™ para generar diversos datos de vídeo sintéticos para escenarios complejos como daños en la infraestructura o incluso inundaciones, lo que ayuda a cubrir casos extremos poco frecuentes, difíciles de detectar en el mundo real.
Para entrenar modelos de IA, Linker Vision utiliza NeMo Curator y nv-grounding-dino para la organización de datos del mundo real, la anotación y el etiquetado de los datos. Estos conjuntos de datos reales y sintéticos se utilizan para ajustar los VLM para aumentar la precisión y obtener una mejor información sobre las actividades urbanas complejas.
Para la implementación, Linker Vision utiliza el blueprint de VSS, que combina las canalizaciones de visión NVIDIA Metropolis con modelos de IA generativa, incluidos los VLM basados en la arquitectura NVIDIA VILA en los servidores NVIDIA DGX™. Esto permite a los agentes de IA detectar, comprender y responder a eventos del mundo real con información significativa y oportuna para las operaciones de ciudades inteligentes.
Por último, Linker Vision conecta su flujo de trabajo de IA de visión a un entorno de gemelos digitales en tiempo real impulsado por Omniverse. Al integrar los resultados de su proceso de análisis de visión, crean un centro de mando interactivo donde los funcionarios municipales pueden supervisar y responder de forma intuitiva a eventos en toda la ciudad.
Avances en la IA para las operaciones urbanas
Linker Vision contribuye activamente al desarrollo de los ecosistemas de IA, especialmente en la gobernanza de ciudades inteligentes, la infraestructura impulsada por IA y la toma de decisiones autónoma. En la ciudad de Kaohsiung, Linker Vision integra 30 000 flujos diversos de cámaras de ciudades inteligentes, todo gestionado en una plataforma de gemelos digitales 3D a escala urbana. El sistema está entrenado para comprender más de diez dominios urbanos y empresariales principales (incluidos el transporte, la gestión del agua, la atención sanitaria y la logística) y más de 300 escenarios como accidentes de tráfico, respuesta a desastres, seguridad pública y gestión de infraestructuras.
Las soluciones de IA de visión mejoran la habitabilidad en las ciudades y reducen hasta en un 80 % los tiempos de respuesta a las incidencias. El trabajo de Linker Vision, destacado en una reciente charla de GTC, «IA a escala urbana con gemelos digitales», muestra cómo integran las tecnologías NVIDIA AI para el procesamiento de IA en tiempo real, el entrenamiento de modelos a gran escala y las aplicaciones de IA en todos los dominios en ciudades inteligentes, automatización industrial y ecosistemas de IA.
Aproveche el potencial de los VLM y empiece a desarrollar con los blueprints de NVIDIA AI.