Ciudades/espacios inteligentes
Linker Vision utiliza IA de visión para optimizar las operaciones urbanas
Kaohsiung City Government
Objetivo
Linker Vision proporciona soluciones de visión por ordenador centradas en datos que están optimizadas para una implementación rápida y una escalabilidad eficiente de las aplicaciones de IA de visión, desde la nube hasta el perímetro. Kaohsiung, una de las ciudades más grandes de Taiwán, es cliente final clave de Linker Vision. Han implementado soluciones avanzadas de ciudades inteligentes utilizando canalizaciones de visión para abordar un reto urbano crítico con silos departamentales. Estas infraestructuras gubernamentales fragmentadas hacen extremadamente difícil compartir información esencial de forma rápida y eficiente, lo que impide respuestas coordinadas a los problemas de toda la ciudad. Linker Visión utiliza la estrategia de tres ordenadores de NVIDIA, simulando gemelos digitales con NVIDIA Omniverse™, ajustando modelos de IA como los VLM de, y desplegando agentes de IA con el plan de IA de NVIDIA para la búsqueda y el resumen de vídeos— para ayudar a las ciudades a proporcionar una mejor conciencia de la situación y tomar decisiones proactivas basadas en datos. Esto también ayuda a romper los silos organizativos y sentar las bases para una ciudad verdaderamente inteligente.
Mejora del conocimiento de la situación urbana con modelos lingüísticos de visión
Uno de los desafíos clave en la aplicación de IA de visión en las ciudades es la alta variabilidad e imprevisibilidad de los eventos anormales. Los sistemas de visión por ordenador tradicionales están entrenados para detectar objetos estándar como automóviles, edificios o personas. Sin embargo, a menudo les cuesta interpretar la situación general o comprender eventos críticos, como un accidente de tráfico, una inundación o un árbol caído.
Para abordar esta limitación, Linker Visión utiliza VLM, mapeando el plan de NVIDIA para la IA de ciudad inteligente, para ir más allá de la simple detección de objetos interpretando las relaciones entre elementos visuales y generando narrativas descriptivas de la escena. Al solicitar a NVIDIA Cosmos Reason VLM que describa lo que está sucediendo, Linker Vision permite al sistema proporcionar explicaciones inteligentes de escenarios complejos, lo que ayuda a los responsables de la respuesta de la ciudad y a los que toman decisiones a comprender mejor la situación en tiempo real. Este enfoque mejora significativamente la conciencia situacional y la eficacia de la respuesta, particularmente en entornos urbanos dinámicos e impredecibles.
A través de las innovaciones de la IA generativa y los VLM, nuestro objetivo es demostrar el inmenso potencial de la IA de visión en el desarrollo de ciudades inteligentes. Mediante la integración de tecnologías de NVIDIA, nuestras soluciones son cada vez más eficientes y valiosas. La colaboración con NVIDIA muestra cómo las tecnologías inteligentes pueden alinearse con las visiones urbanas para crear cambios significativos e impactantes».
Willy Kuo
, director de tecnología y cofundador de Linker Vision
Cómo el análisis de vídeo impulsa una infraestructura urbana más inteligente y conectada
Las ciudades tienen un desafío urbano crítico: los silos departamentales. Históricamente, diferentes departamentos municipales (como la Oficina de Recursos Hídricos y la Oficina de Transporte) operaban en sistemas aislados desarrollados por diferentes integradores de sistemas (SI) y proveedores. Esto hace extremadamente difícil coordinar las respuestas oportunas a los problemas. Tomemos, por ejemplo, un evento de inundación detectado por la Oficina de Recursos Hídricos. Si bien estos datos son vitales para la Oficina de Transporte (ya que las inundaciones pueden interrumpir gravemente el flujo de tráfico y la seguridad pública), la falta de un sistema unificado significaba que esta información no podía compartirse de forma automática o rápida. Como resultado, los departamentos a menudo trabajaban en aislamiento y perdían oportunidades de responder que podrían mitigar el impacto en los ciudadanos y la infraestructura.
Para abordar esta brecha, Linker Vision desarrolló e implementó una plataforma integrada con tecnología de IA de visión. Se utilizó el blueprint de NVIDIA AI para búsqueda y resumen de vídeos (VSS) para crear agentes de IA de análisis de vídeos que pueden procesar miles de transmisiones de cámaras en directo en toda la ciudad y ofrecer una información más profunda sobre los incidentes de tráfico. Esta información ayuda a los servicios de emergencia a reaccionar rápidamente y mejorar las operaciones urbanas. Por ejemplo, los agentes de IA detectan inundaciones en una carretera principal y alertan automáticamente a las respectivas agencias y a los ciudadanos afectados con información crítica sobre la ubicación, el tiempo y las acciones sugeridas. La plataforma de IA sirve de base unificada para los datos en tiempo real, lo que permite la colaboración entre departamentos y conduce a un mayor nivel de conocimiento de la situación y de la toma de decisiones por toda la ciudad.
La estrategia de tres ordenadores de NVIDIA en acción en Linker Vision
Linker Vision estructura su solución de IA de visión para ciudades en torno a la estrategia de tres sistemas informáticos de NVIDIA, lo que impulsa cada etapa del proceso: la simulación, el entrenamiento y el tiempo de ejecución.
En primer lugar, Linker Visión convierte imágenes satelitales y aéreas en escenas OpenUSD y crea un gemelo digital de la ciudad utilizando NVIDIA Omniverse que se ejecuta en los servidoresNVIDIA OVX™. Utilizan NVIDIA Cosmos Transfer para generar diversos datos de vídeo sintético para escenarios complejos como daños en la infraestructura o inundaciones, que ayudan a tratar casos extremos poco frecuentes que son difíciles de capturar en el mundo real.
Para entrenar modelos de IA, Linker Vision utiliza NeMo Curator y nv-grounding-dino para la organización de datos del mundo real, la anotación y el etiquetado de los datos. Estos conjuntos de datos reales y sintéticos se utilizan para ajustar los VLM para aumentar la precisión y obtener una mejor información sobre las actividades urbanas complejas.
Para su implementación, Linker Visión utiliza el plan de VSS, que combina canalizaciones de visión de NVIDIA Metropolis con modelos de IA generativos, incluido los VLM de Cosmos Reason en servidoresNVIDIA DGX™. Esto permite a los agentes de IA detectar, entender y responder a eventos del mundo real con información significativa y oportuna para las operaciones de las ciudades inteligentes.
Por último, Linker Vision conecta su flujo de trabajo de IA de visión a un entorno de gemelos digitales en tiempo real impulsado por Omniverse. Al integrar los resultados de su proceso de análisis de visión, crean un centro de mando interactivo donde los funcionarios municipales pueden supervisar y responder de forma intuitiva a eventos en toda la ciudad.
Avances en la IA para las operaciones urbanas
Linker Vision contribuye activamente al desarrollo de los ecosistemas de IA, especialmente en la gobernanza de ciudades inteligentes, la infraestructura impulsada por IA y la toma de decisiones autónoma. En la ciudad de Kaohsiung, Linker Vision integra 30 000 flujos diversos de cámaras de ciudades inteligentes, todo gestionado en una plataforma de gemelos digitales 3D a escala urbana. El sistema está entrenado para comprender más de diez dominios urbanos y empresariales principales (incluidos el transporte, la gestión del agua, la atención sanitaria y la logística) y más de 300 escenarios como accidentes de tráfico, respuesta a desastres, seguridad pública y gestión de infraestructuras.
Las soluciones de IA de visión mejoran la habitabilidad en las ciudades y proporcionan hasta un 80 % de reducción en los tiempos de respuesta a incidentes. El trabajo de Linker Visión, destacado en una charla reciente de GTC “IA a escala urbana con gemelos digitales”, muestra cómo integran las tecnologías de IA de NVIDIA para el procesamiento de IA en tiempo real para IA a escala urbana, entrenamiento de modelos a gran escala y aplicaciones de IA multidominio en ciudades inteligentes, automatización industrial y ecosistemas de IA.
Aproveche el potencial de los VLM y empiece a desarrollar con los blueprints de NVIDIA AI.