Cidades e Espaços Inteligentes
Linker Vision Usa IA de Visão para Otimizar Operações Municipais
Kaohsiung City Government
Objetivo
A Linker Vision oferece soluções de visão computacional centradas em dados, otimizadas para implantação rápida e dimensionamento eficiente de aplicações de IA de visão, da nuvem ao edge. Kaohsiung, uma das maiores cidades de Taiwan, é um dos principais clientes finais da Linker Vision. Eles implementaram soluções avançadas de cidades inteligentes usando o NVIDIA Metropolis para enfrentar um desafio urbano crítico com silos departamentais. Essas infraestruturas governamentais fragmentadas tornam extremamente difícil o compartilhamento de informações essenciais de forma rápida e eficiente, impedindo respostas coordenadas a problemas em toda a cidade. A Linker Vision usa a estratégia de três computadores da NVIDIA (simulação de gêmeos digitais com o NVIDIA Omniverse™, treinamento de modelos de IA com o NVIDIA NeMo™ Curator e implantação de agentes de IA com o NVIDIA AI Blueprint para pesquisa e resumo de vídeo (VSS)) para capacitar as cidades a fornecer uma melhor consciência situacional e tomar decisões proativas e baseadas em dados. Além disso, essa estratégia ajuda a quebrar os silos organizacionais e estabelecer as bases para uma cidade verdadeiramente inteligente.
Melhora da Conscientização Situacional Urbana com Modelos de Linguagem de Visão
Um dos principais desafios na aplicação de IA de visão em cidades é a alta variabilidade e imprevisibilidade de eventos anormais. Os sistemas de visão computacional tradicionais são treinados para detectar objetos padronizados, como veículos, edifícios ou pessoas. No entanto, eles geralmente têm dificuldade em interpretar a situação geral ou entender eventos críticos, como um acidente de trânsito, inundação ou uma árvore caída.
Para resolver essa limitação, a plataforma Linker Vision usa VLMs, com IA generativa, para ir além da simples detecção de objetos, interpretando as relações entre os elementos visuais e gerando narrativas descritivas da cena. Ao solicitar que o VLM descreva o que está acontecendo, a plataforma Linker Vision permite que o sistema forneça explicações inteligentes de cenários complexos, possibilitando aos responsáveis pela resposta e aos tomadores de decisões da cidade entenderem melhor a situação em tempo real. Essa abordagem melhora significativamente a conscientização situacional e a eficácia da resposta, particularmente em ambientes urbanos dinâmicos e imprevisíveis.
“Por meio das inovações da IA generativa e do VLM, nosso objetivo é demonstrar o imenso potencial da IA de visão no desenvolvimento de cidades inteligentes. Ao integrar tecnologias da NVIDIA, nossas soluções estão se tornando mais eficientes e valiosas. A colaboração com a NVIDIA mostra como as tecnologias inteligentes podem se alinhar às visões urbanas para criar mudanças significativas e impactantes.”
Willy Kuo
Diretor de Tecnologia (CTO) e Cofundador, Linker Vision
Como a Análise de Vídeo Impulsiona uma Infraestrutura Urbana Conectada Mais Inteligente
As cidades têm um desafio urbano crítico: os silos departamentais. Historicamente, diferentes departamentos municipais, como o Departamento de Recursos Hídricos e o Departamento de Transporte, operavam em sistemas isolados desenvolvidos por diferentes integradores de sistemas (SI) e fornecedores. Isso torna extremamente difícil coordenar respostas em tempo hábil aos problemas. Por exemplo, considere um evento de inundação detectado pelo Departamento de Recursos Hídricos. Embora esses dados sejam vitais para o Departamento de Transportes, pois as inundações podem atrapalhar severamente o fluxo de tráfego e a segurança pública, a falta de um sistema unificado significava que essas informações não poderiam ser compartilhadas automática ou imediatamente. Como resultado, os departamentos trabalhavam geralmente de forma isolada, perdendo oportunidades de respostas que poderiam mitigar o impacto nos cidadãos e na infraestrutura.
Para preencher essa lacuna, a empresa Linker Vision desenvolveu e implantou uma plataforma integrada e com IA de visão. Ela usou o NVIDIA AI Blueprint para pesquisa e resumo de vídeos (VSS) para criar agentes de IA para análise de vídeo que podem processar milhares de transmissões de câmeras ao vivo em toda a cidade e oferecer informações mais profundas sobre os incidentes de tráfego. Essas informações ajudam os socorristas a reagir rapidamente e melhorar as operações da cidade. Por exemplo, os agentes de IA detectam inundações em uma via principal e alertam automaticamente as respectivas agências e cidadãos afetados com informações críticas sobre o local, o momento e as ações sugeridas. A plataforma de IA serve como uma base unificada para dados em tempo real, permitindo a colaboração entre departamentos e levando a um nível mais alto de conscientização situacional e tomada de decisões em toda a cidade.
A Estratégia de Três Computadores da NVIDIA em Ação na Linker Vision
A solução de IA para cidades inteligentes da Linker Vision é estruturada com base na estratégia de três computadores da NVIDIA, que potencializa cada etapa do pipeline: simulação, treinamento e tempo de execução.
Primeiro, a plataforma Linker Vision converte imagens de satélite e aéreas em cenas do OpenUSD e cria um gêmeo digital da cidade usando o NVIDIA Omniverse em execução nos servidores NVIDIA OVX™. Eles usam o NVIDIA Cosmos™ para gerar diversos dados de vídeo sintéticos para cenários complexos, como danos à infraestrutura ou inundações, ajudando a cobrir casos raros que são difíceis de capturar em situações reais.
Para treinar modelos de IA, a plataforma Linker Vision usa o NeMo Curator e o nv-grounding-dino para curadoria, anotação e rotulagem de dados reais. Esses conjuntos de dados reais e sintéticos são usados para ajustar os VLMs para aumentar a precisão e obter melhores informações sobre atividades urbanas complexas.
Para a implantação, a plataforma Linker Vision usa o blueprint VSS, que combina pipelines de visão NVIDIA Metropolis com modelos de IA generativa, incluindo VLMs baseados na arquitetura NVIDIA VILA nos servidores NVIDIA DGX™. Isso permite que os agentes de IA detectem, entendam e respondam a eventos reais com informações significativas e oportunas para operações de cidades inteligentes.
Por fim, a plataforma Linker Vision conecta seu pipeline de IA de visão a um ambiente de gêmeo digital em tempo real com tecnologia Omniverse. Ao integrar as saídas de seu pipeline de análise de visão, eles criam um centro de comando interativo onde as autoridades municipais podem monitorar e responder intuitivamente a eventos em toda a cidade.
Avançando a IA para Operações Municipais
A Linker Vision está contribuindo ativamente para o desenvolvimento de ecossistemas de IA, particularmente na governança de cidades inteligentes, infraestrutura com IA e tomada de decisões autônomas. Na cidade de Kaohsiung, a Linker Vision está integrando 30 mil fluxos de câmeras inteligentes de cidades, todos gerenciados em uma plataforma de gêmeo digital 3D em escala da cidade. O sistema é treinado para entender mais de dez grandes domínios urbanos e empresariais, como transporte, gerenciamento de água, área da saúde e logística, e mais de 300 cenários, como acidentes de trânsito, resposta a desastres, segurança pública e gerenciamento de infraestrutura.
As soluções de IA de visão melhoram a habitabilidade nas cidades e fornecem até 80% de redução nos tempos de resposta a incidentes. O trabalho da Linker Vision, destacado em uma palestra recente do GTC “IA em Escala Urbana com Gêmeos Digitais”, mostra como eles integram as tecnologias de IA da NVIDIA para processamento de IA em tempo real, treinamento de modelos em larga escala e aplicações de IA entre domínios em cidades inteligentes, automação industrial e ecossistemas de IA.
Aproveite o poder dos VLMs e comece a desenvolver com NVIDIA AI Blueprints.