Spazi urbani/Smart city
Linker Vision sfrutta l'IA visiva per ottimizzare le operazioni urbane
Kaohsiung City Government
Obiettivo
Linker Vision fornisce soluzioni di computer vision basate su dati e ottimizzate per una distribuzione rapida e una scalabilità efficiente delle applicazioni di visione artificiale, dal cloud all'edge. Kaohsiung, una delle più grandi città di Taiwan, è diventata un cliente finale chiave per Linker Vision, implementando soluzioni avanzate per città intelligenti utilizzando NVIDIA Metropolis per affrontare una sfida urbana critica legata ai silos dipartimentali. Tali infrastrutture governative frammentate rendono estremamente difficile condividere informazioni essenziali in modo rapido ed efficiente, rendendo difficile dare delle risposte coordinate ai problemi di tutta la città. Linker Vision utilizza la strategia a tre computer di NVIDIA: simulazione dei digital twins con NVIDIA Omniverse™, ottimizzazione di modelli IA come Cosmos 3 e distribuzione di agenti IA con NVIDIA Metropolis Blueprint per la ricerca e il riepilogo video (VSS), per aiutare le città a migliorare la consapevolezza situazionale e prendere decisioni proattive e basate sui dati. Questo aiuta anche a superare l'isolamento delle strutture organizzative e a gettare le basi per una città veramente intelligente.
Migliorare la consapevolezza situazionale urbana con i modelli linguistici visivi
Una delle sfide principali nell'applicazione dell'l'IA visiva nelle città è l'elevata variabilità e imprevedibilità degli eventi anomali. I sistemi di visione artificiale tradizionali sono addestrati per rilevare oggetti standard come auto, edifici o persone. Tuttavia, spesso faticano a interpretare la situazione complessiva o a comprendere eventi critici, come incidenti stradali, inondazioni o alberi caduti.
Per affrontare questa limitazione, Linker Vision utilizza i VLM, basandosi sull'esempio di riferimento per città intelligenti NVIDIA VSS Blueprint per andare oltre il semplice rilevamento di oggetti interpretando le relazioni tra gli elementi visivi e generando narrazioni descrittive della scena. Chiedendo a NVIDIA Cosmos di descrivere cosa sta accadendo, Linker Vision consente al sistema di fornire spiegazioni intelligenti di scenari complessi, aiutando gli operatori urbani e i responsabili decisionali a comprendere meglio la situazione in tempo reale. Questo approccio migliora significativamente la consapevolezza dell'ambiente e l'efficacia della risposta, in particolare in aree urbane dinamiche e imprevedibili.
"Attraverso le innovazioni dell'IA generativa e dei VLM, vogliamo dimostrare l'immenso potenziale della visione artificiale nello sviluppo di smart city. Integrando le tecnologie NVIDIA, le nostre soluzioni stanno diventando più efficienti e preziose. La collaborazione con NVIDIA mostra come le tecnologie intelligenti possono allinearsi alle visioni urbane per creare cambiamenti significativi e di impatto".
Willy Kuo
CTO e co-fondatore, Linker Vision
Come l'analisi video alimenta un'infrastruttura urbana più intelligente e connessa
Le città devono affrontare una sfida urbana critica: i dipartimenti isolati. Storicamente, diversi dipartimenti municipali, come il Water Resources Bureau e il Transportation Bureau, operavano su sistemi isolati sviluppati da diversi integratori di sistemi (SI) e fornitori. Ciò rende estremamente difficile fornire una risposta tempestiva ai problemi. Si consideri, ad esempio, un caso di inondazione rilevato dall'Ufficio per le Risorse Idriche. Sebbene questi dati siano vitali per il Transportation Bureau, poiché le inondazioni possono interrompere gravemente il flusso del traffico e la sicurezza pubblica, la mancanza di un sistema unificato significava che queste informazioni non potevano essere condivise in modo automatico o tempestivo. Di conseguenza, i dipartimenti spesso lavoravano isolati l'uno dall'altro, senza fornire risposte che avrebbero potuto mitigare l'impatto sui cittadini e sulle infrastrutture.
Per colmare questa lacuna, Linker Vision ha sviluppato e distribuito una piattaforma integrata alimentata da IA per l'analisi visiva. Utilizza NVIDIA VSS Blueprint per creare agenti IA per l'analisi video in grado di elaborare migliaia di flussi di telecamere dal vivo in tutta la città e offrire informazioni più approfondite sugli incidenti stradali. Queste informazioni aiutano gli operatori di primo soccorso a dare una risposta rapida e a ottimizzare le operazioni urbane. Ad esempio, gli agenti IA possono rilevare le inondazioni su una strada principale e avvisare automaticamente gli enti competenti e i cittadini interessati fornendo informazioni critiche sulla posizione, le tempistiche e le azioni suggerite. La piattaforma IA funge da base unificata per i dati in tempo reale, rendendo possibile la collaborazione tra dipartimenti e offrendo una consapevolezza situazionale e una capacità decisionale maggiori in tutta la città.
La strategia a tre computer di NVIDIA in azione
Linker Vision struttura la propria soluzione per città di IA visiva attorno alla strategia NVIDIA a tre computer, alimentando ogni fase della pipeline: simulazione, addestramento e runtime.
In primo luogo, Linker Vision converte immagini satellitari e aeree in scene OpenUSD e crea un digital twin della città utilizzando NVIDIA Omniverse in esecuzione su server NVIDIA OVX™. Utilizzano NVIDIA Cosmos per generare diversi dati video sintetici per scenari complessi come danni alle infrastrutture o inondazioni, contribuendo a coprire casi limite rari che sono difficili da catturare nel mondo reale.
Per l'addestramento dei modelli IA, Linker Vision utilizza NVIDIA NeMo™ Curator e nv-grounding-dino per la gestione, l'annotazione e l'etichettatura dei dati del mondo reale. Questi set di dati reali e sintetici vengono utilizzati per ottimizzare i VLM al fine di aumentare la precisione e ottenere informazioni migliori su attività urbane complesse.
Per la distribuzione, Linker Vision utilizza il blueprint VSS, che combina le pipeline di visione NVIDIA Metropolis con modelli di IA generativa, tra cui i VLM Cosmos su server NVIDIA DGX™. Ciò consente agli agenti IA di rilevare, comprendere e rispondere agli eventi del mondo reale con informazioni tempestive preziose per le operazioni delle città intelligenti.
Infine, Linker Vision collega la sua pipeline di visione artificiale in un ambiente gemello digitale in tempo reale alimentato da Omniverse. Integrando i risultati della sua pipeline di analisi della visione, creano un centro di comando interattivo che consente ai funzionari comunali di monitorare e rispondere intuitivamente agli eventi in tutta la città.
Fare progressi nell'IA per le operazioni urbane
Linker Vision contribuisce attivamente allo sviluppo di ecosistemi IA, in particolare nell'amministrazione di città intelligenti, nelle infrastrutture alimentate dall'IA e nei processi decisionali autonomi. Nella città di Kaohsiung, Linker Vision sta integrando 30.000 diversi flussi di telecamere urbane intelligenti, tutti gestiti in una piattaforma digital twin 3D su scala urbana. Il sistema è addestrato per comprendere più di dieci tra i principali domini urbani e aziendali, tra cui trasporti, gestione idrica, sanità e logistica, e oltre 300 scenari come incidenti stradali, risposta a disastri, pubblica sicurezza e gestione delle infrastrutture.
Linker Vision ora sta estendendo questo approccio attraverso AI-GRID, il suo livello di orchestrazione e runtime per le distribuzioni di physical AI su larga scala. Le recenti espansioni nella città di Taipei e nel Ministero dei Trasporti e delle Comunicazioni di Taiwan utilizzano NVIDIA NemoClaw, NVIDIA VSS Blueprint e NVIDIA Cosmos per supportare gli agenti di ragionamento video autonomi in ambienti urbani e di trasporto distribuiti.
I progressi di Linker Vision mostrano come lo sviluppo degli agenti di IA visiva copra la generazione di dati sintetici, l'ottimizzazione dei modelli e l'inferenza/distribuzione, anziché terminare con l'inferenza dei modelli. Per gli sviluppatori, Linker Vision illustra perché gli agenti di IA visiva in produzione richiedono più di un endpoint di inferenza. I team hanno bisogno di flussi di lavoro ripetibili per adattare i sistemi di IA video alle condizioni del mondo reale e distribuire capacità agentiche su vasta scala. Le competenze NVIDIA VSS completano il blueprint VSS aiutando a trasformare le comuni attività di IA video, tra cui distribuzione, ricerca, riepilogo, reporting, avvisi, comprensione video e gestione degli stream, in flussi di lavoro ripetibili eseguibili da agenti.
Le soluzioni di IA visiva migliorano la vivibilità nelle città e riducono fino all’80% i tempi di risposta agli incidenti. Il lavoro di Linker Vision, in primo piano durante una recente presentazione alla GTC "IA a misura di città con i digital twins", mostra la propria capacità di integrare le tecnologie NVIDIA AI per l'elaborazione IA in tempo reale per l'IA su scala urbana, l'addestramento di modelli su larga scala e le applicazioni IA per più domini nelle smart city, nell'automazione industriale e negli ecosistemi IA.
Attingi alla potenza dei VLM e inizia a sviluppare con NVIDIA AI Blueprints.