Città/Spazi intelligenti
Linker Vision utilizza Vision AI per ottimizzare le operazioni urbane
Kaohsiung City Government
Obiettivo
Linker Vision fornisce soluzioni di computer vision data-centric ottimizzate per la distribuzione rapida e la scalabilità efficiente delle applicazioni di IA per la visione, dal cloud all'edge. Kaoshiung, una delle più grandi città di Taiwan, è un importante cliente di Linker Vision. L'azienda ha implementato soluzioni avanzate di smart city utilizzando NVIDIA Metropolis per affrontare una sfida di gestione urbana critica con i singoli dipartimenti. Le infrastrutture governative frammentate rendono estremamente difficile condividere le informazioni essenziali in modo rapido ed efficiente, impedendo risposte coordinate ai problemi che interessano l'intera città. Linker Vision utilizza la strategia a tre computer di NVIDIA, simulando digital twin con NVIDIA Omniverse™, calibrando modelli IA quali Cosmos Reason, e distribuendo gli agenti IA con NVIDIA AI Blueprint per la ricerca video e la generazione di riepiloghi (VSS), in modo da aiutare le città a raggiungere una maggiore consapevolezza della situazione e a prendere decisioni proattive basate sui dati. Questo aiuta anche a superare l'isolamento delle strutture organizzative e a gettare le basi per una città veramente intelligente.
Migliorare la consapevolezza situazionale urbana con i modelli linguistici visivi
Una delle sfide principali nell'applicazione dell'l'IA visiva nelle città è l'elevata variabilità e imprevedibilità degli eventi anomali. I sistemi di visione artificiale tradizionali sono addestrati per rilevare oggetti standard come auto, edifici o persone. Tuttavia, spesso faticano a interpretare la situazione generale o a comprendere eventi critici, come un incidente stradale, un'inondazione o un albero caduto.
Per affrontare questa limitazione, Linker Vision utilizza VLM, mappati a NVIDIA Blueprint per l'IA nelle smart city, per andare oltre la semplice rilevazione di oggetti interpretando le relazioni tra gli elementi visivi e generando narrazioni descrittive della scena. Chiedendo a NVIDIA Cosmos Reason VLM di descrivere l'ambiente, Linker Vision consente al sistema di fornire spiegazioni intelligenti di scenari complessi, aiutando gli operatori urbani e i responsabili decisionali a comprendere meglio la situazione in tempo reale. Questo approccio migliora significativamente la consapevolezza dell'ambiente e l'efficacia della risposta, in particolare in aree urbane dinamiche e imprevedibili.
"Attraverso le innovazioni dell'IA generativa e dei VLM, vogliamo dimostrare l'immenso potenziale della visione artificiale nello sviluppo di smart city. Integrando le tecnologie NVIDIA, le nostre soluzioni stanno diventando più efficienti e preziose. La collaborazione con NVIDIA mostra come le tecnologie intelligenti possono allinearsi alle visioni urbane per creare cambiamenti significativi e di impatto".
Willy Kuo
CTO e co-fondatore, Linker Vision
Come l'analisi video alimenta un'infrastruttura urbana più intelligente e connessa
Le città devono affrontare una sfida urbana critica: i dipartimenti isolati. Storicamente, diversi dipartimenti municipali, come l'Ufficio delle Risorse Idriche e l'Ufficio dei Trasporti, operavano su sistemi isolati sviluppati da diversi integratori di sistemi e fornitori. Ciò rende estremamente difficile fornire una risposta tempestiva ai problemi. Si consideri, ad esempio, un caso di inondazione rilevato dall'Ufficio per le Risorse Idriche. Sebbene questi dati siano vitali per l'Ufficio dei Trasporti, poiché le inondazioni possono compromettere gravemente il traffico e la sicurezza pubblica, per via della mancanza di un sistema unificato, queste informazioni non potevano essere condivise in automatico o in maniera tempestiva. Di conseguenza, i dipartimenti spesso lavoravano isolati l'uno dall'altro, senza fornire risposte che avrebbero potuto mitigare l'impatto sui cittadini e sulle infrastrutture.
Per colmare questa lacuna, Linker Vision ha sviluppato e distribuito una piattaforma integrata alimentata da IA per l'analisi visiva. Ha utilizzato NVIDIA AI Blueprint per la ricerca e il riepilogo video (VSS) per creare agenti IA di analisi video in grado di elaborare migliaia di flussi di telecamere dal vivo in tutta la città e fornire informazioni più approfondite sugli incidenti stradali. Queste informazioni aiutano gli operatori di primo soccorso a dare una risposta rapida e a ottimizzare le operazioni urbane. Ad esempio, gli agenti IA possono rilevare le inondazioni su una strada principale e avvisare automaticamente gli enti competenti e i cittadini interessati fornendo informazioni critiche sulla posizione, le tempistiche e le azioni suggerite. La piattaforma IA funge da base unificata per i dati in tempo reale, rendendo possibile la collaborazione tra dipartimenti e offrendo una consapevolezza situazionale e una capacità decisionale maggiori in tutta la città.
La strategia a tre computer di NVIDIA in azione presso Linker Vision
Linker Vision struttura la sua soluzione di visione artificiale per le città intorno alla strategia a tre computer di NVIDIA, alimentando ogni fase della pipeline: simulazione, addestramento ed esecuzione.
In primo luogo, Linker Vision converte immagini satellitari e aeree in scene OpenUSD e crea un digital twin della città utilizzando NVIDIA Omniverse eseguito su server NVIDIA OVX™. Viene inoltre impiegato NVIDIA Cosmos Transfer per generare dati video sintetici diversi per scenari complessi, come danni alle infrastrutture o inondazioni, per affrontare casi difficili da acquisire nel mondo reale.
Per addestrare i modelli IA, Linker Vision utilizza NeMo Curator e nv-grounding-dino per la gestione, l'annotazione e l'etichettatura dei dati del mondo reale. Questi set di dati reali e sintetici vengono utilizzati per ottimizzare i VLM al fine di aumentare la precisione e ottenere informazioni migliori su attività urbane complesse.
Per la distribuzione, Linker Vision utilizza il blueprint VSS, che si combina le pipeline visive di NVIDIA Metropolis modelli di IA generativa, tra cui VLM di Cosmos Reason su server NVIDIA DGX™. Questo permette agli agenti IA di rilevare, comprendere e rispondere agli eventi del mondo reale con informazioni rilevanti e tempestive per gestire le smart city.
Infine, Linker Vision collega la sua pipeline di visione artificiale in un ambiente gemello digitale in tempo reale alimentato da Omniverse. Integrando i risultati della sua pipeline di analisi della visione, creano un centro di comando interattivo che consente ai funzionari comunali di monitorare e rispondere intuitivamente agli eventi in tutta la città.
Fare progressi nell'IA per le operazioni urbane
Linker Vision contribuisce attivamente allo sviluppo di ecosistemi IA, in particolare nell'amministrazione di città intelligenti, nelle infrastrutture alimentate dall'IA e nei processi decisionali autonomi. Nella città di Kaohsiung, Linker Vision sta integrando 30.000 diversi flussi di telecamere intelligenti cittadine, gestendole attraverso una piattaforma di digital twin 3D su scala urbana. Il sistema è addestrato per comprendere più di dieci tra i principali domini urbani e aziendali, tra cui trasporti, gestione idrica, sanità e logistica, e oltre 300 scenari come incidenti stradali, risposta a disastri, pubblica sicurezza e gestione delle infrastrutture.
Le soluzioni di IA visiva migliorano la vivibilità nelle città e riducono fino all’80% i tempi di risposta agli incidenti. Il lavoro di Linker Vision, evidenziato in un recente discorso alla GTC, "IA su scala urbana con digital twins", mostra come l'azienda integra le tecnologie NVIDIA AI per l'elaborazione dell'IA in tempo reale su scala urbana, per il training di modelli su larga scala e per le applicazioni IA su più domini nelle città intelligenti, per l'automazione industriale e per gli ecosistemi IA.
Attingi alla potenza dei VLM e inizia a sviluppare con NVIDIA AI Blueprints.