Città/Spazi intelligenti
Linker Vision utilizza Vision AI per ottimizzare le operazioni urbane
Obiettivo
Linker Vision fornisce soluzioni di computer vision basate su dati e ottimizzate per una distribuzione rapida e una scalabilità efficiente delle applicazioni di visione artificiale, dal cloud all'edge. Kaoshiung, una delle città più grandi di Taiwan, funge da cliente finale strategico per Linker Vision. L'azienda ha implementato soluzioni avanzate per smart city utilizzando NVIDIA Metropolis al fine di affrontare una sfida urbana critica caratterizzata da dipartimenti isolati. Tali infrastrutture governative frammentate rendono estremamente difficile condividere informazioni essenziali in modo rapido ed efficiente, rendendo difficile dare delle risposte coordinate ai problemi di tutta la città. Linker Vision utilizza la strategia a tre computer di NVIDIA: simulazione dei digital twin con NVIDIA Omniverse™, addestramento dei modelli IA con NVIDIA NeMo™ Curator e distribuzione degli agenti IA con NVIDIA AI Blueprint per la ricerca e il riepilogo video (VSS), con l'obiettivo di aiutare le città a fornire una migliore consapevolezza situazionale e prendere decisioni proattive basate sui dati. Ciò aiuta inoltre ad abbattere i silos organizzativi e getta le basi per una città realmente intelligente.
Migliorare la consapevolezza situazionale urbana con i modelli linguistici visivi
Una delle sfide principali nell'applicazione dell'l'IA visiva nelle città è l'elevata variabilità e imprevedibilità degli eventi anomali. I sistemi di visione artificiale tradizionali sono addestrati per rilevare oggetti standard come auto, edifici o persone. Tuttavia, spesso faticano a interpretare la situazione generale o a comprendere eventi critici, come un incidente stradale, un'inondazione o un albero caduto.
Al fine di risolvere questa limitazione, Linker Vision utilizza VLM dotati di IA generativa per andare oltre il semplice rilevamento di oggetti interpretando le relazioni tra gli elementi visivi e generando narrazioni descrittive della scena. Chiedendo al VLM di descrivere cosa sta succedendo, Linker Vision consente al sistema di fornire spiegazioni intelligenti per scenari complessi, aiutando i responsabili delle operazioni urbane e chi prende le decisioni a comprendere meglio la situazione in tempo reale. Tale approccio migliora notevolmente la consapevolezza situazionale e l'efficacia della risposta, in particolare in ambienti urbani dinamici e imprevedibili.
"Attraverso le innovazioni dell'IA generativa e dei VLM, vogliamo dimostrare l'immenso potenziale della visione artificiale nello sviluppo di smart city. Integrando le tecnologie NVIDIA, le nostre soluzioni stanno diventando più efficienti e preziose. La collaborazione con NVIDIA mostra come le tecnologie intelligenti possono allinearsi alle visioni urbane per creare cambiamenti significativi e di impatto".
Willy Kuo
CTO e co-fondatore, Linker Vision
Come l'analisi video alimenta un'infrastruttura urbana più intelligente e connessa
Le città devono affrontare una sfida urbana critica: i dipartimenti isolati. Storicamente, diversi dipartimenti municipali, come l'Ufficio delle Risorse Idriche e l'Ufficio dei Trasporti, operavano su sistemi isolati sviluppati da diversi integratori di sistemi e fornitori. Ciò rende estremamente difficile fornire una risposta tempestiva ai problemi. Si consideri, ad esempio, un caso di inondazione rilevato dall'Ufficio per le Risorse Idriche. Sebbene questi dati siano vitali per l'Ufficio dei Trasporti, poiché le inondazioni possono compromettere gravemente il traffico e la sicurezza pubblica, per via della mancanza di un sistema unificato, queste informazioni non potevano essere condivise in automatico o in maniera tempestiva. Di conseguenza, i dipartimenti spesso lavoravano isolati l'uno dall'altro, senza fornire risposte che avrebbero potuto mitigare l'impatto sui cittadini e sulle infrastrutture.
Per colmare questa lacuna, Linker Vision ha sviluppato e distribuito una piattaforma integrata alimentata da IA per l'analisi visiva. Ha utilizzato NVIDIA AI Blueprint per la ricerca e il riepilogo video (VSS) per creare agenti IA di analisi video in grado di elaborare migliaia di flussi di telecamere dal vivo in tutta la città e fornire informazioni più approfondite sugli incidenti stradali. Queste informazioni aiutano gli operatori di primo soccorso a dare una risposta rapida e a ottimizzare le operazioni urbane. Ad esempio, gli agenti IA possono rilevare le inondazioni su una strada principale e avvisare automaticamente gli enti competenti e i cittadini interessati fornendo informazioni critiche sulla posizione, le tempistiche e le azioni suggerite. La piattaforma IA funge da base unificata per i dati in tempo reale, rendendo possibile la collaborazione tra dipartimenti e offrendo una consapevolezza situazionale e una capacità decisionale maggiori in tutta la città.
La strategia a tre computer di NVIDIA in azione presso Linker Vision
Linker Vision struttura la sua soluzione di visione artificiale per le città intorno alla strategia a tre computer di NVIDIA, alimentando ogni fase della pipeline: simulazione, addestramento ed esecuzione.
In primo luogo, Linker Vision converte immagini satellitari e aeree in scene OpenUSD e crea un digital twin della città utilizzando NVIDIA Omniverse in esecuzione su server NVIDIA OVX™. Utilizza NVIDIA Cosmos™ per generare dati video sintetici diversi per scenari complessi come danni alle infrastrutture o inondazioni, contribuendo a coprire casi limite rari che sono difficili da catturare nel mondo reale.
Per addestrare i modelli IA, Linker Vision utilizza NeMo Curator e nv-grounding-dino per la gestione, l'annotazione e l'etichettatura dei dati del mondo reale. Questi set di dati reali e sintetici vengono utilizzati per ottimizzare i VLM al fine di aumentare la precisione e ottenere informazioni migliori su attività urbane complesse.
Per la distribuzione, Linker Vision utilizza il Blueprint VSS, che combina le pipeline di visione di NVIDIA Metropolis con i modelli di IA generativa, tra cui i VLM basati sull'architettura NVIDIA VILA su server NVIDIA DGX™. Ciò consente agli agenti IA di rilevare, comprendere e rispondere agli eventi del mondo reale con informazioni tempestive preziose per le operazioni delle città intelligenti.
Infine, Linker Vision collega la sua pipeline di visione artificiale in un ambiente gemello digitale in tempo reale alimentato da Omniverse. Integrando i risultati della sua pipeline di analisi della visione, creano un centro di comando interattivo che consente ai funzionari comunali di monitorare e rispondere intuitivamente agli eventi in tutta la città.
Fare progressi nell'IA per le operazioni urbane
Linker Vision contribuisce attivamente allo sviluppo di ecosistemi IA, in particolare nell'amministrazione di città intelligenti, nelle infrastrutture alimentate dall'IA e nei processi decisionali autonomi. Nella città di Kaohsiung, Linker Vision sta integrando 30.000 diversi flussi di telecamere intelligenti cittadine, gestendole attraverso una piattaforma di digital twin 3D su scala urbana. Il sistema è addestrato per comprendere più di dieci tra i principali domini urbani e aziendali, tra cui trasporti, gestione idrica, sanità e logistica, e oltre 300 scenari come incidenti stradali, risposta a disastri, pubblica sicurezza e gestione delle infrastrutture.
Le soluzioni di visione artificiale migliorano le condizioni di vivibilità nelle città e rendono possibile una riduzione fino all'80% dei tempi di risposta agli incidenti. Il lavoro di Linker Vision, in primo piano durante una recente presentazione alla GTC "IA a misura di città con i digital twin", mostra la propria capacità di integrare le tecnologie IA di NVIDIA per l'elaborazione IA in tempo reale, l'addestramento di modelli su vasta scala e le applicazioni IA per più domini nelle smart city, nell'automazione industriale e negli ecosistemi IA.
Attingi alla potenza dei VLM e inizia a sviluppare con NVIDIA AI Blueprints.