Istruzione superiore / Ricerca
CYRAN AI decodifica le immagini satellitari gigapixel all'edge con NVIDIA DGX Spark
Obiettivo
CYRAN AI Solutions, una startup deep tech nativa IA nata dal NVM e dal Neuromorphic Hardware Research Group dell'IIT Delhi, crea piattaforme per la fusione dei sensori per l'intelligenza geospaziale, la sicurezza e le applicazioni dell'Industria 4.0. La sua piattaforma SpatialFuse fonde dati provenienti dall'orbita, dall'aria e dalla terra per creare intelligenza geospaziale in tempo reale. Tuttavia, per gli analisti e gli ingegneri che si basano su di essa all'edge sia in orbita che in ambienti air-gapped, la velocità della pipeline dipende da quella della fase più lenta del processo. Quella fase è stata decodificata.
Combinando l'architettura a memoria unificata di NVIDIA DGX Spark™ con l'elaborazione JPEG 2000 accelerata da GPU attraverso la sua nuova libreria PixelFlux, CYRAN ha ridotto i tempi di decodifica di una scena satellitare di 26 GB da oltre cinque minuti a poco più di due, offrendo un'analisi geospaziale veramente interattiva sull'hardware locale, senza bisogno del cloud.
Cliente
Soluzioni CYRAN AI
Partner
Indian Institute Of Technology Delhi (IIT Delhi)
Argomento
Edge Computing
IA geospaziale/Inferenza edge
Prodotti
Punti chiave
3 volte più veloce
- Decodifica JPEG 2000 rispetto alla baseline CPU: una scena satellitare di 26 GB passa da oltre 5 minuti a poco più di 2 minuti.
2 volte più veloce
- Rispetto a una workstation con GPU dedicata per immagini di grandi dimensioni, eliminando un collo di bottiglia della memoria a livello hardware che l'architettura di DGX Spark elimina completamente.
Niente cloud
- L'analisi interattiva di scene di grandi dimensioni viene eseguita interamente su hardware locale, consentendo distribuzioni di intelligenza sovrana e air-gapped.
Decodificare i dati dell'intero pianeta
Satelliti, droni e sensori di terra generano dati geospaziali a un ritmo che supera gli strumenti progettati per gestirli. La piattaforma SpatialFuse di CYRAN è stata progettata per offrire intelligenza all'edge, ovvero in centri operativi avanzati, in ambienti sicuri e air-gapped e, infine, a bordo delle piattaforme spaziali. Ogni fase della pipeline deve offrire prestazioni adeguate. Il modello IA non è il collo di bottiglia. La fase di decodifica lo è.
JPEG 2000 è il principale formato di compressione nell'osservazione della Terra, utilizzato da Sentinel-2, USGS, Maxar e praticamente da tutte le principali fonti di dati satellitari. Le singole scene non compresse solitamente superano i 10 GB. Su una pipeline CPU standard, la decodifica di una scena satellitare di 26 GB richiedeva oltre cinque minuti. Questo non è un piccolo inconveniente. È un blocco della pipeline che interrompe i flussi di lavoro di analisi iterativa e rende effettivamente impossibile l'esplorazione interattiva di grandi scene.
Lo stesso collo di bottiglia affligge la patologia digitale e il cinema digitale, ovvero qualsiasi dominio che adotta il JPEG 2000 come standard e i cui volumi di dati sono cresciuti più rapidamente rispetto agli strumenti sviluppati per gestirli. Per i clienti di CYRAN, operanti in settori quali Industria 4.0, difesa e intelligenza sovrana, dove l'uso del cloud non è possibile, l'unica strada percorribile era rappresentata da una soluzione hardware locale in grado di decodificare immagini gigapixel a velocità interattive. Quello che serviva era un hardware in grado di stare al passo con i sensori.
Cyran AI Solutions
Inferenza IA all'edge su immagini satellitari utilizzando Cyran SpatialFuse su NVIDIA DGX Spark.
Eliminare il collo di bottiglia nascosto con PixelFlux
La risposta era l'architettura di NVIDIA DGX Spark. Basata sulla piattaforma GB10 con una GPU NVIDIA Blackwell e una CPU NVIDIA Grace™ che condividono un pool di memoria LPDDR5X unificato, DGX Spark offriva due proprietà che nessuna workstation con GPU dedicata poteva eguagliare per questo carico di lavoro.
La prima era la decodifica JPEG 2000 accelerata da GPU. NVIDIA nvJPEG2000 sposta le fasi più impegnative dal punto di vista computazionale della decodifica delle immagini dalla CPU alla GPU, consentendo un throughput che le pipeline basate su CPU semplicemente non possono eguagliare con il volume di dati di osservazione della Terra.
La seconda era la memoria unificata. In una configurazione di GPU dedicata, persino con una NVIDIA RTX™ A6000 Ada di fascia alta, i buffer di immagini decodificate devono essere copiati di nuovo nella memoria host su PCIe dopo l'elaborazione della GPU. Su NVIDIA DGX Spark, la GPU e la CPU condividono lo stesso pool di memoria, quindi i dati delle immagini decodificate sono immediatamente disponibili eliminando la fase di trasferimento. L'eliminazione dell'overhead diventa ancora più preziosa con l'aumentare delle dimensioni delle immagini, che è precisamente il regime che conta per i carichi di lavoro geospaziali gigapixel.
CYRAN ha reso operativo questo stack di capacità in PixelFlux, una libreria di decodifica JPEG 2000 accelerata da GPU basata su NVIDIA nvJPEG2000. PixelFlux sostituisce completamente il percorso di decodifica basato su CPU, restituendo i dati delle immagini decodificate subito pronti all'uso, senza l'onere del trasferimento su DGX Spark.
Per le pipeline di addestramento di machine learning, PixelFlux si integra con NVIDIA DALI per far sì che la GPU sia continuamente alimentata dallo storage locale, impedendo che la pre-elaborazione della CPU diventi il collo di bottiglia. L'intera soluzione viene eseguita su hardware e software NVIDIA standard, senza bisogno di infrastruttura di terze parti.
Dal blocco della pipeline all'analisi interattiva
I risultati sono inequivocabili. Una scena satellitare di 26 GB che prima richiedeva oltre cinque minuti per la decodifica della CPU ora viene completata in poco più di due minuti su NVIDIA DGX Spark, in un sistema abbastanza compatto da poter essere distribuito presso un centro operativo avanzato o in un ambiente sicuro e air-gapped.
Risultati del benchmark (uint16 RGB a 3 bande, media ± dev. std., N=10 esecuzioni)
“L'architettura di memoria unificata di NVIDIA DGX Spark è un miglioramento rivoluzionario: elimina un collo di bottiglia di calcolo fondamentale a livello di hardware dalle pipeline di elaborazione geospaziale. ” L'ulteriore integrazione della piattaforma SpatialFuse sviluppata internamente da CYRAN con Spark offre nuove soluzioni full-stack ottimizzate per l'elaborazione GeoAI end-to-end, dall'orbita alle stazioni di terra.
— Dr. Vivek Parmar, CTO, CYRAN AI Solutions
| Image (HxW) | Compressed | Uncompressed | CPU | A6000 Ada | DGX Spark | vs CPU | vs A6000 Ada |
|---|---|---|---|---|---|---|---|
| 2,654 x 6,152 | 38 MB | 93 MB | 1.39s | 0.53s | 0.56s | 2.42x | 1.15x |
| 2,654 x 34,816 | 179 MB | 528 MB | 4.86s | 2.74s | 1.57s | 3.12x | 1.92x |
| 34,816 x 34,816 | 2,862 MB | 6,936 MB | 65.67s | 35.44s | 16.32s | 2.41x | 2.02x |
| 117,504 x 39,168 | 1,333 MB | 26,335 MB | 298.56s | 210.77s | 115.11s | 2.33x | 1.59x |
Tutti i tempi in secondi. DGX Spark è leader a ogni livello.
Il divario di prestazioni si accentua con le dimensioni dell'immagine, ed è proprio questo il punto. Rispetto a NVIDIA RTX A6000 Ada, NVIDIA DGX Spark vince di 1,15 volte nella scena di test più piccola. Da mezzo gigabyte in su, il vantaggio cresce a oltre 2 volte, e continua ad aumentare. Più grande è l'immagine, più tempo serve a una workstation convenzionale per il trasferimento dei dati, tempo che l'architettura a memoria unificata di DGX Spark elimina del tutto.
L'impatto aziendale va oltre la semplice capacità di throughput. I cicli di sviluppo e debug che prima richiedevano un'infrastruttura cloud o server multi-GPU ora vengono eseguiti su una scrivania. Gli analisti e gli ingegneri di machine learning di CYRAN possono eseguire per la prima volta analisi di grandi scene realmente interattive su hardware locale. Per i clienti dell'Industria 4.0, della difesa e dell'intelligence sovrana per i quali l'adozione di un'infrastruttura cloud non è possibile, questa capacità non è una comodità, ma una necessità. I risultati hanno sostenuto la tesi a favore di qualcosa di più grande.
L'edge si estende all'orbita
CYRAN ora continua a sviluppare basandosi sui risultati di PixelFlux. La libreria nvJPEG2000 è portatile nelle distribuzioni per cloud e data center basate su NVIDIA Blackwell, il che significa che le pipeline sviluppate e convalidate localmente su NVIDIA DGX Spark possono essere estese agli ambienti cloud e data center senza bisogno di rilavorazioni, segnando un percorso diretto dal prototipo edge alla produzione.
Oltre all'intelligenza terrestre, CYRAN sta esplorando il porting delle capacità di edge IA all'avanguardia su satelliti e payload spaziali avanzati per l'inferenza in orbita, come afferma il fondatore Prof. Manan Suri. Con la rapida espansione del numero di sensori spaziali, i vincoli di calcolo in orbita sono ancora più severi che all'edge. Qui si applicano direttamente gli stessi principi architettonici alla base dell'efficacia di NVIDIA DGX Spark: elaborazione locale rapida, uso efficiente della memoria e hardware progettato per ambienti vincolati.
In qualità di membro continuativo del programma NVIDIA Inception, CYRAN opera alla frontiera dell'IA geospaziale, dell'edge computing e dell'intelligenza spaziale, e l'architettura alla base di PixelFlux è il fondamento su cui l'azienda sta costruendo il proprio futuro. Quello che era iniziato come un problema di decodifica di cinque minuti è diventato la prova che l'intero stack di intelligenza geospaziale, dal sensore all'analisi, può essere eseguito ovunque.
CYRAN AI Solutions è membro del programma NVIDIA Inception e uno spin-off dell'IIT Delhi. Scopri di più su cyran.in.
Scopri come NVIDIA DGX Spark trasforma i flussi di lavoro geospaziali.