AI in tempo reale sui sistemi periferici

Comunicazioni con i clienti in tempo reale. Adattamento rapido delle interazioni al flusso di dati da miliardi di sensori, dagli uffici aziendali alle sezioni del negozio. Diagnosi immediate delle patologie e per offrire ai pazienti cure salva-vita. Tutto questo è possibile: retail, produzione, trasporto,sanità e città intelligenti, con l'IA all'avanguardia e la piattaforma NVIDIA EGX, che porta la potenza dell'elaborazione IA accelerata nei sistemi periferici.

Alte prestazioni e scalabilità

EGX inizia con il piccolo NVIDIA® Jetson Nano, che con pochi watt è in grado di fornire mezzo trilione di operazioni al secondo (TOPS) nell'elaborazione di attività come il riconoscimento delle immagini. E continua fino alla gamma completa di server NVIDIA T4, che offrono oltre 10.000 TOPS per servire centinaia di utenti con funzionalità di riconoscimento del linguaggio in tempo reale e altre esperienze IA complesse.

IoT multi-cloud e ibrida

NVIDIA EGX è architetturalmente compatibile con l'elaborazione IA di NVIDIA offerta dai principali fornitori di servizi cloud. Tutte le applicazioni IA sviluppate nel cloud possono essere eseguite su NVIDIA EGX e vice versa. NVIDIA Edge Stack si connette ai principali servizi IoT cloud e i clienti possono gestire da remoto i servizi da AWS IoT Greengrass e Microsoft Azure IoT Edge.

Livello e sicurezza enterprise

NVIDIA Edge Stack è stata ottimizzata su Red Hat OpenShift, la piattaforma di organizzazione di container Kubernetes di livello enterprise. Le NIC Mellanox Smart sono in grado di ridurre il carico e accelerare la rete definita dal software per consentire un livello superiore di isolamento e sicurezza senza interferire con le prestazioni della CPU.

In Seagate, abbiamo sviluppato una soluzione di visione basata su GPU edge intelligente negli impianti di produzione per verificare la qualità delle testine di lettura e scrittura dell'hard disk. La piattaforma NVIDIA EGX accelera significativamente l'inferenza a livello periferico, permettendoci di individuare difetti minimi che gli operatori umani non riuscivano a intercettare in passato. Ci aspettiamo di ottenere un miglioramento della produttività fino al 10% e un aumento del ROI fino al 300% grazie alla maggiore efficienza e qualità.

— Bruce King, Data Scientist Senior Principale, Seagate Technology

L'IA è fondamentale per la sanità di precisione e deve essere disponibile in modo capillare dal cloud ai dispositivi periferici e direttamente sui dispositivi medicali. NVIDIA EGX permette a GE Healthcare di accelerare i tempi di acquisizione delle scansioni RM, migliora la qualità delle immagini e riduce la variabilità integrando le GPU NVIDIA T4 direttamente nei dispositivi medicali, aiutandoci a perseguire il nostro obiettivo di migliorare i risultati per i pazienti. I casi critici che necessitano di un intervento in tempo reale richiedono l'IA a livello periferico. Per questo abbiamo creato la nostra offerta di intelligence Edison e collaborato con NVIDIA per portare l'IA sui nostri dispositivi medicali e nelle applicazioni periferiche Edison. Ed è ancora per questo che lavoriamo con ACR AI-LAB per rendere l'IA sempre più accessibile.

— Jason Polzin, PhD, Direttore Generale delle applicazioni RM di GE Healthcare

Red Hat si impegna a fornire un'esperienza coerente per tutti i carichi di lavoro, ingombri e sedi, dal cloud ibrido ai dispositivi periferici. Abbinando le piattaforme Red Hat OpenShift e NVIDIA EGX, i clienti possono ottimizzare al meglio le operazioni distribuite con un ambiente coerente, ad alte prestazioni e basato sui container.

— Chris Wright, Direttore delle tecnologie, Red Hat

Le linee di produzione di PC Foxconn sono limitate dalla velocità dell'ispezione perché occorrono al momento quattro secondi per ispezionare manualmente ciascuna parte. Il nostro obiettivo è aumentare la produttività della linea di produzione di PC di oltre il 40%, utilizzando la piattaforma NVIDIA EGX per prendere decisioni intelligenti e in tempo reale per quanto riguarda i dispositivi periferici. Il nostro modello rileva e classifica 16 tipi di difetti e posizioni simultaneamente utilizzando reti neurali veloci eseguite su GPU NVIDIA, raggiungendo una precisione del 98% a una velocità sovrumana.

— Mark Chien, Direttore Generale, Foxconn D Group

Le NIC e gli switch Mellanox Smart offrono la connettività I/O ideale per l'accesso ai dati scalabile dai sistemi periferici ai data center hyperscale. La combinazione di alte prestazioni, bassa latenza e networking accelerato genera un nuovo tier di infrastruttura per il computing, fondamentale per accedere in modo efficiente ai dati e distribuirli secondo necessità per alimentare le soluzioni IA avanzate di nuova generazione sulle piattaforme periferiche come NVIDIA EGX.

— Michael Kagan, Direttore della tecnologia, Mellanox Technologies

Stack software di livello enterprise per i sistemi periferici

nvidia-egx-platform-software-stack-1cN-D

NVIDIA Edge Stack è uno stack software ottimizzato che include driver NVIDIA un plug-in CUDA® Kubernetes, un container runtime CUDA Docke, librerie CUDA-X e framework e applicazioni IA in container, tra cui NVIDIA TensorRT, TensorRT Inference Server e DeepStream. NVIDIA Edge Stack è ottimizzato per server certificati ed è scaricabile dal registro NVIDIA NGC.

PARTNER EGX

  • Edge Server
  • Edge Microserver

NVIDIA EGX IN AZIONE

Scopri di più sulla piattaforma di calcolo NVIDIA EGX per sistemi periferici.