Acceleratore convergente NVIDIA H100 CNX

Prestazioni senza precedenti per carichi di lavoro ad alta intensità di I/O basati su GPU.

Accelerazione di calcolo e rete unificate

Scopri le prestazioni senza precedenti dell'accelerazione convergente. NVIDIA H100 CNX combina la potenza della GPU NVIDIA H100 Tensor Core con le funzionalità di networking avanzate della scheda di interfaccia di rete intelligente NVIDIA® ConnectX®-7 (SmartNIC) per accelerare i carichi di lavoro ad alta intensità di input/output (I/O), come il training IA distribuito nel data center aziendale e l'elaborazione 5G sui sistemi periferici.

Prestazioni I/O superiori

Prestazioni I/O superiori

NVIDIA H100 e ConnectX-7 sono connessi tramite uno switch PCIe Gen5 integrato, che offre un percorso dedicato ad alta velocità per il trasferimento di dati tra GPU e rete. Questo elimina i colli di bottiglia dei dati che attraversano l'host e fornisce una latenza bassa e prevedibile, importante per le applicazioni in cui il tempo è un fattore critico, come l'elaborazione del segnale 5G.

Design bilanciato e ottimizzato

Design bilanciato e ottimizzato

L’integrazione GPU e SmartNIC in un singolo dispositivo crea un'architettura bilanciata. Nei sistemi in cui occorrono più GPU, una scheda acceleratore convergente applica il rapporto ottimale 1:1 tra GPU e NIC.  Il design inoltre evita conflitti sul bus PCIe del server, per cui le prestazioni scalano in modo lineare con i dispositivi aggiuntivi.

Risparmio sui costi

Risparmio sui costi

Poiché GPU e SmartNIC sono connesse direttamente, i clienti possono sfruttare i server PCIe Gen4 mainstream o Gen3 per raggiungere un livello di prestazioni possibile solo con sistemi di fascia alta o specifici.  L'uso di una singola scheda consente inoltre di risparmiare energia, spazio e slot del dispositivo PCIe, consentendo un ulteriore risparmio sui costi e un numero maggiore di acceleratori per server.

Compatibilità con le applicazioni

Compatibilità con le applicazioni

Le librerie software di accelerazione di base come NVIDIA Collective Communications Library (NCCL) e Unified Communication X (UCX®) utilizzano automaticamente il percorso più performante per il trasferimento dei dati alle GPU. Di conseguenza, le applicazioni multinodo accelerate esistenti possono utilizzare H100 CNX senza alcuna modifica, offrendo vantaggi immediati.

Sistemi IA più veloci ed efficienti

Training IA multinodo distribuito

Training IA multinodo distribuito

Quando si eseguono carichi di lavoro di training IA distribuiti che comportano trasferimenti di dati tra GPU su host diversi, si verificano spesso limitazioni in termini di prestazioni, scalabilità e densità sui server. I tipici server aziendali non includono uno switch PCIe, quindi la CPU diventa un collo di bottiglia per questo traffico, soprattutto per le macchine virtuali. I trasferimenti di dati sono legati dalla velocità del backplane PCIe host. I conflitti possono essere causati da uno squilibrio tra il numero di GPU e NIC. Sebbene il rapporto uno a uno sia ideale, il numero di vie e slot PCIe nel server può limitare il numero totale di dispositivi.

L'H100 CNX allevia questo problema. Con un percorso dedicato dalla rete alla GPU, consente a GPUDirect® RDMA di operare a velocità vicine alla linea. Il trasferimento dei dati avviene anche a velocità PCIe Gen5 a prescindere dal backplane PCIe host. La scalabilità della potenza della GPU su un host può essere eseguita in modo bilanciato, poiché si ottiene il rapporto GPU-NIC ideale. Un server può anche essere dotato di maggiore potenza di accelerazione, perché gli acceleratori convergenti richiedono meno vie PCIe e slot del dispositivo rispetto alle schede discrete.

Accelerare l'IA Edge su 5G

NVIDIA AI-on-5G si basa sulla piattaforma aziendale NVIDIA EGX, NVIDIA Aerial SDK per reti radio virtuali 5G software-defined (vRAN) e framework IA aziendali, inclusi SDK come NVIDIA Isaac e NVIDIA Metropolis. Questa piattaforma consente ai dispositivi Edge come videocamere, sensori industriali e robot di utilizzare l'intelligenza artificiale per comunicare con i server tramite 5G.

Gli acceleratori convergenti NVIDIA forniscono la piattaforma più performante per l'esecuzione di applicazioni 5G. Poiché i dati non devono passare attraverso il sistema PCIe host, la latenza di elaborazione è notevolmente ridotta. Lo stesso acceleratore convergente utilizzata per accelerare l'elaborazione del segnale 5G può essere utilizzata anche per l'IA Edge, con la tecnologia Multi-Instance GPU (MIG) di NVIDIA che consente di condividere la GPU tra diverse applicazioni. La H100 CNX consente di fornire tutte queste funzionalità in un unico server aziendale, senza dover implementare sistemi appositi e più costosi.

NVIDIA AI-on-5G

Specifiche H100 CNX

  Specifiche
Memoria della GPU HBM2e da 80 GB
Banda di memoria > 2,0 TB/s
Istanze MIG 7 istanze GPU a 10 GB ciascuna
3 istanze GPU a 20 GB ciascuna
2 istanze GPU a 40 GB ciascuna
Interconnessione PCIe Gen5: 128 GB/s
Bridge NVLink Bidirezionale
Networking 1 x 400 Gb/s, 2 porte 200Gb/s, Ethernet o InfiniBand
Fattore di forma Doppio slot, full-height, full-length (FHFL)
Potenza massima 350 W

Approfondisci l'architettura NVIDIA Hopper