Supercomputer NVIDIA HGX AI

La più potente piattaforma di supercomputing IA end-to-end

Progettata appositamente per la convergenza di simulazioni, analisi dei dati e IA

Set di dati massicci, dimensioni esplosive dei modelli e simulazioni complesse richiedono più GPU con connessioni estremamente veloci e stack software completamente accelerato. La piattaforma di supercomputing NVIDIA HGX AI mette insieme tutta la potenza delle GPU NVIDIA, NVIDIA® NVLink®, il networking di NVIDIA Infiniband e uno stack software NVIDIA AI e HPC completamente ottimizzato disponibile dal catalogo NVIDIA NGC per garantire le massime prestazioni applicative. Con le sue prestazioni e la sua flessibilità end-to-end, NVIDIA HGX permette a ricercatori e scienziati di combinare simulazioni, analisi dei dati e IA guidare il progresso nella scienza.

Piattaforma completa di computing accelerato senza pari

NVIDIA HGX combina GPU NVIDIA A100 Tensor Core con interconnessioni ad alta velocità per creare i server più potenti al mondo. Con 16 GPU A100, HGX arriva a 1,3 terabyte (TB) di memoria GPU e oltre 2 terabyte al secondo (TB/sec) di banda di memoria, per un'accelerazione senza precedenti.

Rispetto alla precedenti generazioni, HGX offre un'accelerazione IA fino a 20 volte superiore con Tensor Float 32 (TF32) e una velocità di 2,5 superiore in HPC con FP64. NVIDIA HGX offre fino a 10 petaFLOPS, creando la piattaforma server scale-up accelerata più potente al mondo per IA e HPC.

Completamente testata e semplice da distribuire, HGX si integra nei server dei partner per fornire prestazioni garantite. La piattaforma HGX è disponibile in configurazioni da 4 GPU e 8 GPU HGX con GPU SXM e con GPU PCIe per una distribuzione modulare che garantisce le massime prestazioni di calcolo sui server mainstream.

HGX Stack

NVIDIA HGX A100 (con 8 GPU A100)

NVIDIA HGX A100 (con 8 GPU A100)

NVIDIA HGX A100 (con 4 GPU A100)

NVIDIA HGX A100 (con 4 GPU A100)

Prestazioni in deep learning

Training IA fino a 3 volte superiore sui modelli più grandi

Training DLRM

Training IA fino a 3 volte superiore sui modelli più grandi

I modelli di deep learning stanno esplodendo in termini di dimensioni e complessità e richiedono un sistema con grandi quantità di memoria, una potenza di calcolo enorme e interconnessioni veloci per assicurare la scalabilità. Grazie a NVIDIA® NVSwitch™ che offre alta velocità e comunicazione tra tutte le GPU, HGX A100 è in grado di gestire i modelli IA più avanzati. Con le GPU A100 80GB, la memoria della GPU è raddoppiata, offrendo fino a 1,3 TB di memoria in un singolo HGX A100. I carichi di lavoro emergenti con modelli di grandi dimensioni, come i DLRM (modelli di raccomandazioni basati su deep learning), con di enormi tabelle di dati, vengono accelerati fino a 3 volte su HGX basati su GPU A100 40GB.

Prestazioni in machine learning

2 volte più veloce rispetto ad A100 40GB su benchmark di analisi dei big data

2X Faster than A100 40GB on Big Data Analytics Benchmark

I modelli di machine learning richiedono caricamento, conversione ed elaborazione di set di dati molto voluminosi per ricavare informazioni essenziali. Con fino a 1,3 TB di memoria unificata e le comunicazioni tramite GPU con NVSwitch, HGX basata su GPU A100 80GB offre la capacità di caricare ed eseguire calcoli su enormi set di dati per ricavare informazioni fruibili rapidamente.

Su un benchmark di analisi dei big data, la A100 80GB ha fornito informazioni con un throughput 2 volte superiore rispetto alla A100 40GB, il che la rende ideale per i carichi di lavoro emergenti con dimensioni di set di dati in esplosione

Prestazioni in HPC

Le applicazioni HPC devono eseguire un'enorme quantità di calcoli al secondo. L'aumento della densità di ciascun nodo server riduce significativamente il numero di server necessari, con enormi risparmi di costi, alimentazione e spazio nel data center. Per le simulazioni, la moltiplicazione di matrici ad alta dimensione richiede un processore che recuperi i dati dai sistemi connessi per il calcolo, il che rende la connessione delle GPU tramite NVIDIA NVLink l'opzione ideale. Le applicazioni HPC possono inoltre sfruttare la precisione TF32 della A100 per ottenere un throughput fino a 11 volte superiore in quattro anni per operazioni di moltiplicazione a matrici intense a precisione singola.

Un sistema HGX A100 basato su GPU A100 80GB garantisce un throughput 2 volte superiore rispetto alle GPU A100 40GB su Quantum Espresso, una simulazione di materiali, aumentando i tempi di recupero delle informazioni.

Prestazioni HPC 11 volte superiori in quattro anni

Principali applicazioni HPC

Prestazioni HPC 11 volte superiori  in quattro anni

Prestazioni fino a 1,8 volte superiori per applicazioni HPC

Quantum Espresso​

Prestazioni fino a 1,8 volte superiori  per applicazioni HPC

Specifiche di NVIDIA HGX

NVIDIA HGX è disponibile in schede di base singole con quatto o otto GPU H100 e 80 GB di memoria della GPU o  GPU A100, ciascuna con 40 GB o 80 GB di memoria della GPU. La configurazione a 4 GPU è completamente interconnessa con NVLink e la configurazione a 8 GPU è interconnessa con NVIDIA NVSwitch. È possibile combinare fino a 32 sistemi HGX H100 a 8 GPU per cluster di dimensioni fino a 256 GPU utilizzando il sistema switch NVIDIA NVLink. Le schede base del server HGX A100 a 8 GPU possono essere combinate utilizzando un'interconnessione NVSwitch per creare un potente nodo singolo a 16 GPU.

HGX è disponibile anche in fattore di forma PCIe per una semplice distribuzione di tipo modulare, che offre le massime prestazioni di calcolo su server mainstream.

Questa potente combinazione di hardware e software pone le basi per la piattaforma di supercomputing IA definitiva.

  HGX H100
  H100 PCIe 4 GPU 8 GPU 256 GPU
GPU 1 x NVIDIA H100 PCIe HGX H100 4 GPU HGX H100 8 GPU 32 NVIDIA H100 SXM 8 nodi collegati tramite il sistema switch NVLink
Fattore di forma PCIe 4 x NVIDIA H100 SXM 8 x NVIDIA H100 SXM 16 x NVIDIA H100 SXM
HPC e calcolo IA (FP64/TF32/FP16/FP8/INT8) 48TF/800TF/1.6PF/3.2PF/3.2 POPS 240TF/4PF/8PF/16PF/16POPS 480TF/8PF/16PF/32PF/32POPS 15PF/256PF/512PF/1EF/1EOPS
Memoria 80 GB per GPU Fino a 320 GB Fino a 640 GB Fino a 20 TB
NVLink Quarta generazione Quarta generazione Quarta generazione Quarta generazione
NVSwitch N/D N/D Terza generazione Terza generazione
NVLink Switch N/D N/D N/D Prima generazione
Banda GPU-GPU NVSwitch N/D N/D 900 GB/s 900 GB/s
Banda totale aggregata 900 GB/s 3,6 TB/s 7,2 TB/s 57,6 TB/s
  HGX A100
  A100 PCIe 4 GPU 8 GPU 16 GPU
GPU 1 x NVIDIA A100 PCIe HGX A100 4-GPU HGX A100 8-GPU 2 x HGX A100 8-GPU
Fattore di forma PCIe 4 x NVIDIA A100 SXM 8 x NVIDIA A100 SXM 16 x NVIDIA A100 SXM
HPC e calcolo IA (FP64/TF32/FP16/INT8) 19.5TF/312TF/624TF/1.2POPS 78TF/1.25PF/2.5PF/5POPS 156TF/2.5PF/5PF/10POPS 312TF/5PF/10PF/20POPS
Memoria 80 GB per GPU Fino a 320 GB Fino a 640 GB Fino a 1.280 GB
NVLink Terza generazione Terza generazione Terza generazione Terza generazione
NVSwitch N/D N/D Seconda generazione Seconda generazione
Banda GPU-GPU NVSwitch N/D N/D 600 GB/s 600 GB/s
Banda totale aggregata 600 GB/s 2,4 TB/s 4,8 TB/s 9,6 TB/s

Accelerare HGX con NVIDIA Networking

Con HGX, è anche possibile includere la rete NVIDIA per accelerare e ridurre il carico dei trasferimenti di dati, garantendo un utilizzo razionalizzato delle risorse informatiche. Gli adattatori e gli switch smart riducono la latenza, aumentano l'efficienza, migliorano la sicurezza e semplificano l'automazione nel data center per accelerare le prestazioni complessive delle applicazioni.

Il data center è la nuova unità di calcolo e la rete HPC svolge un ruolo fondamentale per la scalabilità delle prestazioni applicative. NVIDIA InfiniBand sta spianando la strada con il networking software-defined, l'accelerazione del calcolo in rete, l'accesso diretto alla memoria remota (RDMA) e con velocità e feed più rapidi.

Architetture di riferimento per HGX-1 e HGX-2

Basate su GPU NVIDIA e NVLINK

NVIDIA HGX-1 e HGX-2 sono architetture di riferimento che standardizzano la progettazione di data center che accelerano L'IA e l'HPC. Basate su schede NVIDIA SXM2 V100, con tecnologie di interconnessione NVIDIA NVLink e NVSwitch, le architetture di riferimento HGX vantano un design modulare che funziona perfettamente nei data center hyperscale e ibridi per fornire fino a 2 petaFLOPS di potenza di calcolo per un percorso semplice e rapido per IA e HPC.

Basate su GPU NVIDIA e NVLINK

Specifiche tecniche

8-GPU
HGX-1 
16-GPU
HGX-2 
GPUs 8x NVIDIA V100 16x NVIDIA V100
Elaborazione IA 1 petaFLOPS (FP16) 2 petaFLOPS (FP16)
Memoria 256 GB 512 GB
NVLink Seconda generazione Seconda generazione
NVSwitch N/A
Banda GPU-GPU NVSwitch N/A 300 GB/s
Banda totale aggregata 2,4 TB/s 4,8 TB/s

Scopri di più sulla GPU NVIDIA A100