NVIDIA HGX A100

La più potente piattaforma di supercomputing IA end-to-end

Progettata appositamente per la convergenza di simulazioni, analisi dei dati e IA

Set di dati massicci, dimensioni esplosive dei modelli e simulazioni complesse richiedono più GPU con connessioni estremamente veloci. La piattaforma NVIDIA HGX™ mette insieme tutta la potenza delle GPU NVIDIA, NVIDIA® NVLink®, il networking di NVIDIA Mellanox® Infiniband® e uno stack software NVIDIA AI e HPC completamente ottimizzato disponibile da NGC™ per garantire le massime prestazioni applicative. Con le sue prestazioni e la sua flessibilità end-to-end, NVIDIA HGX permette a ricercatori e scienziati di combinare simulazioni, analisi dei dati e IA per progredire nella scienza.

Piattaforma di calcolo accelerato senza pari

NVIDIA HGX A100 combina GPU NVIDIA A100 Tensor Core con interconnessioni ad alta velocità per creare i server più potenti al mondo. Con le GPU A100 80GB, un singolo HGX A100 ha fino a 1,3 terabyte (TB) di memoria GPU e oltre 2 terabyte al secondo (TB/sec) di banda di memoria, offrendo un'accelerazione senza precedenti.

HGX A100 offre un'accelerazione IA fino a 20 volte superiore rispetto alle generazioni precedenti con Tensor Float 32 (TF32) e una velocità di 2,5 superiore in HPC con FP64. Completamente testata e semplice da distribuire, HGX A100 si integra nei server dei partner per fornire prestazioni garantite. NVIDIA HGX A100 a 16 GPU offre fino a 10 petaFLOPS, creando la piattaforma server scale-up accelerata più potente al mondo per IA e HPC.

Scheda tecnica NVIDIA HGX A100 (PDF 418 KB)

NVIDIA HGX A100 (con 8 GPU A100)

NVIDIA HGX A100 (con 8 GPU A100)

NVIDIA HGX A100 (con 4 GPU A100)

NVIDIA HGX A100 (con 4 GPU A100)

Prestazioni in deep learning

Training IA fino a 3 volte superiore sui modelli più grandi

Training DLRM

Training IA fino a 3 volte superiore sui modelli più grandi

DLRM su framework HugeCTR, precisione = FP16 | Dimensioni batch NVIDIA A100 80GB = 48 | Dimensioni batch NVIDIA A100 40GB = 32 | Dimensioni batch NVIDIA V100 32GB = 32.

I modelli di deep learning stanno esplodendo in termini di dimensioni e complessità e richiedono un sistema con grandi quantità di memoria, una potenza di calcolo enorme e interconnessioni veloci per assicurare la scalabilità. Grazie a NVIDIA® NVSwitch™ che offre alta velocità e comunicazione tra tutte le GPU, HGX A100 è in grado di gestire i modelli IA più avanzati. Con le GPU A100 80GB, la memoria della GPU è raddoppiata, offrendo fino a 1,3 TB di memoria in un singolo HGX A100. I carichi di lavoro emergenti con modelli di grandi dimensioni, come i DLRM (modelli di raccomandazioni basati su deep learning), con di enormi tabelle di dati, vengono accelerati fino a 3 volte su HGX basati su GPU A100 40GB.

Prestazioni in machine learning

Fino a 83 volte più veloce rispetto alla CPU, 2 volte più veloce rispetto a A100 40GB su benchmark di analisi dei big data

Fino a 83 volte più veloce rispetto alla CPU, 2 volte più veloce rispetto a A100 40GB su benchmark di analisi dei big data

Benchmark di analisi dei big data | 30 query retail analitiche, ETL, ML, NLP su dataset da 10 TB | CPU: Intel Xeon Gold 6252 2.10 GHz, Hadoop | V100 32GB, RAPIDS/Dask | A100 40GB e A100 80GB, RAPIDS/Dask/BlazingSQL

I modelli di machine learning richiedono caricamento, conversione ed elaborazione di set di dati molto voluminosi per ricavare informazioni essenziali. Con fino a 1,3 TB di memoria unificata e le comunicazioni tramite GPU con NVSwitch, HGX A100 basata su GPU A100 80GB offre la capacità di caricare ed eseguire calcoli su enormi set di dati per ricavare informazioni fruibili rapidamente.

Su un benchmark di analisi dei big data, A100 80GB ha fornito informazioni con un throughput 83 volte superiore rispetto alle CPU e prestazioni 2 volte superiori rispetto alla A100 40GB, il che la rende ideale per i carichi di lavoro emergenti con dimensioni di set di dati in esplosione.

Prestazioni in HPC

Le applicazioni HPC devono eseguire un'enorme quantità di calcoli al secondo. L'aumento della densità di ciascun nodo server riduce significativamente il numero di server necessari, con enormi risparmi di costi, alimentazione e spazio nel data center. Per le simulazioni, la moltiplicazione di matrici ad alta dimensione richiede un processore che recuperi i dati dai sistemi connessi per il calcolo, il che rende la connessione delle GPU tramite NVIDIA NVLink l'opzione ideale. Le applicazioni HPC possono inoltre sfruttare la precisione TF32 della A100 per ottenere un throughput fino a 11 volte superiore in quattro anni per operazioni di moltiplicazione a matrici intense a precisione singola.

Un sistema HGX A100 basato su GPU A100 80GB garantisce un throughput 2 volte superiore rispetto alle GPU A100 40GB su Quantum Espresso, una simulazione di materiali, aumentando i tempi di recupero delle informazioni.

Prestazioni HPC 11 volte superiori in quattro anni

Principali applicazioni HPC

Prestazioni HPC 11 volte superiori in quattro anni

Media geometrica di accelerazioni dell'applicazione rispetto a P100: applicazione benchmark: Amber [PME-Cellulose_NVE], Chroma [szscl21_24_128], GROMACS [ADH Dodec], MILC [Apex Medium], NAMD [stmv_nve_cuda], PyTorch (BERT Large Fine Tuner], Quantum Espresso [AUSURF112-jR]; Random Forest FP32 [make_blobs (160000 x 64: 10)], TensorFlow [ResNet-50], VASP 6 [Si Huge], | Nodo GPU con CPU dual-socket con 4 GPU NVIDIA P100, V100 o A100.

Prestazioni fino a 1,8 volte superiori per applicazioni HPC

Quantum Espresso​

Prestazioni fino a 1,8 volte superiori per applicazioni HPC

Quantum Espresso misurato con dataset CNT10POR8, precisione = FP64.

Specifiche di HGX A100

HGX A100 è disponibile in schede di base singole con quattro o otto GPU A100. La configurazione a quattro GPU è completamente interconnessa con NVLink e la configurazione a otto GPU è interconnessa con NVSwitch. Due schede base HGX A100 a otto GPU possono anche essere combinate utilizzando un'interconnessione NVSwitch per creare un potente nodo singolo da 16 GPU.

4-GPU 8-GPU 16-GPU
GPU 4x NVIDIA A100 8x NVIDIA A100 16x NVIDIA A100
Elaborazione IA/HPC FP64/TF32*/FP16*/INT8* 78TF/1.25PF*/2.5PF*/5POPS* 156TF/2.5PF*/5PF*/10POPS* 312TF/5PF*/10PF*/20POPS*
Memoria Fino a 320 GB Fino a 640 GB Fino a 1.280 GB
NVIDIA NVLink Terza generazione Terza generazione Terza generazione
NVIDIA NVSwitch N/A Seconda generazione Seconda generazione
NVIDIA Banda GPU-GPU NVSwitch N/A 600 GB/s 600 GB/s
Banda totale aggregata 2,4 TB/s 4,8 TB/s 9,6 TB/s

* Con densità

Architetture di riferimento per HGX-1 e HGX-2

Basate su GPU NVIDIA e NVLINK

NVIDIA HGX-1 e HGX-2 sono architetture di riferimento che standardizzano la progettazione di data center che accelerano L'IA e l'HPC. Basate su schede NVIDIA SXM2 V100, con tecnologie di interconnessione NVIDIA NVLink e NVSwitch, le architetture di riferimento HGX vantano un design modulare che funziona perfettamente nei data center hyperscale e ibridi per fornire fino a 2 petaFLOPS di potenza di calcolo per un percorso semplice e rapido per IA e HPC.

Basate su GPU NVIDIA e NVLINK

Specifiche tecniche

8-GPU
HGX-1  		16-GPU
HGX-2 
GPUs 8x NVIDIA V100 16x NVIDIA V100
Elaborazione IA 1 petaFLOPS (FP16) 2 petaFLOPS (FP16)
Memoria 256 GB 512 GB
NVLink Seconda generazione Seconda generazione
NVSwitch N/A Sì
Banda GPU-GPU NVSwitch N/A 300 GB/s
Banda totale aggregata 2,4 TB/s 4,8 TB/s

Dentro l'architettura NVIDIA Ampere

Leggi questo approfondimento tecnico per scoprire le novità dell'architettura NVIDIA Ampere e la sua implementazione nella GPU NVIDIA A100.

Leggi il blog
Prodotti
Tecnologie
Software
Risorse