NVIDIA HGX A100

Basati su GPU NVIDIA A100 Tensor Core, NVLink e NVSwitch

La piattaforma server accelerata più potente per IA e HPC

Set di dati massicci nel machine learning, dimensioni esplosive dei modelli di deep learning e simulazioni complesse nel calcolo ad alte prestazioni (HPC) richiedono più GPU con connessioni estremamente veloci. NVIDIA HGX A100 combina più GPU NVIDIA A100 Tensor Core con il nuovo NVIDIA® NVLink® e le interconnessioni ad alta velocità NVSwitch™ per creare i server scale-up più potenti al mondo. Una scheda base completamente testata e semplice da distribuire, la HGX A100 si integra nei server dei partner per fornire prestazioni garantite.

Accelerazioni senza pari in ogni ordine di grandezza

Sfruttando la potenza dei Tensor Core di terza generazione, HGX A100 offre un'accelerazione IA fino a 10 volte superiore con Tensor Float 32 (TF32) e una velocità di 2,5 superiore in HPC con FP64. Il sistema NVIDIA HGX A100 a 4 GPU offre quasi 80 teraFLOPS in precisione FP64 per i carichi di lavoro HPC più esigenti. Il sistema NVIDIA HGX A100 a 8 GPU offre 5 petaFLOPS in precisione FP16 per l'elaborazione del deep learning, mentre il HGX A100 a 16 GPU offre fino a 10 petaFLOPS, creando la piattaforma server scale-up accelerata più potente al mondo per IA e HPC.

NVIDIA HGX A100 (con 8 GPU A100)

NVIDIA HGX A100 (con 8 GPU A100)

NVIDIA HGX A100 (con 4 GPU A100)

NVIDIA HGX A100 (con 4 GPU A100)

Prestazioni immediate fino a 6 volte superiori con TF32 per training con IA

Training con BERT

Produttività pre-training su BERT utilizzando Pytorch, con (2/3) Fase 1 e (1/3) Fase 2 | Fase 1 Seq Len = 128, Fase 2 Seq Len = 512; V100: server NVIDIA DGX-1™ con 8 x V100 in precisione FP32; A100: server DGX A100 con 8 x A100 in precisione TF32. ​

Prestazioni in deep learning

I modelli deep learning diventano sempre più complessi e richiedono ampia memoria, più GPU e una connessione estremamente veloce affinché le GPU possano funzionare. Con NVIDIA® NVSwitch™ che collega tutte e GPU e la memoria unificata, HGX A100 fornisce la potenza per gestire questi nuovi modelli per training più veloce con IA avanzata. Una singola HGX A100 sostituisce XXX server con CPU, per un risparmio significativo di costi, spazio ed energia nel data center.

Prestazioni in machine learning

I modelli di machine learning richiedono caricamento, conversione ed elaborazione di set di dati molto voluminosi per ricavare informazioni fruibili. Con mezzo terabyte di memoria unificata e le comunicazioni tramite GPU con NVSwitch, HGX A100 offre la potenza per caricare ed eseguire calcoli su enormi set di dati per ricavare informazioni fruibili rapidamente.

Prestazioni in machine learning

Prestazioni HPC 9 volte superiori in 4 anni

Produttività delle principali app HPC​

Inferenza BERT Large | NVIDIA TensorRT™ (TRT) 7.1 | GPU NVIDIA T4 Tensor Core: TRT 7.1, precisione = INT8, dimensioni batch = 256 | V100: TRT 7.1, precisione = FP16, dimensioni batch = 256 | A100 con 1 o 7 istanze MIG di 1g.5gb: dimensioni batch = 94, precisione = INT8 con dispersione.​​

Prestazioni in HPC

Le applicazioni HPC richiedono una potenza di elaborazione adatta per eseguire un'elevata quantità di calcoli al secondo. L'aumento della densità di ciascun nodo server riduce significativamente il numero di server necessari, con enormi risparmi di costi, alimentazione e spazio nel data center. Per le simulazioni HPC, la moltiplicazione di matrici ad alta dimensione richiede un processore che recuperi i dati dai sistemi connessi per il calcolo, il che rende la connessione delle GPU tramite NVLink l'opzione ideale. Un singolo sistema NVIDIA HGX A100 a 8 GPU offre prestazioni di training fino a 6 volte superiori e prestazioni di inferenza con IA fino a 7 volte superiori, rispetto ai sistemi HGX basati su NVIDIA Volta™ di generazione precedente.

La piattaforma end-to-end per data center IA e HPC più potente

La soluzione per data center NVIDIA completa integra strumenti hardware, di rete, software, librerie, modelli e applicazioni IA ottimizzati dall' NGC™. Come piattaforma IA e HPC completa più potente per data center, consente ai ricercatori di fornire risultati in tempo reale e distribuire soluzioni nell'ambiente di produzione in modo scalabile.

Specifiche di HGX A100

HGX A100 è disponibile in schede di base singole con quattro o otto GPU A100. La configurazione a quattro GPU è completamente interconnessa con NVLink e la configurazione a otto GPU è interconnessa con NVSwitch. Due schede base HGX A100 a otto GPU possono anche essere combinate utilizzando un'interconnessione NVSwitch per creare un potente nodo singolo da 16 GPU.

4-GPU 8-GPU 16-GPU
GPU 4x NVIDIA A100 8x NVIDIA A100 16x NVIDIA A100
Elaborazione IA/HPC FP64/TF32*/FP16*/INT8* 78TF/1.25PF*/2.5PF*/5POPS* 156TF/2.5PF*/5PF*/10POPS* 312TF/5PF*/10PF*/20POPS*
Memoria 160 GB 320 GB 640 GB
NVIDIA NVLink Terza generazione Terza generazione Terza generazione
NVIDIA NVSwitch N/A Seconda generazione Seconda generazione
NVIDIA Banda GPU-GPU NVSwitch N/A 600 GB/s 600 GB/s
Banda totale aggregata 2,4 TB/s 4,8 TB/s 9,6 TB/s

* With sparsity

Architetture di riferimento per HGX-1 e HGX-2

Basate su GPU NVIDIA e NVLINK

NVIDIA HGX-1 e HGX-2 sono architetture di riferimento che standardizzano la progettazione di data center che accelerano L'IA e l'HPC. Basate su schede NVIDIA SXM2 V100, con tecnologie di interconnessione NVIDIA NVLink e NVSwitch, le architetture di riferimento HGX vantano un design modulare che funziona perfettamente nei data center hyperscale e ibridi per fornire fino a 2 petaFLOPS di potenza di calcolo per un percorso semplice e rapido per IA e HPC.

Basate su GPU NVIDIA e NVLINK

Specifiche tecniche

8-GPU
HGX-1  		16-GPU
HGX-2 
GPUs 8x NVIDIA V100 16x NVIDIA V100
Elaborazione IA 1 petaFLOPS (FP16) 2 petaFLOPS (FP16)
Memoria 256 GB 512 GB
NVLink Seconda generazione Seconda generazione
NVSwitch N/A Sì
Banda GPU-GPU NVSwitch N/A 300 GB/s
Banda totale aggregata 2,4 TB/s 4,8 TB/s

Dentro l'architettura NVIDIA Ampere

Leggi questo approfondimento tecnico per scoprire le novità dell'architettura NVIDIA Ampere e la sua implementazione nella GPU NVIDIA A100.

Scopri di più

OTTIENI LE ULTIME NOVITÀ SUI DATA CENTER

Prodotti
Tecnologie
Risorse