GPU NVIDIA A100 Tensor Core

Accelerazioni senza precedenti in ogni ordine di grandezza

Accelerare il lavoro più importante del
nostro tempo

The NVIDIA A100 Tensor Core GPU delivers unprecedented acceleration at every scale for AI, data analytics, and high-performance computing (HPC) to tackle the world’s toughest computing challenges. As the engine of the NVIDIA data center platform, A100 can efficiently scale to thousands of GPUs or, with NVIDIA Multi-Instance GPU (MIG) technology, be partitioned into seven GPU instances to accelerate workloads of all sizes. And third-generation Tensor Cores accelerate every precision for diverse workloads, speeding time to insight and time to market.

NVIDIA A100 Datasheet (PDF 640 KB)
A100 PCIE Sintesi del prodotto(PDF 332 KB)

La piattaforma end-to-end per data center IA e HPC più potente

La A100 fa parte della soluzione per data center NVIDIA completa che integra strumenti hardware, di rete, software, librerie, modelli e applicazioni IA ottimizzati dall'NGC™. Come piattaforma IA e HPC completa più potente per data center, consente ai ricercatori di fornire risultati in tempo reale e distribuire soluzioni nell'ambiente di produzione in modo scalabile.

 

La creazione di Ampere - Video

GUARDA IL VIDEO

Prestazioni immediate fino a 6 volte superiori con TF32 per training con IA

Training con BERT

Prestazioni immediate fino a 6 volte superiori con TF32 per training con IA

Produttività pre-training su BERT utilizzando Pytorch, con (2/3) Fase 1 e (1/3) Fase 2 | Fase 1 Seq Len = 128, Fase 2 Seq Len = 512; V100: server NVIDIA DGX-1™ con 8 x V100 in precisione FP32; A100: server DGX A100 con 8 x A100 in precisione TF32.

Training su deep learning

I modelli IA diventano sempre più complessi nel tentativo di affrontare nuove sfide come la precisione dell'IA conversazionale e i sistemi di suggerimenti avanzati. Il training richiede un'enorme potenza di elaborazione e massima scalabilità.

I Tensor Core di terza generazione nella GPU NVIDIA A100 con precisione Tensor Float (TF32) offrono prestazioni 10 volte superiori rispetto alla generazione precedente senza alcuna alterazione del codice e un ulteriore incremento pari a 2 volte con precisione mista automatica. Insieme a NVIDIA® NVLink® di terza generazione, NVIDIA NVSwitch™, PCI Gen4, Mellanox InfiniBand e il software SDK NVIDIA Magnum IO™, è possibile scalare fino a migliaia di GPU A100. Questo significa che i modelli IA voluminosi come BERT possono essere addestrati in soli xx minuti su un cluster di xx A100, offrendo prestazioni e scalabilità senza precedenti.

La leadership di NVIDIA nel training è stata dimostrata nello standard MLPerf 0.6, il primo benchmark a livello di settore per il training con IA.

SCOPRI DI PIÙ SU A100 PER IL TRAINING

Inferenza su deep learning

La A100 introduce nuove straordinarie funzionalità per ottimizzare i carichi di lavoro di inferenza. Aggiunge una versatilità senza precedenti accelerando tutta la gamma di precisioni, dalla FP32, FP16 e INT8 e fino alla INT4. La tecnologia Multi-Istance GPU (MIG) consente a più reti di operare simultaneamente su una singola GPU A100 per un utilizzo ottimale delle risorse di elaborazione. Inoltre, il supporto per la densità strutturale offre prestazioni fino a 2 volte superiori oltre ad altri guadagni in termini di prestazioni in inferenza della A100.

NVIDIA offre già prestazioni in inferenza leader di settore, come dimostrato in un'analisi approfondita del MLPerf Inference 0.5, il primo benchmark a livello di settore per l'inferenza. La A100 offre prestazioni 10 volte superiori per espandere ulteriormente questa leadership.

SCOPRI DI PIÙ SU A100 PER L'INFERENZA

Prestazioni fino a 7 volte superiori con Multi-Instance GPU (MIG) per inferenza con IA.

BERT Large Inference

Prestazioni fino a 7 volte superiori con Multi-Instance GPU (MIG) per inferenza con IA

BERT Large Inference | GPU NVIDIA T4 Tensor Core: NVIDIA TensorRT™ (TRT) 7.1, precisione = INT8, dimensioni batch = 256 | V100: TRT 7.1, precisione = FP16, dimensioni batch = 256 | A100 con 7 istanze MIG di 1g.5gb: TRT pre-produzione, dimensioni batch = 94, precisione = INT8 con dispersione.

Prestazioni HPC 9 volte superiori in 4 anni

Produttività delle principali app HPC

 

Prestazioni HPC 9 volte superiori in 4 anni

Media geometrica di accelerazioni dell'applicazione rispetto a P100: applicazione benchmark: Amber [PME-Cellulose_NVE], Chroma [szscl21_24_128], GROMACS [ADH Dodec], MILC [Apex Medium], NAMD [stmv_nve_cuda], PyTorch (BERT Large Fine Tuner], Quantum Espresso [AUSURF112-jR]; Random Forest FP32 [make_blobs (160000 x 64: 10)], TensorFlow [ResNet-50], VASP 6 [Si Huge], | Nodo GPU con CPU dual-socket con 4 GPU NVIDIA P100, V100 o A100.

Calcolo ad alte prestazioni

Per sfruttare le scoperte di nuova generazione, gli scienziati usano simulazioni per comprendere al meglio il comportamento delle molecole e trovare nuovi farmaci, analizzano dati fisici per individuare potenziali nuove fondi di energia e dati atmosferici per prevedere e prepararsi a eventi metereologici estremi.

A100 introduce Tensor Core a doppia precisione, offrendo la principale innovazione dall'introduzione del calcolo con GPU a precisione doppia per l'HPC. Questo permette ai ricercatori di ridurre i tempi di simulazione pari a circa 10 ore in precisione doppia su GPU NVIDIA V100 Tensor Core a sole poche ore su A100. Anche le applicazioni HPC possono sfruttare i Tensor Core dell'A100 per arrivare a una produttività 10 volte superiore per le operazioni di moltiplicazione a matrice in precisione singola.

SCOPRI DI PIÙ SU A100 PER L'HPC

Analisi di dati ad alte prestazioni

I clienti devono poter analizzare, visualizzare e convertire enormi set di dati in informazioni. Tuttavia, le soluzioni scale-out troppo spesso si trasformano in una palude poiché tali set di dati sono disseminati su più server.

I server accelerati con A100 offrono la necessaria potenza di elaborazione, oltre a 1,6 terabyte al secondo (TB/sec) di banda di memoria e scalabilità con NVLink di terza generazione più NVSwitch, per affrontare carichi di lavoro enormi. Insieme a Mellanox InfiniBand, l'SDK Magnum IO, Spark 3.0 accelerato da GPU e RAPIDS™, una suite software per analisi dei dati accelerate da GPU, la piattaforma per data center di NVIDIA è in grado di accelerare questi enormi carichi di lavoro a livelli mai visti prima, in termini di prestazioni ed efficienza.

SCOPRI DI PIÙ SULL'ANALISI DEI DATI
Analisi di dati ad alte prestazioni

Produttività in inferenza 7 volte superiore con Multi-Instance GPU (MIG)

BERT Large Inference

Produttività in inferenza 7 volte superiore con Multi-Instance GPU (MIG)

BERT Large Inference | NVIDIA TensorRT™ (TRT) 7.1 | GPU NVIDIA T4 Tensor Core: TRT 7.1, precisione = INT8, dimensioni batch = 256 | V100: TRT 7.1, precisione = FP16, dimensioni batch = 256 | A100 con 1 o 7 istanze MIG di 1g.5gb: dimensioni batch = 94, precisione = INT8 con dispersione.

Utilizzo a livello di impresa

La A100 con MIGMulti-Instance GPU (MIG) massimizza l'infrastruttura GPU accelerata come mai rima d'ora. MIG consente di creare partizioni sicure della GPU A100 raggiungendo fino a sette istanze separate e garantendo a più utenti la possibilità di ottenere l'accelerazione con GPU per applicazioni e progetti di sviluppo. Inoltre, gli amministratori del data center possono ottenere i vantaggi operativi e gestionali della virtualizzazione server basata su hypervisor sulle istanze MIG con NVIDIA Virtual Compute Server (vCS). MIG consente ai gestori di infrastruttura di eseguire il provisioning di risorse della GPU con maggiore granularità per fornire agli sviluppatori la giusta quantità di capacità di calcolo e assicurare un uso ottimale di tutte le risorse della GPU.

SCOPRI DI PIÙ SU MIG

GPU per il data center

NVIDIA A100 per HGX

NVIDIA A100 per HGX

Prestazioni straordinarie per tutti i carichi di lavoro.

NVIDIA A100 per PCIe

NVIDIA A100 per PCIe

Massima versatilità per tutti i carichi di lavoro.

Specifiche tecniche

  NVIDIA A100 per HGX NVIDIA A100 per PCIe
Picco FP64 9,7 TF 9,7 TF
Picco Tensor Core FP64 19,5 TF 19,5 TF
Picco FP32 19,5 TF 19,5 TF
Picco Tensor Core TF32 156 TF | 312 TF* 156 TF | 312 TF*
Picco Tensor Core BFLOAT16 312 TF | 624 TF* 312 TF | 624 TF*
Picco FP16 Tensor Core 312 TF | 624 TF* 312 TF | 624 TF*
Picco Tensor Core INT8 624 TOPS | 1,248 TOPS* 624 TOPS | 1,248 TOPS*
Picco Tensor Core INT4 1,248 TOPS | 2,496 TOPS* 1,248 TOPS | 2,496 TOPS*
Memoria della GPU 40 GB 40 GB
Banda di memoria GPU 1,555 GB/s 1,555 GB/s
Interconnessione NVIDIA NVLink 600 GB/s**
PCIe Gen4 64 GB/s 		NVIDIA NVLink 600 GB/s**
PCIe Gen4 64 GB/s
Multi-Instance GPU iInstance di varie dimensioni fino a 7 MIG a 5 GB iInstance di varie dimensioni fino a 7 MIG a 5 GB
Fattore di forma 4/8 SXM on NVIDIA HGX™ A100 PCIe
Massima potenza TDP 400W 250W
Prestazioni delle migliori applicazioni 100% 90%

* Con densità
** GPU SXM con schede server HGX A100, GPU PCIe con NVLink Bridge per fino a 2 GPU

 

Dentro l'architettura NVIDIA Ampere

Scopri le novità dell'architettura NVIDIA Ampere e la sua implementazione nella GPU NVIDIA A100.

LEGGI IL WHITE PAPER
Prodotti
Tecnologie
Software
Risorse