Architettura NVIDIA Ampere

Il cuore dei data center dalle prestazioni più elevate e più scalabili del mondo

Il cuore dell'IA e dell'HPC nel data center moderno

Scienziati, ricercatori e ingegneri, i Da Vinci e gli Einstein dei nostri tempi, lavorano per risolvere i principali problemi del mondo in ambito scientifico, industriale e dei big data con l'IA e il calcolo ad alte prestazioni (HPC). L'architettura NVIDIA Ampere, progettata per l'era del computing "elastico", offre passi da gigante e una velocità senza pari in ogni ordine di grandezza, permettendo agli innovatori di svolgere la loro importantissima missione.

Innovazioni rivoluzionarie

Realizzato con 54 miliardi di transistor, NVIDIA Ampere è il più grande chip a 7 nanometri (nm) mai costruito e include cinque principali innovazioni all'avanguardia.

Tensor Core di terza generazione

Tensor Core di terza generazione

Inizialmente introdotta nell'architettura NVIDIA Volta™, la tecnologia NVIDIA Tensor Core ha generato accelerazioni significative nell'IA, riducendo i tempi di training da settimane a ore e garantendo massima accelerazione per l'inferenza. L'architettura NVIDIA Ampere si basa su queste innovazioni e aggiunge nuove precisioni, Tensor Float (TF32) e virgola mobile a 64 (FP64), per accelerare e semplificare l'adozione dell'IA ed estendere la potenza dei Tensor Core all'HPC.

La precisione TF32 funziona esattamente come la FP32 con velocità fino a 10 volte superiori per l'IA senza alcuna variazione del codice. Con la funzionalità NVIDIA Automatic Mixed Precision, i ricercatori guadagnano prestazioni 2 volte superiori aggiungendo solo un'altra riga di codice. E con il supporto per bfloat16, INT8 e INT4, i Tensor Core nelle GPU NVIDIA A100 Tensor Core creano un acceleratore incredibilmente versatile per il training con IA e l'inferenza. Portando la potenza dei Tensor Core nell'HPC, A100 consente anche l'esecuzione di operazioni in matrice complete, conformi allo standard IEEE e con precisione FP64.

Multi-Instance GPU (MIG)

Ogni applicazioni IA e HPC può beneficiare dell'accelerazione, ma non tutte hanno bisogno delle prestazioni di una GPU A100 completa. Con MIG, ciascuna A100 può essere ripartita su fino a sette istanze GPU, completamente isolata e sicura a livello di hardware con la memoria ad alta banda, la cache e i core di elaborazione. Ora, gli sviluppatori possono accedere a strumenti di accelerazione all'avanguardia per tutte le applicazioni, grandi e piccole, e ottenere qualità del servizio garantito. Mentre gli amministratori IT possono offrire un'accelerazione GPU correttamente dimensionata con utilizzo ottimale ed estendere l'accesso a ogni utente e applicazione in ambienti fisici e virtualizzati.

Multi-Instance GPU (MIG)

Densità strutturale

Le reti IA moderne sono grandi e continuano ad espandersi, con milioni e in alcuni casi miliardi di parametri. Non tutti questi parametri sono necessarie per previsioni e inferenze accurate e alcuni possono essere convertiti in zeri per rendere i modelli "sparsi" senza comprometterne l'accuratezza. Tensor Cores in A100 offrono prestazioni fino a 2X superiori per i modelli sparsi. Sebbene l'inferenza IA benefici immediatamente della riduzione della densità, anche le prestazioni di training del modello possono trarne vantaggio. 

Densità strutturale
Smarter and Faster Memory

Memoria più veloce e intelligente

A100 porta un'enorme potenza di calcolo nei data center. Per massimizzare l'uso dei motori di elaborazione, offre una memoria di banda eccezionale di 1,5 terabyte al secondo (TB/sec), un aumento del 67% rispetto alla generazione precedente. Inoltre, il sistema A100 include più memoria on-chip, con una cache di livello 2 da 40 megabyte (MB), 7 volte più estesa rispetto alla generazione precedente, per massimizzare le prestazioni di calcolo.

Accelerazione convergente sull'edge

La combinazione dell'architettura NVIDIA Ampere e Mellanox ConnectX-6 Dx SmartNIC in NVIDIA EGX™ A100 garantisce un'accelerazione senza pari dell'elaborazione e della rete per elaborare enormi volumi di dati generati sull'edge. Lo SmartNIC di Mellanox include impostazioni di riduzione del carico per decrittografare a velocità di riga fino a 200 gigabit al secondo (Gb/s), mentre GPUDirect™ trasferisce frame video direttamente nella memoria della GPU per l'elaborazione IA. Con EGX A100, le aziende possono accelerare l'implementazione IA sull'edge in modo sicuro ed efficiente.

Accelerazione convergente sull'edge

Dentro l'architettura NVIDIA Ampere

Partecipa a questo webinar per scoprire le novità dell'architettura NVIDIA Ampere e la sua implementazione nella GPU NVIDIA A100.