NVIDIA Tensor Cores

Accelerazione senza pari per HPC e IA

I Tensor Core consentono il calcolo con precisione mista che si adatta in modo dinamico per accelerare la produttività preservando l'accuratezza. La nuova generazione espande queste accelerazioni a una gamma completa di carichi di lavoro. Da accelerazioni 10 volte superiori nel training con IA grazie a Tensor Float 32 (TF32), una nuova precisione rivoluzionaria, miglioramenti del calcolo ad alte prestazioni fino a 2,5 volte con virgola mobile 64 (FP64), gli NVIDIA Tensor Core offrono nuove capacità per tutti i carichi di lavoro.

Training su deep learning rivoluzionario

Training su deep learning rivoluzionario

I modelli IA diventano sempre più complessi nel tentativo di affrontare nuove sfide come la precisione dell'IA conversazionale e i sistemi di suggerimenti avanzati. I modelli di IA conversazionale come Megatron sono centinaia di volte più voluminosi e complessi dei modelli di classificazione delle immagini come ResNet-50. Il training di modelli di tali dimensioni con precisione FP32 potrebbe richiedere giorni o anche settimane. I Tensor Core sulle GPU NVIDIA offrono prestazioni estremamente elevate in precisioni ridotte come TF32 e FP16. E con il supporto diretto nei framework nativi tramite le librerie NVIDIA CUDA-X libraries, l'implementazione è automatica, il che riduce drasticamente i tempi dal training alla convergenza, mantenendo l'accuratezza.

I Tensor Core hanno permesso a NVIDIA di ottenere la certificazione MLPerf 0.6, il primo benchmark di settore IA per il training.

Inferenza con deep learning all'avanguardia

Inferenza con deep learning all'avanguardia

Un ottimo acceleratore di inferenza IA non deve garantire solo grandi prestazioni ma anche la versatilità per accelerare reti neurali diverse, oltre alla programmabilità per consentire agli sviluppatori di crearne di nuove. La bassa latenza a produttività elevate, massimizzando l'utilizzo, solo i requisiti di prestazioni più importanti per distribuire l'inferenza in modo affidabile. Gli NVIDIA Tensor Core offrono una vasta gamma di precisioni (TF32, FP16, INT8 e INT4) per garantire versatilità e prestazioni senza pari.

I Tensor Core hanno permesso a NVIDIA di ottenere la certificazione MLPerf 0.5, il primo benchmark di settore IA per l'inferenza

Calcolo ad alte prestazioni avanzato

Calcolo ad alte prestazioni avanzato

L'HPC è un pilastro fondamentale della scienza moderna. Per sfruttare le scoperte di nuova generazione, gli scienziati usano simulazioni per comprendere al meglio il comportamento delle molecole e trovare nuovi farmaci, analizzano dati fisici per individuare potenziali nuove fondi di energia e dati atmosferici per prevedere e prepararsi a eventi metereologici estremi. Gli NVIDIA Tensor Core offrono una vasta gamma di precisioni, inclusa la FP64, per accelerare il calcolo scientifico con la massima accuratezza necessaria.

L'SDK NVIDIA HPC è una suite completa di compilatori, librerie e strumenti essenziali per lo sviluppo di applicazioni HPC per la piattaforma NVIDIA.

Tensor Core A100

Terza generazione

La tecnologia NVIDIA Tensor Core ha accelerato significativamente l'IA, riducendo i tempi di training da settimane a ore e accelerando drasticamente anche l'inferenza. L'architettura NVIDIA Ampere offre uno straordinario incremento delle prestazioni e nuove precisioni per coprire l'intero spettro necessario ai ricercatori: TF32, FP64, FP16, INT8 e INT4, accelerando e semplificando l'adozione dell'IA ed espandendo la potenza degli NVIDIA Tensor Core all'HPC.

  • TF32
  • FP64
  • FP16
  • INT8
Tensor Float 32

Tensor Float 32

Con l'espansione continua ed esponenziale delle reti e dei set di dati IA, le esigenze di elaborazione crescono di pari passo. Il calcolo con precisioni inferiori ha accelerato notevolmente le prestazioni, ma storicamente questo ha richiesto alcuni interventi sul codice. A100 offre una nuova precisione, Tensor Float 32 (TF32), che funziona esattamente come la FP32 con velocità fino a 20 volte superiori per l'IA senza alcuna variazione del codice.

Tensor Core FP64

Tensor Core FP64

A100 porta la potenza dei Tensor Core nell'HPC Tensor Cores to HPC, offrendo la principale innovazione dall'introduzione del calcolo con GPU a precisione doppia per l'HPC. Consentendo operazioni in matrice con precisione FP64, un'intera gamma di applicazioni HPC che richiedono calcoli a doppia precisione possono ora beneficiare di prestazioni ed efficienza 2,5 volte superiori rispetto alle GPU di precedente generazione.

Tensor Core FP16

Tensor Core FP16

I Tensor Core A100 potenziano la precisione FP16 per il deep learning, offrendo velocità raddoppiata rispetto a NVIDIA Volta per l'IA. Questo accelera significativamente la produttività e riduce i tempi di convergenza.

Precisione INT8

Precisione INT8

ntrodotti per la prima volta in NVIDIA Turing, INT8 i Tensor Core accelerano significativamente la produttività dell'inferenza potenziando significativamente l'efficienza. INT8 nell'architettura NVIDIA Ampere offre una produttività 10 volte superiore rispetto a Volta nelle distribuzioni di produzione. Questo dimostra quanto sia versatile la piattaforma di calcolo sia per carichi di lavoro di tipo high-batch sia per quelli in tempo reale in data center core ed edge

Tensor Core Turing

Seconda generazione

La tecnologia Tensor Core di NVIDIA Turing™ include il calcolo in multi precisione per inferenza IA efficiente. I Tensor Core Turing offrono una gamma di precisioni per il training e l'inferenza su deep learning, da FP32 a FP16 fino a INT8 e INT4, per garantire passi da gigante in termini di prestazioni rispetto alle GPU NVIDIA Pascal™.

Tensor Core Turing
Tensor Core Volta

Tensor Core Volta

Prima generazione

Progettati appositamente per il deep learning, i Tensor Core di prima generazione in NVIDIA Volta™ offrono prestazioni all'avanguardia con moltiplicazioni di matrici in precisione mista in FP16 e FP32, fino a 12 volte i picchi di teraFLOPS (TFLOPS) per il training e 6 volte i picchi TFLOPS per l'inferenza rispetto alla soluzione di precedente generazione NVIDIA Pascal. Questa straordinaria capacità permette a Volta di accelerare le prestazioni fino a 3 volte nel training e nell'inferenza rispetto alla tecnologia Pascal.

La piattaforma end-to-end per data center IA e HPC più potente

Tensor Cores are essential building blocks of the complete NVIDIA data center solution that incorporates hardware, networking, software, libraries, and optimized AI models and applications from NGC. The most powerful end-to-end AI and HPC platform, it allows researchers to deliver real-world results and deploy solutions into production at scale.

NVIDIA A100 NVIDIA Turing NVIDIA Volta
Precisioni supportate con Tensor Core FP64, TF32, bfloat16, FP16, INT8, INT4, INT1 FP16, INT8, INT4, INT1 FP16
Precisioni supportate con CUDA® Core FP64, FP32, FP16, bfloat16, INT8 FP64, FP32, FP16, INT8 FP64, FP32, FP16, INT8

Scopri NVIDIA Tensor Core

Partecipa a questo webinar per scoprire cosa occorre per raggiungere prestazioni ottimali con le GPU NVIDIA Tensor Core.