NVIDIA Tensor Cores

Accelerazione senza pari per HPC e IA

I Tensor Core consentono il calcolo con precisione mista che si adatta in modo dinamico per accelerare la produttività preservando l'accuratezza. La nuova generazione espande queste accelerazioni a una gamma completa di carichi di lavoro. Da accelerazioni 10 volte superiori nel training con IA grazie a Tensor Float 32 (TF32), una nuova precisione rivoluzionaria, miglioramenti del calcolo ad alte prestazioni fino a 2,5 volte con virgola mobile 64 (FP64), gli NVIDIA Tensor Core offrono nuove capacità per tutti i carichi di lavoro.

Training su deep learning rivoluzionario

I modelli IA diventano sempre più complessi nel tentativo di affrontare nuove sfide come la precisione dell'IA conversazionale e i sistemi di suggerimenti avanzati. I modelli di IA conversazionale come Megatron sono centinaia di volte più voluminosi e complessi dei modelli di classificazione delle immagini come ResNet-50. Il training di modelli di tali dimensioni con precisione FP32 potrebbe richiedere giorni o anche settimane. I Tensor Core sulle GPU NVIDIA offrono prestazioni estremamente elevate in precisioni ridotte come TF32 e FP16. E con il supporto diretto nei framework nativi tramite le librerie NVIDIA CUDA-X^™ libraries, l'implementazione è automatica, il che riduce drasticamente i tempi dal training alla convergenza, mantenendo l'accuratezza.

I Tensor Core hanno permesso a NVIDIA di ottenere la certificazione MLPerf 0.6, il primo benchmark di settore IA per il training.

Inferenza con deep learning all'avanguardia

Un ottimo acceleratore di inferenza IA non deve garantire solo grandi prestazioni ma anche la versatilità per accelerare reti neurali diverse, oltre alla programmabilità per consentire agli sviluppatori di crearne di nuove. La bassa latenza a produttività elevate, massimizzando l'utilizzo, solo i requisiti di prestazioni più importanti per distribuire l'inferenza in modo affidabile. Gli NVIDIA Tensor Core offrono una vasta gamma di precisioni (TF32, FP16, INT8 e INT4) per garantire versatilità e prestazioni senza pari.

I Tensor Core hanno permesso a NVIDIA di ottenere la certificazione MLPerf 0.5, il primo benchmark di settore IA per l'inferenza

Calcolo ad alte prestazioni avanzato

L'HPC è un pilastro fondamentale della scienza moderna. Per sfruttare le scoperte di nuova generazione, gli scienziati usano simulazioni per comprendere al meglio il comportamento delle molecole e trovare nuovi farmaci, analizzano dati fisici per individuare potenziali nuove fondi di energia e dati atmosferici per prevedere e prepararsi a eventi metereologici estremi. Gli NVIDIA Tensor Core offrono una vasta gamma di precisioni, inclusa la FP64, per accelerare il calcolo scientifico con la massima accuratezza necessaria.

L'SDK NVIDIA HPC è una suite completa di compilatori, librerie e strumenti essenziali per lo sviluppo di applicazioni HPC per la piattaforma NVIDIA.

Tensor Core A100

Terza generazione

La tecnologia NVIDIA Tensor Core ha accelerato significativamente l'IA, riducendo i tempi di training da settimane a ore e accelerando drasticamente anche l'inferenza. L'architettura NVIDIA Ampere offre uno straordinario incremento delle prestazioni e nuove precisioni per coprire l'intero spettro necessario ai ricercatori: TF32, FP64, FP16, INT8 e INT4, accelerando e semplificando l'adozione dell'IA ed espandendo la potenza degli NVIDIA Tensor Core all'HPC.

SCOPRI DI PIÙ SULL'ARCHITETTURA NVIDIA AMPERE

TF32
FP64
FP16
INT8

Tensor Float 32

Con l'espansione continua ed esponenziale delle reti e dei set di dati IA, le esigenze di elaborazione crescono di pari passo. Il calcolo con precisioni inferiori ha accelerato notevolmente le prestazioni, ma storicamente questo ha richiesto alcuni interventi sul codice. A100 offre una nuova precisione, Tensor Float 32 (TF32), che funziona esattamente come la FP32 con velocità fino a 20 volte superiori per l'IA senza alcuna variazione del codice.

Tensor Core FP64

A100 porta la potenza dei Tensor Core nell'HPC Tensor Cores to HPC, offrendo la principale innovazione dall'introduzione del calcolo con GPU a precisione doppia per l'HPC. Consentendo operazioni in matrice con precisione FP64, un'intera gamma di applicazioni HPC che richiedono calcoli a doppia precisione possono ora beneficiare di prestazioni ed efficienza 2,5 volte superiori rispetto alle GPU di precedente generazione.

Tensor Core FP16

I Tensor Core A100 potenziano la precisione FP16 per il deep learning, offrendo velocità raddoppiata rispetto a NVIDIA Volta^™ per l'IA. Questo accelera significativamente la produttività e riduce i tempi di convergenza.

Precisione INT8

ntrodotti per la prima volta in NVIDIA Turing^™, INT8 i Tensor Core accelerano significativamente la produttività dell'inferenza potenziando significativamente l'efficienza. INT8 nell'architettura NVIDIA Ampere offre una produttività 10 volte superiore rispetto a Volta nelle distribuzioni di produzione. Questo dimostra quanto sia versatile la piattaforma di calcolo sia per carichi di lavoro di tipo high-batch sia per quelli in tempo reale in data center core ed edge.

Tensor Core Turing

Seconda generazione

La tecnologia Tensor Core di NVIDIA Turing™ include il calcolo in multi precisione per inferenza IA efficiente. I Tensor Core Turing offrono una gamma di precisioni per il training e l'inferenza su deep learning, da FP32 a FP16 fino a INT8 e INT4, per garantire passi da gigante in termini di prestazioni rispetto alle GPU NVIDIA Pascal™.

SCOPRI DI PIÙ SU TURING

Tensor Core Volta

Prima generazione

Progettati appositamente per il deep learning, i Tensor Core di prima generazione in NVIDIA Volta™ offrono prestazioni all'avanguardia con moltiplicazioni di matrici in precisione mista in FP16 e FP32, fino a 12 volte i picchi di teraFLOPS (TFLOPS) per il training e 6 volte i picchi TFLOPS per l'inferenza rispetto alla soluzione di precedente generazione NVIDIA Pascal. Questa straordinaria capacità permette a Volta di accelerare le prestazioni fino a 3 volte nel training e nell'inferenza rispetto alla tecnologia Pascal.

SCOPRI DI PIÙ SU VOLTA

La piattaforma end-to-end per data center IA e HPC più potente

Tensor Cores are essential building blocks of the complete NVIDIA data center solution that incorporates hardware, networking, software, libraries, and optimized AI models and applications from NGC^™. The most powerful end-to-end AI and HPC platform, it allows researchers to deliver real-world results and deploy solutions into production at scale.

	NVIDIA A100	NVIDIA Turing	NVIDIA Volta
Precisioni supportate con Tensor Core	FP64, TF32, bfloat16, FP16, INT8, INT4, INT1	FP16, INT8, INT4, INT1	FP16
Precisioni supportate con CUDA^® Core	FP64, FP32, FP16, bfloat16, INT8	FP64, FP32, FP16, INT8	FP64, FP32, FP16, INT8

Scopri NVIDIA Tensor Core

Partecipa a questo webinar per scoprire cosa occorre per raggiungere prestazioni ottimali con le GPU NVIDIA Tensor Core.