I Tensor Core consentono il calcolo con precisione mista che si adatta in modo dinamico per accelerare la produttività preservando l'accuratezza. L'ultima generazione di Tensor Core è più veloce che mai su una gamma più ampia di attività IA e HPC. Da accelerazioni 6 volte superiori nel training di rete transformer a prestazioni 3 volte superiori in tutte le applicazioni, gli NVIDIA Tensor Core offrono nuove funzionalità a tutti i carichi di lavoro.
I modelli IA diventano sempre più complessi nel tentativo di affrontare nuove sfide come l'IA conversazionale. Il training di modelli di elevate dimensioni con precisione FP32 può richiedere settimane o anche mesi. Gli NVIDIA Tensor Core offrono prestazioni notevolmente superiori con precisioni ridotte come la virgola mobile a 8 bit (FP8) nel Transformer Engine, Tensor Float 32 (TF32) e FP16. E con il supporto diretto nei framework nativi tramite le librerie CUDA-X™, l'implementazione è automatica, il che riduce drasticamente i tempi dal training alla convergenza, mantenendo l'accuratezza.
I Tensor Core hanno permesso a NVIDIA di ottenere la certificazione MLPerf, benchmark di settore per il training.
Un ottimo acceleratore di inferenza IA non deve garantire solo grandi prestazioni ma anche la versatilità per accelerare reti neurali diverse, oltre alla programmabilità per consentire agli sviluppatori di crearne di nuove. La bassa latenza a produttività elevate, massimizzando l'utilizzo, solo i requisiti di prestazioni più importanti per distribuire l'inferenza in modo affidabile. Gli NVIDIA Tensor Core offrono una gamma completa di precisioni (TF32, bfloat16, FP16, FP8 e INT8) per garantire versatilità e prestazioni senza pari.
I Tensor Core hanno permesso a NVIDIA di ottenere la certificazione MLPerf, benchmark di settore per l'inferenza.
L'HPC è un pilastro fondamentale della scienza moderna. Per sfruttare le scoperte di nuova generazione, gli scienziati usano simulazioni per comprendere al meglio il comportamento delle molecole e trovare nuovi farmaci, analizzano dati fisici per individuare potenziali nuove fondi di energia e dati atmosferici per prevedere e prepararsi a eventi metereologici estremi. Gli NVIDIA Tensor Core offrono una vasta gamma di precisioni, inclusa la FP64, per accelerare il calcolo scientifico con la massima accuratezza necessaria.
L'SDK HPC fornisce compilatori, librerie e strumenti essenziali per lo sviluppo di applicazioni HPC per la piattaforma NVIDIA.
Dall'introduzione della tecnologia Tensor Core, le GPU NVIDIA hanno aumentato le prestazioni di picco di 60 volte, favorendo la democratizzazione del computing per IA e HPC. L'architettura NVIDIA Hopper™ potenzia i Tensor Core di quarta generazione con Transformer Engine utilizzando una nuova precisione a virgola mobile a 8 bit (FP8) per fornire prestazioni 6 volte superiori rispetto alla FP16 per il training di modelli con trilioni di parametri. Insieme a prestazioni 3 volte superiori con precisioni TF32, FP64, FP16 e INT8, i Tensor Core Hopper offrono le massime accelerazioni a tutti i carichi di lavoro.
Il training per le reti IA Transformer si sta dilatando di mesi a causa dell'enorme intensità di calcolo matematica. La nuova precisione FP8 di Hopper offre prestazioni fino a 6 volte superiori rispetto alla FP16 su Ampere. La FP8 viene utilizzata nel Transformer Engine, una tecnologia Tensor Core di Hopper progettata appositamente per accelerare il training di modelli Transformer. I Tensor Core Hopper hanno la capacità di applicare formati misti di precisione FP8 e FP16 per accelerare significativamente i calcoli IA per il training dei trasformatori, mantenendo comunque l'accuratezza. L'FP8 consente inoltre accelerazioni massicce nell'inferenza di modelli linguistici di grandi dimensioni con prestazioni fino a 30 volte superiori rispetto ad Ampere.
Con l'espansione continua ed esponenziale delle reti e dei set di dati IA, le esigenze di elaborazione crescono di pari passo. Il calcolo con precisioni inferiori ha accelerato notevolmente le prestazioni, ma storicamente questo ha richiesto alcuni interventi sul codice. H100 supporta la precisione TF32 che funziona esattamente come la FP32, con velocità in termini di prestazioni IA fino a 3 volte superiori rispetto ai Tensor Core NVIDIA Ampere™.
H100 continua a fornire la potenza dei Tensor Core all'HPC, con prestazioni più elevate che mai. Le prestazioni in FP64 di H100 sono 3 volte più veloci rispetto alla generazione precedente, accelerando ulteriormente un'intera gamma di applicazioni HPC che necessitano di calcoli a doppia precisione.
I Tensor Core H100 potenziano la FP16 per il deep learning, garantendo un'accelerazione in termini di IA 3 volte superiore rispetto ai Tensor Core dell'architettura NVIDIA Ampere. Questo accelera significativamente la produttività e riduce i tempi di convergenza.
Introdotti per la prima volta con NVIDIA Turing™, INT8 i Tensor Core accelerano significativamente la produttività dell'inferenza potenziando significativamente l'efficienza. La INT8 nell'architettura NVIDIA Hopper offre una produttività 3 volte superiore rispetto alla precedente generazione di Tensor Core nelle distribuzioni di produzione. Questa versatilità consente prestazioni leader di settore per carichi di lavoro voluminosi, simultanei e in tempo reale nei data centercentrali e nelle località perimetrali.
I Tensor Core dell'architettura NVIDIA Ampere si basano su innovazioni precedenti e aggiungono nuove precisioni, TF32 e FP64, per accelerare e semplificare l'adozione dell'IA ed espandere la potenza dei Tensor Core all'HPC. Inoltre, grazie al supporto per bfloat16, INT8 e INT4, questi Tensor Core di terza generazione creano un acceleratore incredibilmente versatile per il training e l'inferenza su IA.
La tecnologia Tensor Core di NVIDIA Turing™ include il calcolo in multi precisione per inferenza IA efficiente. I Tensor Core Turing offrono una gamma di precisioni per il training e l'inferenza su deep learning, da FP32 a FP16 fino a INT8 e INT4, per garantire passi da gigante in termini di prestazioni rispetto alle GPU NVIDIA Pascal™.
Progettati appositamente per il deep learning, i Tensor Core di prima generazione in NVIDIA Volta™ offrono prestazioni all'avanguardia con moltiplicazioni di matrici in precisione mista in FP16 e FP32, fino a 12 volte i picchi di teraFLOPS (TFLOPS) per il training e 6 volte i picchi TFLOPS per l'inferenza rispetto alla soluzione di precedente generazione NVIDIA Pascal. Questa straordinaria capacità permette a Volta di accelerare le prestazioni fino a 3 volte nel training e nell'inferenza rispetto alla tecnologia Pascal.
I Tensor Core sono fondamenti essenziali della soluzione completa per data center NVIDIA che integra hardware, rete, software, librerie, modelli e applicazioni IA ottimizzati dal catalogo NVIDIA NGC™. Come piattaforma IA e HPC completa più potente, consente ai ricercatori di fornire risultati in tempo reale e distribuire soluzioni nell'ambiente di produzione in modo scalabile.
Specifiche preliminari, soggette a modifica