NVIDIA Tensor Cores
Accelerazione senza pari per l'IA generativa
I Tensor Core consentono il calcolo con precisione mista che si adatta in modo dinamico per accelerare la produttività preservando l'accuratezza e garantendo sicurezza avanzata. La nuova generazione di Tensor Core è più veloce che mai su una gamma più ampia di attività IA e HPC. Con accelerazioni 4 volte superiori nel training di modelli IA generativi con miliardi di parametri e prestazioni di inferenza 45 volte superiori, gli NVIDIA Tensor Core accelerano tutti i carichi di lavoro per le moderne fabbriche IA.
NVIDIA Blackwell Tensor Cores
Quinta generazione
L'architettura Blackwell offre un'accelerazione 30 volte superiore rispetto alla precedente generazione di NVIDIA Hopper™ per modelli massicci come GPT-MoE-1.8T. Questo aumento delle prestazioni è possibile grazie alla quinta generazione di Tensor Core. I Tensor Core di Blackwell aggiungono nuove precisioni, inclusi i formati di microscaling definiti dalla community, garantendo maggiore precisione e facilità di sostituzione per precisioni più elevate.
-
Nuove precisioni
-
Motore di IA generativa
Nuovi formati di precisione
Man mano che i modelli di IA generativa aumentano in dimensioni e complessità, è fondamentale migliorare le prestazioni di training e inferenza. Per soddisfare queste esigenze di calcolo, i Tensor Core di Blackwell supportano tutti i nuovi formati di quantizzazione e di precisione inclusi i formati di microscaling definiti dalla community.
Transformer Engine di seconda generazione
Il Transformer Engine di seconda generazione impiega la tecnologia Blackwell Tensor Core abbinata ai framework innovativi NVIDIA® TensorRT™-LLM e NeMo™ per accelerare l'inferenza e il training dei modelli linguistici di grandi dimensioni (LLM) e dei modelli MoE. Il Transformer Engine è alimentato dalla precisione FP4 dei Tensor Core, il che raddoppia le prestazioni e l'efficienza mantenendo un'elevata precisione per i modelli MoE attuali e di nuova generazione.
Il motore di IA generativa lavora per democratizzare gli LLM di oggi con prestazioni in tempo reale. Le aziende possono ottimizzare i processi aziendali distribuendo modelli di IA generativa all'avanguardia a costi convenienti.
NVIDIA Hopper Architecture Tensor Core
Quarta generazione
Dall'introduzione della tecnologia Tensor Core, le GPU NVIDIA Hopper hanno aumentato le prestazioni di picco di 60 volte, favorendo la democratizzazione del computing per IA e HPC. L'architettura NVIDIA Hopper™ potenzia i Tensor Core di quarta generazione con il Transformer Engine utilizzando una nuova precisione a virgola mobile a 8 bit (FP8) per fornire prestazioni 6 volte superiori rispetto alla FP16 per il training di modelli con miliardi di parametri. Insieme alle prestazioni 3 volte superiori con precisioni TF32, FP64, FP16 e INT8, i Tensor Core Hopper offrono le massime accelerazioni a tutti i carichi di lavoro.
La piattaforma completa per data center IA e HPC più potente
I Tensor Core sono gli elementi costitutivi essenziali della soluzione completa per data center NVIDIA che integra hardware, rete, software, librerie, modelli e applicazioni IA ottimizzati dal catalogo NVIDIA NGC™. Come piattaforma IA e HPC completa più potente, consente ai ricercatori di fornire risultati in tempo reale e distribuire soluzioni nell'ambiente di produzione in modo scalabile.
| Blackwell | Hopper | |
|---|---|---|
| Precisioni supportate con Tensor Core | FP64, TF32, BF16, FP16, FP8, INT8, FP6, FP4 | FP64, TF32, BF16, FP16, FP8, INT8 |
| Precisioni supportate con CUDA® Core | FP64, FP32, FP16, BF16 | FP64, FP32, FP16, BF16, INT8 |
*Specifiche preliminari, soggette a modifica
Scopri di più su NVIDIA Blackwell.