Piattaforma NVIDIA HGX
Potenziare l'IA e il calcolo ad alte prestazioni per ogni data center.
Panoramica
Potenziare l'intelligenza artificiale (IA) e il calcolo ad alte prestazioni (HPC) per ogni data center
La piattaforma NVIDIA HGX™ mette insieme tutta la potenza delle GPU NVIDIA, delle CPU NVIDIA Vera, di NVIDIA NVLink™ e della rete NVIDIA, oltre a stack software IA e di calcolo ad alte prestazioni (HPC) completamente ottimizzati per garantire le massime prestazioni applicative e accelerare i tempi di ricerca di dati e soluzioni per qualsiasi data center.
NVIDIA HGX Rubin NVL8 integra otto GPU NVIDIA Rubin con interconnessioni NVLink ad alta velocità di sesta generazione, offrendo un throughput di token factory fino a 10 volte superiore rispetto a HGX B200 ed eguagliando le sue prestazioni di addestramento con un numero di GPU 4 volte inferiore. I sistemi HGX basati su NVIDIA Rubin sono progettati per l'IA agentica, l'analisi dei dati e i carichi di lavoro HPC più esigenti. NVIDIA HGX Rubin NVL8 può essere abbinato alle CPU NVIDIA Vera, configurate come HGX Vera Rubin NVL8, o alle schede di base delle CPU basate su x86.
Accelerare la nuova generazione di IA per agenti
Aumenta il throughput delle fabbriche di token con HGX Rubin NVL8
Fornire modelli di IA agentica e ragionamento su larga scala richiede un throughput di inferenza estremo. Con innovazioni architettoniche, tra cui 400 PFLOPS di calcolo NVFP4, 3 volte più larghezza di banda di memoria a 176 TB/s e 2 volte più larghezza di banda NVLink Switch a 28,8 TB/s per la comunicazione inter-GPU ad alto throughput, HGX Rubin NVL8 offre un throughput di token factory 10 volte superiore rispetto a HGX B200. Questo salto di prestazioni consente alle fabbriche IA di servire più utenti, massimizzare le entrate dai token e ridurre il costo per token.
Prestazioni previste soggette a modifica. Modello Kimi K2-Thinking con FTL<=500ms, ISL=4K, OSL=4K. HGX Rubin NVL8 con Sparse NVFP4, HGX B200 con Dense NVFP4
Prestazioni previste soggette a modifica. Numero di GPU basate su DeepSeek-R1 pre-addestrato su token da 15T con lunghezza di sequenza 4K.
Addestra modelli IA di nuova generazione con un numero di GPU 4 volte inferiore
HGX Rubin NVL8 porta il pre-addestramento mixture-of-experts rivoluzionario nel fattore di forma dei server a 8 GPU, addestrando modelli di IA agentica di nuova generazione con un numero di GPU 4 volte inferiore, grazie a innovazioni architettoniche che includono FLOPS di addestramento NVFP4 4 volte superiori, una capacità di memoria HBM ad alta velocità 1,6 volte superiore e una larghezza di banda NVLink 2 volte superiore rispetto a HGX B200. Questo salto nell'efficienza dell'addestramento consente alle organizzazioni di addestrare più modelli all'interno della stessa infrastruttura, ridurre i costi di sviluppo dei modelli e massimizzare il ritorno sull'investimento nell'infrastruttura IA.
CPU NVIDIA Vera
NVIDIA Vera è la CPU per l'era dell'IA, progettata appositamente per l'IA agentica, l'apprendimento per rinforzo e l'elaborazione dei dati su larga scala. I core NVIDIA Olympus, la memoria LPDDR5X ad alta larghezza di banda e NVIDIA Scalable Coherency Fabric offrono un'esecuzione della CPU rapida ed efficiente insieme al calcolo accelerato, aiutando le fabbriche IA a eseguire più agenti, valutazioni e pipeline di dati.
Accelerare HGX con NVIDIA Networking
Le fabbriche IA e i centri di supercomputing si estendono su migliaia di GPU come un singolo motore di calcolo distribuito. Per mantenere gli acceleratori completamente utilizzati, i carichi di lavoro IA e scientifici richiedono una latenza deterministica, un throughput senza perdite, tempi di iterazione stabili e la capacità di scalare non solo all'interno di un data center, ma su più siti.
Il networking NVIDIA offre il fabric completo che rende tutto ciò possibile, combinando la scalabilità NVIDIA NVLink, la scalabilità NVIDIA Quantum InfiniBand e Spectrum-X™ Ethernet, la scalabilità Spectrum-XGS Ethernet multi-data center, la DPU NVIDIA® BlueField® e DOCA™ per i servizi infrastrutturali e le piattaforme di fotonica in silicio di nuova generazione, che consentono ai data center IA più esigenti al mondo.
Specifiche di NVIDIA HGX
NVIDIA HGX è disponibile in una singola scheda di base con otto NVIDIA Rubin, NVIDIA Blackwell o NVIDIA Blackwell Ultra SXMs. Le GPU Rubin possono essere abbinate a una CPU NVIDIA Vera o a una baseboard basata su x86. Queste potenti combinazioni di hardware e software pongono le basi per prestazioni di IA e supercomputing senza precedenti.
-
NVIDIA Rubin NVL8
-
NVIDIA Blackwell
| Specifiche del sistema | NVIDIA HGX Vera Rubin NVL8<sup>1</sup> | NVIDIA HGX Rubin NVL8<sup>1</sup> |
|---|---|---|
| Configurazione | 8x NVIDIA Rubin SXM con CPU Vera a singolo socket | 8x NVIDIA Rubin SXM |
| CPU | Numero di core | CPU NVIDIA Vera | 88 core NVIDIA Olympus personalizzati (compatibili con Arm®) con multithreading spaziale (SMT) | x86 CPU<sup>4</sup> |
| Memoria CPU | Larghezza di banda | LPDDR5X da 1,5 TB | 1,2 TB/s | x86 CPU<sup>4</sup> |
| Inferenza NVFP4 | 400 PFLOPS | |
| Addestramento NVFP4<sup>2</sup> | 280 PFLOPS | |
| Addestramento FP8/FP6<sup>2</sup> | 140 PFLOPS | |
| INT8<sup>2</sup> | 2 POPS | |
| FP16/BF16<sup>2</sup> | 32 PFLOPS | |
| TF32<sup>2</sup> | 16 PFLOPS | |
| FP32 | 1,040 TFLOPS | |
| FP64 | 265 TFLOPS | |
| FP32 SGEMM<sup>3</sup> | 3,200 TFLOPS | |
| FP64 DGEMM<sup>3</sup> | 1,600 TFLOPS | |
| Memoria GPU | Larghezza di banda | HBM4 da 2,3 TB | 176 TB/s | |
| Larghezza di banda degli switch NVLink | 28,8 TB/s | |
| NVIDIA NVLink | Sesta generazione | |
| Larghezza di banda di rete | 1,6 TB/s | |
| Specifiche delle singole GPU | NVIDIA Rubin GPU<sup>1</sup> |
|---|---|
| Specifiche delle singole GPU | 50 PFLOPS |
| Inferenza NVFP4 | 35 PFLOPS |
| Addestramento NVFP4<sup>2</sup> | 17.5 PFLOPS |
| Addestramento FP8/FP6<sup>2</sup> | 250 TOPS |
| INT8<sup>2</sup> | 4 PFLOPS |
| FP16/BF16<sup>2</sup> | 2 PFLOPS |
| TF32<sup>2</sup> | 130 TFLOPS |
| FP32 | 33 TFLOPS |
| FP64 | 400 TFLOPS |
| FP32 SGEMM<sup>3</sup> | 200 TFLOPS |
| FP64 DGEMM<sup>3</sup> | 3,6 TB/s |
| Larghezza di banda NVLink | Sesta generazione |
| NVIDIA NVLink | 288 GB HBM4 | 22 TB/s |
1. Informazioni preliminari. Tutti i valori sono indicativi e soggetti a modifiche. Le specifiche di inferenza NVFP4 sono di tipo sparso.
2. Specifica densa.
3. Prestazioni di picco con algoritmi di emulazione basati su Tensor Core.
4. Le specifiche di CPU e memoria sono definite dalle offerte degli OEM.
| HGX B300<sup>4</sup> | HGX B200<sup>4</sup> | |
|---|---|---|
| Fattore di forma | 8x NVIDIA Blackwell Ultra SXM | 8x NVIDIA Blackwell SXM |
| FP4 Tensor Core<sup>1</sup> | 144 PFLOPS | 108 PFLOPS | 144 PFLOPS | 72 PFLOPS |
| FP8/FP6 Tensor Core<sup>2</sup> | 72 PFLOPS | 72 PFLOPS |
| INT8 Tensor Core<sup>2</sup> | 3 POPS | 72 POPS |
| FP16/BF16 Tensor Core<sup>2</sup> | 36 PFLOPS | 36 PFLOPS |
| TF32 Tensor Core<sup>2</sup> | 18 PFLOPS | 18 PFLOPS |
| FP32 | 600 TFLOPS | 600 TFLOPS |
| FP64/FP64 Tensor Core | 10 TFLOPS | 296 TFLOPS |
| Memoria totale | 2.1 TB | 1.4 TB |
| NVIDIA NVLink | Quinta generazione | Quinta generazione |
| NVIDIA NVLink Switch™ | NVLink 5 Switch | NVLink 5 Switch |
| Banda GPU-GPU NVSwitch | 1.8 TB/s | 1.8 TB/s |
| Banda NVLink totale | 14.4 TB/s | 14.4 TB/s |
| Networking Bandwidth | 1.6 TB/s | 0.8 TB/s |
| Attention Performance<sup>3</sup> | 2x | 1x |
1. Specifica in Sparse | Dense
2. Specifica in Sparse. Dense corrisponde alla metà della matrice spec mostrata.
3. rispetto a NVIDIA Blackwell.
4. HGX B300 e HGX B200 sono ora in spedizione.
Scopri di più sulla piattaforma NVIDIA Vera Rubin.