NVIDIA HGX-Plattform
Beschleunigung von KI und High-Performance-Computing für jedes Rechenzentrum.
Überblick
Optimierung von KI und HPC für jedes Rechenzentrum
Die NVIDIA HGX-Plattform vereint die volle Leistungsfähigkeit von NVIDIA-GPUs, NVIDIA Vera-CPUs, NVIDIA NVLink™, NVIDIA-Netzwerktechnik und vollständig optimierten KI- und High-Performance-Computing-Software-Stacks (HPC), um höchstmögliche Anwendungsleistung und kürzeste Zeit für die Gewinnung von Erkenntnissen in jedem Rechenzentrum zu bieten.
Die NVIDIA HGX Rubin NVL8 integriert acht NVIDIA Rubin-GPUs mit Hochgeschwindigkeits-NVLink-Verbindungen der sechsten Generation und bietet 5,5-mal mehr NVFP4-FLOPS als HGX B200, um das Rechenzentrum in eine neue Ära des beschleunigten Computings und der generativen KI zu führen. NVIDIA HGX Rubin NVL8 kann entweder mit NVIDIA Vera-CPUs oder x86-basierten CPU-Baseboards kombiniert werden.
NVIDIA Vera CPU
NVIDIA Vera wurde speziell für agentische KI-Systeme der nächsten Generation entwickelt und bietet die Leistungsfähigkeit für bestärkendes Lernen und agentische Workloads im Rechenzentrumsmaßstab. Speziell entwickelte CPU-Kerne, ein LPDDR5X-Speichersubsystem mit hoher Bandbreite und NVIDIA Scalable Coherency Fabric (SCF) unterstützen Softwareumgebungen neben beschleunigter Rechenleistung und sorgen für höhere Energieeffizienz, während gleichzeitig der Durchsatz der KI-Fabrik maximiert wird.
Beschleunigung von HGX mit NVIDIA Networking
KI-Fabriken und Supercomputing-Zentren umfassen Tausende von GPUs als eine einzige verteilte Rechen-Engine. Damit Beschleuniger stets voll ausgelastet sind, erfordern KI- und wissenschaftliche Workloads deterministische Latenz, verlustfreien Durchsatz, stabile Iterationszeiten und die Möglichkeit, nicht nur innerhalb eines Rechenzentrums, sondern auch über mehrere Standorte hinweg zu skalieren.
NVIDIA-Netzwerke bieten das Full-Stack-Gewebe, das dies ermöglicht, indem sie NVIDIA NVLink Scale-up, NVIDIA Quantum InfiniBand und Spectrum-X™ Ethernet Scale-out, Spectrum-XGS Ethernet Multi-Rechenzentrum Scale-across, NVIDIA® BlueField® DPU und DOCA™ für Infrastrukturdienste sowie Plattformen der nächsten Generation der Silizium-Photonik kombinieren und so die anspruchsvollsten KI-Rechenzentren der Welt ermöglichen.
Technische Daten zu NVIDIA HGX
NVIDIA HGX ist als einzelnes Baseboard mit acht NVIDIA Rubin, NVIDIA Blackwell oder NVIDIA Blackwell Ultra SXMs verfügbar und kann mit einer NVIDIA Vera CPU oder einem x86-basierten Baseboard kombiniert werden. Diese leistungsstarken Kombinationen aus Hard- und Software bilden den Grundstein für eine beispiellose KI-Supercomputing-Leistung.
-
NVIDIA Rubin NVL8
-
NVIDIA Blackwell
| HGX Rubin NVL8* | |
|---|---|
| Formfaktor | 8x NVIDIA Rubin SXM |
| NVFP4 Inferenz | 400 PFLOPS |
| NVFP4 Training<sup>1</sup> | 280 PFLOPS |
| FP8/FP6 Training<sup>1</sup> | 140 PF |
| INT8 Tensor Core<sup>1</sup> | 2 PFLOPS |
| FP16/BF16 Tensor Core<sup>1</sup> | 32 PFLOPS |
| TF32 Tensor Core<sup>1</sup> | 16 PFLOPS |
| FP32 | 1040 TFLOPS |
| FP64/FP64 Tensor Core | 264 TFLOPS |
| FP32 SGEMM | FP64 DGEMM<sup>2</sup> | 3200 TF | 1600 TF |
| Gesamtspeicher | 2.3 TB |
| NVIDIA NVLink | Sixth generation |
| NVIDIA NVLink Switch | NVLink 6 Switch |
| NVLink-Bandbreite (GPU zu GPU) | 3.6 TB/s |
| NVLink-Switch-Bandbreite insgesamt | 28.8 TB/s |
| Netzwerkbandbreite | 1.6 TB/s |
* Vorläufige Spezifikation, Änderungen vorbehalten.
1. Spezifikation in Dense.
2. Spitzenleistung mit auf Tensor-Core basierenden Emulationsalgorithmen.
| HGX B300<sup>4</sup> | HGX B200<sup>4</sup> | |
|---|---|---|
| Formfaktor | 8x NVIDIA Blackwell Ultra SXM | 8x NVIDIA Blackwell SXM |
| FP4 Tensor Core<sup>1</sup> | 144 PFLOPS | 108 PFLOPS | 144 PFLOPS | 72 PFLOPS |
| FP8/FP6 Tensor Core<sup>2</sup> | 72 PFLOPS | 72 PFLOPS |
| INT8 Tensor Core<sup>2</sup> | 3 POPS | 72 POPS |
| FP16/BF16 Tensor Core<sup>2</sup> | 36 PFLOPS | 36 PFLOPS |
| TF32 Tensor Core<sup>2</sup> | 18 PFLOPS | 18 PFLOPS |
| FP32 | 600 TFLOPS | 600 TFLOPS |
| FP64/FP64 Tensor Core | 10 TFLOPS | 296 TFLOPS |
| Gesamtspeicher | 2.1 TB | 1.4 TB |
| NVIDIA NVLink | Fünfte Generation | Fünfte Generation |
| NVIDIA NVLink Switch™ | NVLink 5 Switch | NVLink 5 Switch |
| NVSwitch-Bandbreite für Verbindungen zwischen GPUs | 1.8 TB/s | 1.8 TB/s |
| Gesamte NVLink-Bandbreite | 14.4 TB/s | 14.4 TB/s |
| Networking Bandwidth | 1.6 TB/s | 0.8 TB/s |
| Attention Performance<sup>3</sup> | 2x | 1x |
1. Spezifikation in Sparse | Dense
2. Spezifikation in Sparse. Dense ist ½ Sparse dargestellt.
3. vs. NVIDIA Blackwell.
4. HGX B300 und HGX B200 werden jetzt geliefert.
Erfahren Sie mehr über die NVIDIA Vera-Rubin-Plattform.