NVIDIA HGX-Plattform
Beschleunigung von KI und High-Performance-Computing für jedes Rechenzentrum.
Überblick
Optimierung von KI und HPC für jedes Rechenzentrum
Die NVIDIA HGX™-Plattform vereint die volle Leistung von NVIDIA GPUs, NVIDIA NVLink™, NVIDIA Netzwerktechnik und vollständig optimierten KI- und HPC-Softwarestacks (High-Performance-Computing), um die höchstmögliche Anwendungsleistung und schnellste Zeit zur Erkenntnisgewinnung für jedes Rechenzentrum bereitzustellen.
Der NVIDIA HGX Rubin NVL8 integriert acht NVIDIA Rubin-GPUs mit Hochgeschwindigkeits-NVLink-Verbindungen der sechsten Generation und bietet 5,5-mal mehr NVFP4 FLOPS als HGX B200, um das Rechenzentrum in eine neue Ära des beschleunigten Computings und der generativen KI zu führen.
Beschleunigung von HGX mit NVIDIA Networking
KI-Fabriken und Supercomputing-Zentren umfassen Tausende von GPUs als eine einzige verteilte Rechen-Engine. Damit Beschleuniger stets voll ausgelastet sind, erfordern KI- und wissenschaftliche Workloads deterministische Latenz, verlustfreien Durchsatz, stabile Iterationszeiten und die Möglichkeit, nicht nur innerhalb eines Rechenzentrums, sondern auch über mehrere Standorte hinweg zu skalieren.
NVIDIA-Netzwerke bieten das Full-Stack-Gewebe, das dies ermöglicht, indem sie NVIDIA NVLink Scale-up, NVIDIA Quantum InfiniBand und Spectrum-X™ Ethernet Scale-out, Spectrum-XGS Ethernet Multi-Rechenzentrum Scale-across, NVIDIA® BlueField® DPU und DOCA™ für Infrastrukturdienste sowie Plattformen der nächsten Generation der Silizium-Photonik kombinieren und so die anspruchsvollsten KI-Rechenzentren der Welt ermöglichen.
Technische Daten zu NVIDIA HGX
NVIDIA HGX ist in einem einzigen Baseboard mit acht NVIDIA Rubin-, NVIDIA Blackwell- oder NVIDIA Blackwell Ultra SXMs erhältlich. Diese leistungsstarken Kombinationen aus Hard- und Software bilden den Grundstein für eine beispiellose KI-Supercomputing-Leistung.
-
NVIDIA Rubin NVL8
-
NVIDIA Blackwell
| HGX Rubin NVL8* | |
|---|---|
| Formfaktor | 8x NVIDIA Rubin SXM |
| NVFP4 Inferenz | 400 PFLOPS |
| NVFP4 Training | 280 PFLOPS |
| FP8/FP6 Training | 140 PF |
| INT8 Tensor Core<sup>1</sup> | 2 PFLOPS |
| FP16/BF16 Tensor Core<sup>1</sup> | 32 PFLOPS |
| TF32 Tensor Core<sup>1</sup> | 16 PFLOPS |
| FP32 | 1040 TFLOPS |
| FP64/FP64 Tensor Core | 264 TFLOPS |
| FP32 SGEMM | FP64 DGEMMCore<sup>2</sup> | 3200 TF | 1600 TF |
| Gesamtspeicher | 2.3 TB |
| NVIDIA NVLink | Sixth generation |
| NVIDIA NVLink Switch | NVLink 6 Switch |
| NVLink-Bandbreite (GPU zu GPU) | 3.6 TB/s |
| NVLink-Switch-Bandbreite insgesamt | 28.8 TB/s |
| Netzwerkbandbreite | 1.6 TB/s |
* Vorläufige Spezifikation, Änderungen vorbehalten.
1. Spezifikation in Dense.
2. Spitzenleistung mit auf Tensor-Core basierenden Emulationsalgorithmen.
| HGX B300 | HGX B200 | |
|---|---|---|
| Formfaktor | 8x NVIDIA Blackwell Ultra SXM | 8x NVIDIA Blackwell SXM |
| FP4 Tensor Core<sup>1</sup> | 144 PFLOPS | 108 PFLOPS | 144 PFLOPS | 72 PFLOPS |
| FP8/FP6 Tensor Core<sup>2</sup> | 72 PFLOPS | 72 PFLOPS |
| INT8 Tensor Core<sup>2</sup> | 3 POPS | 72 POPS |
| FP16/BF16 Tensor Core<sup>2</sup> | 36 PFLOPS | 36 PFLOPS |
| TF32 Tensor Core<sup>2</sup> | 18 PFLOPS | 18 PFLOPS |
| FP32 | 600 TFLOPS | 600 TFLOPS |
| FP64/FP64 Tensor Core | 10 TFLOPS | 296 TFLOPS |
| Gesamtspeicher | 2.1 TB | 1.4 TB |
| NVIDIA NVLink | Fünfte Generation | Fünfte Generation |
| NVIDIA NVLink Switch™ | NVLink 5 Switch | NVLink 5 Switch |
| NVSwitch-Bandbreite für Verbindungen zwischen GPUs | 1.8 TB/s | 1.8 TB/s |
| Gesamte NVLink-Bandbreite | 14.4 TB/s | 14.4 TB/s |
| Networking Bandwidth | 1.6 TB/s | 0.8 TB/s |
| Attention Performance<sup>3</sup> | 2x | 1x |
1. Spezifikation in Sparse | Dense
2. Spezifikation in Sparse. Dense ist ½ Sparse dargestellt.
3. vs. NVIDIA Blackwell.
Erfahren Sie mehr über die NVIDIA Rubin Plattform.