Visit your regional NVIDIA website for local content, pricing, and where to buy partners specific to your country.
Entwickelt für das Zeitalter des KI-Reasoning.
Melden Sie sich an, um benachrichtigt zu werden, sobald die NVIDIA GB300 NVL72 erhältlich ist.
Überblick
Die NVIDIA GB300 NVL72 weist ein vollständig flüssigkeitsgekühltes Rack-Design auf, das 72 NVIDIA Blackwell Ultra GPUs und 36 Arm®-basierte NVIDIA Grace™ CPUs in einer einzigen Plattform vereint, die für Skalierungsinferenz in der Testzeit optimiert ist. KI-Fabriken, die mit der GB300 NVL72 und NVIDIA Quantum-X800 InfiniBand oder Spectrum™-X Ethernet in Verbindung mit ConnectX®-8 SuperNICS ausgestattet sind, bieten im Vergleich zur NVIDIA Hopper™ Plattform eine 50-mal höhere Leistung für Reasoning-Modellinferenz.
DeepSeek R1 ISL = 32K, OSL = 8K, GB300 NVL72 mit FP4 Dynamo Disaggregation. H100 mit FP8 In-Flight-Batching. Die projizierte Leistung kann Änderungen unterliegen.
Erleben Sie KI-Reasoning-Leistung auf einem neuen Niveau mit der NVIDIA GB300 NVL72 Plattform. Im Vergleich zu Hopper bietet die GB300 NVL72 eine beeindruckende 10-fache Verbesserung der Benutzerreaktionsfähigkeit (TPS pro Benutzer) und eine 5-fache Verbesserung des Durchsatzes (TPS pro Megawatt (MW)). Zusammen führen diese Fortschritte zu einem bemerkenswerten 50-fachen Sprung der Gesamtleistung für KI-Fabriken.
Eigenschaften
Skalierung in der Testzeit und KI-Reasoning erhöhen die Rechenleistung, die für hohe Servicequalität und einen maximalen Durchsatz erforderlich ist. Die Tensor-Recheneinheiten von NVIDIA Blackwell Ultra sorgen für eine doppelt so hohe Beschleunigung auf der Aufmerksamkeitsebene und 1,5-mal mehr KI-Compute-Gleitkomma-Operationen pro Sekunde (FLOPS) im Vergleich zu NVIDIA Blackwell-GPUs.
Die größere Arbeitsspeicherkapazität erlaubt größere Batches und maximale Durchsatzleistung. NVIDIA Blackwell Ultra-GPUs bieten 1,5-mal mehr HBM3e-Speicher in Kombination mit zusätzlicher KI-Rechenleistung und steigern so den KI-Reasoning-Durchsatz bei besonders großen Kontextlängen.
Die NVIDIA Blackwell-Architektur sorgt für bahnbrechende Fortschritte beim beschleunigten Computing und leitet eine neue Ära beispielloser Leistung, Effizienz und Skalierbarkeit ein.
Das Ein-/Ausgabe-Modul (IO) der NVIDIA ConnectX-8 SuperNIC beherbergt zwei ConnectX-8-Geräte und bietet 800 Gbit/s an Netzwerkkonnektivität für jede GPU in der NVIDIA GB300 NVL72. Das ermöglicht erstklassige RDMA-Funktionen (Remote Direct Memory Access) mit entweder NVIDIA Quantum-X800 InfiniBand- oder Spectrum-X Ethernet-Netzwerkplattformen und somit eine maximale Effizienz von KI-Workloads.
Die NVIDIA Grace-CPU ist ein bahnbrechender Prozessor, der für moderne Workloads in Rechenzentren entwickelt wurde. Sie überzeugt durch herausragende Leistung und Speicherbandbreite mit der 2-fachen Energieeffizienz der führenden Serverprozessoren von heute.
Das Erschließen des vollen Potenzials von beschleunigtem Computing setzt eine nahtlose Kommunikation zwischen allen GPUs voraus. Die fünfte Generation von NVIDIA NVLink™ ist eine Scale-up-Verbindung, die beschleunigte Leistung für KI-Reasoning-Modelle ermöglicht.
Als Baustein für die NVIDIA GB300 NVL72-Rack-Lösung verfügt der NVIDIA GB300 Grace Blackwell Ultra Superchip über vier NVIDIA Blackwell Ultra-GPUs, zwei Grace-CPUs und vier ConnectX-8-SuperNICs. Mittels NVIDIA NVLink-Switch-Technologie und NVIDIA BlueField®-3-DPUs werden 18 Superchips zu einer riesigen GPU kombiniert, die speziell für das Zeitalter des KI-Reasoning entwickelt wurde.
Technische Daten
1. Vorläufige technische Daten. Änderungen vorbehalten. Alle technischen Daten für Tensor-Recheneinheiten sind, sofern nicht anders angegeben, mit Sparsity. 2. Ohne Sparsity.
Ressourcen
Melden Sie sich an, um benachrichtigt zu werden, sobald die NVIDIA GB300 NVL72 verfügbar ist.
Melden Sie sich an, um aktuelle Nachrichten, Updates und mehr von NVIDIA zu erhalten.