NVIDIA NVLink und NVLink Switch
Die Bausteine der High-Speed-Kommunikation mit mehreren Grafikkarten, um große Datensätze schneller in Modelle einzuspeisen und Daten zwischen Grafikkarten schnell auszutauschen.
Bedarf an schnelleren skalierbaren Verbindungen
Die Erschließung des vollen Potenzials von Exascale-Computing und KI-Modellen mit Billionen Parametern hängt von einer schnellen, nahtlosen Kommunikation zwischen allen Grafikprozessoren in einem Servercluster ab. Die fünfte Generation von NVIDIA NVLink™ ist eine Scale-up-Schnittstelle, die KI-Reasoning optimiert und die Leistung für Inferenzmodelle mit Billionen von Parametern beschleunigt.
Maximierung des Systemdurchsatzes mit NVIDIA NVLink
NVLink der fünften Generation verbessert die Skalierbarkeit für größere Multi-GPU-Systeme erheblich, indem es GPUs ermöglicht wird, Speicher und Berechnungen für Trainings-, Inferenz- und Reasoning-Workflows gemeinsam zu nutzen. Eine einzige NVIDIA Blackwell GPU unterstützt bis zu 18 NVLink-Verbindungen mit 100 Gigabyte pro Sekunde (GB/s) bei einer Gesamtbandbreite von 1,8 Terabyte pro Sekunde (TB/s). Dies ist die 2-fache Bandbreite im Vergleich zur vorherigen Generation und mehr als die 14-fache Bandbreite gegenüber PCIe der 5. Generation. Serverplattformen wie NVIDIA GB300 NVL72 nutzen diese Technologie, um eine höhere Skalierbarkeit für die komplexesten großen Modelle von heute zu ermöglichen.
NVLink At-Scale-Leistung
NVLink in NVIDIA GB300 erhöht die Bandbreite für die Kommunikation zwischen GPUs um das 2-Fache im Vergleich zur vorherigen Generation, sodass Forscher größere, anspruchsvollere Anwendungen für die Lösung komplexerer Probleme nutzen können.
Höherer Reasoning-Durchsatz mit NVLink-Kommunikation
Vollständig verbundene Grafikkarten mit NVIDIA NVLink und NVLink-Switch
NVLink ist eine bidirektionale, direkte GPU-zu-GPU-Verbindung mit 1,8 TB/s, die Multi-GPU-In- und -Output (IO) in einem Server skaliert. Die NVIDIA NVLink Switch-Chips verbinden mehrere NVLinks, um eine umfassende GPU-Kommunikation mit voller NVLink-Geschwindigkeit innerhalb eines einzigen Racks und zwischen den Racks zu ermöglichen.
Um einen kollektiven Hochgeschwindigkeitsbetrieb zu ermöglichen, verfügt jeder NVLink-Switch über Engines für NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP)™ für netzwerkinterne Reduzierungen und Multicast-Beschleunigung
Beschleunigen Sie das Testzeit-Reasoning für Billionen von Parametermodellen mit dem NVLink-Switch-System
Mit NVLink Switch können NVLink-Verbindungen über Knoten hinweg ausgedehnt werden, um einen nahtlosen GPU-Cluster mit hoher Bandbreite zu bilden, der mehrere Knoten umfasst und eine effektive GPU für Rechenzentren bildet. NVIDIA NVLink Switch ermöglicht 130 TB/s GPU-Bandbreite in einem GB300-NVL72 für große Modellparallelität. Multi-Server-Cluster mit NVLink skalieren die GPU-Kommunikation im Gleichklang mit verbessertem Computing, sodass NVL72 die 9-fache Anzahl von GPUs unterstützen kann als ein einziges System mit acht GPUs.
NVIDIA NVLink-Switch
Der NVIDIA NVLink 5 Switch verfügt über 144 NVLink-Ports mit einer nicht-blockierenden Switching-Kapazität von 14,4 TB/s. Der Rack-Switch ist für eine hohe Bandbreite und niedrige Latenz in NVIDIA GB300 NVL72-Systemen ausgelegt, die externe NVLink-Konnektivität der fünften Generation unterstützen.
NVIDIA NVLink Fusion
NVIDIA NVLink Fusion bietet branchenführende Skalierung der KI-Leistung für maßgeschneidertes Computing, sodass Hyperscaler eine gemeinsame KI-Infrastruktur mit NVIDIA NVLink Fusion und Architektur im Rack-Maßstab entwickeln können.
Skalierung von Enterprise auf Exascale
Vollständige Verbindung für unübertroffene Leistung
Der NVLink Switch ist der erste Switch-Chip auf Rack-Ebene, der bis zu 576 vollständig verbundene GPUs in einer nicht blockierenden Rechenstruktur unterstützen kann. Der NVLink-Switch verbindet jedes GPU-Paar mit unglaublichen 1.800 GB/s. Er unterstützt eine vollständig allseitige Kommunikation. Die 72 GPUs in NVIDIA GB300 NVL72 können als ein einziger Hochleistungsbeschleuniger mit bis zu 1,4 exaFLOPS KI-Rechenleistung genutzt werden.
Die leistungsstärkste AI- und HPC-Plattform
NVLink und NVLink Switch sind wichtige Bausteine der kompletten NVIDIA-Lösung für Rechenzentren, die Hardware, Netzwerke, Software, Bibliotheken und optimierte KI-Modelle und -Anwendungen aus der NVIDIA AI Enterprise-Softwaresuite und dem NVIDIA NGC™-Katalog umfasst. Die extrem leistungsstarke End-to-End-Plattform für KI und HPC ermöglicht es Forschern, konkrete Ergebnisse zu liefern sowie Lösungen für die Produktion bereitzustellen und bietet bei jeder Größenordnung eine beispiellose Beschleunigung.
Technische Daten
-
NVLink
-
NVLink-Switch
| Dritte Generation | Vierte Generation | Fünfte Generation | |
|---|---|---|---|
| NVLink-Bandbreite pro GPU | 600 GB/s | 900 GB/s | 1,800 GB/s |
| Maximale Anzahl an Links pro Grafikkarte | 12 | 18 | 18 |
| Unterstützte NVIDIA-Architekturen | NVIDIA Ampere-Architektur | NVIDIA™ Hopper-Architektur | NVIDIA Blackwell-Architektur |
| NVLink 3 Switch | NVLink 4 Switch | NVLink 5 Switch | |
|---|---|---|---|
| Anzahl der Grafikkarten mit direkter Verbindung in einer NVLink-Domäne | Bis zu 8 | Bis zu 8 | Bis zu 576 |
| NVSwitch-Bandbreite für Verbindungen zwischen Grafikkarten | 600 GB/s | 900 GB/s | 1,800 GB/s |
| Gesamte aggregierte Bandbreite | 4.8 TB/s | 7.2 TB/s | 1 PB/s |
| Unterstützte NVIDIA-Architekturen | NVIDIA Ampere-Architektur | NVIDIA™ Hopper-Architektur | NVIDIA Blackwell-Architektur |
Vorläufige Spezifikationen, Änderungen möglich
Tiefer Einblick in die NVIDIA Blackwell-Architektur