Bedarf an schnelleren, besser skalierbaren Verbindungen

Steigende Rechenanforderungen für KI und High-Performance-Computing (HPC) – mit einer neuen Klasse von Billionen-Parametermodellen – erfordern Systeme mit mehreren Knoten und mehreren Grafikprozessoren, die nahtlos und in Hochgeschwindigkeit miteinander kommunizieren. Für die Entwicklung der leistungsstärksten End-to-End-Computing-Plattform, die diese Arbeitsgeschwindigkeit erreichen kann, sind schnellere, besser skalierbare Verbindungen erforderlich.

Maximierung des Systemdurchsatzes mit NVIDIA NVLink

Die vierte Generation der NVIDIA® NVLink®-Technologie bietet eine 1,5-mal höhere Bandbreite und verbesserte Skalierbarkeit für Multi-GPU-Systemkonfigurationen. Eine einzelne NVIDIA Tensor Core-GPU unterstützt bis zu 18 NVLink-Verbindungen für eine Bandbreite von insgesamt 900 GB/s. Das ist eine über 7 Mal höhere Bandbreite als bei PCIe der fünften Generation. 

Server wie der NVIDIA DGX™ H100 nutzen diese Technologie, um eine höhere Skalierbarkeit für extrem schnelles Deep-Learning-Training zu ermöglichen.

NVIDIA A100 PCIe mit NVLink-Verbindung zwischen Grafikprozessoren

NVIDIA H100 PCIe mit NVLink-Verbindung zwischen Grafikprozessoren

NVIDIA A100 mit NVLink-Verbindungen zwischen Grafikprozessoren

NVIDIA H100 mit NVLink-Verbindungen zwischen Grafikprozessoren

NVLink-Leistung

NVLink-Leistung

NVLink in NVIDIA H100 erhöht die Bandbreite für die Kommunikation zwischen GPUs um das 1,5-Fache im Vergleich zur vorherigen Generation, sodass Forscher größere, anspruchsvollere Anwendungen für die Lösung komplexerer Probleme nutzen können.

Vollständig verbundene GPUs mit NVIDIA NVSwitch

Die dritte Generation von NVIDIA NVSwitch™ nutzt die fortschrittliche Kommunikationsfähigkeit von NVLink, um eine höhere Bandbreite und eine geringere Latenz für rechenintensive Workloads bereitzustellen. Um den kollektiven Hochgeschwindigkeitsbetrieb zu ermöglichen, verfügt jeder NVSwitch über 64 NVLink-Ports mit Engines für NVIDIA SHARP™ (Scalable Hierarchical Aggregation Reduction Protocol) für netzwerkinterne Reduktionen und Multicast-Beschleunigung.

Vollständig verbundene GPUs mit NVIDIA NVSwitch

NVSwitch macht es möglich, dass acht Grafikprozessoren in einem NVIDIA DGX H100-System in einem Cluster mit Konnektivität mit voller Bandbreite zusammenarbeiten.

Zusammenarbeit von NVLink und NVSwitch

Wie NVLink und NVSwitch zusammenarbeiten

NVLink realisiert eine direkte GPU-zu-GPU-Verbindung, die den Input/Output (IO) mehrerer Grafikprozessoren innerhalb des Servers skaliert. NVSwitch verbindet mehrere NVLinks, um eine vollständige Kommunikation zwischen allen GPUs mit voller NVLink-Geschwindigkeit innerhalb eines einzelnen Knotens und zwischen Knoten zu ermöglichen.    

Mit der Kombination aus NVLink und NVSwitch hat NVIDIA MLPerf 1.1 erzielt – den ersten branchenweiten Benchmark für KI.

Sehen Sie sich die Technologie in Action an 

Skalierung zum Training von bis zu Billionen Parametermodellen mit dem NVLink-Switch-System

Mit NVSwitch können NVLink-Verbindungen über Knoten hinweg ausgedehnt werden, um einen nahtlosen GPU-Cluster mit hoher Bandbreite zu bilden, der mehrere Knoten umfasst und eine effektive GPU für Rechenzentren bildet. Durch das Hinzufügen von einem externen zweiten NVLink-Switch zu den Servern kann das NVLink-Switch-System bis zu 256 GPUs verbinden und eine atemberaubende Gesamtbandbreite von 57,6 Terabyte pro Sekunde (TB/s) bereitstellen, um selbst die größten KI-Aufgaben schnell zu lösen. 

Mehr Informationen zu NVIDIA H100 
Skalierung zum Training von bis zu Billionen Parametermodellen
NVIDIA NVLink-Switch

NVIDIA NVLink-Switch

Der NVIDIA NVLink-Switch bietet 128 NVLink-Ports mit einer nicht blockierenden Switching-Kapazität von 3,2 Terabyte pro Sekunde (Tb/s). Der Rack-Switch ist für eine hohe Bandbreite und niedrige Latenz in NVIDIA DGX- und NVIDIA HGX-Systemen™ ausgelegt, die externe NVLink-Konnektivität der vierten Generation unterstützen.

Mehr Informationen zu NVIDIA DGX H100 

Skalierung von Enterprise auf Exascale

Vollständige Verbindung für unübertroffene Leistung

NVSwitch ist die erste knotenbasierte Switch-Architektur, die 8 bis 16 vollständig verbundene Grafikprozessoren auf einem einzigen Serverknoten unterstützt. Der NVSwitch der dritten Generation verbindet jedes GPU-Paar mit unglaublichen 900 GB/s. Er unterstützt eine vollständig allseitige Kommunikation. Die Grafikprozessoren können als einzelner Hochleistungsbeschleuniger mit bis zu 15 PetaFLOPS Rechenleistung für Deep Learning genutzt werden. 

Die leistungsstärkste KI- und HPC-Plattform

NVLink und NVSwitch sind wichtige Bausteine der kompletten NVIDIA-Lösung für Rechenzentren, die Hardware, Netzwerke, Software, Bibliotheken und optimierte KI-Modelle und -Anwendungen aus der NVIDIA AI Enterprise-Softwaresuite und dem  NVIDIA NGC™-Katalog umfasst. Die extrem leistungsstarke End-to-End-Plattform für KI und HPC ermöglicht es Forschern, konkrete Ergebnisse zu liefern sowie Lösungen für die Produktion bereitzustellen und bietet bei jeder Größenordnung eine beispiellose Beschleunigung. 

Technische Daten

  • NVLink

    NVLink

  • NVSwitch

    NVSwitch

  • NVLink-Switch-System

    NVLink-Switch-System

  Zweite Generation Dritte Generation Vierte Generation
NVLink-Bandbreite pro GPU 300 GB/s 600 GB/s 900 GB/s
Maximale Anzahl an Links pro Grafikprozessor 6 12 18
Unterstützte NVIDIA-Architekturen NVIDIA Volta™-Architektur NVIDIA Ampere-Architektur NVIDIA Hopper™-Architektur
  Erste Generation Zweite Generation Dritte Generation
Anzahl der Grafikprozessoren mit direkter Verbindung/Knoten Bis zu 8 Bis zu 8 Bis zu 8
NVSwitch-Bandbreite für Verbindungen zwischen GPUs 300 GB/s 600 GB/s 900 GB/s
Gesamte aggregierte Bandbreite 2,4 TB/s 4,8 TB/s 7,2 TB/s
Unterstützte NVIDIA-Architekturen NVIDIA Volta-Architektur NVIDIA Ampere-Architektur NVIDIA Hopper-Architektur
  NVLink-Switch-System
Anzahl der Grafikprozessoren mit direkter Verbindung Bis zu 256
NVSwitch-Bandbreite für Verbindungen zwischen GPUs 900 GB/s
Gesamte aggregierte Bandbreite 57,6 TB/s
Netzwerkinterne Reduktionen SHARP-Reduktionen in NVSwitch
Support wichtiger Software CUDA®, CUDA-X™, Magnum IO™
Unterstützte NVIDIA-Architekturen NVIDIA Hopper-Architektur

Vorläufige Spezifikationen, Änderungen möglich

Tiefer Einblick in die NVIDIA Hopper-Architektur

Whitepaper lesen
Produkte
Technologien
Software
Ressourcen