Bedarf an schnelleren, besser skalierbaren Verbindungen

Steigende Rechenanforderungen für KI und High-Performance-Computing (HPC) – mit einer neuen Klasse von Billionen-Parametermodellen – erfordern Systeme mit mehreren Knoten und mehreren Grafikprozessoren, die nahtlos und in Hochgeschwindigkeit miteinander kommunizieren. Für die Entwicklung der leistungsstärksten End-to-End-Computing-Plattform, die diese Arbeitsgeschwindigkeit erreichen kann, sind schnellere, besser skalierbare Verbindungen erforderlich.

NVIDIA A100 PCIe with NVLink GPU-to-GPU connection
NVIDIA A100 with NVLink GPU-to-GPU connections

NVLink-Leistung

NVLink-Leistung

Vollständig verbundene GPUs mit NVIDIA NVSwitch

Die dritte Generation von NVIDIA NVSwitch nutzt die fortschrittliche Kommunikationsfähigkeit von NVLink, um eine höhere Bandbreite und eine geringere Latenz für rechenintensive Workloads bereitzustellen. Um den kollektiven Hochgeschwindigkeitsbetrieb zu ermöglichen, verfügt jeder NVSwitch über 64 NVLink-Ports mit Engines für NVIDIA SHARP (Scalable Hierarchical Aggregation Reduction Protocol) für netzwerkinterne Reduktionen und Multicast-Beschleunigung.

Fully Connect GPUs with NVIDIA NVSwitch
NVLink and NVSwitch Work Together

Wie NVLink und NVSwitch zusammenarbeiten

NVLink realisiert eine direkte GPU-zu-GPU-Verbindung, die den Input/Output (IO) mehrerer Grafikprozessoren innerhalb des Servers skaliert. NVSwitch verbindet mehrere NVLinks, um eine vollständige Kommunikation zwischen allen GPUs mit voller NVLink-Geschwindigkeit innerhalb eines einzelnen Knotens und zwischen Knoten zu ermöglichen.    

Mit der Kombination aus NVLink und NVSwitch hat NVIDIA MLPerf 1.1 erzielt – den ersten branchenweiten Benchmark für KI.

Skalierung bis zu Billionen-Parametermodellen

Mit NVSwitch können NVLink-Verbindungen über Knoten hinweg ausgedehnt werden, um einen nahtlosen GPU-Cluster mit hoher Bandbreite zu bilden, der mehrere Knoten umfasst und eine effektive GPU für Rechenzentren bildet. Durch das Hinzufügen einer externen zweiten NVSwitch-Ebene zu den Servern kann das NVLink-Netzwerk bis zu 256 GPUs verbinden und eine atemberaubende Gesamtbandbreite von 57,6 Terabyte pro Sekunde (TB/s) bereitstellen, um selbst die größten KI-Aufgaben schnell zu lösen. 

Scale-Up to Train Trillion Parameter Models
NVIDIA NVLink Switch

NVIDIA NVLink-Switch

Der NVIDIA NVLink-Switch bietet 128 NVLink-Ports mit einer nicht blockierenden Switching-Kapazität von 3.2 Terabytes pro Sekunde (TB/s). Der Rack-Switch ist für eine hohe Bandbreite und niedrige Latenz in NVIDIA DGX- und NVIDIA HGX-Systemen ausgelegt, die externe NVLink-Konnektivität der vierten Generation unterstützen.

Skalierung von Enterprise auf Exascale

Vollständige Verbindung für unübertroffene Leistung

NVSwitch ist die erste knotenbasierte Switch-Architektur, die 8 bis 16 vollständig verbundene Grafikprozessoren auf einem einzigen Serverknoten unterstützt. Der NVSwitch der dritten Generation verbindet jedes GPU-Paar mit unglaublichen 900 GB/s. Er unterstützt eine vollständig allseitige Kommunikation. Die Grafikprozessoren können als einzelner Hochleistungsbeschleuniger mit bis zu 15 PetaFLOPS Rechenleistung für Deep Learning genutzt werden. 

Die leistungsstärkste KI- und HPC-Plattform

NVLink und NVSwitch sind wichtige Bausteine der kompletten NVIDIA-Lösung für Rechenzentren, die Hardware, Netzwerke, Software, Bibliotheken und optimierte KI-Modelle und -Anwendungen aus der NVIDIA AI Enterprise-Softwaresuite und dem  NVIDIA NGC-Katalog umfasst. Die extrem leistungsstarke End-to-End-Plattform für KI und HPC ermöglicht es Forschern, konkrete Ergebnisse zu liefern sowie Lösungen für die Produktion bereitzustellen und bietet bei jeder Größenordnung eine beispiellose Beschleunigung. 

Technische Daten

  • NVLink

    NVLink

  • NVSwitch

    NVSwitch

  • NVLink und NVSwitch zwischen Servern

    NVLink und NVSwitch zwischen Servern

  Zweite Generation Dritte Generation Vierte Generation
NVLink-Bandbreite pro GPU 300 GB/s 600 GB/s 900 GB/s
Maximale Anzahl an Links pro Grafikprozessor 6 12 18
Unterstützte NVIDIA-Architekturen NVIDIA Volta-Architektur NVIDIA Ampere-Architektur NVIDIA Hopper-Architektur
  Erste Generation Zweite Generation Dritte Generation
Anzahl der Grafikprozessoren mit direkter Verbindung/Knoten Bis zu 8 Bis zu 8 Bis zu 8
NVSwitch-Bandbreite für Verbindungen zwischen GPUs 300 GB/s 600 GB/s 900 GB/s
Gesamte aggregierte Bandbreite 2,4 TB/s 4,8 TB/s 7,2 TB/s
Unterstützte NVIDIA-Architekturen NVIDIA Volta-Architektur NVIDIA Ampere-Architektur NVIDIA Hopper-Architektur
  NVLink und NVSwitch zwischen Servern
Anzahl der Grafikprozessoren mit direkter Verbindung Bis zu 256
NVSwitch-Bandbreite für Verbindungen zwischen GPUs 900 GB/s
Gesamte aggregierte Bandbreite 57,6 TB/s
Netzwerkinterne Reduktionen SHARP-Reduktionen in NVSwitch
Support wichtiger Software CUDA®, CUDA-X, Magnum IO
Unterstützte NVIDIA-Architekturen NVIDIA Hopper-Architektur

Einblicke in die NVIDIA Hopper-Architektur.

Werfen Sie einen genaueren Blick auf die NVIDIA Hopper-Architektur und ihre Implementierung in der NVIDIA H100 Tensor Core-GPU.