This site requires Javascript in order to view all its content. Please enable Javascript in order to access all the functionality of this web site. Here are the instructions how to enable JavaScript in your web browser.

NVLINK UND NVSWITCH

Die Bausteine der fortschrittlichen Multi-GPU-Kommunikation – auf und zwischen Servern.

Bedarf an schnelleren, besser skalierbaren Verbindungen

Steigende Rechenanforderungen für KI und High-Performance-Computing (HPC) – mit einer neuen Klasse von Billionen-Parametermodellen – erfordern Systeme mit mehreren Knoten und mehreren Grafikprozessoren, die nahtlos und in Hochgeschwindigkeit miteinander kommunizieren. Für die Entwicklung der leistungsstärksten End-to-End-Computing-Plattform, die diese Arbeitsgeschwindigkeit erreichen kann, sind schnellere, besser skalierbare Verbindungen erforderlich.

Maximierung des Systemdurchsatzes mit NVIDIA NVLink

Die vierte Generation der NVIDIA^® NVLink^®-Technologie bietet eine 1,5-mal höhere Bandbreite und verbesserte Skalierbarkeit für Multi-GPU-Systemkonfigurationen. Eine einzelne NVIDIA Tensor Core-GPU unterstützt bis zu 18 NVLink-Verbindungen für eine Bandbreite von insgesamt 900 GB/s. Das ist eine über 7 Mal höhere Bandbreite als bei PCIe der fünften Generation.

Server wie der NVIDIA DGX^™ H100 nutzen diese Technologie, um eine höhere Skalierbarkeit für extrem schnelles Deep-Learning-Training zu ermöglichen.

NVIDIA A100 PCIe with NVLink GPU-to-GPU connection

NVIDIA H100 PCIe mit NVLink-Verbindung zwischen Grafikprozessoren

NVIDIA A100 with NVLink GPU-to-GPU connections

NVIDIA H100 mit NVLink-Verbindungen zwischen Grafikprozessoren

NVLink-Leistung

NVLink in NVIDIA H100 erhöht die Bandbreite für die Kommunikation zwischen GPUs um das 1,5-fache im Vergleich zur vorherigen Generation, sodass Forscher größere, anspruchsvollere Anwendungen für die Lösung komplexerer Probleme nutzen können.

Vollständig verbundene GPUs mit NVIDIA NVSwitch

Die dritte Generation von NVIDIA NVSwitch^™ nutzt die fortschrittliche Kommunikationsfähigkeit von NVLink, um eine höhere Bandbreite und eine geringere Latenz für rechenintensive Workloads bereitzustellen. Um den kollektiven Hochgeschwindigkeitsbetrieb zu ermöglichen, verfügt jeder NVSwitch über 64 NVLink-Ports mit Engines für NVIDIA SHARP^™ (Scalable Hierarchical Aggregation Reduction Protocol) für netzwerkinterne Reduktionen und Multicast-Beschleunigung.

NVSwitch macht es möglich, dass acht Grafikprozessoren in einem NVIDIA DGX H100-System in einem Cluster mit Konnektivität mit voller Bandbreite zusammenarbeiten.

Wie NVLink und NVSwitch zusammenarbeiten

NVLink realisiert eine direkte GPU-zu-GPU-Verbindung, die den Input/Output (IO) mehrerer Grafikprozessoren innerhalb des Servers skaliert. NVSwitch verbindet mehrere NVLinks, um eine vollständige Kommunikation zwischen allen GPUs mit voller NVLink-Geschwindigkeit innerhalb eines einzelnen Knotens und zwischen Knoten zu ermöglichen.

Mit der Kombination aus NVLink und NVSwitch hat NVIDIA MLPerf 1.1 erzielt – den ersten branchenweiten Benchmark für KI.

SEHEN SIE WIE DIE TECHNOLOGIE ARBEITET

Skalierung bis zu Billionen-Parametermodellen

Mit NVSwitch können NVLink-Verbindungen über Knoten hinweg ausgedehnt werden, um einen nahtlosen GPU-Cluster mit hoher Bandbreite zu bilden, der mehrere Knoten umfasst und eine effektive GPU für Rechenzentren bildet. Durch das Hinzufügen einer externen zweiten NVSwitch-Ebene zu den Servern kann das NVLink-Netzwerk bis zu 256 GPUs verbinden und eine atemberaubende Gesamtbandbreite von 57,6 Terabyte pro Sekunde (TB/s) bereitstellen, um selbst die größten KI-Aufgaben schnell zu lösen.

MEHR INFORMATIONEN ZU NVIDIA H100

Scale-Up to Train Trillion Parameter Models

NVIDIA NVLink-Switch

Der NVIDIA NVLink-Switch bietet 128 NVLink-Ports mit einer nicht blockierenden Switching-Kapazität von 3.2 Terabytes pro Sekunde (TB/s). Der Rack-Switch ist für eine hohe Bandbreite und niedrige Latenz in NVIDIA DGX- und NVIDIA HGX-Systemen^™ ausgelegt, die externe NVLink-Konnektivität der vierten Generation unterstützen.

MEHR INFORMATIONEN ZU NVIDIA DGX H100

Skalierung von Enterprise auf Exascale

Vollständige Verbindung für unübertroffene Leistung

NVSwitch ist die erste knotenbasierte Switch-Architektur, die 8 bis 16 vollständig verbundene Grafikprozessoren auf einem einzigen Serverknoten unterstützt. Der NVSwitch der dritten Generation verbindet jedes GPU-Paar mit unglaublichen 900 GB/s. Er unterstützt eine vollständig allseitige Kommunikation. Die Grafikprozessoren können als einzelner Hochleistungsbeschleuniger mit bis zu 15 PetaFLOPS Rechenleistung für Deep Learning genutzt werden.

Die leistungsstärkste KI- und HPC-Plattform

NVLink und NVSwitch sind wichtige Bausteine der kompletten NVIDIA-Lösung für Rechenzentren, die Hardware, Netzwerke, Software, Bibliotheken und optimierte KI-Modelle und -Anwendungen aus der NVIDIA AI Enterprise-Softwaresuite und dem NVIDIA NGC^™-Katalog umfasst. Die extrem leistungsstarke End-to-End-Plattform für KI und HPC ermöglicht es Forschern, konkrete Ergebnisse zu liefern sowie Lösungen für die Produktion bereitzustellen und bietet bei jeder Größenordnung eine beispiellose Beschleunigung.

Technische Daten

NVLink
NVSwitch
NVLink und NVSwitch zwischen Servern

	Zweite Generation	Dritte Generation	Vierte Generation
NVLink-Bandbreite pro GPU	300 GB/s	600 GB/s	900 GB/s
Maximale Anzahl an Links pro Grafikprozessor	6	12	18
Unterstützte NVIDIA-Architekturen	NVIDIA Volta^™-Architektur	NVIDIA Ampere-Architektur	NVIDIA Hopper^™-Architektur

	Erste Generation	Zweite Generation	Dritte Generation
Anzahl der Grafikprozessoren mit direkter Verbindung/Knoten	Bis zu 8	Bis zu 8	Bis zu 8
NVSwitch-Bandbreite für Verbindungen zwischen GPUs	300 GB/s	600 GB/s	900 GB/s
Gesamte aggregierte Bandbreite	2,4 TB/s	4,8 TB/s	7,2 TB/s
Unterstützte NVIDIA-Architekturen	NVIDIA Volta-Architektur	NVIDIA Ampere-Architektur	NVIDIA Hopper-Architektur

	NVLink und NVSwitch zwischen Servern
Anzahl der Grafikprozessoren mit direkter Verbindung	Bis zu 256
NVSwitch-Bandbreite für Verbindungen zwischen GPUs	900 GB/s
Gesamte aggregierte Bandbreite	57,6 TB/s
Netzwerkinterne Reduktionen	SHARP-Reduktionen in NVSwitch
Support wichtiger Software	CUDA^®, CUDA-X^™, Magnum IO^™
Unterstützte NVIDIA-Architekturen	NVIDIA Hopper-Architektur

Vorläufige Spezifikationen, Änderungen möglich

Einblicke in die NVIDIA Hopper-Architektur.

Werfen Sie einen genaueren Blick auf die NVIDIA Hopper-Architektur und ihre Implementierung in der NVIDIA H100 Tensor Core-GPU.

WHITEPAPER LESEN