NVLink und NVLink-Switch

NVLink realisiert eine direkte bidirektionale GPU-zu-GPU-Verbindung mit 1,8 TB/s, die den Input/Output (IO) mehrerer Grafikkarten innerhalb eines Servers skaliert. Die NVIDIA NVLink-Switch-Chips verbinden mehrere NVLinks, um eine vollständige Kommunikation zwischen allen Grafikkarten mit voller NVLink-Geschwindigkeit innerhalb eines einzelnen Racks und zwischen Racks zu ermöglichen.

Zur Ermöglichung schneller, kollektiver Operationen verfügt jeder NVLink-Switch über Engines für das NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP)™ für netzinterne Reduktionen und Multicast-Beschleunigung.

Der NVLink-Switch ist der erste Switch-Chip auf Rack-Ebene, die bis zu 576 vollständig verbundene Grafikkarten in einer nicht blockierenden Compute Fabric unterstützt. Der NVSwitch der vierten Generation verbindet jedes GPU-Paar mit unglaublichen 1.800 GB/s. Er unterstützt eine vollständig allseitige Kommunikation. Die 72 Grafikkarten in GB200 NVL72 können als einzelner Hochleistungsbeschleuniger mit bis zu 1,4 exaFLOPS AI-Rechenleistung eingesetzt werden

NVLink und der NVLink-Switch sind wichtige Bausteine der kompletten NVIDIA-Lösung für Rechenzentren, die Hardware, Netzwerke, Software, Bibliotheken und optimierte AI-Modelle und -Anwendungen aus der NVIDIA AI Enterprise-Softwaresuite und dem  NVIDIA NGC™-Katalog umfasst. Die extrem leistungsstarke End-to-End-Plattform für AI und HPC ermöglicht es Forschern, konkrete Ergebnisse zu liefern sowie Lösungen für die Produktion bereitzustellen und bietet bei jeder Größenordnung eine beispiellose Beschleunigung.