NVLink Switch Chip

NVIDIA NVLink 與 NVLink 交換器

採用高頻寬 GPU 之間通訊的垂直擴充網狀架構,適用於 AI 訓練與推論等要求嚴苛的機架級 GPU 加速工作負載。

加速垂直擴充互連的需求

整個伺服器機架必須有順暢的高傳輸量 GPU 對 GPU 通訊,最新的 AI 模型才能達到最高效能。第六代 NVIDIA NVLink™ 與 NVLink 交換器採用低延遲的超大網路頻寬,具備全互連能力,是專為加速訓練與推論而設計,推理與代理 AI 工作負載速度更快。

NVLink 大規模效能

NVIDIA Rubin 的第六代 NVIDIA NVLink,GPU 對 GPU 通訊頻寬是前一代的 2 倍,利用最新 AI 模型架構加速訓練與推論。

使用 NVLink Communications 提高邏輯推理輸送量

用 NVIDIA NVLink 和 NVLink 交換器完整連接多個 GPU

NVLink 是 3.6 TB/s 的雙向直接 GPU 互連技術,可擴充伺服器內多顆 GPU 的輸入和輸出 (IO) 規模。NVIDIA NVLink 交換器晶片連接多個 NVLink,在整個機架內以完整的 NVLink 速度提供 GPU 全互連通訊。

為實現高速集體作業,每款 NVLink 交換器皆配備 NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP)™ 引擎,實現網路歸約 (in-network reduction) 並加速多播 (multicast) 通訊。

利用 NVLink 交換器系統加速兆級參數模型的測試時邏輯推理

NVLink 交換器可讓 NVLink 連線跨節點延伸,並建立流暢且高頻寬的多節點 GPU 叢集,有效將 GPU 擴充至資料中心適用大小。NVIDIA NVLink 交換器在單一 NVIDIA Vera Rubin NVL72 中支援 260 TB/s 的 GPU 頻寬,實現大型模型平行運算。採用 NVLink 的多伺服器叢集可在提升運算能力的同時,擴充 GPU 之間的通訊,因此 NVIDIA Vera Rubin NVL72 可支援的 GPU 數量為單一八 GPU 系統的 9 倍。

從企業級擴充至百萬兆級

完全連接,效能絕倫

Vera Rubin NVL72 採用 NVLink 交換器晶片,可讓 72 顆 GPU 在非阻塞運算網狀架構完全互連。NVLink 交換器以驚人的 3.6 TB/s 速度互連每一對 GPU。支援完整的 all-to-all 通訊。Vera Rubin NVL72 中的 72 顆 GPU 可作為單一高效能加速器,AI 運算能力高達 3.6 exaFLOPS。

最強大的人工智慧和高效能運算平台

完整的 NVIDIA 資料中心解決方案整合了硬體、網路、軟體、函式庫以及 NVIDIA AI Enterprise 軟體套件與 NVIDIA NGC™ 目錄上的最佳化 AI 模型和應用程式,而 NVLink 與 NVLink 交換器則是解決方案的重要基石。 此功能最強大的端對端人工智慧和高效能運算平台,可以讓研究人員提供真實世界結果,並將解決方案部署到生產環境中,為各種規模的作業提供前所未有的加速效能。

深入瞭解 NVIDIA Rubin 平台。