更迅速、更具擴充性的互連技術需求

人工智慧和高效能運算 (HPC) 的運算需求日益增加,包括新興的一兆參數模型類別,因此對於能夠在每個 GPU 之間實現流暢高速通訊的多節點、多 GPU 系統的需求也隨之提升。若要打造強大的頂尖端到端運算平台,同時能夠滿足業務速度需求,就會需要迅速且具擴充性的互連技術。

NVIDIA A100 PCIe with NVLink GPU-to-GPU connection
NVIDIA A100 with NVLink GPU-to-GPU connections

NVLink 效能

NVLink Performance

使用 NVIDIA NVSwitch 完全連接 GPU

第三代 NVIDIA NVSwitch 以 NVLink 先進的通訊能力為基礎,可為運算密集的工作負載提供更高的頻寬並減少延遲。為了達成高速的集體操作,每個 NVSwitch 都有 64 個 NVLink 連接埠,搭載 NVIDIA 可擴充分層彙總精簡通訊協定 (SHARP) 的引擎更可縮減網路並加速多播。

Fully Connect GPUs with NVIDIA NVSwitch
NVLink and NVSwitch Work Together

NVLink 與 NVSwitch 如何整合

NVLink 是一項 GPU 至 GPU 的直接互連技術,可在伺服器內擴充多 GPU 的輸入/輸出 (IO)。NVSwitch 連接多個 NVLink,可在單一節點與多節點間以 NVLink 全速提供全方位 GPU 通訊。   

NVIDIA 結合 NVLink 和 NVSwitch 技術,榮獲業界首個人工智慧基準 MLPerf 1.1。

提高規模以訓練上兆個參數模型

NVSwitch 可讓 NVLink 連線跨節點延伸,並建立流暢且高頻寬的多節點 GPU 叢集,有效將 GPU 擴充至資料中心適用大小。在伺服器外新增第二層 NVSwitch 後,NVLink 網路便可連接高達 256 個 GPU,並以每秒 57.6 TB (TB/秒) 的驚人速度提供全頻寬,即使是最大型的人工智慧任務也能迅速完成。

Scale-Up to Train Trillion Parameter Models
NVIDIA NVLink Switch

NVIDIA NVLink 交換器

NVIDIA NVLink 交換器具有 128 個 NVLink 端口,以及每秒 3.2 TB/s。機架交換器可為支援第四代 NVLink 的 NVIDIA DGX 和 NVIDIA HGX 系統提供高頻寬與低延遲。

從企業級提升至百萬兆級

完全連接,效能絕倫

NVSwitch 是第一部節點切換架構,能夠在單一伺服器節點中,支援 8 至 16 個完全互連的 GPU。第三代 NVSwitch 以每秒 900 GB 的驚人速度,在每一對 GPU 之間進行互連。支援完整的全方位通訊。GPU 可當成一部單一高效能加速器使用,具備高達 15 PetaFLOPS 的深度學習運算能力。

最強大的人工智慧和高效能運算平台

完整的 NVIDIA 資料中心解決方案整合了硬體、網路、軟體、函式庫以及 NVIDIA AI Enterprise 軟體套件與 NVIDIA NGC 目錄上的最佳化人工智慧模型和應用程式,而 NVLink 與 NVSwitch 則是解決方案的重要基石。此功能最強大的端對端人工智慧和高效能運算平台,可以讓研究人員提供實際結果,並將解決方案部署到生產環境中,為各種規模的作業提供前所未有的加速效能。

規格

  • NVLink

    NVLink

  • NVSwitch

    NVSwitch

  • 伺服器間的 NVLink 和 NVSwitch

    伺服器間的 NVLink 和 NVSwitch

  第二代 第三代 第四代
NVLink 頻寬大小總計 每秒 300GB 每秒 600GB 每秒 900GB
每 GPU 連結數量上限 6 12 18
支援的 NVIDIA 架構 NVIDIA Volta 架構 NVIDIA Ampere 架構 NVIDIA Hopper 架構
  第一代 第二代 第三代
直接互連/有節點的 GPU 數量 高達 8 個 高達 8 個 高達 8 個
NVSwitch GPU 至 GPU 頻寬 每秒 300GB 每秒 600GB 每秒 900GB
彙總頻寬大小總計 每秒 2.4TB 每秒 4.8TB 每秒 7.2TB
支援的 NVIDIA 架構 NVIDIA Volta 架構 NVIDIA Ampere 架構 NVIDIA Hopper 架構
  伺服器間的 NVLink 和 NVSwitch
直接互連的 GPU 數量 高達 256
NVSwitch GPU 至 GPU 頻寬 每秒 900GB
彙總頻寬大小總計 每秒 57.6TB
縮減網路 NVSwitch 的 SHARP 縮減
重要軟體支援 CUDA®, CUDA-X, Magnum IO
支援的 NVIDIA 架構 NVIDIA Hopper 架構

一窺 NVIDIA Hopper 架構。

進一步瞭解 NVIDIA Hopper 架構及其在 NVIDIA H100 Tensor 核心 GPU 的實作情況。