更迅速、更具擴充性的互連技術需求

人工智慧和高效能運算 (HPC) 的運算需求日益增加,包括新興的一兆參數模型類別,因此對於能夠在每個 GPU 之間實現流暢高速通訊的多節點、多 GPU 系統的需求也隨之提升。若要打造強大的頂尖端到端運算平台,同時能夠滿足業務速度需求,就會需要迅速且具擴充性的互連技術。

NVIDIA A100 PCIe with NVLink GPU-to-GPU connection
NVIDIA A100 with NVLink GPU-to-GPU connections

NVLink 效能

NVLink Performance

使用 NVIDIA NVSwitch 完全連接 GPU

第三代 NVIDIA NVSwitch 以 NVLink 先進的通訊能力為基礎,可為運算密集的工作負載提供更高的頻寬並減少延遲。為了達成高速的集體操作,每個 NVSwitch 都有 64 個 NVLink 連接埠,搭載 NVIDIA 可擴充分層彙總精簡通訊協定 (SHARP) 的引擎更可縮減網路並加速多播。

Fully Connect GPUs with NVIDIA NVSwitch
NVLink and NVSwitch Work Together

NVLink 與 NVSwitch 如何整合

NVLink 是一項 GPU 至 GPU 的直接互連技術,可在伺服器內擴充多 GPU 的輸入/輸出 (IO)。NVSwitch 連接多個 NVLink,可在單一節點與多節點間以 NVLink 全速提供全方位 GPU 通訊。   

NVIDIA 結合 NVLink 和 NVSwitch 技術,榮獲業界首個人工智慧基準 MLPerf 1.1。

提高規模以訓練上兆個參數模型

NVSwitch 可讓 NVLink 連線跨節點延伸,並建立流暢且高頻寬的多節點 GPU 叢集,有效將 GPU 擴充至資料中心適用大小。在伺服器外新增第二層 NVSwitch 後,NVLink 網路便可連接高達 256 個 GPU,並以每秒 57.6 TB (TB/秒) 的驚人速度提供全頻寬,即使是最大型的人工智慧任務也能迅速完成。

Scale-Up to Train Trillion Parameter Models
NVIDIA NVLink Switch

NVIDIA NVLink 交換器

NVIDIA NVLink 交換器具有 128 個 NVLink 端口,以及每秒 3.2 TB/s。機架交換器可為支援第四代 NVLink 的 NVIDIA DGX 和 NVIDIA HGX 系統提供高頻寬與低延遲。

從企業級提升至百萬兆級

完全連接,效能絕倫

NVSwitch 是第一部節點切換架構,能夠在單一伺服器節點中,支援 8 至 16 個完全互連的 GPU。第三代 NVSwitch 以每秒 900 GB 的驚人速度,在每一對 GPU 之間進行互連。支援完整的全方位通訊。GPU 可當成一部單一高效能加速器使用,具備高達 15 PetaFLOPS 的深度學習運算能力。

最強大的人工智慧和高效能運算平台

完整的 NVIDIA 資料中心解決方案整合了硬體、網路、軟體、函式庫以及 NVIDIA AI Enterprise 軟體套件與 NVIDIA NGC 目錄上的最佳化人工智慧模型和應用程式,而 NVLink 與 NVSwitch 則是解決方案的重要基石。此功能最強大的端對端人工智慧和高效能運算平台,可以讓研究人員提供實際結果,並將解決方案部署到生產環境中,為各種規模的作業提供前所未有的加速效能。

規格

  • NVLink

    NVLink

  • NVSwitch

    NVSwitch

  第二代 第三代 第四代
NVLink 頻寬大小總計 每秒 300GB 每秒 600GB 每秒 900GB
每 GPU 連結數量上限 6 12 18
支援的 NVIDIA 架構 NVIDIA Volta 架構 NVIDIA Ampere 架構 NVIDIA Hopper 架構
  第一代 第二代 第三代
直接互連/有節點的 GPU 數量 高達 8 個 高達 8 個 高達 8 個
NVSwitch GPU 至 GPU 頻寬 每秒 300GB 每秒 600GB 每秒 900GB
彙總頻寬大小總計 每秒 2.4TB 每秒 4.8TB 每秒 7.2TB
支援的 NVIDIA 架構 NVIDIA Volta 架構 NVIDIA Ampere 架構 NVIDIA Hopper 架構

一窺 NVIDIA Hopper 架構。

進一步瞭解 NVIDIA Hopper 架構及其在 NVIDIA H100 Tensor 核心 GPU 的實作情況。