NVLINK AND NVSWITCH

次世代的多 GPU 處理

NVLink 與 NVSwitch 如何整合

NVIDIA NVLink

NVIDIA A100 PCIe with NVLink GPU-to-GPU connection
NVIDIA A100 with NVLink GPU-to-GPU connections

NVIDIA NVSwitch

The NVSwitch topology diagram

系統傳輸量極大化

第三代 NVLINK

NVIDIA NVLink 技術針對多 GPU 系統設定,提供更高的頻寬、更多的連結,及更佳的擴展性,進而解決互連問題。單個 NVIDIA A100 Tensor 核心 GPU 最高可支援 12 個第三代 NVLink 連線,總頻寬可達每秒 600 GB (GB/秒),將近是第 4 代 PCIe 頻寬的 10 倍。

NVIDIA DGX™ A100 等伺服器可以發揮這項技術的優勢,提供更好的擴展性,並以超快速度進行深度學習訓練。NVLink 也支援 PCIe 版 NVIDIA A100 的雙 GPU 設定。

NVLink Performance

NVLink in NVIDIA A100

NVIDIA NVSwitch

NVSwitch:完全連結的 NVLink

深度學習的快速應用帶動了對更迅速、更具擴展性的互連技術需求,因為 PCIe 頻寬通常會在多 GPU 系統層級造成瓶頸。若要擴展深度學習工作負載,就需要大幅提升頻寬並減少延遲。

NVIDIA NVSwitch 以 NVLink 的高階通訊功能為基礎,克服了這項問題。NVIDIA NVSwitch 運用 GPU 網狀架構,能夠在單一伺服器中使用更多 GPU,並讓各 GPU 能以全頻寬互連,藉此將深度學習效能提升到全新境界。每個 GPU 都有 12 個 NVLink 到 NVSwitch 連結,實現高速的完全通訊。

 

最強大的端對端人工智慧和 HPC 資料中心平台

完整的 NVIDIA 資料中心解決方案整合了硬體、網路、軟體、函式庫以及 NGC 上的最佳化人工智慧模型和應用程式,而 NVLink 與 NVSwitch 是解決方案的重要基石。此功能最強大的端對端人工智慧和 HPC 平台,可以讓研究人員提供實際結果,並將解決方案部署到生產環境中,為各種規模的作業提供前所未有的加速效能。

完全連接,效能絕倫

NVSwitch 是第一部節點切換架構,能夠在單一伺服器節點中,支援 8 至 16 個完全互連的 GPU。第二代 NVSwitch 以每秒 600 GB 的驚人速度,在每一對 GPU 之間進行同步通訊,並經由直接 GPU 點對點記憶體定址支援完全通訊。這 16 個完全連結的 GPU 可當成一部單一高效能加速器使用,具備整合記憶體空間以及高達 10 PetaFLOPS 的深度學習運算能力。

規格

  • NVIDIA NVLink

    NVIDIA NVLink

  • NVIDIA NVSwitch

    NVIDIA NVSwitch

  第二代 第三代
NVLink 頻寬大小總計 每秒 300 GB 每秒 600 GB
每 GPU 連結數量上限 6 12
支援的 NVIDIA 架構 NVIDIA Volta NVIDIA Ampere 架構
  第一代 第二代
直接互連的 GPU 數量 高達 16 個 高達 16 個
NVSwitch GPU 至 GPU 頻寬 每秒 300 GB 每秒 600 GB
彙總頻寬大小總計 每秒 4.8 TB 每秒 9.6 TB
支援的 NVIDIA 架構 NVIDIA Volta NVIDIA Ampere 架構

開始使用

體驗 NVIDIA DGX A100,這是全球第一個搭載 NVIDIA A100 Tensor 核心 GPU 的人工智慧基礎架構通用系統。