次世代的多 GPU 處理
隨著人工智慧與高效能運算 (HPC) 的運算需求增加，多 GPU 系統的需求也相應提升，以便將多個彼此流暢連結的 GPU 整合成一個巨型加速器。儘管 PCIe 是標準配置，但其有限頻寬卻經常造成瓶頸。若要打造強大的頂尖端到端運算平台，就會需要更迅速、更具擴展性的互連技術。
NVIDIA® NVLink® 是一項 GPU 至 GPU 的高速直接互連技術。NVIDIA NVSwitch™ 整合多個 NVLink，可在單一節點如 NVIDIA HGX™ A100 中提供完整的 NVLink 速度，達到完全 GPU 至 GPU 通訊，將互連技術提升到全新境界。NVLink 和 NVSwitch 的結合讓 NVIDIA 能夠有效率地將人工智慧效能擴展至多個 GPU，並贏得第一個業界人工智慧基準 MLPerf 0.6 的測試 。
結合 NVLink GPU 至 GPU 連接技術的 PCIe 版 NVIDIA A100
結合 NVLink GPU 至 GPU 連接技術的 NVIDIA A100
NVSwitch 拓樸圖表以簡潔的方式顯示兩個 GPU 之間的連線。8 或 16 個 GPU 皆以相同方式透過 NVSwitch 完全連結。
NVIDIA NVLink 技術針對多 GPU 系統設定，提供更高的頻寬、更多的連結，及更佳的擴展性，進而解決互連問題。單個 NVIDIA A100 Tensor 核心 GPU 最高可支援 12 個第三代 NVLink 連線，總頻寬可達每秒 600 GB (GB/秒)，將近是第 4 代 PCIe 頻寬的 10 倍。
如 NVIDIA DGX™ A100 等伺服器可以發揮這項技術的優勢，提供更好的擴展性，並以超快速度進行深度學習訓練。NVLink 也支援 PCIe 版 NVIDIA A100 的雙 GPU 設定。
NVIDIA A100 利用 NVLink 技術提升了 GPU 之間的通訊頻寬，增幅可達前一代的兩倍，讓研究人員可以運用更大型、更精密的應用程式來解決更加複雜的問題。
深度學習的快速應用帶動了對更迅速、更具擴展性的互連技術需求，因為 PCIe 頻寬通常會在多 GPU 系統層級造成瓶頸。若要擴展深度學習工作負載，就需要大幅提升頻寬並減少延遲。
NVIDIA NVSwitch 以 NVLink 的高階通訊功能為基礎，克服了這項問題。NVIDIA NVSwitch 運用 GPU 網狀架構，能夠在單一伺服器中使用更多 GPU，並讓各 GPU 能以全頻寬互連，藉此將深度學習效能提升到全新境界。每個 GPU 都有 12 個 NVLink 到 NVSwitch 連結，實現高速的完全通訊。
完整的 NVIDIA 資料中心解決方案整合了硬體、網路、軟體、函式庫以及 NGC™ 上的最佳化人工智慧模型和應用程式，而 NVLink 與 NVSwitch 是解決方案的重要基石。此功能最強大的端對端人工智慧和 HPC 平台，可以讓研究人員提供實際結果，並將解決方案部署到生產環境中，為各種規模的作業提供前所未有的加速效能。
NVSwitch 是第一部節點切換架構，能夠在單一伺服器節點中，支援 8 至 16 個完全互連的 GPU。第二代 NVSwitch 以每秒 600 GB 的驚人速度，在每一對 GPU 之間進行同步通訊，並經由直接 GPU 點對點記憶體定址支援完全通訊。這 16 個完全連結的 GPU 可當成一部單一高效能加速器使用，具備整合記憶體空間以及高達 10 PetaFLOPS 的深度學習運算能力。
體驗 NVIDIA DGX A100，這是全球第一個搭載 NVIDIA A100 Tensor 核心 GPU 的人工智慧基礎架構通用系統。