NVIDIA HGX-2

採用 NVIDIA Tesla V100 GPU 與 NVSwitch 技術

地表最強大的人工智慧與 HPC 多精度運算平台

隨著人工智慧與高效能運算 (HPC) 改變了全世界,我們正迎接智慧化的全新紀元到來。從自駕車到全球氣候模擬,不斷出現的新挑戰需要運用大量運算資源才能找到解決之道。NVIDIA HGX-2 專為多精度運算設計,結合了高精度科學運算的實力以及低精度人工智慧運算的速度,能提供一個具有彈性且功能強大的平台,以解決龐大的挑戰。

啟用全球最大的 GPU

HGX-2 運用 16 張 NVIDIA® Tesla® V100 GPU 與 NVIDIA NVSwitch™ 加速,具備前所未見的運算效能、頻寬和記憶體拓樸,可以更快速、更有效率地訓練這些模型。16 張 Tesla V100 GPU 可作為經整合的單一 2-petaFLOP 加速器,總 GPU 記憶體為 0.5 TB,能處理運算效能最密集的工作負載,成為 「全球最大的 GPU」。

啟用全球最大的 GPU
AI Training: HGX-2 Replaces 300 CPU-Only Server Nodes

驅動新一代人工智慧以達到更快速的效能

人工智慧模型的複雜度成爆炸性成長,需要更大的記憶體、多個 GPU 及 GPU 之間超高連線速度以供順暢運作。HGX-2 透過 NVSwitch 連接所有 GPU 並整合記憶體,提供強大的運算能力,縮短這些新模型成為先進人工智慧的訓練時間。一個 HGX-2 即可取代 300 台 CPU 伺服器,為資料中心節省大量成本、空間及能源

HPC: HGX-2 Replaces 60 CPU-Only Server Nodes

最高效能的 HPC 超級節點

HPC 應用程式需要強大的伺服器節點與運算能力,才能每秒執行大量運算。增加每個節點的運算密度可以顯著降低所需的伺服器數量,進而大幅降低資料中心所消耗的成本、能源與空間。針對 HPC 模擬,高維度矩陣乘法需要處理器從多個鄰近的位置擷取資料以加速運算,因此使用 NVSwitch 連結 GPU 可以達到最佳效果。單一 HGX-2 伺服器可取代 60 個僅使用 CPU 的伺服器。

NVSwitch 技術提供全頻寬運算能力

透過 NVSwitch 技術,每個 GPU 都能以每秒 2.4 Tb 全頻寬速度與其他 GPU 進行通訊,解決人工智慧與 HPC 的最大問題。每個 GPU 都能夠完整存取 0.5 TB 的彙總 HBM2 記憶體,以處理最大型的資料集。NVSwitch 運用經整合的伺服器節點,可大幅加速複雜的人工智慧與 HPC 應用程式。

NVSwitch 技術提供全頻寬運算能力

規格

HGX-1 HGX-2
效能 1 petaFLOP tensor 操作
125 teraFLOPS 單精度
62 teraFLOPS 雙精度
2 petaFLOPS tensor 操作
250 teraFLOPS 單精度
125 teraFLOPS 雙精度
GPUs 8 張 NVIDIA Tesla V100 16 張 NVIDIA Tesla V100
GPU 記憶體 總共 256GB 總共 512GB
NVIDIA CUDA® 核心 40,960 81,920
NVIDIA Tensor 核心 5,120 10,240
通訊通道 採用 NVLink 技術的混合式立方網狀架構 每秒 300GB/s 彙總速度 採用 NVLink 技術的 NVSwitch 每秒 2.4TB/s 彙總速度

HGX-1 參考架構

採用 NVIDIA Tesla GPU 與 NVLink 技術

NVIDIA HGX-1 是一個參考架構,為雲端加速人工智慧資料中心訂立設計標準。採用八張 Tesla SXM2 V100 顯示卡,使用混合式立方網狀拓撲可供擴充,且具備 1 petaFLOP 的運算效能,其模組設計能在大規模資料中心中流暢運作,可以提供更快速、簡單的人工智慧使用途徑。

協助資料中心生態系統發展

NVIDIA 與全球首席的製造商合作,以快速推動人工智慧雲端運算發展。NVIDIA 提供 HGX-2 GPU 基板、設計指引,以及搶先運用 GPU 運算技術的機會,讓合作夥伴將這些技術整合至伺服器,並在資料中心的生態系統中大規模使用。

協助資料中心生態系統發展

訂閱資料中心新聞

瞭解高效能運算、深度學習與人工智慧的最新資訊。