NVIDIA HGX 人工智慧
超級電腦

最強大的端對端人工智慧超級運算平台。

專為人工智慧、模擬與資料分析所打造

人工智慧、複雜模擬與大量資料集都需要多個 GPU 和非常快速的互連技術,以及全面加速的軟體堆疊。NVIDIA HGX™ 人工智慧超級運算平台整合 NVIDIA GPU、NVLink®、NVIDIA 網路的強大功能,以及完全最佳化的人工智慧和高效能運算 (HPC) 軟體堆疊,提供最優異的應用程式效能,並推動以最快速度取得分析資訊。

無與倫比的端對端加速運算平台

NVIDIA HGX H100 以高速互連技術整合了 H100 Tensor 核心 GPU,打造全球功能最強大的伺服器。可配置最多 8 個 GPU,可提供無與倫比的加速功能,且最高提供 640 GB 的 GPU 記憶體和每秒 24 TB 的彙總記憶體頻寬。此外,驚人的 32 petaFLOPS 效能,成為世界上最強大的人工智慧與高效能運算可擴充加速伺服器平台。

HGX H100 包含進階網路選項,速度高達每秒 400 GB,加上 NVIDIA Quantum-2 InfiniBand 和 Spectrum-X 乙太網路,提供最高人工智慧效能。HGX H100 也包含 NVIDIA® BlueField®-3 資料處理器 (DPU),可在超大規模人工智慧雲端中支援雲端網路、組合式儲存空間、零信任安全性和 GPU 運算彈性。

HGX Stack

深度學習訓練:效能與可擴充性

在 GPT-3 上進行高達 4 倍的人工智慧訓練

在 GPT-3 上進行高達 4 倍的人工智慧訓練

NVIDIA H100 GPU 配備具有 FP8 精確度的 Transformer Engine,與前一代大型語言模型的 GPU 相比,訓練速度高達 4 倍。結合第四代 NVIDIA NVlink (每秒提供 900 GB GPU 對 GPU 互連)、NVLINK Switch 系統 (加速所有 GPU 跨節點集體通訊能力)、第五代 PCIe 和 NVIDIA Magnum IO™ 軟體,從小型企業到大規模統一 GPU 叢集,均提供高效率可擴充性。這些基礎架構的進步,再加上 NVIDIA AI Enterprise 軟體套件,讓 HGX H100 成為最強大的端對端人工智慧和高效能運算資料中心平台。

深度學習推論:效能與多樣性

在最大模型上獲得高達 30 倍的人工智慧推論效能。

具 5,300 億個參數的 Megatron 聊天機器人推論。

在最大模型上獲得高達 30 倍的人工智慧推論效能。

人工智慧使用各種不同的神經網路,解決各式各樣的商業挑戰。強大的人工智慧推論加速器,不只能提供最高效能,而且無論客戶想於資料中心到邊緣端的任何位置部署,都能提供加速這些網路的各種功能。

HGX H100 進一步拓展了 NVIDIA 在推論領域的領先地位,與前一代 Megatron 5,300 億個參數聊天機器人相比,推論速度加速高達 30 倍。

高效能運算效能

為高效能運算應用程式提升高達 7 倍效能

為高效能運算應用程式提升高達 7 倍效能

HGX H100 將雙精度 Tensor 核心的每秒浮點運算次數 (FLOPS) 提高為 3 倍,在 8 GPU 配置時,能為 FP64 的高效能運算提供 535 teraFLOPS;4 GPU 配置時則為 268 teraFLOPS。融合人工智慧的高效能運算應用程式,也能利用 H100 的 TF32 精確度,達到近 8,000 teraFLOPS 的單精確度矩陣乘法運算輸送量,且無須變更程式碼。

H100 也配備全新 DPX 指令可加速動態可編程演算法,如用於 DNA 序列比對的 Smith-Waterman 和用於蛋白質結構預測的蛋白質比對,可比以 Ampere 架構為基礎的 GPU 加快 7 倍。H100 可提高基因定序等診斷功能的輸送量,讓每間診所都能提供準確、即時的疾病診斷和精準醫藥處方。

Up to 1.8X Higher Performance for HPC Applications

Quantum Espresso​

Up to 1.8X Higher Performance for HPC Applications

運用 NVIDIA 網路加速 HGX

資料中心成為全新運算單元,而網路在擴充應用程式效能時也扮演關鍵角色。HGX 搭配 NVIDIA Quantum InfiniBand 可提供世界級的效能和效率,確保充分利用運算資源。NVIDIA Quantum InfiniBand 以網路內運算加速、遠端直接記憶體存取 (RDMA) 和先進的服務品質 (QoS) 功能引領業界。

對於部署乙太網路的人工智慧雲端資料中心,HGX 最適合搭配 NVIDIA Spectrum-X 網路平台使用,此平台可在每秒 400 GB 的乙太網路上提供最高人工智慧效能。Spectrum-X 採用 NVIDIA Spectrum™-4 交換器和 BlueField-3 DPU,透過最佳資源使用率和效能隔離,為數千個各種規模的同步人工智慧作業提供一致且可預測的結果。Spectrum-X 可支援先進的雲端多租用戶和零信任安全性。雲端服務供應商可透過 Spectrum-X 加速人工智慧解決方案的開發、部署和上市時間,同時提升投資報酬率。

透過 NVIDIA 網路連接 HGX H100

  NVIDIA Quantum-2 InfiniBand
平台:

Quantum-2 交換器、ConnectX-7 介面卡、BlueField-3 DPU

NVIDIA Spectrum-X
平台::

Spectrum-4 交換器、BlueField-3 DPU、Spectrum-X 授權

NVIDIA Spectrum
乙太網路平台:

Spectrum 交換器、ConnectX 介面卡、BlueField DPU

深度學習訓練 最佳 較佳 優良
科學模擬 最佳 較佳 優良
資料分析 最佳 較佳 優良
深度學習推論 最佳 較佳 優良

NVIDIA HGX 規格

NVIDIA HGX 提供單基板,並搭載 4 或 8 個 H100 GPU,或是 4 或 8 個 A100 GPU。硬體與軟體的強大組合,為前所未見的人工智慧超級運算平台奠定良好基礎。

  HGX H100
  4-GPU 8-GPU
GPUs HGX H100 4 個 GPU HGX H100 8 個 GPU
尺寸規格 4 個 NVIDIA H100 SXM 8 個 NVIDIA H100 SXM
高效能運算與人工智慧運算 (FP64/TF32/FP16/FP8/INT8) 268TF/4PF/8PF/16PF/16POPS 535TF/8PF/16PF/32PF/32POPS
記憶體 最高 320 GB 最高 640 GB
NVLink 第四代 第四代
NVSwitch N/A 第三代
NVLink 交換器 N/A N/A
NVSwich GPU 至 GPU 頻寬 N/A 每秒 900GB
彙總頻寬大小總計 每秒 3.6 TB 每秒 7.2 TB
  HGX A100
  4-GPU 8-GPU
GPU HGX A100 4 個 GPU HGX A100 8 個 GPU
尺寸規格 4 個 NVIDIA A100 SXM 8 個 NVIDIA A100 SXM
高效能運算與人工智慧運算 (FP64/TF32/FP16/INT8) 78TF/1.25PF/2.5PF/5POPS 156TF/2.5PF/5PF/10POPS
記憶體 最高 320 GB 最高 640 GB
NVLink 第三代 第三代
NVSwitch N/A 第二代
NVSwitch GPU 至 GPU 頻寬 N/A 每秒 600 GB
彙總頻寬大小總計 每秒 2.4 TB 每秒 4.8 TB

深入瞭解 NVIDIA H100 GPU。