NVIDIA HGX 人工智慧超級電腦

最強大的端對端人工智慧超級運算平台。

專為模擬、資料分析和人工智慧的結合所打造。

大量資料集、急遽成長的模型大小,以及複雜的模擬都需要多個 GPU 和非常快速的互連技術,以及全面加速的軟體堆疊。NVIDIA HGX™ 人工智慧超級運算平台整合 NVIDIA GPU、NVIDIA® NVLink®、NVIDIA InfiniBand 網路的強大功能,以及 NVIDIA NGC™ 目錄中的完全最佳化 NVIDIA 人工智慧和高效能運算軟體堆疊,提供最優異的應用程式效能。研究人員和科學家能利用 NVIDIA HGX 的端對端效能和靈活性,結合模擬、資料分析和人工智慧來推動科學進展。

無與倫比的端對端加速運算平台

NVIDIA HGX 以高速互連技術整合了 NVIDIA A100 Tensor 核心 GPU,打造全球功能最強大的伺服器。搭載 16 個 A100 GPU 的 HGX 擁有高達 1.3 TB 的 GPU 記憶體,以及每秒超過 2 TB (Tb/秒) 的記憶體頻寬,提供前所未有的加速效能。

與前幾代相比,HGX 不需額外設定即可藉著 Tensor Float 32 (TF32) 加速人工智慧高達 20 倍,以及透過 FP64 將高效能運算速度提升 2.5 倍。NVIDIA HGX 提供驚人的 10 petaFLOPS 效能,成為世界上最強大的人工智慧與高效能運算可擴充加速伺服器平台。

HGX 經過全面測試且易於部署,可與合作夥伴伺服器整合,保證提供優異效能。HGX 平台提供使用 SXM GPU 且搭載 4 個或 8 個 GPU 的 HGX 基板,同時也提供適用於模組化部署選項的 PCIe GPU,讓主流伺服器也可擁有最高運算效能。<

HGX Stack

NVIDIA HGX A100 8-GPU

NVIDIA HGX A100 with 8x A100 GPUs

NVIDIA HGX A100 4-GPU

NVIDIA HGX A100 with 4x A100 GPUs

深度學習效能

在最大模型上進行高達 3 倍的人工智慧訓練

DLRM 訓練

Up to 3X Higher AI Training on Largest Models

深度學習模型的大小和複雜度正在急遽增加,因此需要具備大量記憶體、高運算能力和快速互連技術的系統,才能夠擴充。NVIDIA NVSwitch™ 提供高速的完全 GPU 至 GPU 通訊,讓 HGX 能夠處理全球最先進的人工智慧模型。搭載 A100 80 GB GPU,且具備雙倍的 GPU 記憶體,可在單一 HGX 中提供高達 1.3TB 的記憶體。針對擁有龐大資料表格的最大模型,像是深度學習推薦模型 (DLRM) 的新興工作負載,與搭載 A100 40 GB GPU 的 HGX 相比,可提供高達 3 倍的效能。

機器學習效能

在巨量資料分析基準測試中,效能為 A100 40GB 的 2 倍

2X Faster than A100 40GB on Big Data Analytics Benchmark

機器學習模型需要載入、轉換和處理超大型資料集,才能取得關鍵的深入分析。搭載 A100 80 GB GPU 的 HGX 擁有高達 1.3TB 的整合記憶體空間,以及透過 NVSwitch 達到完全 GPU 至 GPU 通訊,能夠在大型資料集載入並執行計算,快速產出可用的深入分析。

在巨量資料分析基準測試中,A100 80 GB 提供深入分析的輸送量為 A100 40 GB 的 2 倍,因此非常適合資料集急遽成長的新興工作負載。

高效能運算效能

高效能運算應用程式需要每秒執行大量運算。增加每個伺服器節點的運算密度,可以顯著降低所需的伺服器數量,進而大幅降低資料中心所消耗的成本、能源與佔用空間。針對模擬,高維度矩陣乘法需要處理器從多個鄰近位置擷取資料以進行運算,因此使用 NVIDIA NVLink 連結 GPU 可以達到最佳效果。在執行單精度的密集矩陣乘法作業時,高效能運算應用程式還可以利用 A100 的 TF32,在四年內提供高達 11 倍的輸送量。

搭載 A100 80 GB GPU 的 HGX 在採用 Quantum Espresso 這種材質模擬時,輸送量可為 A100 40 GB GPU 的 2 倍,藉以加快獲得深入分析所需的時間。

四年內,高效能運算效能可提高 11 倍

頂尖高效能運算應用程式

11X More HPC Performance in Four Years

為高效能運算應用程式提升高達 1.8 倍效能

Quantum Espresso​

Up to 1.8X Higher Performance for HPC Applications

NVIDIA HGX 規格

NVIDIA HGX 提供單基板,並搭載 4 個或 8 個 A100 GPU,擁有 40GB 或 80 GB 的 GPU 記憶體。4 個 GPU 的配置使用 NVIDIA NVLink® 完全互連,8 個 GPU 版本則使用 NVSwitch 互連。兩張搭載 8 個 GPU 的 NVIDIA HGX A100 基板能夠使用 NVSwitch 互連,打造 16 個 GPU 的強大單一節點。

HGX 也提供適用於模組化且易於部署的 PCIe 尺寸規格,讓主流伺服器也可擁有最高運算效能,並擁有 40GB 或 80 GB 的 GPU 記憶體。

這個硬體與軟體的強大結合,為終極人工智慧超級運算平台奠定了良好基礎。

  A100 PCIe 4 個 GPU 8 個 GPU 16 個 GPU
GPUs 1x NVIDIA A100 PCIe HGX A100 4 GPU HGX A100 8 GPU 2x HGX A100 8 GPU
尺寸規格 PCIe 4x NVIDIA A100 SXM 8x NVIDIA A100 SXM 16x NVIDIA A100 SXM
高效能運算與人工智慧運算 (FP64/TF32*/FP16*/INT8*) 19.5TF/312TF*/624TF*/1.2POPS* 78TF/1.25PF*/2.5PF*/5POPS* 156TF/2.5PF*/5PF*/10POPS* 312TF/5PF*/10PF*/20POPS*
記憶體 每個 GPU 40 或 80GB 最高 320GB 最高 640GB 最高 1,280GB
NVLink 第三代 第三代 第三代 第三代
NVSwitch N/A N/A 第二代 第二代
NVSwitch GPU 至 GPU 頻寬 N/A N/A 每秒 600 GB 每秒 600 GB
彙總頻寬大小總計 每秒 600 GB 每秒 2.4TB 每秒 4.8TB 每秒 9.6TB

運用 NVIDIA 網路加速 HGX

藉由 HGX,我們也能夠運用 NVIDIA 網路加速和卸載資料傳輸,確保充分利用運算資源。智慧轉接器和交換器可減少延遲、提升效率、提高安全性,以及簡化資料中心自動化的過程,以加速端對端應用程式效能。

資料中心成為全新運算單元,而高效能運算網路在整個資料中心的擴充應用程式效能中,也扮演關鍵角色。NVIDIA InfiniBand 運用軟體定義網路、網路內運算加速、遠端直接記憶體存取 (RDMA) 以及最快的速度和輸出,開創出一條嶄新的康莊大道。

HGX-1 and HGX-2 Reference Architectures

Powered by NVIDIA GPUs and NVLINK

NVIDIA HGX-1 and HGX-2 are reference architectures that standardize the design of data centers accelerating AI and HPC. Built with NVIDIA SXM2 V100 boards, with NVIDIA NVLink and NVSwitch interconnect technologies, HGX reference architectures have a modular design that works seamlessly in hyperscale and hybrid data centers to deliver up to 2 petaFLOPS of compute power for a quick, simple path to AI and HPC.

Powered by NVIDIA GPUs and NVLINK

Specifications

8-GPU
HGX-1 
16-GPU
HGX-2 
GPUs 8x NVIDIA V100 16x NVIDIA V100
AI Compute 1 petaFLOPS (FP16) 2 petaFLOPS (FP16)
Memory 256 GB 512 GB
NVLink 2nd generation 2nd generation
NVSwitch N/A Yes
NVSwitch GPU-to-GPU Bandwidth N/A 300 GB/s
Total Aggregate Bandwidth 2.4 TB/s 4.8 TB/s

一窺 NVIDIA Ampere 架構

閱讀深入技術分析,瞭解 NVIDIA Ampere 架構的最新消息,以及在 NVIDIA A100 GPU 的實作情形。