NVIDIA H100 CNX 聚合加速器

為以 GPU 驅動、需要大量 IO 的工作負載提供前所未見的效能。

整合式加速網路與運算

體驗聚合加速前所未見的效能。NVIDIA H100 CNX 結合 NVIDIA H100 Tensor 核心 GPU 的強大功能與 NVIDIA® ConnectX®-7 的智慧網路介面卡 (SmartNIC) 的先進網路功能,以加速以 GPU 驅動且輸入輸出 (IO) 密集的工作負載,例如企業資料中心的分散式人工智慧訓練,以及邊緣端 5G 處理。

更優異的 I/O 效能

更優異的 I/O 效能

NVIDIA H100 和 ConnectX-7 透過整合式 PCIe Gen5 交換器連接,為 GPU 和網路之間的資料傳輸提供專用高速路徑。此技術可消除資料通過主機時遭遇的瓶頸,使延遲降低並變得更可預測,對於 5G 訊號處理等高時效性應用需求來說,這一點非常重要。

平衡且最佳化的設計

平衡且最佳化的設計

將 GPU 和 SmartNIC 整合至單一裝置後,藉此實現一個平衡的架構。在需要多個 GPU 的系統中,聚合加速器卡會強制 GPU 與 NIC 維持一對一的最佳比例。  此設計可以避免伺服器的 PCIe 匯流排出現爭用問題,因此能透過增加裝置線性擴充性能。

節省成本

節省成本

因為 GPU 和 SmartNIC 直接連接在一起,客戶可以運用主流 PCIe Gen4 或甚至 Gen3 伺服器,在高階或專用系統上達到最高等級的效能表現。  使用單一顯示卡還可節省電源、空間和 PCIe 裝置插槽,讓每個伺服器的加速器數量增加,進一步節省成本。

應用程式準備就緒

應用程式準備就緒

諸如 NVIDIA 集合通訊程式庫 (NCCL) 和 Unified Communication X (UCX®) 等核心加速軟體程式庫,能夠自動使用最佳效能路徑將資料傳輸至 GPU。因此,現有的加速多節點應用程式無需修改,就可運用 H100 CNX 帶來立竿見影的成效。

更快速、更有效率的人工智慧系統

分散式多節點人工智慧訓練

分散式多節點人工智慧訓練

當執行分散式人工智慧訓練工作負載,且需要在不同主機上的 GPU 之間傳輸資料時,伺服器通常會遇到效能、擴充性和密度上的限制。一般企業伺服器不包含 PCIe 交換器,因此 CPU 成為此流量的瓶頸,對虛擬機器來說更是如此。資料傳輸受限於主機 PCIe 背板的速度。GPU 與 NIC 的數量失衡可能會導致匯流排出現爭用問題。雖然一對一是理想比例,但伺服器的 PCIe 通道和插槽數量會限制裝置總數。

H100 CNX 可以緩解這個問題。透過網路到 GPU 的專用路徑,GPUDirect® RDMA 能以近乎線路的速度運作。資料傳輸也以 PCIe Gen5 的速度進行,不受主機 PCIe 背板影響。由於 GPU 與 NIC 達到了理想比例,因此便能以平衡的方式提升主機 GPU 功率。伺服器也可以配備更強大的加速能力,因為與獨立顯卡相比,聚合加速器占用更少的 PCIe 通道和裝置插槽。

加速邊緣端採用 5G 技術的人工智慧

NVIDIA 5G 人工智慧由 NVIDIA EGX 企業平台、用於軟體定義的 5G 虛擬無線區域網路 (vRAN) 的 NVIDIA Aerial SDK,以及企業人工智慧框架所組成,包括 NVIDIA Isaac 和 NVIDIA Metropolis 等 SDK。該平台使邊緣裝置,如攝影機、工業感測器和機器人,能夠使用人工智慧並與伺服器進行 5G 通訊。

NVIDIA 聚合加速器為執行 5G 應用程式提供了效能最高的平台。由於資料不需要通過主機 PCIe 系統,因此大幅降低了處理延遲。NVIDIA 多執行個體 GPU (MIG) 技術實現了在幾種不同的應用程式之間共用 GPU 的可能性,如此一來,用於加速 5G 訊號處理的相同聚合加速器也可用於邊緣人工智慧。H100 CNX 在單一企業伺服器中提供這些功能,而無需部署成本更高的專用系統。

支援 5G 的 NVIDIA 人工智慧

H100 CNX 規格

  規格
GPU 記憶體 80GB HBM2e
記憶體頻寬 大於每秒 2.0TB
MIG 執行個體 7 個執行個體 @ 每個 10GB
3 個執行個體 @ 每個 20GB
2 個執行個體 @ 每個 40GB
互連技術 PCIe Gen5 128GB/秒
NVLINK 橋接器 雙向
網路 1x 400Gb/s、2x 200Gb/s 埠、乙太網路或 InfiniBand
尺寸規格 雙插槽、全高全長尺寸 (FHFL)
最大功率 350W

深入探索 NVIDIA Hopper 架構