NDR 每秒 400Gb InfiniBand 架構

雲端原生超級運算在任何規模下均能締造極致效能

在網路通訊中創下效能記錄

第七代 NVIDIA InfiniBand 架構採用 NDR 每秒 400Gb,讓人工智慧開發人員和科學研究人員能以最快速的網路效能解決全球最具挑戰性的問題。NDR InfiniBand 擁有軟體定義的網路、遠端直接記憶體存取 (RDMA)、網路內運算、進階加速引擎以及最快的速度和輸出,能為領先全球的超級運算資訊中心提供強大功能。

nvidia-networking-ndr-technology-numbers-1cn-d

強化高效能運算、人工智慧超級電腦和應用程式

提升網路內運算速度

現今的高效能運算 (HPC)、人工智慧和超大規模基礎架構,需要更快的互連技術和更智慧的網路,才能在執行複雜模擬時,提升速度和效率。NVIDIA InfiniBand 採用預先設定且可程控的運算引擎,如第三代 NVIDIA 可擴充的分層彙總和精簡通訊協定 (SHARPv3)™、訊息傳遞介面 (MPI) 標籤配對、MPI All-to-All 和可程控的引擎,藉以強化並延伸網路內運算,為每個節點提供最理想的成本和投資報酬率。

透過 NVIDIA Mellanox InfiniBand 架構加速網路內運算
由 SHARPv3 技術支援的 NVIDIA Mellanox NDR InfiniBand 架構資料中心

無限擴充性

採用 SHARPv3 技術的 NDR InfiniBand 可為網路中的巨量資料彙總創造出幾乎無限的可擴充性,並支援多達 64 個平行流程,提供比前一代 HDR InfiniBand 高 32 倍的人工智慧加速效能。MPI All-to-All、MPI 標籤配對硬體引擎,以及強化擁塞控制、自適應路由和自我修復網路等功能,都可為高效能運算和人工智慧叢集提供關鍵性的強化,使其達到更高的效能。

以光速傳輸資料

主通道配接器

NVIDIA ConnectX-7 NDR 每秒 400 Gb 的 InfiniBand 主通道配接器 (HCA) 提供最高網路效能,可處理全球最具挑戰性的工作負載。

NDR InfiniBand 主通道配接器 (HCA) 採用第四代和第五代 PCIe,支援各種尺寸規格,提供單或雙網路連接埠每秒 400 Gb 的傳輸速度。

NDR Infiniband 主通道配接器包括進階的網路內運算功能,配備 MPI All-to-All 及 MPI 標籤配對硬體引擎。為了提高服務品質 (QoS),也進行如自適應路由和擁塞控制等架構改進。主通道配接器也包含其他的可程控運算引擎,可啟用預先處理的資料演算法,並且將應用程式控制路徑卸載至網路。這種方式可提供更高效能和可擴充性,並強化運算和通訊之間的重疊。

固定組態交換器

NDR InfiniBand 系列的固定組態交換器由 64 個 NDR 連接埠或 128 個 NDR200 連接埠組成,使用 32 個實體八進位小型插入式 (OSFP) 連接器。這款小巧的 1U 交換器在設計上提供由內部或外部管理的氣冷和水冷版本。

NDR InfiniBand 系列的固定組態交換器每秒可彙總 51.2 Tb (Tb/秒) 的雙向輸送量且每秒可以處理超過 665 億個封包。這款交換器是最理想的機架式 InfiniBand 解決方案,可為 Fat Tree、DragonFly+、多維度 Torus、Hypercube 等各種拓撲 (topology) 提供最大的彈性。

模組化交換器

NDR InfiniBand 系列的模組化交換器系列提供下列連接埠設定:

  • 2,048 個連接埠的 NDR (每秒 400 Gb) 或 4,096 個連接埠的 NDR200 (每秒 200 Gb)
  • 1,024 個連接埠的 NDR (每秒 400 Gb) 或 2,048 個連接埠的 NDR200 (每秒 200 Gb)
  • 512 個連接埠的 NDR (每秒 400 Gb) 或 1,024 個連接埠的 NDR200 (每秒 200 Gb)

最大型模組化交換器的總雙向輸送量為每秒 1.64 Pb,比前一代的 HDR InfiniBand 模組化交換器高 5 倍。

收發器及纜線

NDR InfiniBand 的連線規格選項包括各種收發器及多芯光纖跳線連接器 (MPO)、主動式銅纜線 (ACC) 和直連纜線 (DAC),並支援 1 到 2 和 1 到 4 的分隔器選項。這能提供最大的彈性,並以最佳效能打造出任何拓撲 (topology

領先全球的網路效能、可擴充性和效率

效能

  • 每個連接埠的頻寬為每秒 400 Gb
  • 單一交換器中有 64 個 NDR 每秒 400Gb 的連接埠,或 128 個 NDR200 每秒 200Gb 的連接埠
  • 單一模組化交換器中有 2,048 個 NDR 連接埠,或 4,096 個 NDR200 連接埠
  • 在單一 NDR 交換器裝置上每秒處理超過 665 億個封包 (雙向)

打破自我記錄

  • 每個連接埠頻寬為 HDR 的 2 倍
  • 交換器基數為 HDR 的 3 倍
  • 每個交換器的人工智慧效能比 HDR 高 32 倍
  • 在 4 個交換器層級 (3 個躍點) 的 DragonFly+ 網路中,擁有超過 100 萬個每秒 400Gb 的節點,比 HDR 高 6.5 倍

主要特色

  • 完整的傳輸卸載>
  • RDMA、GPUDirect® RDMA、GPUDirect 儲存空間
  • 可程控的網路內運算引擎
  • MPI All-to-All 硬體加速
  • MPI 標籤配對硬體加速
  • NVIDIA SHARPv3
  • 進階自適應路由、擁塞控制和 QoS
  • 自我修復網路

閱讀完整的架構簡介,深入瞭解 NDR。