NVIDIA NVLink Fusion

半客製化 AI 基礎架構採用經業界驗證的 AI 垂直擴充效能與機架規模架構。

概覽

世界級垂直擴充效能

NVIDIA NVLink™ Fusion 是機架規模的 AI 基礎架構平台,讓超大規模雲服務商與客製化 ASIC 設計師可將自訂的 CPU 與 XPU,整合世界頂尖的 NVLink 垂直擴充互連技術,以及 OCP MGX 機架規模伺服器架構。運用 NVIDIA 經實戰考驗的 AI 技術堆疊,以及經實證的機架規模設計和生態系加速上市、降低開發成本與部署風險,並且提升效能,實現更高的投資報酬率。

NVLink Fusion 模組化技術組合包含 NVIDIA GPU、NVIDIA Vera™ CPU、NVLink 垂直擴充網路技術、共同封裝光學 (CPO) 交換器、NVIDIA ConnectX® SuperNIC、BlueField® DPU,以及 Mission Control 軟體。這個全方位的生態系包含 ASIC 設計師、CPU 與 IP 供應商、OEM / ODM 和元件供應商,旨在加速部署客製化 AI 晶片。

AWS 為 Trainium4 部署整合 AI 基礎架構與 NVIDIA NVLink Fusion

瞭解 AWS 如何運用 NVLink Fusion 加速 Trainium4 部署。

利用 NVIDIA NVLink Fusion 將半客製化運算方案整合至機架規模架構

瞭解 NVIDIA NVLink Fusion 如何協助超大規模雲服務商建構半客製化 AI 基礎架構,將 ASIC 或 CPU 與 NVIDIA GPU 整合,並透過單一可擴充的硬體基礎架構標準化。

高效能 AI 工廠若運用 NVLink Fusion,不僅可快速擴充,還能讓打造 NVIDIA 機架規模架構的所有解決方案元件充分發揮效益。

優勢

NVLink Fusion 的優勢

世界級垂直擴充效能

所有加速器的通訊都必須快速順暢,AI 工廠的潛力才能發揮得淋漓盡致。NVIDIA NVLink 6 可以每 XPU 每秒 3.6 TB 的速度連接 72 顆 XPU,大幅提升 AI 效能與投資報酬率。

降低開發成本

成熟的 NVLink Fusion 供應商生態系採用 OCP MGX 架構,提供完整機架規模部署所需的所有元件,包括機架和機箱,以及電源輸送和冷卻系統,可省去新機架設計的開發成本,消除部署風險。

加速上市時間

超大規模雲服務商運用 NVIDIA 經實戰考驗的技術架構,以及 ASIC 設計師、CPU 與 IP 供應商及 OEM/ODM 組成的生態系,可加速上市與獲利。

單一整合架構

超大規模雲服務商已部署完整的 NVIDIA 機架解決方案,因此 NVLink Fusion 可採用異質晶片產品,並且透過通用機架設計標準化,加速 AI 工廠部署,並且簡化管理。

平台

NVIDIA NVLink Fusion 平台

NVIDIA NVLink

NVIDIA NVLink 6 與 NVLink 交換器晶片在單一 72 個加速器 NVLink 通訊域 (NVL72) 實現每秒 260 TB 的頻寬,而且支援 NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP)™ FP8,頻寬效率提升 4 倍。

NVIDIA NVLink-C2C

NVIDIA NVLink-C2C 將領先業界的 NVLink 技術延伸為晶片對晶片互連技術。這樣一來,便能採用小晶片與 NVIDIA 合作夥伴打造新類別的整合式產品,讓 NVIDIA GPU 或 CPU 與客製化晶片實現高頻寬一致性互連。

採用者

NVLink Fusion 生態系

利用 NVLink Fusion 擴充 AI 推論效能

瞭解 NVIDIA NVLink Fusion 如何因應複雜 AI 模型日益增長的需求。