NVIDIA NVLink Fusion

半客製化 AI 基礎架構採用經業界驗證的 AI 垂直擴充效能與機架規模架構。

概覽

採用 NVLink Fusion 的半客製化 AI 工廠

NVIDIA NVLink™ Fusion 是一項高頻寬、低延遲的連接技術與智慧財產 (IP),使超大規模雲端業者與 AI 原生企業能夠將自訂 XPU 與 CPU 部署至 NVIDIA 領先全球的 AI 基礎設施平台。運用 NVIDIA 經驗證的縱向擴充與橫向擴充技術堆疊與生態系統,以及 MGX™ 機架級架構,降低半客製化 AI 工廠的開發複雜度、提升效能,並加速產品上市時程。NVLink Fusion 透過在單一統一架構上標準化,簡化資料中心的營運流程,實現彈性重新配置資料中心容量,並讓自訂的 XPU 與 GPU 順暢整合,支援異質運算。

AWS 為 Trainium4 部署整合 AI 基礎架構與 NVIDIA NVLink Fusion

瞭解 AWS 如何運用 NVLink Fusion 加速 Trainium4 部署。

利用 NVIDIA NVLink Fusion 將半客製化運算方案整合至機架規模架構

瞭解 NVIDIA NVLink Fusion 如何協助超大規模雲服務商建構半客製化 AI 基礎架構,將 ASIC 或 CPU 與 NVIDIA GPU 整合,並透過單一可擴充的硬體基礎架構標準化。

高效能 AI 工廠若運用 NVLink Fusion,不僅可快速擴充,還能讓打造 NVIDIA 機架規模架構的所有解決方案元件充分發揮效益。

優勢

NVLink Fusion 的優勢

世界級垂直擴充效能

所有加速器的通訊都必須快速順暢,AI 工廠的潛力才能發揮得淋漓盡致。NVIDIA NVLink 6 可以每顆 XPU 3.6 TB/s 的速度全對全連接 72 顆 XPU,並具備未來發展藍圖配置,包括最高可達 1,152 個網域規模,以提升 AI 效能與投資報酬率。

經生產驗證的技術生態系統與供應鏈

完整的 NVLink Fusion 技術生態系統,包括 XPU 設計合作夥伴、CPU 合作夥伴與 IP 供應商,協助超大規模雲端業者與 AI 原生企業最佳化 XPU 設計並精簡開發流程。MGX 生態系統提供完整的機架級架構,並將採用者的超大規模雲端業者連接至與 NVIDIA 自身 MGX 系統所使用的同一套經驗證的供應鏈,消除新機架設計與供應商管理的複雜性,並加速產品上市時間。

靈活的重新配置與部署風險緩解

採用 MGX 機架架構的一大關鍵優勢在於,基於 XPU 與 GPU 的系統(例如 Vera Rubin NVL72)可輕鬆整合至同一資料中心,共享相同的機架與機架佔地、網路、冷卻、供電以及管理系統。這種統一的方法讓 NVLink Fusion 的採用者能將資料中心的設計與建置,與晶片就緒性與供應解耦,進而使其能夠隨著需求變化,輕鬆調整不同的 XPU 或 GPU 系統的組合重新配置資料中心容量。

異質 AI 基礎設施的統一架構

NVLink Fusion 的採用者可在同一資料中心部署不同類型的 XPU,或同時部署 XPU 與 GPU,以支援異質運算,並用於解耦式推論及其他非對稱工作負載。

結果是沒有任何單一公司能夠獨立建造一座單一、半客製化的 AI 工廠。

平台

NVIDIA NVLink Fusion 技術

NVIDIA NVLink

NVIDIA NVLink 6 與 NVLink 交換器晶片在單一 72 個加速器 NVLink 通訊域 (NVL72) 實現每秒 260 TB 的頻寬,而且支援 NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP)™ FP8,頻寬效率提升 4 倍。

NVIDIA NVLink-C2C

NVIDIA NVLink-C2C 將領先業界的 NVLink 技術延伸為晶片對晶片互連技術。這樣一來,便能採用小晶片與 NVIDIA 合作夥伴打造新類別的整合式產品,讓 NVIDIA GPU 或 CPU 與客製化晶片實現高頻寬一致性互連。

AI 基礎設施平台

NVIDIA 提供 AI 工廠技術的模組化產品組合,包括 NVIDIA GPU、NVIDIA Vera CPU、共同封裝光學 (CPO) 交換器、ConnectX® SuperNICs™、BlueField® DPU 以及 Mission Control™ 軟體,用於最佳化 AI 工作流程並管理 AI 基礎設施。

完整機架級解決方案也支援半自訂 AI 工廠整合,包括 Vera Rubin NVL72 機架,可與基於 XPU 的系統混合部署以支援解耦式推論;Vera CPU 機架,用於支援代理式 AI 系統與強化學習;NVIDIA LPX 機架,用於高情境與低延遲推論;NVIDIA STX 機架,用於 AI 原生儲存;以及 NVIDIA SPX 機架,用於橫向擴展網路。

採用者

NVLink Fusion 生態系

利用 NVLink Fusion 擴充 AI 推論效能

瞭解 NVIDIA NVLink Fusion 如何因應複雜 AI 模型日益增長的需求。