形塑新世代 AI。
概覽
NVIDIA Rubin 平台是專為代理型 AI 與推理時代而打造,經過精心設計,是大規模分步驟解決問題及超長語境工作流程的利器。Rubin 平台排除通訊與記憶體移動的關鍵瓶頸,推論能力大幅提升,相較於 NVIDIA Blackwell 世代,每瓦產出更多 Token,單一 Token 成本隨之降低。
Rubin 平台採用新款 Transformer Engine,運用硬體加速的自適應壓縮技術大幅提升 NVFP4 效能並兼顧準確性,NVFP4 推論最高可達 50 petaFLOPS。Transformer Engine 與 NVIDIA Blackwell 完全相容,確保升級順暢無礙,因此先前最佳化的程式碼可輕鬆轉移至 Rubin 平台。
第三代 NVIDIA 機密運算採用 NVIDIA Vera Rubin NVL72,將安全機制延伸至全機架規模。這個平台在全部 36 顆 NVIDIA Vera CPU、72 顆 NVIDIA Rubin GPU,以及無縫連接兩者的 NVIDIA NVLink™ 網狀架構上,打造可信賴的統一執行環境。這個平台跨 CPU、GPU 與 NVLink 維護資料安全性。該平台透過認證服務實現加密的合規性證明,兼具超大規模與極致防護,保護全球最大的專有模型、訓練資料與推論工作負載。
第六代 NVLink 將 72 顆 NVIDIA Rubin GPU 整合至單一效能域,為 NVIDIA 高速 GPU 互連網狀架構帶來重大的躍進。Rubin 的效能是 NVIDIA Blackwell 的兩倍,每顆 GPU 提供每秒 3.6 TB/s 的頻寬,以及 260 TB/s 的低延遲連線能力,通訊速度更快。這種新一代互連技術結合 NVIDIA® Scalable Hierarchical Aggregation and Reduction Protocol (SHARP)™ 技術,將集體運算的網路擁塞量最多降低 50%,大規模加速全球最大型模型的訓練與推論,而且效能絲毫不打折扣。
NVIDIA Rubin 平台實現機架級韌性,兼具先進的可靠性功能。NVIDIA Rubin GPU 採用專用的第二代 RAS 引擎,可在不停機的情況下主動維護和即時執行健康檢查,而 NVIDIA Vera CPU 則可透過 SOCAMM LPDDR5X 和 CPU 核心的系統內測試,強化維修性。這款機架採用模組化無纜線托盤設計,組裝和維修速度是 NVIDIA Blackwell 的 18 倍,結合智慧韌性和軟體定義的 NVLink 路由,確保運作不間斷並降低維護負擔。
NVIDIA Vera CPU 專為加速系統的資料移動與代理型推理而設計,並支援完整的機密運算。它可與 NVIDIA GPU 配合得天衣無縫,也可獨立運作,支援分析、雲端、協調、儲存與高效能運算 (HPC) 工作負載。Vera 採用 88 顆 NVIDIA 設計的核心,LPDDR5X 記憶體頻寬最高 1.2 TB/s,搭配 NVIDIA Scalable Coherency Fabric,為資料密集型與記憶體密集型工作負載實現可預測的節能效能,而且與 Arm® 完全相容。整合式 NVLink-C2C 連線能力可實現高頻寬的一致性 CPU-GPU 記憶體存取,將系統利用率與效率最大化。
閱讀這份技術深入解析,瞭解 NVIDIA Vera Rubin 如何將資料中心而非單一晶片視為運算單位,針對以高效安全且可預測的方式大規模生成智慧奠定基礎。