NVIDIA Grace CPU

專為訓練全球最大的模型而打造

可處理龐大人工智慧與高效能運算工作負載的突破性 CPU

人工智慧模型的複雜度和規模皆呈現爆炸式成長,不僅藉由數千億參數改善了對話式人工智慧、運用含數十 TB 資料的嵌入式表格加強深度推薦系統;也促進了全新的科學發現。這些大規模的模型不斷挑戰著現今系統的效能極限。持續擴充這些模型,並為其增加準確性和歸納能力,將會需要快速存取大量記憶體,以及 CPU 與 GPU 的緊密運用。

觀看 NVIDIA 創辦人暨執行長黃仁勳精彩的 GTC 主題演講,為您介紹全新產品 NVIDIA Grace CPU。

 

專為解決複雜問題所設計

NVIDIA Grace CPU 運用 Arm® 架構的彈性,專為加速運算需求而從頭打造 CPU 和伺服器架構。與現今最快速的伺服器相比,此創新設計可提供高達 30 倍的彙總頻寬,且執行 TB 規模資料的應用程式時,效能最高可提升 10 倍。NVIDIA Grace 專為科學家與研究人員設計,讓他們得以訓練全球最大規模的模型來解決最複雜的問題。

最新技術創新

第四代 NVIDIA NVLink

要解決最大規模的人工智慧和高效能運算問題,便需要高容量與高頻寬記憶體 (HBM)。第四代 NVIDIA® NVLink® 為 NVIDIA Grace CPU 和 NVIDIA GPU 提供每秒 900 GB (GB/秒) 的雙向頻寬。此連線整合系統與高頻寬 GPU 記憶體,形成統一且具快取一致性的記憶體位址空間,能夠簡化可程式性。在 CPU 與 GPU 之間建立一致的高頻寬連線,是加速未來複雜的人工智慧與高效能運算問題的關鍵。

使用 LPDDR5x 與 ECC 技術,提供全新高頻寬記憶體子系統

記憶體頻寬是伺服器效能的關鍵要素,而標準雙倍資料速率 (DDR) 記憶體會佔用整體插槽功率相當大的一部分。NVIDIA Grace CPU 是首個透過錯誤修正程式碼 (ECC) 等機制,運用伺服器級可靠性駕馭 LPDDR5x 記憶體的伺服器 CPU,不僅能滿足資料中心的需求,同時亦提供比現今伺服器記憶體高 2 倍的記憶體頻寬,以及高達 10 倍的能源效率。NVIDIA Grace LPDDR5x 解決方案結合大型、高效能、末級快取記憶體,可提供大型模型所需的頻寬,同時降低系統功率,為新一代工作負載提供極致的效能。

新一代的 Arm Neoverse 核心

隨著 GPU 的平行運算功能持續進步,工作負載仍可能因 CPU 上所執行的序列工作而受限。快速有效率的 CPU 是系統設計的重要元素,可實現最高的工作負載加速。NVIDIA Grace CPU 整合新一代的 Arm Neoverse 核心,以節能設計提供高效能,讓科學家和研究人員能更輕鬆地完成他們的畢生志業。

觀看 NVIDIA 創辦人暨執行長黃仁勳發表 GTC 主題演講揭曉 NVIDIA Grace CPU,精彩內容不容錯過;您也可以閱讀新聞稿,瞭解更多資訊。