NVIDIA Grace CPU 超級晶片

NVIDIA Grace CPU

支援現代資料中心的突破性 CPU。

專為滿足現今 AI 資料中心的效能和效率需求而設計

NVIDIA Grace™ CPU 專為新型資料中心設計,以最高的能源效率處理大量資料以生成智慧。 這些資料中心執行各種工作負載,例如 AI、資料分析、超大規模雲端應用與高效能運算 (HPC)。 為了滿足資料中心最嚴苛的需求,與現今的頂尖伺服器相比,Grace 提供 2 倍的每瓦效能、2 倍的封裝密度和最高的記憶體頻寬。

Grace CPU 結合 72 個高效能、節能的 Arm® Neoverse™ V2 核心,並連接 NVIDIA Scalable Coherency Fabric (SCF),該 SCF 提供每秒 3.2 TB 的雙分叉頻寬,是傳統 CPU 的兩倍,在提供最大效能的同時保持與 Arm 生態系統的完全相容性。 Grace 是首款採用伺服器級高速 LPDDR5X 記憶體和寬記憶體子系統的資料中心 CPU,在成本類似的情況下,以傳統 DDR 記憶體的五分之一的功耗提供每秒高達 500 GB 的頻寬。

適用於開發人員的 NVIDIA Grace CPU

探索我們為 NVIDIA Grace CPU 產品組合打造的開發人員工具。 尋找資源、說明、驅動程式等內容。

認識 NVIDIA Grace CPU

NVIDIA Grace CPU 超級晶片

Grace CPU 超級晶片包含以每秒 900 GB 的速度透過 NVIDIA NVLink™ 晶片對晶片 (C2C) 一致連接的兩個 Grace CPU 晶片。將 144 個 Neoverse V2 核心封裝到單一模組,配備每秒提供高達 1 TB 記憶體頻寬的伺服器級 LPDDR5X 記憶體。 Grace CPU 超級晶片將雙插槽伺服器的核心納入小巧的模組,提供配備 DDR5 記憶體的傳統伺服器 CPU 的 2 倍效能

NVIDIA Grace CPU C1

NVIDIA Grace C1 是一款單插槽的高效能伺服器平台,針對可擴充與邊緣平台進行最佳化,包括超大規模雲端、CDN、儲存空間、電信公司,以及其他不影響效能或頻寬的高效能邊緣平台。 此平台提供高階 x86 效能,同時為 Grace CPU 和 LPDDR5X 記憶體配置為 140W 至 250W,而類似的 x86 平台則超過 400W。相較於領先的 x86 平台,NVIDIA 設計的可擴充一致性架構讓 Grace CPU 提供 2 倍的能源效率。

產品特點

利用 Grace CPU 將資料中心輸出加倍或將能源使用量減半

圖形分析

3 倍

資料分析

2 倍

天氣

2 倍

微服務

1.6x

NVIDIA Grace 超級晶片 480 GB LPDDR5X、AMD EPYC 9654 768 GB DDR5。 作業系統:Ubuntu 22.04 編譯器:GCC 12.3,除非下方另有說明。 能源效率的功率包括 CPU + 記憶體測量的功率。 圖形分析:差距基準套件 BFS arXiv:1508.03619 [cs.DC],2015 年。 資料分析:HiBench+K-means Spark (HiBench 7.1.1、Hadoop 3.3.3、Spark 3.3.0;Grace:NVHPC 24.5、x86:Intel 2021.4) 天氣:ICON QUBICC 80 公里解析度 NVHPC 24.5 (Grace) ICC 2021.4 (x86) 微服務: Google Protobufs (提交 7cd0b6fbf1643943560d8a9fe553fd206190b27f | N 個並行執行個體)

圖形分析

NVIDIA Grace CPU 超級晶片將 Arm Neoeverse V2 核心與自訂的 NVIDIA 擴充一致性結構連結起來,可為強調核心之間通訊與同步的 GapBS 廣度優先搜尋等工作負載提供超高速的效能。 相較於領先的 x86 系統,NVIDIA Grace 在伺服器級提供超過 2 倍的效能,並提升 3 倍的能源效率。

資料分析

隨著資料持續成長,企業需要竭盡所能從資料中學習,以與對手分庭抗禮。 HiBench 套件測試用於知識探索與資料挖掘的 K-均值叢集,並利用 NVIDIA Grace CPU 的高頻寬和低功耗記憶體。 相較於現今市面上領先的 x86 CPU,Grace CPU 的能源效率提升了 2 倍以上。

天氣

天氣預測模型是高效能運算 (HPC) 的重要使用案例,也是瞭解和回應氣候變遷導致變化莫測之天氣模式的關鍵。 Grace CPU 採用高頻寬、節能的 LPDDR5X 記憶體,以僅約 16W 的功耗下提供每秒高達 500 GB 的頻寬,相較於現有的 x86 解決方案,Grace 在相同功率範圍內可完成近 2 倍的工作量。

微服務

微服務集合了小型獨立服務,可讓資料中心輕鬆擴充以滿足需求。 也可靈活管理個別服務,而不影響整個應用程式。 Google Protobuf 測量系統以多快的速度序列化和解析資料,以便在系統之間交換資料,這對於執行微服務而言至關重要。NVIDIA Grace CPU 的高效能與電源效率提供領先的效能和電源效率,可將資料中心的輸送量最大化。

功能

技術突破

Arm Neoverse V2 核心

Grace CPU 的核心是 Arm Neoverse V2 CPU 核心,這是現今市面上最高的 Arm 資料中心核心。 Neoverse V2 核心經過最佳化,可提供領先的每核心效能,同時與傳統 CPU 相比,能提供驚人的效率。 Grace CPU 整合 72 個核心,當與 NVIDIA Scaled Coherency Fabric 搭配使用時,在相同的功耗範圍內可提供領先 x86 CPU 的兩倍效能。

NVIDIA Scalable Coherency Fabric

NVIDIA Scalable Coherency Fabric (SCF) 是 NVIDIA 設計的網格結構與分散式快取架構,以節能和善用空間的方式解決擴充核心和頻寬的挑戰。 SCF 提供每秒超過 3.2 TB 的總雙分段頻寬,是傳統 CPU 的兩倍,可維持資料在 CPU 核心、記憶體和系統 I/O 之間的流動。 SCF 可減少圖形分析等資料移動密集型應用程式的瓶頸,在這些應用程式中,NVIDIA Grace 可提供領先 x86 伺服器的 2 倍效能。

LPDDR5X 記憶體

NVIDIA Grace 是首款採用 LPDDR5X 記憶體的伺服器 CPU,透過錯誤修正碼 (ECC) 等機制實現伺服器級可靠性。 NVIDIA Grace 的 LPDDR5X 記憶體可平衡成本、功耗、頻寬與容量。 它能以僅約 16W 功耗下提供每秒高達 500 GB,約為傳統 DDR5 記憶體功耗的五分之一。

單插槽和雙插槽

NVIDIA Grace CPU 產品組合包含 Grace 超級晶片,它作為雙插槽伺服器的核心,在單一小巧模組中提供配備 144 個 Neoverse V2 核心和多達 960GB LPDDR5X,僅需 500W 即可滿足 CPU 和記憶體的功耗需求。為了提供額外的靈活性,Grace CPU C1 帶來驚人的效能,採用針對雲端、儲存空間、邊緣和電信公司部署最佳化的單插槽配置,連接了 72 個 Neoverse V2 核心,每瓦效能比傳統 x86 伺服器高出 2 倍。

最新消息

NVIDIA Grace CPU 提供一流的資料中心效能與突破性的能源效率

NVIDIA 設計的 NVIDIA Grace CPU是新型高效能資料中心 CPU,專為資料中心規模提供突破性的能源效率,並針對效能進行最佳化。

NVIDIA Grace CPU 整合 Arm 軟體生態系統

隨著資料中心面臨愈來愈多的功耗限制,重要的是能加速的工作負載愈多愈好,並以最高效的運算方式執行剩餘的工作。 Grace CPU 經過最佳化,可處理加速和純 CPU 任務,在相同功耗下提供比傳統 CPU 高出 2 倍的效能。

聚焦:Petrobras 利用 NVIDIA Grace CPU 加速油藏模擬的線性求解器

此部落格說明,相較於其他採用 x86 的 CPU,NVIDIA Grace CPU 如何擅長解決此工作流程中的線性系統,Petrobras 實現解決方案的時間縮短了 4.5 倍、能源效率提升了 4.3 倍,擴充性提升了 1.5 倍。

規格

Grace CPU 規格

  NVIDIA Grace CPU C1 NVIDIA Grace CPU Superchip
Configuration 1x Grace CPU 2x Grace CPU
Core Count 72 Arm Neoverse V2 Cores with 4x 128b SVE2 144 Arm Neoverse V2 Cores with 4x 128b SVE2
L1 cache 64KB i-cache + 64KB d-cache per core 64KB i-cache + 64KB d-cache per core
L2 cache 1MB per core 1MB per core
L3 cache 114MB 228MB
LPDDR5X size 120GB, 240GB and 480GB on-module memory options available 240GB, 480GB and 960GB options available
Memory bandwidth Up to 384 GB/s for 480GB
Up to 512 GB/s for 120GB, 240GB
Up to 768 GB/s for 960GB
Up to 1024 GB/s for 240GB, 480GB
NVLink-C2C bandwidth n/a Up to 900 GB/s
PCIe Links Up to 4x PCIe Gen 5x16 with option to bifurcate Up to 8x PCIe Gen 5x16 with option to bifurcate