NVIDIA GB300 NVL72
專為 AI 推理時代而打造。
現已推出
概覽
專為 AI 推論效能而設計
NVIDIA GB300 NVL72 採用完全液冷式機架規模設計，將 72 顆 NVIDIA Blackwell Ultra GPU 與 36 顆 Arm® 架構 NVIDIA Grace™ CPU 整合至單一平台。相較於 NVIDIA Blackwell GPU，這款系統的密集 FP4 Tensor 核心 FLOPS 高出 1.5 倍，注意力效能則高出 2 倍。這套系統是專為測試階段擴充推論與 AI 推理任務而打造。GB300 NVL72 加速的 AI 工廠採用 NVIDIA Quantum-X800 InfiniBand 或 Spectrum-X™ 乙太網路、ConnectX-8 SuperNIC™ 以及 NVIDIA Mission Control 管理，相較於 NVIDIA Hopper 平台，AI 工廠輸出效能整體最高提升 50 倍。
效能
將 AI 工廠擴展至前所未有的規模
DeepSeek R1 ISL = 32K、OSL = 8K、並採用 GB300 NVL72 架構，支援 FP4 Dynamo 解耦技術。 採用 FP8 即時批次處理技術的 H100 晶片。 此為預計效能，之後將有可能更新。
體驗 NVIDIA GB300 NVL72 平台帶來的新一代 AI 推論效能突破。 相較於 Hopper 架構，GB300 NVL72 帶來顯著的效能躍升：使用者回應速度（每位使用者 TPS）提升達 10 倍，運算吞吐量（每百萬瓦 TPS）更提高 5 倍之多。這些技術進展共同推動 AI 工廠整體效能呈現驚人的 50 倍躍升。
功能
技術突破
AI 推理推論
測試階段擴充及 AI 推理提升了實現服務品質與最大傳輸量所需的運算能力。相較於 NVIDIA Blackwell GPU，NVIDIA Blackwell Ultra 的 Tensor 核心更上一層樓，注意力層 (Attention Layer) 加速為 2 倍，AI 運算能力每秒浮點運算次數 (FLOPS) 增加 1.5 倍。
288 GB HBM3e 記憶體
更高的記憶體容量，可實現更大的批量大小以及最高的傳輸量效能。NVIDIA Blackwell Ultra GPU 可提供 1.5 倍大的 HBM3e 記憶體，以及更多的 AI 運算能力，能有效提升最大上下文長度的 AI 推理傳輸量。
NVIDIA Blackwell 架構
NVIDIA Blackwell 架構為加速運算技術取得了突破性的進展，將持續推動這個追求卓越效能、效率與擴充性的新時代。
NVIDIA ConnectX-8 SuperNIC
NVIDIA ConnectX-8 SuperNIC 的輸入／輸出 (IO) 模組可託管兩個 ConnectX-8 裝置，能為 NVIDIA GB300 NVL72 中的每個 GPU 提供每秒 800 千兆位元 (Gb/s) 的網路傳輸速度。可透過 NVIDIA Quantum-X800 InfiniBand 或 Spectrum-X 乙太網路平台提供一流的遠端直接記憶體存取 (RDMA) 功能，進而為 AI 工作負載實現最高效率。
NVIDIA Grace CPU
NVIDIA Grace CPU 是一款採用突破性技術的處理器，專為現代資料中心的工作負載而設計。不僅可提供卓越的效能與記憶體頻寬，能源效率更是現今主流伺服器處理器的 2 倍。
第五代 NVIDIA NVLink
想要充分發揮加速運算的潛力，就必須讓每個 GPU 之間順暢無礙地通訊。第五代 NVIDIA NVLink™ 是一款可擴充的高速互連技術，可為 AI 推理模型釋放加速效能。
NVIDIA Mission Control
NVIDIA Mission Control 精簡 AI 工廠的營運，從工作負載到基礎架構，並以軟體形式提供世界級專業技術。它驅動了 NVIDIA Grace Blackwell 資料中心，讓推論和訓練工作負載立即能靈活應變，賦予基礎架構韌性，提供全堆疊智慧。讓每家企業都能以超大規模級的效率執行 AI，簡化並加速 AI 實驗。
NVIDIA DGX Station
NVIDIA DGX Station™ 搭載 NVIDIA GB300 Grace Blackwell Ultra 桌上型電腦超級晶片，可在本機開發及執行尖端的 AI 技術。加速大規模訓練和推論工作負載，輕鬆將規模從桌面擴充至資料中心。
規格
NVIDIA GB300 NVL72¹
| 配置 | 72 個 NVIDIA Blackwell Ultra GPU、36 個 NVIDIA Grace CPU |
| NVLink 頻寬 | 每秒 130 TB |
| 快速記憶體 | 最高 40 TB |
| GPU 記憶體 | 頻寬 | 最高 21 TB | 每秒高達 576 TB |
| CPU 記憶體 | 頻寬 | 搭載 LPDDR5X 的速率高達 18 TB SOCAMM | 每秒高達 14.3 TB |
| CPU 核心數量 | 2,592 個 Arm Neoverse V2 核心 |
| FP4 Tensor 核心 | 1,400 | 1,100² PFLOPS |
| FP8/FP6 Tensor 核心 | 720 PFLOPS |
| INT8 Tensor 核心 | 23 PFLOPS |
| FP16/BF16 Tensor 核心 | 360 PFLOPS |
| TF32 Tensor 核心 | 180 PFLOPS |
| FP32 | 6 PFLOPS |
| FP64 / FP64 Tensor 核心 | 100 TFLOPS |
|
1. 除非另有說明，否則所有 Tensor 核心規格均採用稀疏性技術。 |
|
資源
深入瞭解 Grace Blackwell
-
部落格
-
教學課程
開始使用
掌握最新消息
聯絡銷售業務以瞭解更多有關 NVIDIA GB300 NL72 的資訊。
隨時掌握 NVIDIA 最新消息
訂閱通知以接收 NVIDIA 的最新消息、更新內容及其他資訊。