NVIDIA GB200 NVL72

GB200 NVL72 引進尖端功能和第二代 Transformer Engine，實現了 FP4 AI。它搭配第五代 NVIDIA NVLink 技術時，兆級參數語言模型的即時 LLM 推論效能加快了 30 倍。新一代 Tensor 核心引進針對高傳輸量低延遲 AI 推論最佳化的全新微縮放格式，是實現這項進展的推手。此外，GB200 NVL72 採用 NVLink 和液冷式技術打造的單一大型 72 GPU 機架，可克服各項通訊瓶頸。

GB200 NVL72 採用更快的第二代 Transformer 引擎，提供 FP8 的精度，實現了大型語言模型大規模訓練速度提升 4 倍的驚人表現。這項突破性技術獲得第五代 NVLink 加持，提供每秒 1.8 TB 的 GPU 對 GPU 互連頻寬、InfiniBand 網路技術，以及 NVIDIA Magnum IO™ 軟體。

液冷式 GB200 NVL72 機架可減少資料中心的碳足跡與能耗。液冷式設計可提升運算密度、減少使用的空間，並透過大型 NVLink 網域架構促進高頻寬低延遲的 GPU 通訊。相較於 NVIDIA H100 氣冷式基礎架構，功率相同時，GB200 的效能高出 25 倍，而且用水量減少。

在企業處理、運算及分析大量資料方面，資料庫扮演了關鍵角色。GB200 充分利用 NVIDIA Blackwell 架構的高頻寬記憶體效能、NVLink-C2C，以及專用解壓縮引擎，相較於 CPU，關鍵資料庫查詢的速度加快 18 倍，總體擁有成本降低 5 倍。