NVIDIA DGX B200

NVIDIA DGX B200

卓越人工智慧中心的基礎。

革命性效率有賴進化式創新

NVIDIA DGX™ B200 是全球最靈活的企業人工智慧系統,適合各種規模的企業,也不受人工智慧部署階段侷限。DGX B200 配備 8 個 NVIDIA Blackwell GPU,並與第五代 NVIDIA® NVLink® 相互連結,可提供頂尖的效能。與前幾代相比,訓練效能和推論效能分別達到先前的 3 倍和 15 倍。DGX B200 採用 NVIDIA Blackwell GPU 架構,可以處理多種工作負載,包含大型語言模型、推薦系統和聊天機器人,非常適合希望加快人工智慧轉型的企業。

適用於任何工作負載的人工智慧基礎架構

瞭解 DGX B200 如何從資料準備、訓練到推論,協助企業加速任何人工智慧工作負載。

成功的企業部署案例

瞭解 NVIDIA DGX 平台NVIDIA NeMo™ 如何為頂尖企業提供強大功能。

優勢

整合為一的人工智慧平台

從開發到部署流程的單一平台

從訓練、微調到推論,企業在人工智慧流程的每個階段都需要大量運算能力,才能處理複雜的人工智慧資料集。有了 NVIDIA DGX B200,企業就能為開發人員提供可加速工作流程的單一平台,讓開發人員的工作更上軌道。

強大的人工智慧效能

DGX B200 採用 NVIDIA Blackwell 架構在運算方面的先進技術,可提供比 DGX H100 高 3 倍的訓練效能,推論效能則增為 15 倍。DGX B200 是 NVIDIA DGX BasePOD™NVIDIA DGX SuperPOD™ 的基礎,可為任何工作負載提供頂尖效能。

經過驗證的基礎架構標準

DGX B200 是一款經過全面優化的硬體和軟體平台,包含完整的 NVIDIA AI 軟體堆疊(包括 NVIDIA Base CommandNVIDIA AI Enterprise 軟體)、豐富的第三方支援生態系統以及來自 NVIDIA 專家的專業支援服務。

效能

由 DGX B200 驅動的新一代效能

即時大型語言模型推論

此為預計效能,之後將有可能更新。Token 對 token 延遲 (TTL) = 50 毫秒即時時間,第一個 token 延遲 (FTL) = 5 秒,輸入序列長度 = 32,768,輸出序列長度 = 1,028,氣冷式的 8 倍八向 HGX H100 GPU 對比風冷式 1 倍八向 HGX B200 的個別 GPU 效能。

大幅提升人工智慧訓練效能

此為預計效能,之後可能會更新。採 32,768 個 GPU 規模,4,096 個八向 HGX H100 氣冷式叢集:400G IB 網路,4,096 個八向 HGX B200 氣冷式叢集:400G IB 網路。

規格

NVIDIA DGX B200 規格

GPU 8 個 NVIDIA Blackwell GPU
GPU 記憶體 總計 1,440 GB GPU 記憶體
效能 72 petaFLOPS 訓練和 144 FP4 推論
功耗 最高 14.3 kW
CPU 2 個 Intel® Xeon® Platinum 8570 處理器
總共 112 個核心,2.1 GHz (基本),
4 GHz (最大加速)
系統記憶體 最高 4 TB
網路 4 個 OSFP 連接埠,提供 8 個單埠 NVIDIA ConnectX-7 VPI
  • 最高每秒 400 Gb InfiniBand/乙太網路
2 個雙埠 QSFP112 NVIDIA BlueField-3 DPU
  • 最高每秒 400 Gb InfiniBand/乙太網路
管理網路 每秒 10 Gb RJ45 內建網路介面卡
每秒 100 Gb 雙埠乙太網路介面卡
RJ45 主機基板管理控制器 (BMC)
儲存空間 作業系統:2 個 1.9 TB NVMe M.2
內部儲存空間:8 個 3.84 TB NVMe U.2
軟體 NVIDIA AI Enterprise:最佳化的人工智慧軟體
NVIDIA Base Command™:協調、排程、叢集管理
DGX 作業系統/Ubuntu:作業系統
機架單位 (RU) 10 RU
系統尺寸 高度:17.5 吋 (444 公釐)
寬度:19.0 吋 (482.2 公釐)
長度:35.3 吋 (897.1 公釐)
作業溫度 5–30°C (41–86°F)
企業支援 硬體和軟體的 3 年企業標準支援
全年無休的企業支援入口網站服務
當地上班時間的即時客服支援

資源

為每間企業提供超級運算技術

NVIDIA DGX SuperPOD

有了以 DGX B200 為基礎的 NVIDIA DGX SuperPOD™,頂尖企業就能部署具備 NVIDIA 人工智慧專業技術支援且功能完備的大規模基礎架構。

將 DGX 平台的價值發揮到極致

NVIDIA 企業支援服務可為你的 DGX 基礎架構提供支援、教育和專業服務。企業支援服務的 NVIDIA 專家會在人工智慧旅程的每一步全程陪伴,能協助您啟動專案並快速成功執行。

以 DGX 客戶的身分獲得獨家訓練優惠

瞭解如何運用人工智慧,用更快速度締造尖端突破,並探索 NVIDIA 深度學習機構 (DLI) 人工智慧專家專為 DGX 客戶提供的特別技術訓練。

開始使用

採取下一步行動

取得 NVIDIA DGX 平台

DGX 平台由多種產品和服務組成,可滿足所有人工智慧企業的需求。

探索 NVIDIA DGX 平台

NVIDIA DGX 是經過驗證的企業人工智慧標準。

需要協助選擇合適的產品或合作夥伴嗎?

與 NVIDIA 產品專家討論您的專業需求。