NVIDIA GB300 NVL72
AI 推論の時代に対応した設計。
販売開始
概要
AI 推論のパフォーマンスを追求した設計
NVIDIA GB300 NVL72 は、72 基の NVIDIA Blackwell Ultra GPU と 36 基の Arm® ベースの NVIDIA Grace™ CPU を単一のプラットフォームに統合した、完全液冷式のラックスケール アーキテクチャを搭載しています。 このシステムは、NVIDIA Blackwell GPU と比較して 1.5 倍の密度の FP4 Tensor コア FLOPS と 2 倍のアテンション性能を発揮します。 テスト時のスケーリング推論と AI リーズニング タスク向けに特別に構築されています。 GB300 NVL72 により高速化された AI ファクトリーは、NVIDIA Quantum-X800 InfiniBand または Spectrum-X™ イーサネット、ConnectX-8 SuperNIC™、NVIDIA Mission Control Management を活用し、NVIDIA Hopper ベースのプラットフォームと比較して、AI ファクトリーの出力パフォーマンスが全体的に最大 50 倍向上します。
パフォーマンス
AI ファクトリーを前例のないレベルにスケーリング
DeepSeek R1 ISL = 32K、OSL = 8K、GB300 NVL72 (FP4 Dynamo 分散) FP8 のインフライト バッチングを備えた H100。 予想されるパフォーマンスは変更される可能性があります。
NVIDIA GB300 NVL72 プラットフォームで、次世代の AI 推論パフォーマンスを体験しましょう。 Hopper と比較して、GB300 NVL72 は、ユーザーの応答性 (ユーザーあたりの TPS) を 10 倍に高め、スループット (メガワット (MW) あたりの TPS) を 5 倍に高めます。 これらの進歩により、AI ファクトリー全体の出力は 50 倍の飛躍的な進歩を実現します。
特長
技術のブレイクスルー
AI 推論
テストタイム スケーリングと AI 推論により、サービス品質と最大スループットを達成するために必要なコンピューティングが増加します。 NVIDIA Blackwell Ultra の Tensor コアは、NVIDIA Blackwell GPU と比較して 2 倍のアテンションレイヤー加速と 1.5 倍多い AI 計算浮動小数点演算/秒 (FLOPS) で強化されています。
288 GB の HBM3e
メモリ容量が大きいほど、バッチ サイズの拡大とスループット パフォーマンスの最大化が実現できます。NVIDIA Blackwell Ultra GPU は、AI コンピューティングの強化と合わせて 1.5 倍の HBM3e メモリを提供し、最大のコンテキスト長に対して AI 推論のスループットを向上させます。
NVIDIA Blackwell アーキテクチャ
NVIDIA Blackwell アーキテクチャは、アクセラレーテッド コンピューティングにおいて画期的な進歩をもたらし、比類のないパフォーマンス、効率性および拡張性を実現する新時代を牽引しています。
NVIDIA ConnectX-8 SuperNIC
NVIDIA ConnectX-8 SuperNIC の入出力 (IO) モジュールは、2 台の ConnectX-8 デバイスをホストし、NVIDIA GB300 NVL72 の各 GPU に毎秒 800 ギガビット (Gb/s) のネットワーク接続を提供します。 これにより、NVIDIA Quantum-X800 InfiniBand または Spectrum-X イーサネット ネットワーキング プラットフォームでクラス最高のリモート ダイレクト メモリ アクセス (RDMA) 機能の提供が可能となり、ピーク時の AI ワークロード効率を最適化します。
NVIDIA Grace CPU
NVIDIA Grace CPU は、最新のデータ センターのワークロード向けに設計された画期的なプロセッサです。 優れたパフォーマンスとメモリ帯域幅を提供し、現在の主要なサーバー プロセッサの 2 倍のエネルギー効率で、優れたパフォーマンスとメモリ帯域幅を提供します。
第 5 世代 NVIDIA NVLink
アクセラレーテッド コンピューティングの可能性を最大限に引き出すには、あらゆる GPU 間でシームレスな通信が必要です。 第 5 世代の NVIDIA NVLink™ は、AI 推論モデルの加速されたパフォーマンスを解き放つスケールアップインターコネクトです。
NVIDIA Mission Control
NVIDIA Mission Control は、ワークロードからインフラまで AI ファクトリーの運用を効率化し、世界クラスの専門知識をソフトウェアとして提供します。 NVIDIA Grace Blackwell データ センターを強化し、推論とトレーニングに瞬時の俊敏性をもたらし、インフラストラクチャの回復力にフルスタックのインテリジェンスを提供します。 あらゆる企業がハイパースケールの効率性で AI を運用できるようになり、AI の実験を簡素化・高速化させます。
NVIDIA DGX Station
NVIDIA GB300 Grace Blackwell Ultra Desktop Superchip を搭載した NVIDIA DGX Station™ により、最先端の AI をローカルで開発し、実行できます。大規模なトレーニングと推論ワークロードを高速化し、デスクサイドからデータ センターまで簡単にスケールアップすることが可能になります。
仕様
NVIDIA GB300 NVL72¹
| 構成 | 72 個の NVIDIA Blackwell Ultra GPU、36 個の NVIDIA Grace CPU |
| NVLink 帯域幅 | 130 TB/秒 |
| 高速メモリ | 37 TB |
| GPU メモリ | 帯域幅 | 20 TB | 最大 576 TB/秒 |
| CPU メモリ | 帯域幅 | 17 TB LPDDR5X | 14 TB/秒 |
| CPU コア数 | Arm Neoverse V2 コア 2,592 個 |
| FP4 Tensor コア | 1,440 | 1,080² PFLOPS |
| FP8/FP6 Tensor コア | 720 PFLOPS |
| INT8 Tensor コア | 24 POPS |
| FP16/BF16 Tensor コア | 360 PFLOPS |
| TF32 Tensor コア | 180 PFLOPS |
| FP32 | 6 PFLOPS |
| FP64 / FP64 Tensor コア | 100 TFLOPS |
|
1. 特に明記されていない限り、すべての Tensor コアの仕様はスパース性を考慮しています。 |
|
関連情報
Grace Blackwell の詳細を見る
-
ブログ
-
セッション
今すぐ始める
お問い合わせ
NVIDIA GB300 NL72 に関する詳細情報をご希望の場合は、営業チームまでお問い合わせください。
NVIDIA ニュースの最新情報を受け取る
NVIDIA から最新ニュース、アップデートなどの情報をお送りします。