Visit your regional NVIDIA website for local content, pricing, and where to buy partners specific to your country.
AI 推論の時代に対応した設計。
ご登録いただくと、NVIDIA GB300 NVL72 がリリースされ次第、通知を受け取ることができます。
概要
NVIDIA GB300 NVL72 は、テストタイム スケーリング推論のために最適化された単一プラットフォームに 72 個の NVIDIA Blackwell Ultra GPU と 36 個の Arm® ベースの NVIDIA Grace™ CPU を統合した、完全液冷式のラックスケールデザインを特徴としています。NVIDIA Quantum-X800 InfiniBand または Spectrum™-X イーサネットを採用し、GB300 NVL72 を搭載した AI ファクトリーは、NVIDIA Hopper™ プラットフォームと比較して、推論モデルにおいて、50 倍の出力を実現します。
DeepSeek R1 ISL = 32K、OSL = 8K、GB300 NVL72 (FP4 Dynamo 分散) FP8 のインフライト バッチングを備えた H100。 予想されるパフォーマンスは変更される可能性があります。
NVIDIA GB300 NVL72 プラットフォームで、次世代の AI 推論パフォーマンスを体験しましょう。 Hopper と比較して、GB300 NVL72 は、ユーザーの応答性 (ユーザーあたりの TPS) を 10 倍に高め、スループット (メガワット (MW) あたりの TPS) を 5 倍に高めます。 これらの進歩により、AI ファクトリー全体の出力は 50 倍の飛躍的な進歩を実現します。
特長
テストタイム スケーリングと AI 推論により、サービス品質と最大スループットを達成するために必要なコンピューティングが増加します。 NVIDIA Blackwell Ultra の Tensor コアは、NVIDIA Blackwell GPU と比較して 2 倍のアテンションレイヤー加速と 1.5 倍多い AI 計算浮動小数点演算/秒 (FLOPS) で強化されています。
メモリ容量が大きいほど、バッチ サイズの拡大とスループット パフォーマンスの最大化が実現できます。NVIDIA Blackwell Ultra GPU は、AI コンピューティングの強化と合わせて 1.5 倍の HBM3e メモリを提供し、最大のコンテキスト長に対して AI 推論のスループットを向上させます。
NVIDIA Blackwell アーキテクチャは、アクセラレーテッド コンピューティングにおいて画期的な進歩をもたらし、比類のないパフォーマンス、効率性および拡張性を実現する新時代を牽引しています。
NVIDIA ConnectX-8 SuperNIC の入出力 (IO) モジュールは、2 台の ConnectX-8 デバイスをホストし、NVIDIA GB300 NVL72 の各 GPU に毎秒 800 ギガビット (Gb/s) のネットワーク接続を提供します。 これにより、NVIDIA Quantum-X800 InfiniBand または Spectrum-X イーサネット ネットワーキング プラットフォームでクラス最高のリモート ダイレクト メモリ アクセス (RDMA) 機能の提供が可能となり、ピーク時の AI ワークロード効率を最適化します。
NVIDIA Grace CPU は、最新のデータ センターのワークロード向けに設計された画期的なプロセッサです。 優れたパフォーマンスとメモリ帯域幅を提供し、現在の主要なサーバー プロセッサの 2 倍のエネルギー効率で、優れたパフォーマンスとメモリ帯域幅を提供します。
アクセラレーテッド コンピューティングの可能性を最大限に引き出すには、あらゆる GPU 間でシームレスな通信が必要です。 第 5 世代の NVIDIA NVLink™ は、AI 推論モデルの加速されたパフォーマンスを解き放つスケールアップインターコネクトです。
仕様
1. 暫定的な仕様。変更される場合があります。特に明記されていない限り、すべての Tensor コアの仕様はスパース性を考慮しています。 2. スパース性なし。
関連情報
NVIDIA から最新ニュース、アップデートなどの情報をお送りします。