NVIDIA GB200 NVL72

GB200 NVL72 は、FP4 AI を可能にする最先端の機能と第 ２ 世代の Transformer エンジンを導入しています。第 ５ 世代の NVIDIA NVLink と組み合わせることで、兆単位パラメータ言語モデルにおいて 30 倍高速なリアルタイム LLM 推論性能を発揮します。この進歩は、新しいマイクロスケーリング フォーマットを導入し、高精度とスループットの向上を提供する新世代の Tensor コアによって実現可能になりました。 さらに、GB200 NVL72 は、NVLink と液冷を使用し、通信のボトルネックを克服できる 1 つの巨大な 72 GPU ラックを作成します。

GB200 NVL72 には、FP8 の精度を提供し、より高速化された第 2 世代の Transformer Engine が搭載されており、大規模言語モデルでの学習を 4 倍も高速化することができます。 このブレークスルーは、1.8 TB/秒の GPU 間相互接続、InfiniBand ネットワーク、NVIDIA Magnum IO™ ソフトウェアを提供する第 5 世代の NV Link によって支えられています。

液冷 GB200 NVL72 ラックは、データ センターの二酸化炭素排出量とエネルギー消費を削減します。液冷により計算機密度が向上し、使用する床面積は削減され、大規模な NVLink ドメイン アーキテクチャによる高帯域幅、低遅延の GPU 通信が可能になります。NVIDIA H100 空冷インフラと比較して、GB200 は同じ電力で 25 倍の性能を発揮し、水の消費量を削減します。

データベースは、企業における大量のデータの操作、加工、分析において重要な役割を果たします。GB200 は、高帯域幅メモリ性能の NVLink-C2C と NVIDIA Blackwell アーキテクチャの専用 Decompression Engine を活用し、CPU と比較して重要なデータベース クエリを 18 倍高速化し、TCO を 5 倍にします。