NVIDIA GB200 NVL72

GB200 NVL72 は、最先端の機能と、FP4 AIを可能にする第 2 世代 Transformer Engine を導入し、第 5 世代 NVIDIA NVLink と組み合わせることで、兆単位のパラメーター言語モデルに対して 30 倍高速なリアルタイム LLM 推論性能を提供します。この進化は、新しいマイクロスケーリング フォーマットを導入した新世代の Tensor コアによって可能になり、高い精度とより高いスループットを実現します。さらに、GB200 NVL72 は、NVLink と水冷を利用して、通信のボトルネックを克服することができる 1 つの巨大な 72-GPU ラックを実現します。

GB200 には、FP8 精度を備えた、より高速な第 2 世代の Transformer Engine が搭載されており、大規模言語モデルの学習を 4 倍高速化することができます。この画期的な技術を補完するのが第 5 世代 NVLink です。これは毎秒 1.8 テラバイトの GPU 間相互接続、InfiniBand ネットワーク、NVIDIA Magnum IO™ ソフトウェアを提供します。

水冷 GB200 NVL72 ラックは、データ センターの二酸化炭素排出量とエネルギー消費を削減します。水冷は計算処理密度を高め、使用されるフロア面積を減らし、大規模な NVLink ドメイン アーキテクチャで GPU 通信を高帯域、低遅延にします。NVIDIA H100 空冷インフラと比較すると、GB200 は同じ電力でパフォーマンスが 40 倍になり、同時に水の消費量を 13 分の 1 以上削減します。

データベースは、企業の大量のデータの操作、加工、分析において重要な役割を果たします。GB200 は高帯域幅メモリ性能の NVLink-C2C と NVIDIA Blackwell アーキテクチャの専用 Decompression Engine を活用し、CPU と比較して重要なデータベース クエリを 18 倍高速化し、TCO を 5 倍にします。