NVIDIA Blackwell アーキテクチャ

第 2 世代の Transformer Engine は、NVIDIA® TensorRT™-LLM および NeMo™ フレームワークのイノベーションと組み合わせたカスタム Blackwell Tensor コア テクノロジを使用して、大規模言語モデル (LLM) と混合エキスパート (MoE) モデルの推論と学習を加速します。

MoE モデルの推論を大幅に強化するために、 Blackwell Tensor コア は、新しいコミュニティ定義のマイクロスケーリング フォーマットを含む新しい精度を追加し、正確度が向上し、より高い精度に代替させやすくなっています。Blackwell Transformer Engine は、4 ビット浮動小数点 (FP4) AI を可能にする性能と精度を最適化するために、マイクロテンソル スケーリングと呼ばれるきめ細かいスケーリング技術を利用しています。これにより、高い精度を維持しながら、メモリがサポートできる次世代モデルの性能とサイズが 2 倍になります。

エクサスケール コンピューティングと兆単位パラメーター AI モデルの可能性を最大限に引き出すには、サーバー クラスター内の全 GPU 間での高速かつシームレスな通信が必要になります。第 5 世代の NVIDIA® NVLink® インターコネクトは最大 576 個の GPU まで拡張できて、パラメーターが 1 兆から数兆単位になる AI モデルのためにアクセラレーテッド パフォーマンスを発揮します。

NVIDIA NVLink Switch Chip は、1 つの 72-GPU NVLink ドメイン (NVL72) で 130TB/秒の GPU の帯域幅を備えることができ、NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP)™ FP8 をサポートすることで、4 倍の帯域幅効率を実現します。NVIDIA NVLink Switch Chip は、1 台のサーバーを超えるクラスターを同じ 1.8TB/秒の驚異的な相互接続でサポートします。NVLink を使用するマルチサーバー クラスターは、コンピューティングの増加に合わせて GPU 通信を拡張します。そのため、NVL72 は、単一の 8 基の GPU を搭載したシステムに比べて 9 倍の GPU スループットをサポートすることができます。

Blackwell は専用の RAS (信頼性、可用性、保守性) エンジンによるインテリジェントな回復性を備え、早期に発生する可能性がある潜在的障害を特定し、ダウンタイムを最小限に抑えます。NVIDIA の AI を活用した予測管理機能は、ハードウェアおよびソフトウェアの全体的な正常性を何千ものデータ ポイントで継続的に監視し、ダウンタイムや非効率性の発生源を予測し、阻止します。これにより、時間、電力、コンピューティング コストを節約するインテリジェントな回復性が与えられます。

NVIDIA の RAS エンジンは詳しい診断情報を提供し、懸念される領域を特定し、メンテナンスを計画できます。この RAS エンジンは、問題の原因を速やかに特定することでターンアラウンド タイムを短縮し、効果的な修正を促進することでダウンタイムを最小限に抑えます。