NVLink Switch Chip

NVIDIA NVLink と NVLink Switch

AI トレーニング、推論、その他の要求の厳しいラックスケール GPU アクセラレーテッド ワークロード向けに、高帯域幅の GPU 間通信によりネットワーク ファブリックをスケールアップします。

より高速でスケールアップな相互接続に対するニーズ

最新の AI モデルのパフォーマンスを最大化するには、サーバー ラック全体にわたるシームレスで高スループットの GPU 間通信が必要です。低遅延、大規模なネットワーク帯域幅、全対全接続性を備えた第 6 世代 NVIDIA NVLink™ と NVLink Switch は、より迅速な推論とエージェント型 AI ワークロードに対応できるよう、トレーニングと推論を高速化します。

NVLink At-Scale Performance

NVIDIA Rubin を搭載した第 6 世代 NVIDIA NVLink は、前世代と比較して GPU 間通信帯域幅を 2 倍に拡張し、最新の AI モデル アーキテクチャによるトレーニングと推論を高速化します。

NVLink 通信で推論スループットを向上

NVIDIA NVLink と NVIDIA NVSwitch で GPU を完全接続

NVLink は、GPU 間で 3.6 TB/秒の双方向直接相互接続であり、サーバー内でマルチ GPU の入出力 (IO) を拡張します。NVIDIA NVLink Switch チップは、複数の NVLink を接続し、ラック全体であらゆる GPU 通信を NVLink フルスピードで提供します。 

高速な集合操作を可能にするため、各 NVLink Switch には、ネットワーク内リダクションとマルチキャスト高速化のための NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP)™ 用エンジンが搭載されています。

NVLink Switch システムで兆単位パラメータ モデルのテスト時推論を加速

NVLink Switch を使用すると、NVLink 接続をノード間で拡張し、シームレスな高帯域幅のマルチノード GPU クラスターを作成できます—実質的にデータセンター サイズの GPU を形成します。NVIDIA NVLink Switch は、1 つの NVIDIA Vera Rubin NVL72 で 260 TB/秒の GPU 帯域幅を可能にし、大規模なモデルを並列処理します。NVLink を使用したマルチサーバー クラスターは、増加した計算量に対してバランスよく GPU 通信をスケールするため、NVIDIA Vera Rubin NVL72 は、単一の 8 GPU システムと比較して 9 倍の GPU 数をサポートできます。

エンタープライズからエクサスケールにスケーリング

完全接続で比類のないパフォーマンス

Vera Rubin NVL72 の NVLink Switch チップは、ノンブロッキングのコンピューティング ファブリックで 72 基の GPU を完全接続できます。NVLink Switch は、すべての GPU ペアを驚異的な 3.6 TB/秒で相互接続します。完全な All-to-All 通信をサポートします。Vera Rubin NVL72 の 72 基の GPU は、最大 3.6 exaFLOPS の AI 演算能力を備えた 1 台の高性能アクセラレーターとして利用できます。

非常にパワフルな AI/HPC プラットフォーム

NVLink および NVLink Switch は、ハードウェア、ネットワーク、ソフトウェア、ライブラリ、および NVIDIA AI Enterprise ソフトウェア スイートと NVIDIA NGC™ カタログの最適化された AI モデルとアプリケーションを組み込んだ完全な NVIDIA データセンター ソリューションの必須構成要素です。最もパワフルなエンドツーエンド AI/HPC プラットフォームであり、研究者は現実に成果を出し、ソリューションを本番環境に展開でき、かつてない高速化があらゆる規模で可能となります。

NVIDIA Rubin プラットフォームの詳細をご覧ください。