高度なマルチ GPU 通信の構成要素
AI とHPC (ハイ パフォーマンス コンピューティング) での計算処理の需要の増加によって GPU 間をシームレスに接続したマルチ GPU システムが必要となり、それらは 1 つの巨大なアクセラレーターとして機能できるようになりました。しかしながら、標準の PCle は帯域幅で制約があり、頻繁にボトルネックとなります。パワフルなエンドツーエンド コンピューティング プラットフォームを構築するには、さらに高速でスケーラブルな相互接続が必要です。
NVIDIA® NVLink® は高速の直接型 GPU 間相互接続です。NVIDIA NVSwitch™ は複数の NVLink を組み合わせ、NVIDIA HGX™ A100 など、1 つのノード内で NVLink の速度を落とすことなく、全 GPU 間の通信を可能にし、相互接続を次のレベルに押し上げられます。NVLink と NVSwitch を組み合わせることで、複数の GPU に AI パフォーマンスを効率的に拡張し、業界初の AI ベンチマークである MLPerf 0.6 で新記録を達成しました。
NVLink で GPU 間を接続する NVIDIA A100 PCIe
NVLink で GPU 間を接続する NVIDIA A100
この NVSwitch トポロジー図では、わかりやすいように 2 基の GPU を接続しています。NVSwitch を介して 8 個または 16 個の GPU がすべて同じように接続されます。
NVIDIA NVLink テクノロジは、広い帯域幅とより多くのリンク、マルチ GPU システム構成での高いスケーラビリティを実現し、相互接続の問題に対処します。1 基の NVIDIA A100 Tensor コア GPU で最大 12 本の第 3 世代 NVLink 接続がサポートされ、帯域幅の合計は毎秒 600 ギガバイトになります。これは PCIe Gen 4 の帯域幅のほぼ 10 倍です。
NVIDIA DGX™ A100 のようなサーバーでは、このテクノロジを活用し、超高速ディープラーニング トレーニングのスケーラビリティを上げます。NVLink は、A100 PCIe 2 GPU 構成でも使用できます。
NVIDIA A100 の NVLink は、前世代と比較して GPU 間通信の帯域幅が 2 倍になっているため、研究者はより大規模で高度なアプリケーションを使用して、さらに複雑な問題を解くことができます。
ディープラーニングの急速な導入により、マルチ GPU システムでは PCle 帯域幅がしばしばボトルネックとなるため、さらに高速でスケーラブルな相互接続に対する需要が高まっています。ディープラーニング ワークロードを拡大するには、劇的に帯域幅を拡大し、遅延を減らす必要があります。
NVIDIA NVSwitch は NVLink の高度な通信機能を基礎にして、この問題を解決します。1 台のサーバーにより多くの GPU を搭載し、GPU 間で全帯域幅で相互接続できる GPU 構造により、ディープラーニングのパフォーマンスがさらに向上します。各 GPU には、 NVLink と NVSwitch の間で 12 の接続が確立され、全方位の高速通信が可能になります。
ハードウェア、ネットワーク、ソフトウェア、ライブラリ、そして NGC™ の最適化された AI モデルとアプリケーションを組み合わせ、完全な NVIDIA データ センター ソリューションを構築するときに、不可欠な構成要素となるのが NVLink と NVSwitch です。最もパワフルなエンドツーエンド AI/HPC プラットフォームであり、研究者は現実に成果を出し、ソリューションを運用環境に展開できます。前例のない高速化があらゆる規模で可能となります。
NVSwitch は、1 台のサーバー ノードで完全接続 GPU を 8 ～ 16 基サポートする初のオンノード スイッチ アーキテクチャです。第 2 世代 NVSwitch では、毎秒 600 GB という驚異の性能で、すべての GPU ペア間で同時通信できます。GPUDirect Peer-to-Peer による all-to-all 通信をサポートします。これら 16 基の GPU は、メモリ空間が統合され、最大 10 petaFLOPS のディープラーニング演算能力を備えた 1 台の高性能アクセラレータとして利用できます。
AI インフラストラクチャのための共通システムであり、NVIDIA A100 Tensor コア GPU を基盤に開発された世界初の AI システム、NVIDIA DGX A100 を体験してください。