NVLink の構造

高度なマルチ GPU 通信の構成要素

NVLink と NVSwitch が連動する仕組み

NVIDIA NVLink

NVIDIA A100 PCIe with NVLink GPU-to-GPU connection
NVIDIA A100 with NVLink GPU-to-GPU connections

NVIDIA NVSwitch

The NVSwitch topology diagram

システムのスループットを最大化する

第 3 世代の NVLINK

NVIDIA NVLink テクノロジは、広い帯域幅とより多くのリンク、マルチ GPU システム構成での高いスケーラビリティを実現し、相互接続の問題に対処します。1 基の NVIDIA A100 Tensor コア GPU で最大 12 本の第 3 世代 NVLink 接続がサポートされ、帯域幅の合計は毎秒 600 ギガバイトになります。これは PCIe Gen 4 の帯域幅のほぼ 10 倍です。

NVIDIA DGX™ A100 のようなサーバーでは、このテクノロジを活用し、超高速ディープラーニング トレーニングのスケーラビリティを上げます。NVLink は、A100 PCIe 2 GPU 構成でも使用できます。

NVLink パフォーマンス

NVLink in NVIDIA A100

NVIDIA NVSwitch

NVSwitch - 完全接続の NVLink

ディープラーニングの急速な導入により、マルチ GPU システムでは PCle 帯域幅がしばしばボトルネックとなるため、さらに高速でスケーラブルな相互接続に対する需要が高まっています。ディープラーニング ワークロードを拡大するには、劇的に帯域幅を拡大し、遅延を減らす必要があります。

NVIDIA NVSwitch は NVLink の高度な通信機能を基礎にして、この問題を解決します。1 台のサーバーにより多くの GPU を搭載し、GPU 間で全帯域幅で相互接続できる GPU 構造により、ディープラーニングのパフォーマンスがさらに向上します。各 GPU には、 NVLink と NVSwitch の間で 12 の接続が確立され、全方位の高速通信が可能になります。

AI と HPC の最もパワフルなエンドツーエンド データ センター プラットフォーム

ハードウェア、ネットワーク、ソフトウェア、ライブラリ、そして NGC の最適化された AI モデルとアプリケーションを組み合わせ、完全な NVIDIA データ センター ソリューションを構築するときに、不可欠な構成要素となるのが NVLink と NVSwitch です。最もパワフルなエンドツーエンド AI/HPC プラットフォームであり、研究者は現実に成果を出し、ソリューションを運用環境に展開できます。前例のない高速化があらゆる規模で可能となります。

完全接続で比類のないパフォーマンス

NVSwitch は、1 台のサーバー ノードで完全接続 GPU を 8 ~ 16 基サポートする初のオンノード スイッチ アーキテクチャです。第 2 世代 NVSwitch では、毎秒 600 GB という驚異の性能で、すべての GPU ペア間で同時通信できます。GPUDirect Peer-to-Peer による all-to-all 通信をサポートします。これら 16 基の GPU は、メモリ空間が統合され、最大 10 petaFLOPS のディープラーニング演算能力を備えた 1 台の高性能アクセラレータとして利用できます。

仕様

  • NVIDIA NVLink

    NVIDIA NVLink

  • NVIDIA NVSwitch

    NVIDIA NVSwitch

  第 2 世代 第 3 世代
合計 NVLink 帯域幅 300 GB/秒 600 GB/秒
GPU あたりの最大リンク数 6 12
サポートされている NVIDIA アーキテクチャ NVIDIA Volta NVIDIA Ampere アーキテクチャ
  第 1 世代 第 2 世代
直接接続による GPU 数 最大 16 最大 16
NVSwitch GPU 間帯域幅 300 GB/秒 600 GB/秒
合計帯域幅 4.8 TB/秒 9.6 TB/秒
サポートされている NVIDIA アーキテクチャ NVIDIA Volta NVIDIA Ampere アーキテクチャ

今すぐ申し込む

AI インフラストラクチャのための共通システムであり、NVIDIA A100 Tensor コア GPU を基盤に開発された世界初の AI システム、NVIDIA DGX A100 を体験してください。