先進的なマルチ GPU 処理
AI コンピューティングのようなアプリケーションでは、開発者は並行処理により大きく依存するため、マルチ GPU やマルチ CPU を搭載したシステムがさまざまな業界で常識になりつつあります。その中には、非常に大規模で複雑な問題を解くために、PCIe システム相互接続を使用した 4 GPU および 8 GPU のシステム構成も含まれます。しかし PCIe の帯域幅は、マルチ GPU システム レベルでは次第にボトルネックになってきており、さらに高速でスケーラブルなマルチプロセッサの相互接続の必要性が高くなっています。
NVIDIA® NVLink™ テクノロジでは、帯域幅を広くし、リンクを増やし、マルチ GPU および マルチ GPU/CPU システム構成の拡張性を改善することで、この相互接続の問題に対処しています。1つの NVIDIA Tesla® V100 GPU は、最大 6 つの NVLink リンクで合計 300 Gb/sec の帯域幅 (すなわち、PCIe 3 の 10 倍) をサポートします。新しい NVIDIA DGX-1™ のようなサーバーでは、このような技術を利用して、超高速のディープラーニングのトレーニングに対してより大きな拡張性を提供します。
NVIDIA Pascal™ アーキテクチャで初めて導入された Tesla V100 の NVLink は、各方向の信号速度を 20 GB/秒から 25 GB/秒に向上させました。これは、Tesla V100 搭載 DGX-1V サーバーで見られるような GPU to CPU または GPU to GPU 通信で使用できます。
NVLink で GPU to GPU および GPU to CPU 接続した Tesla V100
DGX-1V サーバーでは、NVLink が 8 基の Tesla V100 アクセラレータをハイブリッド キューブ メッシュ トポロジで接続
NVIDIA NVLink は、他の点では全く同じように構成されたサーバーに対して、性能を最大 46% 向上できます。劇的に帯域幅が広がりレイテンシが減少したため、ディープラーニングのワークロードが増え続けても、パフォーマンスを向上させていくことができるでしょう。
ディープラーニングのワークロードの急速な増大に伴い、PCIe の帯域幅がボトルネックとなる傾向が強まる中、高速かつスケーラブルな相互接続性の確保が至急の課題となっています。
NVLink の開発は大きな前進でした。単一のサーバーで 8 基の GPU を使用でき、PCIe を上回るパフォーマンスを実現しました。しかし、ディープラーニングの性能を新たなレベルに引き上げるには、単一サーバーで利用可能な GPU 数をさらに増やし、GPU 間で全帯域幅を使用した相互接続を可能にする構造が必要です。
NVIDIA NVSwitch は、単一サーバー ノードで 16 基の完全結合 GPU をサポートし、8 組の GPU すべてをそれぞれ驚くべきことに 300 GB/s で同時通信するという初めてのオンノード スイッチ アーキテクチャです。そしてこれら 16 基の完全結合 GPU は、0.5 テラバイトの統合メモリ空間と 2 ペタ FLOPS の計算処理能力を持った 1 つの大型アクセラレータとして使用できます。Infiniband 経由で接続された HGX-1/DGX-1 system 2 台と比較すると、NVSwitch 搭載の HGX-2/DGX-2 system は 1 台で最大 2.7 倍ものアプリケーション パフォーマンスを実現します。
2 HGX-1V servers have dual socket Xeon E5 2698v4 Processor, 8X V100 GPUs. Servers connected via 4X 100Gb IB ports (run on DGX-1) . HGX-2 server has dual-socket Xeon Platinum 8168 Processor, 16X V100 GPUs (run on DGX-2).
* ECMWF の IFS: 統合予報システム (IFS) は、英国のレディングにあるヨーロッパ中期予報センター (ECMWF) が開発した、地球全体の数値天気予報モデルです。ECMWF は、ヨーロッパ諸国の大半から支援を受ける独立した政府間組織で、ヨーロッパ最大級のスーパーコンピューター センターを運営しており、地球全体の天気予報を頻繁に更新しています。IFS のミニアプリのベンチマークは、全体モデルでかなりの計算量を占める球面調和関数変換を集中的に扱います。ここに示すベンチマークでは、IFS の全体モデルよりも速度が上がっていますが、これはアルゴリズムの変換ステージを (意図的に) 増幅しているためです。ただ、このベンチマークから明確に読み取れることがあります。それは、世界最高峰の予報を可能にした ECMWF のきわめて有効な手法が NVIDIA DGX-2 などの NVSwitch 実装サーバーでも使用でき、また非常に相性も良いということです。
* 混合エキスパート (MoE): Google が Tensor2Tensor GitHub で発表したネットワークをベースとして、MoE 階層で Transformer モデルを使用します。それぞれの MoE 階層は 128 のエキスパートで構成され、各エキスパートはより小さなフィードフォワード ディープ ニューラル ネットワーク (DNN) となっています。エキスパートはそれぞれ異なる分野の知識に特化しており、異なる GPU に配置されます。そして Transformer ネットワーク階層と MoE 階層の間の通信により、網羅的なトラフィックを形成します。Google によれば、ここで使われるトレーニング データセットは、「言語モデルに使用する 10 億語のベンチマーク」であるとのことです。トレーニングでは、Volta Tensor コアを使用し、45,000 回の試行で 34 というパープレキシティを達成しました。このワークロードでは、GPU 当たり 8,192 のバッチ サイズを使用しています。