NVLink の構造

* ECMWF の IFS: 統合予報システム (IFS) は、英国のレディングにあるヨーロッパ中期予報センター (ECMWF) が開発した、地球全体の数値天気予報モデルです。ECMWF は、ヨーロッパ諸国の大半から支援を受ける独立した政府間組織で、ヨーロッパ最大級のスーパーコンピューター センターを運営しており、地球全体の天気予報を頻繁に更新しています。IFS のミニアプリのベンチマークは、全体モデルでかなりの計算量を占める球面調和関数変換を集中的に扱います。ここに示すベンチマークでは、IFS の全体モデルよりも速度が上がっていますが、これはアルゴリズムの変換ステージを (意図的に) 増幅しているためです。ただ、このベンチマークから明確に読み取れることがあります。それは、世界最高峰の予報を可能にした ECMWF のきわめて有効な手法が NVIDIA DGX-2 などの NVSwitch 実装サーバーでも使用でき、また非常に相性も良いということです。

* 混合エキスパート (MoE): Google が Tensor2Tensor GitHub で発表したネットワークをベースとして、MoE 階層で Transformer モデルを使用します。それぞれの MoE 階層は 128 のエキスパートで構成され、各エキスパートはより小さなフィードフォワード ディープ ニューラル ネットワーク (DNN) となっています。エキスパートはそれぞれ異なる分野の知識に特化しており、異なる GPU に配置されます。そして Transformer ネットワーク階層と MoE 階層の間の通信により、網羅的なトラフィックを形成します。Google によれば、ここで使われるトレーニング データセットは、「言語モデルに使用する 10 億語のベンチマーク」であるとのことです。トレーニングでは、Volta Tensor コアを使用し、45,000 回の試行で 34 というパープレキシティを達成しました。このワークロードでは、GPU 当たり 8,192 のバッチ サイズを使用しています。