このワークショップでは、データを大量に利用するアプリケーションに必要なトレーニング時間を短縮する目的で、マルチ GPU テクノロジでディープ ニューラル ネットワークをトレーニングするための手法を学習します。ディープラーニングのツール、フレームワーク、ワークフローを使用してニューラル ネットワークをトレーニングすることで、Horovod マルチ GPU を実装するための概念を学習します。この概念は、効率的な分散型ソフトウェアを簡単に記述し、たくさんの GPU でモデルをトレーニングするときに精度を維持するものです。
学習目標
ワークショップの終わりには、次のことが理解されています。
- トレーニングの並列化で必須のツールである確率的勾配降下法 (SGD)
- バッチ サイズとそれがトレーニングの時間と精度に与える影響
- シングル GPU 実装を Horovod マルチ GPU 実装に変えること
- 複数の GPU でトレーニングするときに高い精度を維持するための手法
ワークショップ データシートをダウンロードする (PDF 73.3 KB)