このワークショップでは、データを大量に利用するアプリケーションに必要なトレーニング時間を短縮する目的で、マルチ GPU テクノロジでディープ ニューラル ネットワークをトレーニングするための手法を学習します。ディープラーニングのツール、フレームワーク、ワークフローを使用してニューラル ネットワークをトレーニングすることで、Horovod マルチ GPU を実装するための概念を学習します。この概念は、効率的な分散型ソフトウェアを簡単に記述し、たくさんの GPU でモデルをトレーニングするときに精度を維持するものです。

 

学習目標


ワークショップの終わりには、次のことが理解されています。
  • トレーニングの並列化で必須のツールである確率的勾配降下法 (SGD)
  • バッチ サイズとそれがトレーニングの時間と精度に与える影響
  • シングル GPU 実装を Horovod マルチ GPU 実装に変えること
  • 複数の GPU でトレーニングするときに高い精度を維持するための手法

ワークショップ データシートをダウンロードする (PDF 73.3 KB)

ワークショップの概要

序論
(15 分)
  • インストラクターの紹介。
  • courses.nvidia.com/join でアカウントを作成する
確率的勾配降下法とバッチ サイズの影響
(120 分)
  • 順次シングルスレッド データ処理にともなう問題と、並列処理でアプリケーションをスピードアップするための理論を理解する。
  • 損失関数、勾配降下法、SGD を学習する。
  • バッチ サイズが精度とトレーニング時間に与える影響について知る。
休憩 (60 分)
Horovod を使用した複数の GPU でのトレーニング
(120 分)
  • Horovod を使用し、複数の GPU でトレーニングすることの長所を知る。
  • Fashion-MNIST データセットでのシングル GPU トレーニングを Horovod マルチ GPU 実装に変換する方法について学習する。
休憩 (15 分)
複数の GPU に移行するときにモデルの精度を維持する
(120 分)
  • 複数の GPU でトレーニングを並列化するときに精度が下がる理由を理解する。
  • トレーニングを複数の GPU に拡張するときに精度を維持するためのツールを学習する。
最終確認
(15 分)
  • 主要な学習事項をおさらいし、質問に答える。
  • 評価を完了し、証明書を取得する。
  • ワークショップ アンケートに回答する。
  • 独自の AI アプリケーション開発環境を設定する方法について学習する。
 

ワークショップの詳細

時間: 8 時間

価格: 価格についてはお問い合わせください。

前提条件: 勾配降下法モデル トレーニングの経験

テクノロジ: TensorFlow、Keras、Horovod

評価の種類: コードベース

証明書: 評価が正常に完了すると、NVIDIA DLI 証明書が参加者に贈られます。これは専門分野の能力を証明するものであり、プロフェッショナルとしてのキャリアアップを支援します。

ハードウェア要件: 最新版の Chrome または Firefox を実行できるデスクトップ コンピューターまたはノート PC。参加者は全員、完全に設定が終わっている状態でクラウドに置かれている GPU 対応サーバーに専用アクセスできます。

言語: 英語、韓国語中国語 (簡体字)中国語 (繁体字)

Upcoming Workshops

お客様の組織が、AI、アクセラレーテッド データ サイエンス、アクセラレーテッド コンピューティングの主要なスキルの向上と開発にご興味をお持ちの場合、NVIDIA Deep Learning Institute (DLI) にインストラクターによるワークショップをリクエストしていただけます。

NVIDIA に問い合わせる