此實作坊將教導你如何運用多 GPU 技術訓練深度神經網路,以縮短大量資料應用程式所需的訓練時間。使用深度學習工具、框架和工作流程執行神經網路訓練後,你將學到實作 Horovod 多 GPU 的概念,從而降低撰寫高效率分散式應用軟體的複雜程度,並且學會在多個 GPU 上訓練模型時維持準確度。

 

學習目標


在實作坊結束時,你會瞭解:
  • 隨機梯度下降法(stochastic gradient descent ,SGD),這是用於平行訓練的重要工具
  • 批次大小及其對訓練時間和準確度的影響
  • 如何將單一 GPU 實作轉換為 Horovod 多 GPU 實作
  • 在使用多個 GPU 進行訓練時,維持高準確度的技術

下載實作坊大綱與簡介  (PDF 73.3 KB)

實作坊大綱

概覽
(15 分鐘)
  • 認識講師。
  • 在 courses.nvidia.com/join 建立帳號
隨機梯度下降以及批次大小的影響
(120 分鐘)
  • 瞭解連續單一執行緒資料處理的問題,以及透過平行處理加速應用程式背後的理論。
  • 探索損失函數、梯度下降和隨機梯度下降法。
  • 瞭解批次大小對準確度與訓練時間的影響。
休息時間 (60 分鐘)
使用 Horovod 在多個 GPU 上訓練
(120 分鐘)
  • 探索使用 Horovod 在多個 GPU 上訓練的優點。
  • 學習將 Fashion-MNIST 資料集上的單一 GPU 訓練,轉換為 Horovod 多 GPU 實作。
休息時間 (15 分鐘)
在使用多個 GPU 時維持模型準確度
(120 分鐘)
  • 瞭解為什麼在多個 GPU 上平行訓練時準確度會降低。
  • 探索將訓練擴展至多個 GPU 時維持準確度的工具。
最後回顧
(15 分鐘)
  • 回顧學習重點並回答問題。
  • 完成測驗並取得認證。
  • 填寫實作坊調查問卷。
  • 瞭解如何設定自己的人工智慧應用程式開發環境。
 

實作坊詳情

時間:8 小時

價格:如需瞭解價格,請聯絡我們。

必備基礎能力:梯度下降模型訓練經驗

技術:TensorFlow、Keras、Horovod

測驗類型:程式編寫

認證證書:完成測驗後,參與者將會收到 NVIDIA DLI 認證證書,證明他們具有相關主題的能力,支援其專業職涯成長。

硬體需求:可運作最新版本 Chrome 或 Firefox 的桌上型電腦或筆記型電腦。每位參與者都能在雲端上使用專屬且全面設定完成的 GPU 加速伺服器。

教材語言:英文、韓文簡體中文繁體中文

Upcoming Workshops

若貴組織希望為員工提升 AI、加速運算、加速資料科學等的關鍵開發技能,歡迎申請由講師帶領的 NVIDIA DLI 實作坊。

需要任何協助?