在高效能運算、資料科學、生物資訊學和深度學習領域中,需要大量運算的 CUDA® C++ 應用程式可透過使用多個 GPU 加速,增加吞吐量和/或縮短總執行時間。與並行的重疊運算和記憶體傳輸搭配使用時,可以運用多個 GPU 擴充運算,無須增加記憶體傳輸的成本。對於在雲端或在 NVIDIA DGX 系統上擁有多 GPU 伺服器的組織,這些技術都能讓你從 GPU 加速的應用程式達到最佳效能。而在跨多個節點擴充應用程式之前,重要的是要先實作這些單一節點的多 GPU 技術。

此實作坊將介紹如何編寫 CUDA C++ 應用程式,藉以在單一節點中有效且正確運用所有可用的 GPU、大幅提升應用程式的效能,並且以最符合成本效益的方式使用多個 GPU 的系統。

 

學習目標


參加本實作坊可學會:
  • 同時使用 CUDA Streams 將記憶體搬移與 GPU 運算重疊
  • 在單一節點上運用所有可用的 GPU,進而在所有可用的 GPU 上擴充工作負載
  • 將複製/運算重疊與多個 GPU 搭配使用
  • 利用 NVIDIA Nsight System 視覺分析工具時間軸,觀察改善的機會以及實作坊中所涵蓋之技術造成的影響。

下載實作坊大綱與簡介 (PDF 243 KB)

實作坊大綱

概覽
(15 分鐘)
  • 認識講師。
  • 在 courses.nvidia.com/join 建立帳號
使用 JupyterLab
(15 分鐘)
  • 熟悉 GPU 加速的互動式 JupyterLab 環境。
應用程式概覽
(15 分鐘)
  • 瞭解單一 GPU CUDA C++ 應用程式以開始課程。
  • 觀察在 Nsight System 上單一 GPU CUDA C++ 應用程式目前的效能表現。
CUDA Stream 介紹
(90 分鐘)
  • 瞭解控制並行 CUDA Stream 行為的規則。
  • 使用多個 CUDA Stream 來同步執行 H2D/D2H 的記憶體傳輸。
  • 運用多個 CUDA Stream 啟動 GPU 核心。
  • 在 Nsight System 視覺分析工具時間軸檢視表中觀察多個 Stream。
休息時間 (60 分鐘)
使用 CUDA Stream 複製/運算重疊
(90 分鐘)
  • 瞭解有效執行複製/運算重疊的重要概念。
  • 探索強大的索引策略,藉以在應用程式中靈活運用複製/運算重疊。
  • 重構單一 GPU 的 CUDA C++ 應用程式以執行複製/運算重疊。
  • 查看 Nsight Systems 視覺分析工具時間軸中的複製/運算重疊。
在 CUDA C++ 使用多個 GPU
(60 分鐘)
  • 瞭解在採用 CUDA C++ 的單一節點上有效使用多個 GPU 的重要概念。
  • 探索強大的索引策略,藉以在應用程式中靈活運用多個 GPU。
  • 重構單一 GPU 的 CUDA C++ 應用程式以運用多個 GPU。
  • 在 Nsight Systems 視覺分析工具時間軸中查看多個 GPU 的使用情況。
休息時間 (15 分鐘)
使用多個 GPU 複製/運算重疊
(60 分鐘)
  • 瞭解在多個 GPU 上有效執行複製/運算重疊的重要概念。
  • 探索強大的索引策略,藉以在多個 GPU 上靈活運用複製/運算重疊。
  • 重構單一 GPU 的 CUDA C++ 應用程式,藉以在多個 GPU 上執行複製/運算重疊。
  • 觀察在多個 GPU 上複製/運算重疊為效能帶來的益處。
  • 在 Nsight Systems 視覺分析工具時間軸中,查看多個 GPU 上的複製/運算重疊。
課程測驗 (30 分鐘)
最後回顧
(30 分鐘)
  • 回顧學習重點。
  • 學習從 DLI 基礎環境容器建立自己的訓練環境。
  • 填寫實作坊調查問卷。
 

實作坊詳情

時間:8 小時

價格:如需瞭解價格,請聯絡我們

必備基礎能力:

  • CUDA C/C++ 應用程式的專業程式設計經驗,包括使用 nvcc 編譯器、啟動核心、網格跨步循環、H2D/D2H 記憶體傳輸,以及 CUDA 錯誤訊息處理
  • 熟悉 Linux 命令列
  • 使用 makefile 編寫 C/C++ 程式碼的經驗

滿足必備基礎能力的建議資源:CUDA C/C++ 加速運算的基本原理適合初學者的 Ubuntu 命令列 (第 1 至 5 節)、Makefile 教學 (以簡單的範例教學)

技術:CUDA C++、Nsight System

認證證書:完成測驗後,參與者將會收到 NVIDIA DLI 認證證書,證明他們具有相關主題的能力,支援其專業職涯成長。

硬體需求:可運作最新版本 Chrome 或 Firefox 的桌上型電腦或筆記型電腦。每位參與者都能在雲端上使用專屬且全面設定完成的 GPU 加速伺服器。

教材語言:英文、簡體中文

Upcoming Workshops

若貴組織希望為員工提升 AI、加速運算、加速資料科學等的關鍵開發技能,歡迎申請由講師帶領的 NVIDIA DLI 實作坊。

需要任何協助?