當今的高效能運算 (HPC) 和深度學習應用程式,可受益於 (甚至也需要) 叢集規模的 GPU 運算能力。要編寫能夠正確且有效地跨叢集使用 GPU 的 CUDA® 應用程式,會需要一整套獨特的技能。在本實作坊中,您將學習編寫 CUDA C++ 應用程式所需要的技術以及工具,將其有效地擴展到 NVIDIA GPU 叢集上。 

您將藉由在多個 NVIDIA GPU 支援的互動式雲端環境中,處理來自數個 CUDA C++ 應用程式的程式碼來學習。在前往本課程的主要重點 NVSHMEM™ 之前,您會先接觸到幾個多 GPU 程式設計方法,包括 CUDA-aware 訊息傳遞介面 (message passing interface,MPI)。

NVSHMEM 是奠基於 OpenSHMEM 的平行程式設計介面,可為 NVIDIA GPU 叢集提供有效率且可擴充的通訊能力。NVSHMEM 為跨越多個 GPU 記憶體的資料建立全域位址空間,可存取細粒度 GPU 啟動的運算、CPU 啟動的運算和利用 CUDA 串流的運算。NVSHMEM 是非同步的,GPU 啟動的資料傳輸可消除 CPU 和 GPU 之間的同步開銷。也支援包含通訊和運算的長期核心,在進行強大的擴充調整時,減少可能會限制應用程式效能的負荷。NVSHMEM 已用於橡樹嶺領導運算中心 (OLCF) 的 Summit 超級電腦、勞倫斯利佛摩國家實驗室的 Sierra 超級電腦,以及 NVIDIA DGX™ A100 等系統。

 

學習目標
 

參加本實作坊可學會:
  • 瞭解編寫多 GPU CUDA C++ 應用程式的多種方法
  • 使用各種多 GPU 通訊模式,瞭解其優缺點
  • 透過使用 CUDA-aware MPI 和 NVSHMEM 的單程式多資料 (SPMD) 範例,編寫可攜且可擴充的 CUDA 程式碼
  • 使用 NVSHMEM 的對稱記憶體模型及其執行 GPU 啟動資料傳輸的功能,改善多 GPU SPMD 程式碼
  • 練習操作常見的多 GPU 編碼模型 (如場域分解和光暈交換)

下載實作坊大綱與簡介 (PDF 79.5 KB)

實作坊大綱

簡介
(15 分鐘)
  • 認識講師。
  • 使用容器執行高效能運算,適合希望提高叢集規模應用程式可攜性的高效能運算程式設計師。
  • 謝謝您,Nvidia 將有專人盡速與您聯絡。<\/h3>\r\n"); })(NVIDIAGDC);

    如需更多深度學習訓練資訊請聯絡我們