當今的高效能運算 (HPC) 和深度學習應用程式,可受益於 (甚至也需要) 叢集規模的 GPU 運算能力。要編寫能夠正確且有效地跨叢集使用 GPU 的 CUDA® 應用程式,會需要一整套獨特的技能。在本實作坊中,您將學習編寫 CUDA C++ 應用程式所需要的技術以及工具,將其有效地擴展到 NVIDIA GPU 叢集上。 

您將藉由在多個 NVIDIA GPU 支援的互動式雲端環境中,處理來自數個 CUDA C++ 應用程式的程式碼來學習。在前往本課程的主要重點 NVSHMEM™ 之前,您會先接觸到幾個多 GPU 程式設計方法,包括 CUDA-aware 訊息傳遞介面 (message passing interface,MPI)。

NVSHMEM 是奠基於 OpenSHMEM 的平行程式設計介面,可為 NVIDIA GPU 叢集提供有效率且可擴充的通訊能力。NVSHMEM 為跨越多個 GPU 記憶體的資料建立全域位址空間,可存取細粒度 GPU 啟動的運算、CPU 啟動的運算和利用 CUDA 串流的運算。NVSHMEM 是非同步的,GPU 啟動的資料傳輸可消除 CPU 和 GPU 之間的同步開銷。也支援包含通訊和運算的長期核心,在進行強大的擴充調整時,減少可能會限制應用程式效能的負荷。NVSHMEM 已用於橡樹嶺領導運算中心 (OLCF) 的 Summit 超級電腦、勞倫斯利佛摩國家實驗室的 Sierra 超級電腦,以及 NVIDIA DGX™ A100 等系統。

 

學習目標
 

參加本實作坊可學會:
  • 瞭解編寫多 GPU CUDA C++ 應用程式的多種方法
  • 使用各種多 GPU 通訊模式,瞭解其優缺點
  • 透過使用 CUDA-aware MPI 和 NVSHMEM 的單程式多資料 (SPMD) 範例,編寫可攜且可擴充的 CUDA 程式碼
  • 使用 NVSHMEM 的對稱記憶體模型及其執行 GPU 啟動資料傳輸的功能,改善多 GPU SPMD 程式碼
  • 練習操作常見的多 GPU 編碼模型 (如場域分解和光暈交換)

下載實作坊大綱與簡介 (PDF 79.5 KB)

實作坊大綱

簡介
(15 分鐘)
 

實作坊詳情

時間:8 小時

價格: 公開實作坊 500 美元,若需諮詢企業實作坊價格,請聯絡我們

必備基礎能力:

  • 編寫 CUDA C/C++ 應用程式的中等程度經驗
學習必備基礎能力的建議教材:
工具、函式庫和深度學習框架:CUDA、MPI、NVSHMEM
 
測驗類型:
 
  • 技能型編碼評估: 學生必須使用 NVSHMEM 重構單一 GPU 1D 波動函式解法,將 GPU 叢集準備就緒。

認證證書:完成測驗後,參與者將會收到 NVIDIA DLI 認證證書,證明他們具有相關主題的能力,支援其專業職涯成長。

硬體需求:可運作最新版本 Chrome 或 Firefox 的桌上型電腦或筆記型電腦。每位參與者都能在雲端上使用專屬且全面設定完成的 GPU 加速工作站。

語言: 英文

即將舉辦的公開實作坊

即將舉辦的公開實作坊

北美 / 拉丁美洲

2021 年 11 月 18 日,星期四
太平洋標準時間上午 7:00 至下午 3:00

若貴組織希望為員工提升人工智慧、加速運算、加速資料科學等的關鍵開發技能,歡迎申請由講師主持的 NVIDIA DLI 實作坊。

需要任何協助?