This site requires Javascript in order to view all its content. Please enable Javascript in order to access all the functionality of this web site. Here are the instructions how to enable JavaScript in your web browser.

講師主持的實作坊
使用多個 GPU 加速 CUDA C++ 應用程式

為我的組織申請實作坊

Notify me when registration opens for public workshops

View public workshops

在高效能運算、資料科學、生物資訊學和深度學習領域中，需要大量運算的 CUDA^® C++ 應用程式可透過使用多個 GPU 加速，增加吞吐量和/或縮短總執行時間。與並行的重疊運算和記憶體傳輸搭配使用時，可以運用多個 GPU 擴充運算，無須增加記憶體傳輸的成本。對於在雲端或在 NVIDIA DGX^™ 系統上擁有多 GPU 伺服器的組織，這些技術都能讓你從 GPU 加速的應用程式達到最佳效能。而在跨多個節點擴充應用程式之前，重要的是要先實作這些單一節點的多 GPU 技術。

此實作坊將介紹如何編寫 CUDA C++ 應用程式，藉以在單一節點中有效且正確運用所有可用的 GPU、大幅提升應用程式的效能，並且以最符合成本效益的方式使用多個 GPU 的系統。

學習目標

參加本實作坊可學會：

同時使用 CUDA Streams 將記憶體搬移與 GPU 運算重疊
在單一節點上運用所有可用的 GPU，進而在所有可用的 GPU 上擴充工作負載
將複製/運算重疊與多個 GPU 搭配使用
利用 NVIDIA Nsight^™ System 視覺分析工具時間軸，觀察改善的機會以及實作坊中所涵蓋之技術造成的影響。

下載實作坊大綱與簡介 (PDF 243 KB)

實作坊大綱

概覽（15 分鐘）	認識講師。在 courses.nvidia.com/join 建立帳號
使用 JupyterLab （15 分鐘）	熟悉 GPU 加速的互動式 JupyterLab 環境。
應用程式概覽（15 分鐘）	瞭解單一 GPU CUDA C++ 應用程式以開始課程。觀察在 Nsight System 上單一 GPU CUDA C++ 應用程式目前的效能表現。
CUDA Stream 介紹（90 分鐘）	瞭解控制並行 CUDA Stream 行為的規則。使用多個 CUDA Stream 來同步執行 H2D/D2H 的記憶體傳輸。運用多個 CUDA Stream 啟動 GPU 核心。在 Nsight System 視覺分析工具時間軸檢視表中觀察多個 Stream。
休息時間（60 分鐘）
使用 CUDA Stream 複製/運算重疊（90 分鐘）	瞭解有效執行複製/運算重疊的重要概念。探索強大的索引策略，藉以在應用程式中靈活運用複製/運算重疊。重構單一 GPU 的 CUDA C++ 應用程式以執行複製/運算重疊。查看 Nsight Systems 視覺分析工具時間軸中的複製/運算重疊。
在 CUDA C++ 使用多個 GPU （60 分鐘）	瞭解在採用 CUDA C++ 的單一節點上有效使用多個 GPU 的重要概念。探索強大的索引策略，藉以在應用程式中靈活運用多個 GPU。重構單一 GPU 的 CUDA C++ 應用程式以運用多個 GPU。在 Nsight Systems 視覺分析工具時間軸中查看多個 GPU 的使用情況。
休息時間（15 分鐘）
使用多個 GPU 複製/運算重疊（60 分鐘）	瞭解在多個 GPU 上有效執行複製/運算重疊的重要概念。探索強大的索引策略，藉以在多個 GPU 上靈活運用複製/運算重疊。重構單一 GPU 的 CUDA C++ 應用程式，藉以在多個 GPU 上執行複製/運算重疊。觀察在多個 GPU 上複製/運算重疊為效能帶來的益處。在 Nsight Systems 視覺分析工具時間軸中，查看多個 GPU 上的複製/運算重疊。
課程測驗（30 分鐘）
最後回顧（30 分鐘）	回顧學習重點。學習從 DLI 基礎環境容器建立自己的訓練環境。填寫實作坊調查問卷。

實作坊詳情

時間：8 小時

價格：如需瞭解價格，請聯絡我們。

必備基礎能力：

CUDA C/C++ 應用程式的專業程式設計經驗，包括使用 nvcc 編譯器、啟動核心、網格跨步循環、H2D/D2H 記憶體傳輸，以及 CUDA 錯誤訊息處理
熟悉 Linux 命令列
使用 makefile 編寫 C/C++ 程式碼的經驗

滿足必備基礎能力的建議資源：CUDA C/C++ 加速運算的基本原理、適合初學者的 Ubuntu 命令列 (第 1 至 5 節)、Makefile 教學 (以簡單的範例教學)

技術：CUDA C++、Nsight System

認證證書：完成測驗後，參與者將會收到 NVIDIA DLI 認證證書，證明他們具有相關主題的能力，支援其專業職涯成長。

硬體需求：可運作最新版本 Chrome 或 Firefox 的桌上型電腦或筆記型電腦。每位參與者都能在雲端上使用專屬且全面設定完成的 GPU 加速伺服器。

教材語言：英文、簡體中文

Upcoming Workshops

Central European Time

GTC

Thu, Apr 15, 2021

9:00 a.m.–5:00 p.m.

Register now

Pacific Time

GTC

Fri, Apr 16, 2021

9:00 a.m.–5:00 p.m.

Register now

Pacific Time

Wed, Jun 23, 2021

9:00 a.m.–5:00 p.m.

Register now

若貴組織希望為員工提升 AI、加速運算、加速資料科學等的關鍵開發技能，歡迎申請由講師帶領的 NVIDIA DLI 實作坊。

申請實作坊

需要任何協助？

常見問題

進一步瞭解 NVIDIA 深度學習機構的服務。

若有技術問題，請參閱 NVIDIA 開發人員論壇。

歡迎聯絡我們，詢問有關
深度學習訓練的問題

Section

Section

名

姓

公司電子郵件

組織 / 大學名稱

電話號碼

產業

職稱

地區

城市

聯絡原因：

State

nvid hidden field

ncid hidden field

NVIDIA 隱私權政策

我同意 NVIDIA <span class="corporation-txt hidden">Corporation </span>收集和处理上述信息,以进行研究和活动组织,我已阅读并同意 <a href="https://www.nvidia.com/zh-tw/about-nvidia/privacy-policy/?deeplink=visiting-our-website" target="_blank">隐私政策</a>。

我同意,由于研究、活动组织和NVIDIA内部管理及系统运行需要,以上信息将被转移到美国的NVIDIA公司,并以符合 <a href="https://www.nvidia.com/zh-tw/about-nvidia/privacy-policy/?deeplink=visiting-our-website" target="_blank">隐私政策</a> 的方式存储。您可以通过发送电子邮件至 <a href="mailto:privacy@nvidia.com">privacy@nvidia.com</a> 联系我们,以解决相关问题。

講師主持的實作坊 使用多個 GPU 加速 CUDA C++ 應用程式

學習目標

實作坊大綱

實作坊詳情

Upcoming Workshops

Thu, Apr 15, 2021

Fri, Apr 16, 2021

Wed, Jun 23, 2021

需要任何協助？

常見問題

進一步瞭解 NVIDIA 深度學習機構的服務。

若有技術問題， 請參閱 NVIDIA 開發人員論壇。

歡迎聯絡我們，詢問有關 深度學習訓練的問題

講師主持的實作坊
使用多個 GPU 加速 CUDA C++ 應用程式

若有技術問題，請參閱 NVIDIA 開發人員論壇。

歡迎聯絡我們，詢問有關
深度學習訓練的問題