NVIDIA Home NVIDIA Home Menu Menu icon Menu Menu icon Close Close icon Close Close icon Close Close icon Caret down icon Accordion is closed, click to open. Caret down icon Accordion is closed, click to open. Caret up icon Accordion is open, click to close. Caret right icon Click to expand Caret right icon Click to expand Caret right icon Click to expand menu. Caret left icon Click to collapse menu. Caret left icon Click to collapse menu. Caret left icon Click to collapse menu. Shopping Cart Click to see cart items Search icon Click to search
Skip to main content
NVIDIA 在人工智慧領域的領先地位
    • 遊戲和娛樂
      • GeForce 顯示卡
      • 電競筆記型電腦
      • G-SYNC 顯示器
      • SHIELD
    • 筆記型電腦與工作站
      • 電競筆記型電腦
      • NVIDIA RTX 桌上型工作站
      • NVIDIA RTX 專業級筆記型電腦
      • NVIDIA RTX 資料科學工作站
      • Studio 筆記型電腦
    • 雲端與資料中心
      • 概覽
      • Grace CPU
      • DGX 系統
      • NVIDIA OVX
      • EGX 平台
      • IGX 平台
      • HGX 平台
      • DRIVE Constellation
      • 瀏覽所有伺服器 >
    • 網路
      • 概覽
      • DPU
      • 乙太網路
      • InfiniBand
    • GPU
      • GeForce
      • NVIDIA RTX / Quadro
      • 資料中心
      • Titan RTX
    • 嵌入式系統
      • Jetson
      • DRIVE AGX
      • Clara AGX
    • 應用程式框架
      • Metaverse 應用程式 - Omniverse
      • 汽車 - DRIVE
      • 雲端人工智慧影片串流 - Maxine
      • 語音人工智慧 - Riva
      • 資料分析 - RAPIDS
      • 醫療照護 - Clara
      • 高效能運算
      • 智慧影像分析 - Metropolis
      • 推薦系統 - Merlin
      • 機器人 - Isaac
      • 電信產業 - Aerial
    • 應用程式與工具
      • NGC 目錄
      • NVIDIA NGC
      • 3D 工作流程 - Omniverse
      • 資料中心
      • GPU 監管
      • NVIDIA RTX Experience
      • NVIDIA RTX Desktop Manager
      • 使用 RTX 加速創作應用程式
      • 視訊會議
      • NVIDIA 工作台
    • 遊戲與創作
      • GeForce NOW 雲端遊戲
      • GeForce Experience
      • NVIDIA Broadcast 應用程式
      • 動畫 - Machinima
      • 建模 - RTX Remix
    • 基礎架構
      • 人工智慧企業套件
      • 雲端原生支援
      • 叢集管理
      • 邊緣部署管理
      • 推論服務
      • IO 加速
      • 網路
      • 虛擬 GPU
    • 雲端服務
      • Metaverse - Omniverse
      • 雲端遊戲
    • 人工智慧與資料科學
      • 概覽
      • 資料分析
      • 機器學習
      • 深度學習訓練
      • 深度學習推論
      • 對話式人工智慧
      • 預測和預報
      • Speech AI
      • 大型語言模型
      • 試用與實作實驗室
    • 資料中心與雲端運算
      • 概覽
      • 企業 IT 適用的加速運算
      • 雲端運算
      • 主機代管
      • 邊緣運算
      • 網路
      • 虛擬化
      • 機器學習作業
      • 試用與實作實驗室
    • 設計和模擬
      • 概覽
      • 擴增與虛擬實境
      • 多重顯示
      • 渲染
      • 元宇宙
      • 圖像虛擬化
      • 工程模擬
      • 直播
      • 試用與實作實驗室
    • 機器人和邊緣運算
      • 概覽
      • 採用 5G 技術的人工智慧
      • 智慧影像分析
      • 工業
      • 機器人
      • 邊緣部署管理
      • 邊緣解決方案
      • 試用與實作實驗室
    • 高效能運算
      • 概覽
      • 超高速運算與人工智慧
      • 模擬與建模
      • 科學視覺化
      • 試用與實作實驗室
    • 自駕車
      • 概覽
      • Chauffeur
      • Concierge
      • 訓練
      • HD 製圖
      • 模擬
      • 自駕計程車
      • 貨運
      • ADAS
    • 產業別
      • 概覽
      • 建築、工程、營造與維護
      • 消費者網路
      • 網路安全
      • 能源
      • 金融服務
      • 醫療保健與生技
      • 高等教育
      • 遊戲開發
      • 製造業
      • 媒體娛樂
      • 全球公共部門
      • 餐廳
      • 零售業與民生消費性用品
      • 機器人
      • 智慧城市
      • 超級運算
      • 電信業
      • 運輸業
    • 新創公司
    • 訓練課程
    • NVIDIA Studio
      • 概覽
      • 加速應用程式
      • 產品
      • 比較
    • 產業別
      • 媒體娛樂
      • 製造業
      • 建築、工程與營建
      • 所有產業 >
    • 解決方案
      • 資料中心 / 雲端
      • 筆記型電腦 / 桌上型電腦
      • 擴增與虛擬實境
      • 多重顯示
      • 渲染
      • Metaverse - Omniverse
      • 圖像虛擬化
      • 工程模擬
    • 產業別
      • 金融服務
      • 消費者網路
      • 醫療保健
      • 高等教育
      • 零售
      • 所有產業 >
    • 解決方案
      • 資料分析
      • 機器學習
      • 深度學習訓練
      • 深度學習推論
      • 對話式人工智慧
      • 預估與預測
      • 大型語言模型
    • 軟體
      • NGC 目錄
      • NVIDIA NGC
      • RAPIDS
      • Apache Spark
      • 推論服務
      • 推薦系統 - Merlin
      • 開放原始碼入口網站
      • 人工智慧企業套件
      • NVIDIA 工作台
    • 產品
      • PC
      • 筆記型電腦與工作站
      • 資料中心
      • 雲端
    • 資源
      • 專業服務
      • 技術訓練
      • 新創公司
      • 人工智慧加速器計畫
      • 知識庫
      • NVIDIA 研究
      • 開發人員部落格
      • Kaggle 大師
    • 開發人員資源
      • 加入開發人員計畫
      • NGC 目錄
      • NVIDIA NGC
      • 技術訓練
      • 最新消息
      • 部落格
      • 論壇
      • 開放原始碼入口網站
      • NVIDIA GTC
      • 新創公司
      • 開發人員首頁 >
    • 應用程式框架
      • Metaverse - Omniverse
      • 汽車 - DRIVE
      • 雲端人工智慧影片串流 - Maxine
      • 語音人工智慧 - Riva
      • 資料分析 - RAPIDS
      • 醫療照護 - Clara
      • 高效能運算
      • 智慧影像分析 - Metropolis
      • 推薦系統 - Merlin
      • 機器人 - Isaac
      • 電信產業 - Aerial
    • 頂尖 SDK 與函式庫
      • 平行程式設計 - CUDA 工具套件
      • 邊緣人工智慧應用程式 - Jetpack
      • BlueField 資料處理 - DOCA
      • 加速函式庫 - CUDA-X 函式庫
      • 深度學習推論 - TensorRT
      • 深度學習訓練 - cuDNN
      • 深度學習框架
      • 對話式人工智慧 - NeMo
      • 智慧影像分析 - DeepStreem
      • NVIDIA Unreal Engine 4
      • 光線追蹤 - RTX
      • 影片解碼 / 編碼
    • GeForce
      • GeForce 顯示卡
      • 電競筆記型電腦
      • G-SYNC 顯示器
      • RTX 遊戲
      • GeForce Experience
      • GeForce 驅動程式
      • 論壇
      • 支援
    • GeForce NOW
      • 概覽
    • SHIELD
      • 概覽
      • 比較
      • 購買
      • 常見問題
    • 解決方案
      • 資料中心 (本機)
      • 邊緣運算
      • 雲端運算
      • 網路
      • 虛擬化
      • 企業 IT 解決方案
    • 軟體
      • 人工智慧企業套件
      • 雲端原生支援
      • 叢集管理
      • 邊緣部署管理
      • 推論服務
      • IO 加速
      • 網路
      • 虛擬 GPU
    • 應用程式與工具
      • 資料中心
      • GPU 監管
      • NVIDIA RTX Experience
      • NVIDIA RTX 桌面管理員
    • 資源
      • 資料中心與 IT 資源
      • 技術訓練
      • 企業支援
      • 驅動程式
      • 安全性
      • 產品文件
      • 論壇
      • NVIDIA 研究首頁
      • 研究領域
      • AI Playground
      • 影片焦點
      • COVID-19
      • NGC 目錄ww
      • 技術訓練
      • 新創公司
      • 最新消息
      • 開發人員部落格
      • 開放原始碼入口網站
      • Cambridge-1 超級電腦
      • 3D 深度學習研究
    • 產品
      • 人工智慧訓練 - DGX
      • 邊緣運算 - EGX
      • 邊緣運算 - Jetson
    • 軟體
      • 機器人 - Isaac SDK
      • 模擬 - Isaac Sim
      • TAO Toolkit
      • Vision AI - Deepstream SDK
      • 邊緣部署管理
      • 合成資料產生 — Replicator
    • 使用案例
      • 醫療照護
      • 製造業
      • 零售業
      • 機器人
      • 更多產業 >
    • 資源
      • NVIDIA 部落格
      • 機器人研究
      • 開發人員部落格
      • 技術訓練
      • 新創公司
  • 商店
  • 驅動程式
  • 支援
  • 登入 登出
Skip to main content
  • 0
  • Login LogOut
NVIDIA NVIDIA logo
  • 產品
    • 硬體
      • 遊戲和娛樂
        • GeForce 顯示卡
        • 電競筆記型電腦
        • G-SYNC 顯示器
        • SHIELD
      • 筆記型電腦與工作站
        • 電競筆記型電腦
        • NVIDIA RTX 桌上型工作站
        • NVIDIA RTX 專業級筆記型電腦
        • NVIDIA RTX 資料科學工作站
        • Studio 筆記型電腦
      • 雲端與資料中心
        • 概覽
        • Grace CPU
        • DGX 系統
        • NVIDIA OVX
        • EGX 平台
        • IGX 平台
        • HGX 平台
        • DRIVE Constellation
        • 瀏覽所有伺服器 >
      • 網路
        • 概覽
        • DPU
        • 乙太網路
        • InfiniBand
      • GPU
        • GeForce
        • NVIDIA RTX / Quadro
        • 資料中心
        • Titan RTX
      • 嵌入式系統
        • Jetson
        • DRIVE AGX
        • Clara AGX
    • 軟體
      • 應用程式框架
        • Metaverse 應用程式 - Omniverse
        • 汽車 - DRIVE
        • 雲端人工智慧影片串流 - Maxine
        • 語音人工智慧 - Riva
        • 資料分析 - RAPIDS
        • 醫療照護 - Clara
        • 高效能運算
        • 智慧影像分析 - Metropolis
        • 推薦系統 - Merlin
        • 機器人 - Isaac
        • 電信產業 - Aerial
      • 應用程式與工具
        • NGC 目錄
        • NVIDIA NGC
        • 3D 工作流程 - Omniverse
        • 資料中心
        • GPU 監管
        • NVIDIA RTX Experience
        • NVIDIA RTX Desktop Manager
        • 使用 RTX 加速創作應用程式
        • 視訊會議
        • NVIDIA 工作台
      • 遊戲與創作
        • GeForce NOW 雲端遊戲
        • GeForce Experience
        • NVIDIA Broadcast 應用程式
        • 動畫 - Machinima
        • 建模 - RTX Remix
      • 基礎架構
        • 人工智慧企業套件
        • 雲端原生支援
        • 叢集管理
        • 邊緣部署管理
        • 推論服務
        • IO 加速
        • 網路
        • 虛擬 GPU
      • 雲端服務
        • Metaverse - Omniverse
        • 雲端遊戲
  • 解決方案
    • 人工智慧與資料科學
      • 概覽
      • 資料分析
      • 機器學習
      • 深度學習訓練
      • 深度學習推論
      • 對話式人工智慧
      • 預測和預報
      • Speech AI
      • 大型語言模型
      • 試用與實作實驗室
    • 資料中心與雲端運算
      • 概覽
      • 企業 IT 適用的加速運算
      • 雲端運算
      • 主機代管
      • 邊緣運算
      • 網路
      • 虛擬化
      • 機器學習作業
      • 試用與實作實驗室
    • 設計和模擬
      • 概覽
      • 擴增與虛擬實境
      • 多重顯示
      • 渲染
      • 元宇宙
      • 圖像虛擬化
      • 工程模擬
      • 直播
      • 試用與實作實驗室
    • 機器人和邊緣運算
      • 概覽
      • 採用 5G 技術的人工智慧
      • 智慧影像分析
      • 工業
      • 機器人
      • 邊緣部署管理
      • 邊緣解決方案
      • 試用與實作實驗室
    • 高效能運算
      • 概覽
      • 超高速運算與人工智慧
      • 模擬與建模
      • 科學視覺化
      • 試用與實作實驗室
    • 自駕車
      • 概覽
      • Chauffeur
      • Concierge
      • 訓練
      • HD 製圖
      • 模擬
      • 自駕計程車
      • 貨運
      • ADAS
  • 產業別
    • 產業別
      • 概覽
      • 建築、工程、營造與維護
      • 消費者網路
      • 網路安全
      • 能源
      • 金融服務
      • 醫療保健與生技
      • 高等教育
      • 遊戲開發
      • 製造業
      • 媒體娛樂
      • 全球公共部門
      • 餐廳
      • 零售業與民生消費性用品
      • 機器人
      • 智慧城市
      • 超級運算
      • 電信業
      • 運輸業
  • 為您推薦
    • 創作者 / 設計師
      • NVIDIA Studio
        • 概覽
        • 加速應用程式
        • 產品
        • 比較
      • 產業別
        • 媒體娛樂
        • 製造業
        • 建築、工程與營建
        • 所有產業 >
      • 解決方案
        • 資料中心 / 雲端
        • 筆記型電腦 / 桌上型電腦
        • 擴增與虛擬實境
        • 多重顯示
        • 渲染
        • Metaverse - Omniverse
        • 圖像虛擬化
        • 工程模擬
    • 資料科學家
      • 產業別
        • 金融服務
        • 消費者網路
        • 醫療保健
        • 高等教育
        • 零售
        • 所有產業 >
      • 解決方案
        • 資料分析
        • 機器學習
        • 深度學習訓練
        • 深度學習推論
        • 對話式人工智慧
        • 預估與預測
        • 大型語言模型
      • 軟體
        • NGC 目錄
        • NVIDIA NGC
        • RAPIDS
        • Apache Spark
        • 推論服務
        • 推薦系統 - Merlin
        • 開放原始碼入口網站
        • 人工智慧企業套件
        • NVIDIA 工作台
      • 產品
        • PC
        • 筆記型電腦與工作站
        • 資料中心
        • 雲端
      • 資源
        • 專業服務
        • 技術訓練
        • 新創公司
        • 人工智慧加速器計畫
        • 知識庫
        • NVIDIA 研究
        • 開發人員部落格
        • Kaggle 大師
    • 開發人員
      • 開發人員資源
        • 加入開發人員計畫
        • NGC 目錄
        • NVIDIA NGC
        • 技術訓練
        • 最新消息
        • 部落格
        • 論壇
        • 開放原始碼入口網站
        • NVIDIA GTC
        • 新創公司
        • 開發人員首頁 >
      • 應用程式框架
        • Metaverse - Omniverse
        • 汽車 - DRIVE
        • 雲端人工智慧影片串流 - Maxine
        • 語音人工智慧 - Riva
        • 資料分析 - RAPIDS
        • 醫療照護 - Clara
        • 高效能運算
        • 智慧影像分析 - Metropolis
        • 推薦系統 - Merlin
        • 機器人 - Isaac
        • 電信產業 - Aerial
      • 頂尖 SDK 與函式庫
        • 平行程式設計 - CUDA 工具套件
        • 邊緣人工智慧應用程式 - Jetpack
        • BlueField 資料處理 - DOCA
        • 加速函式庫 - CUDA-X 函式庫
        • 深度學習推論 - TensorRT
        • 深度學習訓練 - cuDNN
        • 深度學習框架
        • 對話式人工智慧 - NeMo
        • 智慧影像分析 - DeepStreem
        • NVIDIA Unreal Engine 4
        • 光線追蹤 - RTX
        • 影片解碼 / 編碼
    • 遊戲玩家
      • GeForce
        • GeForce 顯示卡
        • 電競筆記型電腦
        • G-SYNC 顯示器
        • RTX 遊戲
        • GeForce Experience
        • GeForce 驅動程式
        • 論壇
        • 支援
      • GeForce NOW
        • 概覽
      • SHIELD
        • 概覽
        • 比較
        • 購買
        • 常見問題
    • IT 專業人員
      • 解決方案
        • 資料中心 (本機)
        • 邊緣運算
        • 雲端運算
        • 網路
        • 虛擬化
        • 企業 IT 解決方案
      • 軟體
        • 人工智慧企業套件
        • 雲端原生支援
        • 叢集管理
        • 邊緣部署管理
        • 推論服務
        • IO 加速
        • 網路
        • 虛擬 GPU
      • 應用程式與工具
        • 資料中心
        • GPU 監管
        • NVIDIA RTX Experience
        • NVIDIA RTX 桌面管理員
      • 資源
        • 資料中心與 IT 資源
        • 技術訓練
        • 企業支援
        • 驅動程式
        • 安全性
        • 產品文件
        • 論壇
    • 研究人員
        • NVIDIA 研究首頁
        • 研究領域
        • AI Playground
        • 影片焦點
        • COVID-19
        • NGC 目錄ww
        • 技術訓練
        • 新創公司
        • 最新消息
        • 開發人員部落格
        • 開放原始碼入口網站
        • Cambridge-1 超級電腦
        • 3D 深度學習研究
    • 機器人專家
      • 產品
        • 人工智慧訓練 - DGX
        • 邊緣運算 - EGX
        • 邊緣運算 - Jetson
      • 軟體
        • 機器人 - Isaac SDK
        • 模擬 - Isaac Sim
        • TAO Toolkit
        • Vision AI - Deepstream SDK
        • 邊緣部署管理
        • 合成資料產生 — Replicator
      • 使用案例
        • 醫療照護
        • 製造業
        • 零售業
        • 機器人
        • 更多產業 >
      • 資源
        • NVIDIA 部落格
        • 機器人研究
        • 開發人員部落格
        • 技術訓練
        • 新創公司
    • 新創公司
    • 訓練課程
    • 商店
    • 驅動程式
    • 支援
深度學習機構
可自行安排進度的訓練課程
講師主持的實作坊
教職員計畫
企業解決方案
資源
  • 可自行安排進度的訓練課程
  • 講師主持的實作坊
  • 教職員計畫
  • 企業解決方案
  • 資源
  • 可自行安排進度的訓練課程
  • 講師主持的實作坊
  • 教職員計畫
  • 企業解決方案
  • 資源

 由講師主持的實作坊
將 CUDA C++ 應用程式擴充至多個節點

為您的組織申請實作坊
參加公開實作坊

當今的高效能運算 (HPC) 和深度學習應用程式,可受益於 (甚至也需要) 叢集規模的 GPU 運算能力。要編寫能夠正確且有效地跨叢集使用 GPU 的 CUDA® 應用程式,會需要一整套獨特的技能。在本實作坊中,您將學習編寫 CUDA C++ 應用程式所需要的技術以及工具,將其有效地擴展到 NVIDIA GPU 叢集上。 

您將藉由在多個 NVIDIA GPU 支援的互動式雲端環境中,處理來自數個 CUDA C++ 應用程式的程式碼來學習。在前往本課程的主要重點 NVSHMEM™ 之前,您會先接觸到幾個多 GPU 程式設計方法,包括 CUDA-aware 訊息傳遞介面 (message passing interface,MPI)。

NVSHMEM 是奠基於 OpenSHMEM 的平行程式設計介面,可為 NVIDIA GPU 叢集提供有效率且可擴充的通訊能力。NVSHMEM 為跨越多個 GPU 記憶體的資料建立全域位址空間,可存取細粒度 GPU 啟動的運算、CPU 啟動的運算和利用 CUDA 串流的運算。NVSHMEM 是非同步的,GPU 啟動的資料傳輸可消除 CPU 和 GPU 之間的同步開銷。也支援包含通訊和運算的長期核心,在進行強大的擴充調整時,減少可能會限制應用程式效能的負荷。NVSHMEM 已用於橡樹嶺領導運算中心 (OLCF) 的 Summit 超級電腦、勞倫斯利佛摩國家實驗室的 Sierra 超級電腦,以及 NVIDIA DGX™ A100 等系統。

 

學習目標
 

參加本實作坊可學會:
  • 瞭解編寫多 GPU CUDA C++ 應用程式的多種方法
  • 使用各種多 GPU 通訊模式,瞭解其優缺點
  • 透過使用 CUDA-aware MPI 和 NVSHMEM 的單程式多資料 (SPMD) 範例,編寫可攜且可擴充的 CUDA 程式碼
  • 使用 NVSHMEM 的對稱記憶體模型及其執行 GPU 啟動資料傳輸的功能,改善多 GPU SPMD 程式碼
  • 練習操作常見的多 GPU 編碼模型 (如場域分解和光暈交換)

下載實作坊大綱與簡介 (PDF 79.5 KB)

實作坊大綱

簡介
(15 分鐘)
  • 認識講師。
  • 在 使用容器執行高效能運算,適合希望提高叢集規模應用程式可攜性的高效能運算程式設計師。
  • 感謝您的訂閱<\/span><\/h3>\n"); })(NVIDIAGDC);

    歡迎聯絡我們,詢問有關
    深度學習訓練的問題

    Welcome back. Not you? 登出
    Welcome back. Not you? Clear form
    1. Section
    • Section

    選填

    Read our FAQs

    常見問題

    NVIDIA 深度學習機構服務

    進一步瞭解 NVIDIA 深度學習機構的服務。

    NVIDIA 開發人員論壇

    若有技術問題, 請參閱 NVIDIA 開發人員論壇。

    DLI 解決方案
    • 可自訂進度的線上課程
    • 由講師指導的實作坊直播
    • 教育人員計畫和教材
    • 企業解決方案
    產品
    • DGX 系統
    • DGX A100
    • DGX 工作站
    • EGX 平台
    • 資料中心 GPU
    • 虛擬化 GPU
    • NVIDIA DRIVE
    • NVIDIA Isaac
    • Jetson
    • GeForce RTX
    技術
    • CUDA-X 人工智慧
    • NGC 目錄
    • 資料分析
    • 深度學習 SDK
    • 深度學習框架
    • 對話式人工智慧
    • 推薦系統
    • 產業框架
    資源
    • 技術資源
    • NVIDIA 開發人員
    • NVIDIA 研究
    • GPU 技術大會
    • 職涯
    • 新聞中心
    • 深度學習部落格
    • NVIDIA 隨選內容
    Follow NVIDIA
    Facebook Twitter LinkedIn Instagram YouTube
    NVIDIA
    台灣
    • 隱私權政策
    • 法律資訊
    • 無障礙功能
    • 聯繫我們
    Copyright © 2023 NVIDIA Corporation