NVIDIA 多執行個體 GPU
單一 GPU 擁有 7 個獨立執行個體
多執行個體 GPU (MIG) 擴展了 NVIDIA Blackwell 和 Hopper™ 世代 GPU 的效能與價值。多執行個體 GPU 讓每個 GPU 最多能分隔成 7 個執行個體，各自完全獨立且具備個別的高頻寬記憶體、快取和運算核心。從最小到最大，管理員可以支援任何規模的工作負載，確保服務品質 (QoS) 並將加速運算資源的範圍擴展至每位使用者。
優勢概覽
技術原理
如果沒有多執行個體 GPU，在同一 GPU 上執行的不同工作，例如不同的人工智慧推論要求，會搶奪相同的資源。消耗較大記憶體頻寬的作業會佔據其他工作的資源，導致多項工作無法達成延遲度目標。有了多執行個體 GPU，多項工作就能在不同執行個體上同時執行，且全都具備運算、記憶體和記憶體頻寬的專用資源，進而透過 QoS 和最高的 GPU 使用率，達到可預期的效能。
Blackwell GPU 中的 MIG
Blackwell 和 Hopper GPU 支援 MIG，可在虛擬化環境中以多租戶、多使用者配置運行，最多可達七個 GPU 執行個體，並透過機密運算在硬體及虛擬機管理程式層級安全隔離每個執行個體。每個多執行個體 GPU 的執行個體專用影片解碼器，能在共用基礎架構上提供安全、高傳輸量的智慧影像分析 (IVA)。管理員可利用同步多執行個體 GPU 分析，監控適當大小的 GPU 加速，並向多個使用者分派資源。
工作負載較低的研究人員，並不需要租用完整的雲端執行個體，可以使用多執行個體 GPU 安全隔離一部分 GPU，同時確保其資料在儲存、傳輸和使用時都能保持安全。如此一來，雲端服務供應商在定價與處理較少的客戶機會時，就能更有彈性。
觀看多執行個體 GPU 實際使用狀況
專為 IT 和 DevOps 打造
多執行個體 GPU 可讓 IT 和 DevOps 團隊進行縝密的 GPU 佈建。每個多執行個體 GPU 的執行個體都像應用程式的獨立 GPU 一樣運作，因此 CUDA® 平台無需變更。多執行個體 GPU 可用於所有主要企業運算環境。
多執行個體 GPU 規格
| Blackwell Ultra GPU | Blackwell GPU* | H100 GPU | |
|---|---|---|---|
| 機密運算 | 有 | 有 | 有 |
| 執行個體類型 | 最高 7x 34GB 最高 4x 70GB 最高 2x 140GB 最高 1x 288 GB |
最高 7x 23GB 最高 4x 45GB 最高 2x 95GB 最高 1x 192GB |
7x 10GB 4x 20GB 2x 40GB 1x 80GB |
| GPU 分析和監控 | 在所有執行個體上同時執行 | 在所有執行個體上同時執行 | 在所有執行個體上同時執行 |
| 安全租用戶 | 7x | 7x | 7x |
| 媒體解碼器 | 每個執行個體專用的 NVJPEG 和 NVDEC | 每個執行個體專用的 NVJPEG 和 NVDEC | 每個執行個體專用的 NVJPEG 和 NVDEC |
深入瞭解 MIG。