NVIDIA vComputeServer

使用虛擬化 GPU 支援運算最密集的伺服器工作負載

適用於人工智慧、深度學習和資料科學的虛擬化運算

NVIDIA 虛擬化運算伺服器 (vComputeServer) 讓資料中心透過 GPU 加速伺服器虛擬化,使運算密集工作負載得以在虛擬機器 (VM) 中執行,例如人工智慧深度學習資料科學

功能

GPU 共享

GPU 共享

GPU 共享 (部份) 只有 NVIDIA vGPU 技術才能做到。這項技術讓多個 VM 共用 GPU,徹底發揮需要 GPU 加速的輕量工作負載使用率。

GPU 彙總

GPU 彙總

透過 GPU 彙總,VM 可存取多個 GPU,通常這也是運算密集工作負載的需求。vComputeServer 支援多 vGPU 和點對點運算。使用多 vGPU 時,GPU 不會直接互連,而是以點對點的方式透過 NVLink 取得更高的頻寬。

管理和監控

管理和監控

vComputeServer 支援應用程式、訪客和主機層級的監控。此外,主動管理功能可透過 vGPU 管理 SDK 提供即時移轉、暫停和回復技術,並且建立臨界值來找出將影響使用者體驗的消費趨勢。

NGC

NGC

NVIDIA GPU 雲 (NGC) 是 GPU 最佳化應用軟體中樞,可簡化深度學習、機器學習與 HPC 的工作流程,現在更支援採用 NVIDIA vComputeServer 的虛擬化環境。

點對點運算

點對點運算

NVIDIA® NVLink 是一項 GPU 到 GPU 的高速直接互連技術,可為多 GPU 系統設定提供更高頻寬、更多連結及更佳的擴充性,現在更透過 NVIDIA 虛擬化 GPU (vGPU) 技術提供虛擬化支援。

ECC 和頁面退役

ECC 和頁面退役

針對容易受到資料損毀影響的運算應用程式,錯誤修正代碼 (error correction code,ECC) 和頁面退役可為其提供更高的可靠性。兩者在大規模叢集運算環境中尤其重要,因為 GPU 需要處理大量資料集和/或長期執行應用程式。

NVIDIA vComputeServer

GPU建議

  NVIDIA T4 NVIDIA V100 (SXM2)
RT 核心 48 -
Tensor 核心 320 640
CUDA® 核心 2,560 5,120
記憶體 16 GB GDDR6 32 GB HBM2
FP 16/FP 32 (混合精度) 64 TFLOPS 125 TFLOPS
FP 32 (單精度) 8.1 TFLOPS 15.7 TFLOPS
FP 64 (雙精度) - 7.8 TFLOPS
NVLink: 每 VM 的 GPU 數量 - 高達 8
ECC 和頁面退役
每個 VM 的多 GPU 數量 高達 16 高達 16

虛擬化合作夥伴

常見問題

深入瞭解 NVIDIA 虛擬化 GPU 應用軟體

檢視產品資訊與支援的第三方應用軟體產品