樹立 MLPerf 新標準

在人工智慧效能的頂尖評量基準 MLPerf 中,NVIDIA 訓練與推論解決方案樹立了效能標竿紀錄。

什麼是 MLPerf?

MLPerf 是由學術界、研究實驗室和業界人士組成的人工智慧領袖聯盟,基於「打造公平、實用基準」的使命,為硬體、軟體和服務的訓練與推斷效能提供中立評估,且全部在預定條件下執行。為了在業界趨勢中保持領先地位,MLPerf 透過定期進行新的測試,並增加能體現最尖端人工智慧技術的全新工作負載,持續進化。

MLPERF涵蓋類別

MLPerf Training v0.7 是第三階段的具體化訓練,由八種不同的工作負載組成,涵蓋多種使用案例,包括視覺、語言、推薦系統和強化學習。

MLPerf Inference v0.7 測試了七種不同神經網路中的五種不同使用案例。其中三種使用案例適用電腦視覺、一種針對推薦系統、兩種語言處理,另外一種醫療影像。

影像分類

圖像分類

從一組固定類別中為輸入影像指派標籤,應用於如自駕車等使用案例的電腦視覺問題。詳細資訊.

物體偵測 (輕量型)

物體偵測 (輕量型)

在影像或影片中尋找真實世界中的物體,如臉部、自行車和建築,並指定每個物體周圍的邊框。 詳細資訊.

物體偵測 (重量型)

物體偵測 (重量型)

在影像集中偵測感興趣的物體,並為每個物體都識別出像素遮罩。詳細資訊.

翻譯 (遞歸)

翻譯 (遞歸)

使用遞歸神經網路 (RNN) 將某種語言的文本翻譯成另一種語言。詳細資訊.

翻譯 [非遞歸]

翻譯 [非遞歸]

使用前饋神經網路 (FNN) 將某種語言的文本翻譯成另一種語言。詳細資訊.

自然語言處理 (NLP)

自然語言處理 (NLP)

利用文字區塊中不同單詞間的關係瞭解文字。能夠解答問題、釋義句子,及完成許多其他語言相關的使用案例。詳細資訊.

推薦

推薦

透過瞭解使用者與服務產品之間的互動 (如產品或廣告),為使用者端服務提供個人化結果 (如社群媒體或電子商務網站)。詳細資訊.

強化學習

強化學習

在 19x19 網格座標上的策略遊戲《Go》中,評估所採取之動作的不同可能性,以獲得最大報酬。詳細資訊.

NVIDIA 的 MLPerf 基準測試成果

  • 訓練

    訓練

  • 推論

    推論

NVIDIA A100 Tensor 核心 GPU 和 NVIDIA DGX SuperPOD 在上市系統的每個晶片和大規模工作負載中,共創下 16 項訓練效能記錄。此突破性的效能源自於硬體、軟體與 級系統技術的緊密整合。NVIDIA 持續投資全方位效能,成功改善了三個 MLPerf 提交的輸送量。

根據 MLPERF 基準,在 1 年半中效能提升高達 4 倍

NVIDIA 的全方位創新讓效能持續提升

根據 MLPERF 基準,在 1 年半中效能提升高達 4 倍

NVIDIA 共創下 16 項記錄

適用於市面上的解決方案

  最大規模記錄 每個加速器的記錄
推薦 (DLRM) 3.33 分鐘 0.44 小時
NLP (BERT) 0.81 分鐘 6.53 小時
強化學習 (MiniGo) 17.07 分鐘 39.96 小時
翻譯 (非遞歸) (Transformer) 0.62 分鐘 1.05 小時
翻譯 (遞歸) (GNMT) 0.71 分鐘 1.04 小時
物體偵測 (重量型) (遮罩 R-CNN) 10.46 分鐘 10.95 小時
物體偵測 (輕量型) (SSD) 0.82 分鐘 1.36 小時
影像分類 (ResNet-50 v1.5) 0.76 分鐘 5.30 小時

NVIDIA 在全部五種情境 (伺服器、離線、邊緣端單一串流、多串流和離線) 中,都達到了頂尖成果。此外,在上市產品中,我們在跨全部五個基準測試中,達到各加速器最佳的效能表現。這些成果不僅證明了 NVIDIA 在推論效能的領先地位,也說明我們的推論平台具備多功能性。

適用資料中心和邊緣的伺服器情境

NVIDIA Turing 架構

  NVIDIA T4
(推論數/秒)
NVIDIA A100
(推論數/秒)
NVIDIA® Jetson Xavier
(最大推論數/查詢)
DLRM
(推薦系統)
34,052 264,189 N/A
BERT
(自然語言處理)
437 3,328 91
ResNet-50 v1.5
(圖像分類)
6,112 37,331 2,075
MobileNet-v1
(小型單次偵測器)
995 6,401 2,533
ResNet-34
(大型單次偵測器)
139 974 51
RNN-T
(語音辨識)
1,495 10,300 419
3D U-Net
(醫學影像)
7 42 2.3

成果背後的技術

需要平台在各方面間緊密整合,才能實現複雜的人工智慧技術。誠如 MLPerf 的基準測試成果所示,NVIDIA 人工智慧平台利用全球最先進的 GPU、強大且可擴充的互連技術,及尖端軟體提供領先效能,是一款可部署在資料中心、雲端或邊緣的端對端解決方案,更能達到驚人成效。

加速人工智慧工作流程的最佳化軟體

加速人工智慧工作流程的最佳化軟體

NGC 作為 NVIDIA 平台及促成 MLPerf 訓練與推論成果的基本元件,是一款適用於 GPU 最佳化人工智慧、高效能運算 (HPC) 和資料分析軟體的中樞,可簡化並加速端對端工作流程。NGC 擁有超過 150 個企業級容器,包括對話型人工智慧推薦系統的工作負載、超過 100 個模型,及可部署於本機、雲端或邊緣的特定產業 SDK,讓資料科學家、研究人員和開發人員能以前所未有的速度打造出一流的解決方案、搜集見解,並提供商業價值。

人工智慧基礎架構領導品牌

若要在訓練與推論中獲得領先全球的成果,需要具備專為全球最複雜人工智慧挑戰而打造的基礎架構。NVIDIA 人工智慧平台可運用 NVIDIA A100 Tensor 核心 GPUNVIDIA T4 Tensor 核心 GPU 以及 NVIDIA 互連技術的可擴充性和彈性的強大功能,提供 NVLink®NVSwitch 及 Mellanox ConnectX-6 VPI。這些都是 NVIDIA DGX A100 的核心,也是我們基準測試效能背後的引擎。

NVIDIA DGX 系統提供了可擴充性、快速部署和強大的運算能力,讓每個企業都能打造頂尖的人工智慧基礎架構。

人工智慧基礎架構領導品牌

深入瞭解我們的資料中心訓練和推論產品效能。