MLPerf 是什麼？
MLPerf™ 的基準是由學術界、研究實驗室與業界 AI 領導者組成的 MLCommons 所開發，為軟硬體和服務的訓練與推論效能提供中立評估。這些評估都是在預定的條件下進行。為了在業界趨勢中保持領先地位，MLPerf 不斷發展，定期進行新測試並增加代表 AI 最先進水平的新工作負載。
深入瞭解 MLPerf 基準
MLPerf Inference v6.0 衡量各種模型架構的推論效能，包括密集型和專家混合型 (MoE) 大型語言模型 (LLM)、視覺語言模型、文字轉影片模型、生成式推薦器等。
MLPerf Training v5.1 測量將模型訓練至指定品質等級所需的時間，涵蓋各種模型類型，包括 LLM、文字轉影像、推薦器、圖形神經網路與物件偵測。
NVIDIA MLPerf 基準測試結果
-
訓練
-
推論
NVIDIA 平台在所有七大 MLPerf Training v5.1 基準測試上皆實現最快的訓練時間。Blackwell Ultra 首次亮相，透過架構增強和突破性的 NVFP4 訓練方法，大幅提升效能並符合嚴格的 MLPerf 準確度要求，為大型語言模型預先訓練與微調帶來極大進展。NVIDIA 也透過 ${NVFP4} 提升兩倍的規模，此外，每 GPU 的效能大幅提升，將 Blackwell Llama 3.1 405B 大規模預先訓練的效能提高了 2.7 倍。NVIDIA 還在 Llama 3.1 8B (Llama 3.1 8 Billion) 與 FLUX.1 兩項新增的基準測試中，創下效能新標竿，同時繼續保持現有推薦器、物件偵測與圖神經網路基準測試的效能紀錄。
NVIDIA Blackwell Ultra 在 MLPerf 訓練首次亮相，締造大幅進展
MLPerf™ Training v5.0 和 v5.1 的結果為 2025 年 11 月 12 日擷取自 www.mlcommons.org。來源條目：4.1-0050、5.0-0014、5.0-0067、5.0-0076、5.1-0058 及 5.1-0060。MLPerf™ 名稱與標誌是 MLCommons Association 在美國及其他國家 / 地區的商標。保留一切權利。嚴禁未經授權使用。請參閱 www.mlcommons.org瞭解更多資訊。
年度節奏與極致共創：打造持續性的訓練領導力
NVIDIA 平台於每款 MLPerf Training v5.1 基準測試中提供最快的訓練時間，而晶片、系統與軟體創新方面，則持續保持訓練效能的領先地位，正如業界標準的同行審核效能資料所示。
最大規模效能
| Benchmark | Time to Train |
|---|---|
| LLM Pretraining (Llama 3.1 405B) | 10 minutes |
| LLM Pretraining (Llama 3.1 8B) | 5.2 minutes |
| LLM Fine-Tuning (Llama 2 70B LoRA) | 0.40 minutes |
| Image Generation (FLUX.1) | 12.5 minutes |
| Recommender (DLRM-DCNv2) | 0.71 minutes |
| Graph Neural Network (R-GAT) | 0.84 minutes |
| Object Detection (RetinaNet) | 1.4 minutes |
MLPerf™ Training v5.0 與 v5.1 的結果為 2025 年 11 月 12 日取自 www.mlcommons.org。來源條目：5.0-0082、5.1-0002、5.1-0004、5.1-0060、5.1-0070、5.1-0072。MLPerf™ 名稱與標誌是 MLCommons Association 在美國及其他國家 / 地區的商標。保留一切權利。嚴禁未經授權使用。請參閱 www.mlcommons.org 瞭解更多資訊。
NVIDIA 提供最高的推論效能與無與倫比的多功能性
由 Blackwell Ultra GPU 提供支援的提交，在 MLPerf Inference v6.0 中於最廣泛的模型與情境範圍內取得最高效能表現，且只有 NVIDIA 平台在所有新新增的基準測試項目上都有提交結果。僅透過軟體最佳化，GB300 NVL72 的傳輸量僅在一輪就提升了 2.7 倍。 而且 NVIDIA 首次使用 288 顆 Blackwell Ultra GPU，透過四台以 NVIDIA Quantum-X800 InfiniBand 互連的 GB300 NVL72 系統提交 MLPerf 推論結果，這是該基準測試史上最大規模的提交，提供每秒 250 萬 Token 創紀錄的推理推論傳輸量。
NVIDIA 平台專為兼顧這三者而生，而 MLPerf Inference v6.1 的結果即為最佳證明：
- Vera Rubin NVL72 首次亮相，具備領先的效能：在首次提交 MLPerf Inference，Vera Rubin NVL72 的傳輸量最高可達 GB300 NVL72 的 3.7 倍。
- GB300 NVL72 以領先的效率擴展：在四個 GB300 NVL72 機架上提交的 288 GPU 可實現 99% 的擴展效率，傳輸量自單一機架基準起幾乎呈線性成長。
- 軟體最佳化可持續提升效能：v6.1 軟體進展使效能最高達 v6.0 的 1.6 倍，並可從提交後最佳化中進一步提升效能。
效能、擴展效率與軟體迭代速度，共同決定了 AI 基礎架構的長期經濟效益。
MLPerf Inference v5.1 與 v6.0，封閉組。結果於 2026 年 4 月 1 日從 www.mlcommons.org 擷取。NVIDIA 平台結果來自以下項目：5.1-0072 以及 6.0-0082。每晶片效能的計算方法是將總傳輸量除以回報的晶片數量。每晶片效能並非 MLPerf Inference v5.1 或 v6.0 的主要指標。MLPerf 名稱和標誌是 MLCommons Association 在美國和其他國家 / 地區的註冊與未註冊商標。保留一切權利。嚴禁未經授權使用。請參閱 www.mlcommons.org 瞭解更多資訊。
成果背後的技術
需要平台在各方面間緊密整合，才能實現複雜的 AI 技術。誠如 MLPerf 的基準測試成果所示，NVIDIA AI 平台利用全球最先進的 GPU、強大且可擴充的互連技術，及尖端軟體提供領先效能，是一款可部署在資料中心、雲端或邊緣的端到端解決方案，更能達到驚人成效。
加速 AI 工作流程的最佳化軟體
NVIDIA Dynamo 是開源的分散式推論服務框架，可在 AI 工廠規模的多節點環境部署模型。它解耦推論、將路由最佳化，並透過資料快取將記憶體延伸至符合成本效益的儲存層，進而簡化分散式服務。
NVIDIA Dynamo 透過將 LLM 推論的預填與解碼階段分離並分配到不同的 GPU 上運作，從而實現各自獨立最佳化並提升整體傳輸量。它在 MLPerf Inference v5.1 基準測試中表現優異，在 Llama 3.1 405B Interactive 與 DeepSeek-R1 推論測試中展現出卓越效能。
AI 基礎架構領導品牌
若要在訓練與推論中獲得領先全球的成果，需要具備專為全球最複雜 AI 挑戰打造的基礎架構。NVIDIA AI 平台採用 NVIDIA Blackwell 與 Blackwell Ultra 平台，包括 NVIDIA GB300 NVL72 與 GB200 NVL72 系統、NVLink 與 NVLink Switch，以及 Quantum InfiniBand，可提供頂尖效能。這些是 AI 工廠的核心，採用的 NVIDIA 資料中心平台也是評測基準效能背後的引擎。
此外，NVIDIA DGX™ 系統提供了擴充性、快速部署和強大的運算能力，讓每個企業都能打造頂尖的 AI 基礎架構。
深入瞭解我們的資料中心訓練和推論產品效能。
推理 LLM
MLPerf 推論使用：
DeepSeek-R1 採用取材自 AIME、MATH500、GPQA Diamond、MMLU-Pro 與 LiveCodeBench 資料集的樣本。
GPT-OSS-120B 包含 AIME 2024、LivecodeBench v6 與 GPQA Diamond 資料集的樣本。
視覺語言模型
MLPerf 推論使用 Qwen3-VL-235B-A22B-Instruct 模型，以及 Shopify 產品目錄資料集。
大語言模型 (LLM)
MLPerf 推論使用：
Llama 3.1 405B 包含從 LongBench、LongDataCollection、RULER 與 GovReport 摘要選取的樣本。 Llama 2 70B 使用 OpenOrca。 Llama 3.1 8B 使用 CNN/DailyMail。 Mixtral 8x7B 包含源自 OpenOrca、GSM8K 與 MBXP 資料集的樣本。
MLPerf Training 採用擁有 4,050 億個參數的 Llama 3.1 生成式語言模型，並以 8,192 的序列長度，搭配 c4 (v3.0.1) 資料集，進行 LLM 預先訓練工作負載。針對 LLM 微調測試，使用了 GovReport 資料集的 Llama 2 70B 模型，序列長度為 8,192。Llama 3.1 8B 也使用序列長度為 8,192 的 C4 資料集。
文字轉影片
MLPerf Inference 使用 Wan-2.2-T2V-A14B 搭配 VBench 資料集進行測試。
文字轉影像
MLPerf Training 使用在 CC12M 資料集上訓練的 FLUX.1 文字轉影像模型，並運用 COCO 2014 資料集進行評估。
2022 年
MLPerf Inference 使用 DLRMv3 搭配 Synthetic Streaming 100B 資料集進行測試。
MLPerf Training 與 Inference 使用的 Deep Learning Recommendation Model v2 (DLRMv2) 採用 DCNv2 跨層架構，以及 Criteo 資料集合成的 multi-hot 資料集。
圖神經網路
MLPerf Inference 使用 Illinois Graph Benchmark (IGB) 異質資料集。
MLPerf Training 使用 R-GAT 搭配 Illinois Graph Benchmark (IGB) - 異質資料集。
語音轉文字
MLPerf Inference 採用 Whisper-Large-V3 搭配 LibriSpeech 資料集。
