MLPerf ベンチマーク

NVIDIA AI プラットフォームは、MLPerf トレーニング、推論、HPC において、業界をリードする性能と汎用性を示しており、最も要求の厳しい実世界の AI ワークロードに対応します。

NVIDIA の成果をご覧ください

MLPerf とは?

学界、研究機関、業界の AI リーダーたちによるコンソーシアムである MLCommons によって開発された MLPerf™ ベンチマークは、ハードウェア、ソフトウェア、サービスの学習と推論の性能を公平な評価を提供するように設計されています。この評価はすべて、所定の条件下で実施されます。業界トレンドの最先端を維持するため、MLPerf は定期的に新しいテストを実施したり、AI の最先端を示す新しいワークロードを追加するなど、進化し続けています。

チャルマース工科大学は、ナノテクノロジから気候研究まで、さまざまなを専門とするスウェーデン有数の研究機関です。AI を取り入れて研究を進める中で、 MLPerf ベンチマークは、複数の AI プラットフォームを透明性のある同一条件で比較を行い、実世界の多様な用途における実際のパフォーマンスを示すことがわかりました

— スウェーデンのチャルマース工科大学

TSMC は、プロセス技術で市場をリードする最新の 5nm ノードのように、世界最先端の半導体製造をリードしています。リソグラフィーやエッチング モデリングをベースとする機械学習などのイノベーションは、OPC (Optical Proximity Correction/光近接効果補正) とエッチング シミュレーションの精度を飛躍的に向上しています。モデル学習と推論における機械学習の可能性を最大限引き出すために、NVIDIA エンジニアリング チームと協力し、Maxwell シミュレーションと ILT (Inverse Lithography Technology/逆変換露光技術) エンジンを GPU に移植し、大幅なスピードアップを実現しています。MLPerf ベンチマークは、当社の意志決定における重要な要素です。

— TSMC (米国カリフォルニア州サンノゼ) OPC 部門ディレクター、Danping Peng 博士

コンピュータ ビジョンと画像処理は AI 研究の中核であり、科学的発見を推進し、医療の中心的存在になっています。当センターでは NVIDIA と協力して、3DUNet などのイノベーションをヘルスケアに提供してきました。業界標準の MLPerf ベンチマークは、IT 組織や開発者が特定のプロジェクトやアプリケーションを高速化するための適切なソリューションを得るために必要な関連性のあるパフォーマンス データを提供します。

— Deutsches Krebsforschungszentrum (DKFZ/ドイツ癌研究センター) の医用画像コンピューティング部門リーダー、Klaus Maier-Hein 博士

As the preeminent leader in research and manufacturing, Samsung uses AI to dramatically boost product performance and manufacturing productivity. Productizing these AI advances requires us to have the best computing platform available. The MLPerf benchmark streamlines our selection process by providing us with an open, direct evaluation method to assess uniformly across platforms.

— Samsung Electronics

MLPerf ベンチマークについて

MLPerf Training v3.1 では、大規模言語モデル (LLM)、画像生成、コンピューター ビジョン、医用画像セグメンテーション、音声認識、レコメンデーションなど、9 つの異なるユース ケースでモデル学習にかかる時間を計測します。

MLPerf Inference v3.1 では、LLM、自然言語処理、コンピューター ビジョン、医用画像セグメンテーションなど、7 種類の異なるニューラル ネットワークを使用して推論性能をテストします。

MLPerf HPC v3.0 では、大気の川の特定、宇宙論パラメーターの予測、量子分子モデリング、タンパク質構造予測など、4 つの異なる科学計算のユース ケースをテストします。

大規模言語モデル

大規模言語モデル

幅広いユース ケースに対応するコンテンツを認識、要約、翻訳、予測、生成できる、大規模なデータセットでトレーニングされたディープラーニングアルゴリズム。 詳細。

Text-to-Image

テキストから画像へ

テキスト プロンプトから画像を生成します。詳細。

レコメンデーション

レコメンデーション

ユーザーと、製品や広告などのサービス アイテムとのやりとりを理解することで、ソーシャル メディアや E コマースの Web サイトなどのユーザー向けサービスにおいて、パーソナライズされた結果を提供します。 詳細。

物体検出 (軽)

物体検出 (軽)

画像や動画内の顔、自転車、建物など、現実世界の物体のインスタンスを見つけ、それぞれの周囲に境界ボックスを指定します。 詳細。

物体検出 (重)

物体検出 (重)

画像に現れる、対象の個別の物体を検出し、それぞれのピクセル マスクを識別します。 詳細。

画像分類

画像分類

入力された画像に、決められた一連のカテゴリからラベルを割り当てます。コンピューター ビジョンの問題に応用されます。 詳細。

自然言語処理 (NLP)

自然言語処理 (NLP)

ひとかたまりのテキスト中のさまざまな単語間の関係を使用してテキストを認識します。質問への回答、文の言い換え、その他のさまざまな言語関連のユースケースを実現します。詳細。

自動音声認識 (ASR)

自動音声認識 (ASR)

音声をリアルタイムで認識し、書き起こします。詳細。

生物医学画像セグメンテーション

生物医学画像セグメンテーション

医療用途の高密度 3D 画像のボリューム セグメンテーションを実行します。 詳細。

大気の川の特定

大気の川の特定

気候シミュレーション データでハリケーンや大気の川を特定します。 詳細。

宇宙論パラメーター予測

宇宙論パラメーター予測

宇宙論データ上の 3D 画像回帰問題を解決します。 詳細。

量子分子モデリング

量子分子モデリング

エネルギーや分子構造を予測します。 詳細。

タンパク質構造予測

タンパク質構造予測

一次元アミノ酸結合に基づいて三次元タンパク質構造を予測します。 詳細。

NVIDIA MLPerf ベンチマークの結果

  • トレーニング

    トレーニング

  • 推論

    推論

  • HPC

    HPC

NVIDIA H100 Tensor コア GPU と NVIDIA Quantum-2 InfiniBand ネットワーキングを搭載した NVIDIA アクセラレーテッド コンピューティング プラットフォームは、MLPerf Training v3.1 で大規模な LLM 学習性能の記録を破り、GPT-3 175B ベンチマークで、ほぼリニアのスケーリング効率を持つ 10,752 基の H100 GPU のかつてない規模で 2 つのサブミッションのパワーとなりました。また、Stable Diffusion をベースとする新しく追加されたテキストの画像変換テストでは、NVIDIA プラットフォームが最高のパフォーマンスと比類のないスケーラビリティで新しい水準を打ち立てました。データ センター規模での絶え間ないフルスタック エンジニアリングにより、NVIDIA は AI 学習性能を加速し続けています。

NVIDIA が MLPerf サブミッションで大規模言語モデル学習の新しい記録を打ち立てる

NVIDIA Sets a New Large Language Model Training Record With Largest MLPerf Submission Ever
Benchmark Per-Accelerator Records
(NVIDIA H100 Tensor Core GPU)
Large Language Model (GPT-3 175B) 548 hours (23 days)
Natural Language Processing (BERT) 0.71 hours
Recommendation (DLRM-DCNv2) 0.56 hours
Speech Recognition (RNN-T) 2.2 hours
Image Classification (ResNet-50 v1.5) 1.8 hours
Object Detection, Heavyweight (Mask R-CNN) 2.6 hours
Object Detection, Lightweight (RetinaNet) 4.9 hours
Image Segmentation (3D U-Net) 1.6 hours

2023 年 11 月 8 日に www.mlperf.org から取得した次のエントリの結果: 3.0-2003, 3.1-2007.  

MLPerf™ の名称およびロゴは、米国およびその他の国における MLCommons Association の商標です。All rights reserved. 無断使用は厳禁です。詳細は www.mlcommons.org をご覧ください。

NVIDIA AI プラットフォームがあらゆる MLPerf Training テストで最高性能を達成

最新の大規模言語モデルとテキストの画像変換テストで画期的な性能を示したことに加え、NVIDIA は、MLPerf Trainingv3.1 のレコメンダー、物体検出、医用画像セグメンテーション、自然言語処理のワークロードにおいても新たな性能の記録を打ち立てました。NVIDIA H100 GPU と NVIDIA Quantum-2 を備えた NVIDIA プラットフォームは、あらゆるベンチマークで最速の学習時間を提供し続け、あらゆる AI ワークロードに対応できる比類のない性能と汎用性を示します。

最大規模のパフォーマンス

ベンチマーク 学習時間
GPT-3 3.92 分
Stable Diffusion v2 2.47 分
DLRM-DCNv2 1.0 分
BERT-large 0.12 分
ResNet-50 v1.5 0.18 分
Mask R-CNN 1.5 分
RetinaNet 0.92 分
3D U-Net 0.77 分
RNN-T 1.7 分

MLPerf™ Training v3.1。2023 年 11 月 8 日に www.mlperf.org から取得したエントリの結果: 3.1-2007, 3.1-2010, 3.1-2050, 3.1-2051, 3.1-2052 3.1-2053, 3.1-2054, 3.1-2056, 3.1-2064。MLPerf™ の名称およびロゴは、米国およびその他の国における MLCommons Association の商標です。All rights reserved. 無断使用は厳禁です。詳細は www.mlcommons.org をご覧ください。

NVIDIA H100 Tensor コア GPU は、あらゆる MLPerf Inference v3.1 データ センターのワークロードとシナリオで、最もスループットの高いシステムにパワーを与えました。NVIDIA GH200 Grace Hopper™  Superchip は、その MLPerf デビューであらゆるワークロードを実行し、H100 の卓越した性能を拡大しました。 NVIDIA L4 Tensor コア GPU も、主流サーバー向けに最も効率的な NVIDIA アクセラレータとして最適化されており、さまざまなテストで優れた結果を残しました。エネルギー効率に優れ、エッジ AI とロボティクスに応用される NVIDIA Jetson AGX Orin™  と Jetson Orin NX もまたもや、システムオンモジュールの傑出した推論能力を示しました。

データ センターとエッジのオフライン シナリオ (単一の GPU)

NVIDIA GH200 Grace Hopper Superchip (推論/秒) NVIDIA H100 (推論/秒) NVIDIA L4 (推論/秒) NVIDIA Jetson AGX Orin (最大推論/クエリ) NVIDIA Jetson Orin NX (最大推論/クエリ)
GPT-J (大規模言語モデル) 13.34 13.29 1.30 なし なし
DLRMv2 (レコメンダー) 49,002 42,856 3,673 なし* なし*
BERT (自然言語処理)** 8,646 7,878 631 554 195
ResNet-50 v1.5 (画像分類) 93,198 88,526 12,882 6,424 2,641
RetinaNet (物体検出) 1,849 1,761 226 149 67
RNN-T (音声認識) 25,975 23,307 3,899 1,170 432
3D U-Net (医用画像処理) 6.8 6.5 1.07 0.51 0.20
  NVIDIA A100 (x86 CPU)
(推論/秒)		 NVIDIA A100 (Arm CPU)
(推論/秒)		 NVIDIA A30
(推論/秒)		 NVIDIA® Jetson AGX Orin™
(最大推論/クエリ)
DLRM
(レコメンダー)		 312,380 281,283 138,194 N/A*
BERT
(自然言語処理)		 3,490 3,149 1,668 476
ResNet-50 v1.5
(画像分類)		 39,190 36,487 18,406 6,139
ResNet-34
(大規模な Single-Shot Detector)		 990 906 478 208
RNN-T
(音声認識)		 13,344 13,188 6,557 1,110
3D U-Net
(医用画像処理)		 3 3 2 0.5

* DLRMv2 はエッジ カテゴリ スイートに含まれていません。

** H100、A100、L4 に BERT 99.9% の精度目標を使用。Jetson AGX Orin と Jetson Orin NX に BERT 99% を使用。これは BERT ベンチマークの「MLPerf Inference: Edge」カテゴリでサポートされている最高精度目標です

1) MLPerf 推論 v3.1 データ センターのオフライン シナリオの結果は www.mlperf.org から 2023 年 9 月 11 日に取得されました。エントリは 3.1-0106、3.1-0107、3.1-0108、3.1-0110 です。プロセッサ当たりのパフォーマンスは、MLPerf Inference v3.1 の第一指標ではありません。プロセッサ当たりのパフォーマンスは、報告されたアクセラレータ数で全体のパフォーマンスの第一指標を割って算出されます。

2) MLPerf Inference v3.1 edge のオフライン シナリオの結果は www.mlperf.org から 2023 年 9 月 11 日に取得されました。エントリは 3.1-0114 と 3.1-0116 です。プロセッサ当たりのパフォーマンスは、MLPerf Inference v3.1 の第一指標ではありません。プロセッサ当たりのパフォーマンスは、報告されたアクセラレータ数で全体のパフォーマンスの第一指標を割って算出されます。

NVIDIA H100 Tensor コアは、その MLPerf HPC v3.0 デビューにおいて、HPC および AI 向けの NVIDIA プラットフォームをスーパーチャージし、パフォーマンスを最大 2 倍向上し、学習時間指標とスループット指標の両方にわたりすべてのワークロードで最高のパフォーマンスを達成しました。また、気候セグメンテーション、宇宙論パラメーター予測、量子分子モデリング、そして最後に追加されたタンパク質構造予測を網羅する、あらゆる MLPerf HPC ワークロードで結果を提出できた唯一のプラットフォームが NVIDIA プラットフォームでした。NVIDIA プラットフォームは、その比類なき性能と汎用性により、AI を活用した科学的発見の次の波を後押しする手段として最適です。

3 年間でパフォーマンスが最大 16 倍に

NVIDIA フルスタック イノベーションがパフォーマンスの向上を推進

Up to 16X More Performance in 3 Years

MLPerf™ HPC v3.0 Results retrieved from www.mlperf.org on November 8, 2023. Results retrieved from entries 0.7-406, 0.7-407, 1.0-1115, 1.0-1120, 1.0-1122,  2.0-8005, 2.0-8006,  3.0-8006, 3.0-8007, 3.0-8008. CosmoFlow score in v1.0 is normalized to new RCPs introduced in MLPerf HPC v2.0. Scores for v0.7, v1.0, and v2.0 are adjusted to remove data staging time from the benchmark, consistent with new rules adopted for v3.0 to enable fair comparisons between the submission rounds. MLPerf™ の名称およびロゴは、米国およびその他の国における MLCommons Association の商標です。All rights reserved. 無断使用は厳禁です。詳細は www.mlcommons.org をご覧ください。

Up to 16X More Performance in 3 Years

MLPerf™ HPC v3.0 Results retrieved from www.mlperf.org on November 8, 2023. Results retrieved from entries 3.0-8004, 3.0-8009, and 3.0-8010.  The MLPerf™ name and logo are trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

成果の背後にあるテクノロジ

AI の仕組みは複雑であり、プラットフォームのあらゆる面をしっかりと統合することが必要となります。MLPerf のベンチマークが示したように、NVIDIA AI プラットフォームは、世界最先端の GPU、パワフルかつ拡張性の高い相互接続テクノロジ、最新のソフトウェアにより、他をリードするパフォーマンスを提供します。これはデータ センター、クラウド、エッジでデプロイ可能なエンドツーエンドのソリューションで、驚異的な成果をもたらします。

Pre-trained models and Optimized Software from NVIDIA NGC

AI ワークフローを加速する最適化されたソフトウェア

NVIDIA プラットフォームと MLPerf の学習および推論の成果に欠かせない要素である NGC™ カタログ は、 GPU で最適化された AI、HPC、データ分析ソフトウェアのハブであり、エンドツーエンドのワークフローを簡素化し、高速化します。生成 AI、対話型 AI、レコメンダー システムのワークロードなどを含む 150 以上のエンタープライズグレードのコンテナー、数百もの AI モデル、オンプレミス、クラウド、またはエッジにデプロイ可能な業界固有の SDK を活用可能な NGC により、データ サイエンティスト、研究者、開発者は、クラス最高のソリューションを構築し、インサイトを収集し、これまで以上に迅速にビジネス価値を提供できるようになります。

NGC カタログにアクセスする

業界トップクラスの AI インフラストラクチャ

トレーニングと推論において世界をリードする結果を達成するには、世界で最も複雑な AI の課題に特化したインフラが必要です。NVIDIA AI プラットフォームは、NVIDIA GH200 Grace Hopper Superchip、NVIDIA H100 Tensor コア GPU、NVIDIA L4 Tensor コア GPU と、NVIDIA の相互接続技術 (NVIDIA® NVLink® および NVSwitch™ 、NVIDIA Quantum-2 InfiniBand)  の拡張性と柔軟性によって、業界をリードするパフォーマンスを実現しました。これらは NVIDIA データ センター プラットフォームの中核であり、NVIDIA のベンチマーク性能を支えるエンジンです。

加えて、NVIDIA DGX™ システムは、は、拡張性、迅速な導入、驚異的な演算性能を提供し、あらゆる企業が業界トップクラスの AI インフラを構築できるようにします。

詳細を見る
Leadership-Class AI Infrastructure

NVIDIA のデータ センター学習および推論製品のパフォーマンスの詳細をご覧ください。

パフォーマンスを見る
Protein Structure Prediction

タンパク質構造予測

OpenProteinSet データセットでトレーニングされた OpenFold モデルを使用します。
Text-to-Image

テキストから画像へ

MLPerf Training uses the Stable Diffusion v2 text-to-image model trained on the LAION-400M-filtered dataset.
Quantum Molecular Modeling Category

量子分子モデリング

Open Catalyst 2020 (OC20) データセットで DimeNet++ モデルを使用します。
Cosmology Parameter Prediction Category

宇宙論パラメーター予測

CosmoFlow N-body シミュレーション データセットで CosmoFlow モデルを使用します。
Climate Atmospheric River Identification Category

大気の川の特定

CAM5 + TECA シミュレーション データセットで DeepCAM モデルを使用します。
画像の分類

画像の分類

MLPerf 学習および推論では、ResNet v1.5 と ImageNet データセットを使用します。
MLPerf 推論では、ResNet-50 v.1.5、MobileNet-v1、ImageNet データセットを使用しました。
Object Detection (Lightweight)

物体検出 (軽)

MLPerf Training uses Single-Shot Detector (SSD) with ResNeXt50 backbone on a subset of the Google OpenImages Dataset.
MLPerf Inference uses SSD-MobileNet-v1 (low-res, 0.09 MP), with the COCO 2017 dataset.
Object Detection (Heavyweight)

Object Detection (Heavyweight)

MLPerf Training では COCO 2017 データセットで Mask R-CNN を使用。
MLPerf Inference では、OpenImages MLPerf 検証セットを 800x800 ピクセルにサイズ変更した RetinaNet が使用されます。
Translation (Recurrent)

Translation (Recurrent)

MLPerf used Google’s Machine Translation System (GNMT) on the WMT English-German dataset.
MLPerf Inference used the Google Neural Machine Translation (GNMT) RNN with the WMT16 dataset.
Translation (Non-recurrent)

Translation (Non-recurrent)

MLPerf used Transformer on the WMT English-German dataset.
MLPerf Inference measured speech recognition using the RNN-T network with the LibriSpeech dataset.
Natural Language Processing (NLP)

Natural Language Processing (NLP)

MLPerf Training uses Bidirectional Encoder Representations from Transformers (BERT) on the Wikipedia 2020/01/01 dataset.
MLPerf Inference used BERT with the SQuAD v.1.1 dataset.
Recommendation

Recommendation

MLPerf Training and Inference use the Deep Learning Recommendation Model v2 (DLRMv2) that employs DCNv2 cross-layer and a multi-hot dataset synthesized from the Criteo dataset.
Reinforcement Learning

Large Language Models

MLPerf Training uses the GPT-3 generative language model with 175 billion parameters and a sequence length of 2,048 on the C4 dataset.
MLPerf Inference uses the GPT-J (6-billion parameter) model with the CNN-DailyMail dataset.
Automatic Speech Recognition (ASR

Automatic Speech Recognition (ASR)

MLPerf Training and Inference use RNN-T on the Librispeech dataset.
Biomedical Image Segmentation

Biomedical Image Segmentation

MLPerf Training and Inference use 3D U-Net with the KiTS19 dataset.
製品
テクノロジ
ソフトウェア
関連情報