MLPerf ベンチマーク

NVIDIA AI プラットフォームは MLPerf の学習と推論の両方において優れており、最も要求の厳しい実世界の AI ワークロードに取り組むための業界をリードするパフォーマンスと多様性を示します。

NVIDIA の結果をご覧ください

MLPerf とは?

MLPerf は、「公平かつ有用なベンチマーク作成」を目的とした学界、研究機関、業界の AI リーダーたちによるコンソーシアムであり、ハードウェア、ソフトウェア、サービスの学習と推論のパフォーマンスを公正に評価します。この評価はすべて、規定された条件下で行われます。業界トレンドの最先端を走り続けるため、MLPerf は新しいテストを定期的に実施して、最先端の AI ワークロードを追加など、進化し続けています。

チャルマース工科大学は、ナノテクノロジから気候研究まで、さまざまなを専門とするスウェーデン有数の研究機関です。AI を取り入れて研究を進める中で、 MLPerf ベンチマークは、複数の AI プラットフォームを透明性のある同一条件で比較を行い、実世界の多様な用途における実際のパフォーマンスを示すことがわかりました

— スウェーデンのチャルマース工科大学

TSMC は、プロセス技術で市場をリードする最新の 5nm ノードのように、世界最先端の半導体製造をリードしています。リソグラフィーやエッチング モデリングをベースとする機械学習などのイノベーションは、OPC (Optical Proximity Correction/光近接効果補正) とエッチング シミュレーションの精度を飛躍的に向上しています。モデル学習と推論における機械学習の可能性を最大限引き出すために、NVIDIA エンジニアリング チームと協力し、Maxwell シミュレーションと ILT (Inverse Lithography Technology/逆変換露光技術) エンジンを GPU に移植し、大幅なスピードアップを実現しています。MLPerf ベンチマークは、当社の意志決定における重要な要素です。

— TSMC (米国カリフォルニア州サンノゼ) OPC 部門ディレクター、Danping Peng 博士

コンピュータ ビジョンと画像処理は AI 研究の中核であり、科学的発見を推進し、医療の中心的存在になっています。当センターでは NVIDIA と協力して、3DUNet などのイノベーションをヘルスケアに提供してきました。業界標準の MLPerf ベンチマークは、IT 組織や開発者が特定のプロジェクトやアプリケーションを高速化するための適切なソリューションを得るために必要な関連性のあるパフォーマンス データを提供します。

— Deutsches Krebsforschungszentrum (DKFZ/ドイツ癌研究センター) の医用画像コンピューティング部門リーダー、Klaus Maier-Hein 博士

研究と製造で世界をリードする Samsung は、AI を利用し製品のパフォーマンスと製造生産性を飛躍的に向上させています。AI の最新テクノロジを製品化するには、最高のコンピューティング プラットフォームが必要です。MLPerf ベンチマークは、さまざまなプラットフォームを同じ条件で評価するオープンで直接的なメソッドを提供するため、選択プロセスを合理化します。

— サムスン電子

MLPerf 検証カテゴリ

MLPerf Training v2.0 は学習として 6 番目に具体化したもので、映像、言語、レコメンダー、強化学習などのさまざまなユース ケースを対象とする 8 種の異なるワークロードで構成されています。

MLPerf Inference v2.0 では、7 種類のニューラル ネットワークで 7 つの異なるユースケースをテストしました。そのうち 3 つのユースケースはコンピューター ビジョン、1 つはレコメンダー システム、2 つは言語処理、1 つは医用画像です。

画像分類

画像分類

入力された画像に、決められた一連のカテゴリからラベルを割り当てます。コンピューター ビジョンの問題に応用されます。詳細。

物体検出 (軽)

物体検出 (軽)

画像や動画内の顔、自転車、建物など、現実世界の物体のインスタンスを見つけ、それぞれの周囲に境界ボックスを指定します。詳細。

物体検出 (重)

物体検出 (重)

画像に現れる、対象の個別のオブジェクトを検出し、それぞれのピクセル マスクを識別します。詳細。

生物医学画像解析

生物医学画像解析

医療用途の密な 3D 画像でボリューム セグメンテーションを実行します。詳細。

翻訳 (リカレント)

翻訳 (リカレント)

リカレント ニューラル ネットワーク (RNN) を使用して、ある言語から別の言語にテキストを翻訳します。詳細。

自動音声認識 (ASR)

自動音声認識 (ASR)

音声をリアルタイムで認識し、書き起こします。詳細。

自然言語処理 (NLP)

自然言語処理 (NLP)

ひとかたまりのテキスト中のさまざまな単語間の関係を使用してテキストを認識します。質問への回答、文の言い換え、その他のさまざまな言語関連のユースケースを実現します。詳細。

レコメンデーション

レコメンデーション

ユーザーと、製品や広告などのサービス アイテムとのやりとりを理解することで、ソーシャル メディアや E コマース ウェブサイトなどのユーザー向けサービスでパーソナライズされた内容を提供します。詳細。

強化学習

強化学習

19x19 の盤面で対局する囲碁を使用して、さまざまな手を評価し、戦略的効果を最大に高めます。詳細。

NVIDIA の MLPerf ベンチマークの結果

  • 学習

    学習

  • 推論

    推論

NVIDIA A100 Tensor Core GPU と NVIDIA DGX SuperPOD™ は、チップあたりでも、規模でも、あらゆる MLPerf テストで業界をリードするパフォーマンスを達成しました。この画期的なパフォーマンスは、ハードウェア、ソフトウェア、システムレベルのテクノロジの緊密な統合が生み出しました。NVIDIA がスタック全体に絶え間なく投資したことで、各 MLPerf サブミッションのパフォーマンスが向上しました。NVIDIA プラットフォームは全体的なパフォーマンスと汎用性で他に並ぶものがなく、データ センターからエッジにクラウドまで、あらゆる場所で利用できる学習と推論のための単一プラットフォームになります。

MLPerf の 3 年間でパフォーマンスが 20 倍以上に

NVIDIA のフルスタック イノベーションにより、継続的な改善を実現

MLPerf 学習 パフォーマンス ベンチマーク

MLPerf 学習 2.0 の最新ラウンドで高くなった精度要件に合わせてスループットを標準化した結果。 
MLPerf ID 0.5/0.7/2.0 の比較:
BERT: 0.7-56/0.7-38/2.0-2106 | ResNet50v1.5: 0.5-17/0.7-55/0.7-37/2.0-2107 | Mask R-CNN: 0.5-22/0.7-48/0.7-28/2.0-2099
MLPerf の名称およびロゴは商標です。詳細は、www.mlperf.org をご覧ください。

NVIDIA AI が業界をリードするパフォーマンスと多様性を提供

市販されているソリューションの場合

NVIDIA AI プラットフォームは、MLPerf テスト全体で業界をリードするパフォーマンスを提供しました。そして、すべてのベンチマークで提出する唯一のプラットフォームでした。これは、あらゆる AI ワークロードに対応するフルスタックの NVIDIA AI プラットフォームのパフォーマンスと多様性を実証するものです。

ベンチマーク 規模 (最小) アクセラレータごと (最小)
レコメンデーション (DLRM) 0.59 (DGX SuperPOD) 12.78 (A100)
NLP (BERT) 0.21 (DGX SuperPOD) 126.95 (A100)
音声認識 - リカレント (RNN-T) 2.15 (DGX SuperPOD) 230.07 (A100)
物体検出 - ヘビーウェイト (Mask R-CNN) 3.09 (DGX SuperPOD) 327.34 (A100)
物体検出 - ライトウェイト (RetinaNet) 4.25 (DGX SuperPOD) 675.18 (A100)
画像分類 (ResNet-50 v1.5) 0.32 (DGX SuperPOD) 217.82 (A100)
画像セグメンテーション (3D U-Net) 1.22 (DGX SuperPOD) 170.23 (A100)
強化学習 (MiniGo) 16.23 (DGX SuperPOD) 2045.4 (A100)

NVIDIA パートナーの単一ノードの学習時間にチップ数を掛けて計算された、A100 のアクセラレータ別パフォーマンス - 最も近い同様のスケールでの比較による、チップ別の他とのパフォーマンス比較
学習のための最大スケール時間: DLRM:  2.0-2098 | BERT:  2.0-2106 | Mask R-CNN: 2.0-2099   | ResNet-50 v1.5: 2.0-2107  | RetinaNet: 2.0-2103  | RNN-T: 2.0-2104  | 3D U-Net: 2.0-2100  | MiniGo: 2.0-2105 
アクセラレータごとの学習時間: DLRM: 2.0-2068 | BERT: 2.0-2070 | Mask R-CNN: 2.0-207 | ResNet-50 v1.5: 2.0-2069  | RetinaNet: 2.0-2091  | RNN-T: 2.0-2066  | 3D U-Net: 2.0-2060  | MiniGo: 2.0-2105 
MLPerf の名称およびロゴは商標です。詳細は、www.mlperf.org をご覧ください。

NVIDIA はすべてのシナリオ (データ センター サーバーとオフライン、ならびにエッジ シングルストリーム、マルチストリーム、オフライン) で最高のパフォーマンス結果を達成しました。また、すべての製品を対象とするベンチマーク テストすべてにおいて、アクセラレータあたりで最高のパフォーマンスを実現しました。これらの結果は、推論パフォーマンスにおける NVIDIA のリーダーシップだけではなく、NVIDIA の推論プラットフォームの汎用性を証明しています。

データ センターとエッジのオフライン シナリオ (単一の GPU)

  NVIDIA A100 (x86 CPU)
(推論/秒)		 NVIDIA A100 (Arm CPU)
(推論/秒)		 NVIDIA A30
(推論/秒)		 NVIDIA® Jetson AGX Orin™
(最大推論/クエリ)
DLRM
(レコメンダー)		 312,380 281,283 138,194 N/A*
BERT
(自然言語処理)		 3,490 3,149 1,668 476
ResNet-50 v1.5
(画像分類)		 39,190 36,487 18,406 6,139
ResNet-34
(大規模な Single-Shot Detector)		 990 906 478 208
RNN-T
(音声認識)		 13,344 13,188 6,557 1,110
3D U-Net
(医用画像処理)		 3 3 2 0.5

*DLRM は Edge カテゴリ スイートに含まれていません。

1) MLPerf v2.0 Inference の結果。シナリオは「データ センター サーバーのフォーム ファクターとオフライン」。2022 年 4 月 6 日に www.mlperf.org から取得。エントリは Inf-2.0-094、Inf-2.0-077、Inf-2.0-090。プロセッサ当たりのパフォーマンスは、報告されたアクセラレータ数で全体のパフォーマンスの主要な指標を割って算出されます。

2) MLPerf v2.0 Inference の結果。シナリオは「オフラインのエッジのフォーム ファクター」。2022 年 4 月 6 日に ww.mlperf.org から取得。エントリは 2.0-140。プロセッサ当たりのパフォーマンスは、報告されたアクセラレータ数で全体のパフォーマンスの主要な指標を割って算出されます。

成果の背後にあるテクノロジ

AI の仕組みは複雑であり、プラットフォームのあらゆる面をしっかりと統合することが必要となります。MLPerf のベンチマークが示したように、NVIDIA AI プラットフォームは、世界最先端の GPU、パワフルかつ拡張性の高い相互接続テクノロジ、最新のソフトウェアにより、他をリードするパフォーマンスを提供します。これはデータ センター、クラウド、エッジでデプロイ可能なエンドツーエンドのソリューションで、驚異的な成果をもたらします。

NVIDIA NGC の学習済みモデルと最適化されたソフトウェア

AI ワークフローを加速する最適化されたソフトウェア

NVIDIA プラットフォームと MLPerf 学習および推論の成果に欠かせない要素である NGC™ カタログは GPU で最適化された AI、HPC (ハイ パフォーマンス コンピューティング)、データ分析ソフトウェアのハブであり、エンドツーエンドのワークフローを簡素化し、高速化します。対話型 AI やレコメンダー システムのワークロードなど 150 以上のエンタープライズグレードのコンテナー、何百もの AI モデル、オンプレミス、クラウド、エッジにデプロイ可能な業界特有の SDK を活用できる NGC を通して、データ サイエンティスト、研究者、開発者は、かつてない速度と品質でソリューションを構築し、洞察や知見を収集し、ビジネスの価値を提供できるようになります。

NGC カタログにアクセスする

業界トップクラスの AI インフラストラクチャ

学習と推論において世界をリードする結果を得るには、世界で最も複雑な AI の課題に特化したインフラストラクチャが必要です。NVIDIA AI プラットフォームは、NVIDIA A100 Tensor コア GPU、NVIDIA A30 Tensor コア GPU、NVIDIA A2 Tensor コア GPU、Jetson AGX Orin モジュール のパワーと、NVIDIA NVLink®、NVIDIA NVSwitch™、NVIDIA ConnectX®-6 VPI といった NVIDIA 相互接続テクノロジの拡張性および柔軟性を利用して提供されます。これらは NVIDIA のベンチマークにおけるパフォーマンスを支えるエンジン、NVIDIA DGX™ A100 の中核を成しています。

NVIDIA DGX™ システムは、あらゆる企業が業界トップクラスの AI インフラストラクチャを構築できるよう、拡張性、迅速なデプロイ、驚異的な演算能力を実現します。

詳細を見る
NVIDIA Tensor コア GPU

NVIDIA のデータ センター学習および推論製品のパフォーマンスの詳細をご覧ください。

パフォーマンスを見る
画像の分類

画像の分類

MLPerf 学習および推論では、ResNet v1.5 と ImageNet データセットを使用します。
MLPerf 推論では、ResNet-50 v.1.5、MobileNet-v1、ImageNet データセットを使用しました。
物体検出 (軽)

物体検出 (軽)

MLPerf 学習では COCO 2017 データセットで SSD (Single-Shot Detector) を使用。
MLPerf 推論では SSD-MobileNet-v1 (低解像度、0.09 MP) と COCO 2017 データセットを使用。
物体検出 (重)

物体検出 (重)

MLPerf 学習では COCO 2014 データセットで Mask R-CNN を使用。
MLPerf 推論では SSD-ResNet-34 (高解像度、1.44 MP) と COCO 2017 データセットを使用。
翻訳 (リカレント)

翻訳 (リカレント)

MLPerf では、WMT 英語-ドイツ語データセットで Google の機械翻訳システム (GNMT) を使用しました。
MLPerf Inference では、WMT16 データセットで Google ニューラル機械翻訳 (GNMT) RNN を使用しました。
翻訳 (非リカレント)

翻訳 (非リカレント)

MLPerf では、WMT 英語-ドイツ語データセットで Transformer を使用しました。
MLPerf Inference では、LibriSpeech データセットで RNN-T ネットワークを使用して音声認識を測定しました。
自然言語処理 (NLP)

自然言語処理 (NLP)

MLPerf 学習では Wikipedia 2020/01/01 データセットで BERT (Bidirectional Encoder Representations from Transformers) を使用。
MLPerf 推論では BERT と SQuAD v.1.1 データセットを使用。
レコメンデーション

レコメンデーション

MLPerf 学習および推論では、Criteo 1 TB データセットで DLRM (Deep Learning Recommendation Model) を使用します。
MLPerf 推論では、Criteo Terabyte データセットで DLRM ネットワークを使用しました。
強化学習

強化学習

MLPerf 学習では Mini Go ベンチマーク ベース ゲームプレイを使用。
自動音声認識 (ASR)

自動音声認識 (ASR)

MLPerf 学習および推論では、Librispeech データセットで RNN-T を使用しました。
生物医学画像解析

生物医学画像解析

MLPerf 学習および推論では、3D U-Net と KiTS19 データセットを使用します。
製品
テクノロジ
ソフトウェア
関連情報