MLPerf の基準
を塗り替える

NVIDIA のトレーニングおよび推論ソリューションは、業界をリードする AI パフォーマンスのベンチマークである MLPerf の記録を塗り替えるパフォーマンスを提供します。

NVIDIA の成果をご覧ください

MLPerf とは?

MLPerf は、「公平かつ有用なベンチマークを作る」ことを目指した学界、研究機関、業界の AI リーダーたちによるコンソーシアムで、ハードウェア、ソフトウェア、サービスのトレーニングおよび推論のパフォーマンスに対し公正な評価を提供します。この評価はすべて、規定された条件下で行われます。業界のトレンドの最先端を走り続けるため、MLPerf は継続的に進化し、新しいテストを定期的に実施して、最新の AI を体現する新しいワークロードを追加しています。

MLPerf 検証カテゴリ

MLPerf Training v0.7 はトレーニングとして 3 番目に具体化したもので、映像、言語、レコメンダー、強化学習などのさまざまなユースケースを対象とする 8 種の異なるワークロードで構成されています。

MLPerf Inference v0.7 では、異なる 7 種のニューラル ネットワークで、異なる 5 つのユースケースをテストしました。これらのユースケースのうち 4 つはコンピューター ビジョン関連で、残る 1 つは言語翻訳関連でした。

画像の分類

画像の分類

入力画像に、決められた一連のカテゴリからラベルを割り当て、自動運転車などのコンピューター ビジョンの問題に適用します。 詳細

物体検出 (軽)

物体検出 (軽)

画像や動画内の顔、自転車、建物など、現実世界の物体のインスタンスを見つけ、それぞれの周囲に境界ボックスを指定します。詳細

物体検出 (重)

物体検出 (重)

画像に現れる、対象の個別のオブジェクトを検出し、それぞれのピクセル マスクを識別します。詳細

翻訳 (リカレント)

翻訳 (リカレント)

リカレント ニューラル ネットワーク (RNN) を使用して、ある言語から別の言語にテキストを翻訳します。詳細

翻訳 (非リカレント)

翻訳 (非リカレント)

フィードフォワード ニューラル ネットワークを使用して、ある言語から別の言語にテキストを翻訳します。詳細

自然言語処理 (NLP)

自然言語処理 (NLP)

ひとかたまりのテキスト中のさまざまな単語間の関係を使用してテキストを認識します。質問への回答、文の言い換え、その他のさまざまな言語関連のユースケースを実現します。詳細

レコメンデーション

レコメンデーション

ユーザーと、製品や広告などのサービス アイテムとのやりとりを理解することで、ソーシャル メディアや E コマース ウェブサイトなどのユーザー向けサービスでパーソナライズされた内容を提供します。詳細

強化学習

強化学習

19x19 の盤面で対局する囲碁を使用して、さまざまな手を評価し、戦略的効果を最大に高めます。詳細

NVIDIA の MLPerf ベンチマークの結果

  • トレーニング

    トレーニング

  • 推論

    推論

NVIDIA A100 Tensor コア GPU と NVIDIA DGX SuperPOD™ は、16 のトレーニングすべてにおいて、市販システム向けのチップあたりのワークロードと大規模ワークロードの両方でパフォーマンス記録を更新しました。この画期的なパフォーマンスは、ハードウェア、ソフトウェア、システムレベルのテクノロジの緊密な統合が生み出しました。NVIDIA はフルスタック パフォーマンスに対し継続的な投資を行ってきましたが、これが 3 つの MLPerf 検証でのスループット改善につながりました。

MLPerf の 1 年半の期間でパフォーマンスを最大 4 倍に

NVIDIA のフルスタック イノベーションにより、継続的な改善を実現

MLPerf の 1 年半の期間でパフォーマンスを最大 4 倍に

単一エポックの DGX-1V サーバー 1 台のスループットを DGX A100 (ニューラル ネットワークに渡すデータセット 1 回分) と比較 - MLPerf ID 0.5/0.6/0.7 の比較: ResNet-50 v1.5: 0.5-12、/0.6-8 /0.7-39、0.7-18 - SSD: 0.5-13/0.6-9 /0.7-40、0.719 - GNMT: 0.5-13/0.6-9 /0.7-40 0.7-19 - Mask R-CNN: 0.5-13/0.6-9 /0.7-40 0.7-19 - Transformer: 0.5-13/0.6-9 0.7-40、0.7-19。MLPerf の名称およびロゴは商標です。詳しくは、www.mlperf.org をご覧ください。

NVIDIA が 16 の記録を更新

市販ソリューション向け

  最大スケールの記録 アクセラレータごとの記録
レコメンデーション (DLRM) 3.33 分 0.44 時間
NLP (BERT) 0.81 分 6.53 時間
強化学習 (MiniGo) 17.07 分 39.96 時間
翻訳 (非リカレント) (Transformer) 0.62 分 1.05 時間
翻訳 (リカレント) (GNMT) 0.71 分 1.04 時間
物体検出 (重) (Mask R-CNN) 10.46 分 10.95 時間
物体検出 (軽) (SSD) 0.82 分 1.36 時間
画像の分類 (ResNet-50 v1.5) 0.76 分 5.30 時間

チップあたりのパフォーマンスは、可能な限り同じ尺度でパフォーマンスを比較することで測定しました。アクセラレータあたりの比較では、MLPerf 0.7 NVIDIA A100 (8 x A100) の報告されたパフォーマンスを使用しました。MLPerf ID DLRM: 0.7-17、ResNet50 v1.5: 0.7-18、0.7-15 BERT、GNMT、Mask R-CNN、SSD、Transformer: 07-19、MiniGo: 0.7-20。最大スケール: すべての結果は NVIDIA DGX A100 (8 x A100) を使用した MLPerf v0.7 によります。MLPerf ID 最大スケール: ResNet-50 v1.5: 0.7-37、Mask R-CNN: 0.7-28、SSD: 0.7-33、GNMT: 0.7-34、Transformer: 0.7-30、MiniGo: 0.7-36、BERT: 0.7-38、DLRM: 0.7-17。MLPerf の名称およびロゴは商標です。詳しくは、 www.mlperf.org をご覧ください。

NVIDIA は、5 つのシナリオ (データ センター サーバーとオフライン、エッジ シングルストリーム、マルチストリーム、およびオフライン) の全てで最高の結果を達成しました。さらに、5 つのベンチマーク テストすべてにおいて、テストされたすべての製品の中で、アクセラレータ当たりの性能でも最高の結果を実現しました。これらの結果は、NVIDIA の推論性能のリーダーシップだけでなく、NVIDIA の推論プラットフォームの汎用性を示すものです。

データ センターとエッジのサーバー シナリオ

NVIDIA Turing アーキテクチャ

  NVIDIA T4
(推論/秒)		 NVIDIA A100
(推論/秒)		 NVIDIA® Jetson Xavier™
(最大推論/クエリ)
DLRM
(レコメンダー)		 34,052 264,189 N/A
BERT
(自然言語処理)		 437 3,328 91
ResNet-50 v1.5
(画像の分類)		 6,112 37,331 2,075
MobileNet-v1
(Small Single Shot Detector)		 995 6,401 2,533
ResNet-34
(Large Single Shot Detector)		 139 974 51
RNN-T
(音声認識)		 1,495 10,300 419
3D U-Net
(医用画像)		 7 42 2.3

1) データ センター サーバー フォーム ファクターと、オフラインおよびサーバーのシナリオの MLPerf v0.7 推論結果は、 www.mlperf.org の 2020 年 10 月 21 日より取得しました。プロセッサあたりのパフォーマンスは、報告されたアクセラレータ数で全体のパフォーマンスの主要なメトリックを割って求めたものです。
2) エッジ フォーム ファクターと、シングルストリームおよびマルチストリーム シナリオの MLPerf v0.7 推論結果は、 www.mlperf.org の 2020 年 10 月 21 日より取得しました。

結果の背後にあるテクノロジ

AI の仕組みは複雑であり、プラットフォームのあらゆる面をしっかりと統合することが必要となります。MLPerf のベンチマークが示したように、NVIDIA AI プラットフォームは、世界最先端の GPU、パワフルかつスケーラブルな相互接続テクノロジ、最新のソフトウェアにより、他をリードするパフォーマンスを提供します。これはデータ センター、クラウド、エッジでデプロイ可能なエンドツーエンドのソリューションで、驚異的な成果をもたらします。

AI ワークフローを加速する最適化されたソフトウェア

AI ワークフローを加速する最適化されたソフトウェア

NVIDIA プラットフォームと MLPerf トレーニングおよび推論の成果に欠かせない要素である NGC™ は、GPU に最適化された AI、HPC (ハイ パフォーマンス コンピューティング)、データ分析ソフトウェアをまとめたもので、エンドツーエンドのワークフローを簡素化および高速化します。対話型 AI やレコメンダー システムのワークロードなど 150 以上のエンタープライズグレードのコンテナー、100 以上のモデル、オンプレミス、クラウド、エッジにデプロイ可能な業界に特化した SDK を持つ NGC により、データ サイエンティスト、研究者、開発者は、これまでにない素早さでクラス最高のソリューション構築やインサイト収集を行い、ビジネスの価値を提供できるようになります。

NGC を見る

業界トップクラスの AI インフラストラクチャ

トレーニングと推論において世界をリードする結果を得るには、世界で最も複雑な AI の課題に特化して構築されたインフラストラクチャが必要です。NVIDIA AI プラットフォームは、 NVIDIA A100 Tensor コア GPU と NVIDIA T4 Tensor コア GPU のパワー、NVIDIA 相互接続テクノロジ NVLink® および NVSwitch™ のスケーラビリティと柔軟性、そして Mellanox ConnectX-6 VPI を使用して提供されます。これらは NVIDIA のベンチマークにおけるパフォーマンスを支えるエンジン、NVIDIA DGX™ A100 の中核を成しています。

NVIDIA DGX™ Systems は、あらゆる企業が業界トップクラスの AI インフラストラクチャを構築可能なスケーラビリティ、迅速なデプロイ、驚異的なコンピューティング パワーを提供します。

詳細を見る
業界トップクラスの AI インフラストラクチャ

NVIDIA のデータ センター トレーニングおよび推論製品のパフォーマンスの詳細をご覧ください。

パフォーマンスを見る
画像の分類

画像の分類

MLPerf Training では、ImageNet データセットで ResNet v1.5 を使用しました。
MLPerf Training と Inference では、ResNet v1.5 と ImageNet データセットを使用しました。
物体検出 (軽)

物体検出 (軽)

MLPerf Training では、COCO データセット上で Single-Shot Detector (SSD) を使用しました。
MLPerf Inference では、SSD-MobileNet-v1 (低解像度、0.09 MP) を COCO データセットで使用しました。
物体検出 (重)

物体検出 (重)

MLPerf Training では、COCO データセット上で Mask R-CNN を使用しました。
MLPerf Inference では、SSD-ResNet-34 (高解像度, 1.44 MP) を COCO データセットで使用しました。
翻訳 (リカレント)

翻訳 (リカレント)

MLPerf では、WMT 英語-ドイツ語データセットで Google の機械翻訳システム (GNMT) を使用しました。
MLPerf Inference では、WMT16 データセットで Google ニューラル機械翻訳 (GNMT) RNN を使用しました。
翻訳 (非リカレント)

翻訳 (非リカレント)

MLPerf では、WMT 英語-ドイツ語データセットで Transformer を使用しました。
MLPerf Inference は、LibriSpeech データセットで RNN-T ネットワークを用いて音声認識を測定しました。
自然言語処理 (NLP)

自然言語処理 (NLP)

MLPerf では、ウィキペディア 2020/01/01 データセットで、Transformer による双方向エンコーダー表現 (BERT) を使用しました。
MLPerf Inference は、SQuAD v.1.1.1 データセットで BERT を使用しました。
レコメンデーション

レコメンデーション

MLPerf では、1 TB のクリック ログ データセットでディープラーニング レコメンデーション モデル (DLRM) を使用しました。
MLPerf Inference は、Criteo Terabyte データセットで DLRM ネットワークを使用しました。
強化学習

強化学習

MLPerf では、囲碁データセットに基づく Mini Go を使用しました。
製品
テクノロジ
ソフトウェア
関連情報