This site requires Javascript in order to view all its content. Please enable Javascript in order to access all the functionality of this web site. Here are the instructions how to enable JavaScript in your web browser.

Die Messlatte hoch setzen in MLPerf

Training- und Inferenz-Lösungen von NVIDIA erzielen rekordverdächtige Leistung in der Bewertung von MLPerf, dem führenden Branchenbenchmark für KI-Leistung

Unsere Ergebnisse

Was ist MLPerf?

MLPerf ist ein Konsortium von führenden Akteuren im KI-Bereich aus Wissenschaft, Forschungslaboren und der Wirtschaft, deren Aufgabe es ist, „faire und nutzbare Benchmarks zu schaffen“. Sie sollen dazu dienen, unvoreingenommene Bewertungen von Trainings- und Inferenzleistung für Hardware, Software und Services vorzunehmen, die alle unter vorgegebenen Bedingungen durchgeführt werden. Um bei den Branchentrends nicht ins Hintertreffen zu gelangen, entwickelt sich MLPerf ständig weiter und führt regelmäßig neue Tests durch und fügt neue Workloads hinzu, die dem neuesten Stand von KI entsprechen.

MLPerf – Einreichungskategorien

MLPerf Training v0.7 ist die dritte Instanz für Training und setzt sich aus acht verschiedenen Workloads zusammen, die verschiedenste Anwendungsfälle umfassen, darunter Vision, Sprache, Empfehlungen und bestärkendes Lernen.

MLPerf Inference v1.0 wurde in sieben verschiedenen Anwendungsfällen in sieben verschiedenen Arten von neuronalen Netzen getestet. Drei dieser Anwendungsfälle waren für Computer Vision, einer für Empfehlungssysteme, zwei für die Sprachverarbeitung und einer für die medizinische Bildgebung.

Bildklassifikation

Weist einem Eingabebild ein Label aus einem festgelegten Satz von Kategorien zu, beispielsweise bei Computer-Vision-Problemen wie autonomen Fahrzeugen.Details.

Objekterkennung (leicht)

Sucht nach Instanzen von Objekten aus der realen Welt, wie Gesichtern, Fahrrädern und Gebäuden in Bildern oder Videos, und gibt jeweils einen Begrenzungsrahmen an. Details.

Objekterkennung (schwer)

Erkennt verschiedene interessante Objekte, die in einem Bild angezeigt werden, und identifiziert jeweils eine Pixelmaske. Details.

Übersetzung (wiederholt)

Übersetzt Text aus einer Sprache in eine andere Sprache mithilfe eines rekurrenten neuronalen Netzes (RNN). Details.

Übersetzung (einmalig)

Übersetzt Text aus einer Sprache in eine andere über ein vorwärtsgerichtetes neuronales Netzwerk. Details.

Verarbeitung natürlicher Sprache (NLP)

Versteht Text, indem die Beziehung zwischen verschiedenen Wörtern in einem Textblock verwendet wird. Ermöglicht die Beantwortung von Fragen, die Satzparaphrasierung und viele andere sprachbezogene Anwendungsfälle. Details.

Empfehlung

Bietet personalisierte Ergebnisse in Diensten für Benutzer wie Social-Media- oder E-Commerce-Websites, indem Interaktionen zwischen Nutzern und Serviceartikeln wie beispielsweise Produkte oder Anzeigen analysiert werden. Details.

Bestärkendes Lernen

Bewertet verschiedene mögliche Aktionen zur Maximierung des Nutzens mithilfe des Strategiespiels Go, das in einem 19 x 19-Raster gespielt wird. Details.

NVIDIA – MLPerf-Benchmarkergebnisse

Training
Inferenz

Die NVIDIA A100 Tensor Core-GPU und der NVIDIA DGX SuperPOD^™ haben alle 16 Trainingsleistungsrekorde sowohl bei Pro-Chip- als auch bei At-Scale-Workloads für kommerziell erhältliche Systeme aufgestellt. Diese bahnbrechende Leistung resultiert aus der engen Integration von Hardware-, Software- und System-Level-Technologien. Die kontinuierlichen Investitionen von NVIDIA in Full-Stack-Leistung haben zu einer Verbesserung des Durchsatzes gegenüber den drei MLPerf-Einreichungen geführt.

BIS ZU VIERMAL MEHR LEISTUNG IN 1,5 JAHREN VON MLPERF

NVIDIAs Innovationen in den gesamten Technologie-Stack sorgen fortlaufend für Verbesserungen

Vergleich des Durchsatzes eines einzelnen DGX-1V-Servers auf einer einzelnen Epoche und DGX A100 (einzelner Durchlauf des Datensatzes über das neuronale Netz) | MLPerf-ID 0.5/0.6/0.7 – Vergleich: ResNet-50 v1.5:0.5-12,/0.6-8/0.7-39, 0.7-18 | SSD: 0.5-13/0.6-9/0.7-40, 0.719 | GNMT: 0.5-13/0.6-9/0.7-40 0.7-19 | Mask R-CNN: 0.5-13/0.6-9/0.7-40 0.7-19 | Transformator: 0.5-13/0.6-9 0.7-40, 0.7-19. Name und Logo von MLPerf sind markenrechtlich geschützt. Weitere Informationen finden Sie auf www.mlperf.org.

NVIDIA stellt alle 16 Rekorde auf

Für handelsübliche Lösungen

	Rekorde auf höchstem Niveau	Rekorde pro Beschleuniger
Empfehlung (DLRM)	3,33 Min.	0,44 Std.
NLP (BERT)	0,81 Min.	6,53 Std.
Bestärkendes Lernen (MiniGo)	17,07 Min.	39,96 Std.
Übersetzung (einmalig) (Transformator)	0,62 Min.	1,05 Std.
Übersetzung (wiederholt) (Transformator)	0,71 Min.	1,04 Std.
Objekterkennung (schwer) (Mask R-CNN)	10,46 Min.	10,95 Std.
Objekterkennung (leicht) (SSD)	0,82 Min.	1,36 Std.
Bildklassifizierung (ResNet-50 v1.5)	0,76 Min.	5,30 Std.

Die Leistung pro Chip wurde, wenn möglich, durch Vergleich der Leistung bei gleicher Skalierung ermittelt. Pro-Beschleuniger-Vergleich mit gemeldeter Leistung für MLPerf 0.7 NVIDIA A100 (8 A100s). MLPerf ID DLRM: 0,7-17, ResNet50 v1.5: 0,7-18, 0,7-15 BERT, GNMT, Mask R-CNN, SSD, Transformer: 07-19, MiniGo: 0,7-20. Max. Skalierung: alle Ergebnisse von MLPerf v0.7 mit NVIDIA DGX A100 (8 A100s)\. MLPerf ID Max. Skalierung: ResNet-50 v1.5: 0,7-37, Mask R-CNN: 0,7-28, SSD: 0,7-33, GNMT: 0,7-34, Transformer: 0,7-30, MiniGo: 0,7-36, BERT: 0,7-38, DLRM: 0,7-17. Name und Logo von MLPerf sind markenrechtlich geschützt. Weitere Informationen finden Sie auf www.mlperf.org.

NVIDIA erzielte herausragende Leistungsergebnisse in allen fünf Szenarien (Server und Offline im Rechenzentrum sowie Single-Stream, Multi-Stream und Offline in der Peripherie). Darüber hinaus erreichten wir in allen Benchmarktests die beste Leistung pro Beschleuniger im Vergleich aller getesteten Produkte. Diese Ergebnisse bestätigen nicht nur NVIDIAs führende Position im Bereich Inferenz, sondern belegen auch die Vielseitigkeit unserer Inferenzplattform.

Offlineszenario für Rechenzentrum und Edge (einzelne GPU)

	NVIDIA A100 (Inferenzen/Sekunde)	NVIDIA A30 (Inferenzen/Sekunde)	NVIDIA A10 (Inferenzen/Sekunde)	NVIDIA^® Jetson Xavier^™ (Max. Inferenzen/Abfrage)
DLRM (Empfohlen)	307,788	133,439	96,547	k. A.*
BERT (Verarbeitung natürlicher Sprache)	3,543	1,658	1,057	92
ResNet-50 v1.5 (Bildklassifikation)	38,110	17,690	13,210	2,072
ResNet-34 (Single-Shot Detector groß)	985	470	312	57
RNN-T (Spracherkennung)	13,210	6,461	4,515	433
3D U-Net (Medizinische Bildgebung)	60	30	22	3

* DLRM nicht Teil der Edge-Kategoriesuite

1) MLPerf v1.0-Inferenzergebnisse für Serverformfaktoren im Rechenzentrum und Offline- und Serverszenarien von www.mlperf.org am 21. April 2021. Die Leistung pro Prozessor wird berechnet, indem die primäre Kennzahl der Gesamtleistung durch die Anzahl der gemeldeten Beschleuniger dividiert wird.
2) MLPerf v1.0-Inferenzergebnisse für Peripherie-Formfaktoren und mit Single- sowie Multi-Stream-Szenarien von www.mlperf.org am 21. April 2021.

1) MLPerf v1.0-Inferenzergebnisse für Rechenzentrumsserver-Formfaktoren und Offline- sowie Serverszenarien von www.mlperf.org am 21. April 2021 aus den Einträgen Inf-1.0-37, Inf-1.0-63, Inf-1.0-65. Die Leistung pro Prozessor wird berechnet, indem die primäre Metrik der Gesamtleistung durch die Anzahl der gemeldeten Beschleuniger dividiert wird.
2) MLPerf v1.0-Inferenzergebnisse für Peripherie-Formfaktoren und Offlineszenario von www.mlperf.org am 21. April 2021 aus den Einträgen Inf-1.0-25.

Die Technologie hinter den Ergebnissen

Da KI ein so komplexer Bereich ist, ist eine enge Integration aller Aspekte der Plattform vonnöten. Wie die Benchmarks von MLPerf zeigen, liefert die KI-Plattform von NVIDIA erstklassige Leistung mit dem weltweit fortschrittlichsten Grafikprozessor, leistungsfähigen und skalierbaren Verbindungstechnologien sowie modernster Software – eine durchgehende Lösung, die im Rechenzentrum, in der Cloud oder in der Peripherie mit beeindruckenden Ergebnissen eingesetzt werden kann.

Optimierte Software zur Beschleunigung von KI-Workflows

Als wesentlicher Bestandteil der NVIDIA-Plattform und der MLPerf-Trainings- sowie Inferenzergebnisse ist NGC^™ eine Drehscheibe für GPU-optimierte KI-, High-Performance-Computing (HPC)- und Datenanalysesoftware, die End-to-End-Workflows vereinfacht und beschleunigt. Mit über 150 Containern auf Enterprise-Ebene, einschließlich Workloads für Gesprächs-KI- und Empfehlungssysteme, über 100 Modellen und branchenspezifischen SDKs, die lokal, in der Cloud oder in der Peripherie bereitgestellt werden können, ermöglicht es NGC Datenwissenschaftlern, Forschern und Entwicklern, erstklassige Lösungen zu entwickeln, Erkenntnisse zu sammeln und Geschäftsnutzen schneller als je zuvor zu liefern.

NGC BESUCHEN

Erstklassige KI-Infrastruktur

Um weltweit führende Ergebnisse über Trainings und Ingerenzen hinweg zu erzielen, bedarf es einer Infrastruktur, die speziell für die komplexesten KI-Herausforderungen der Welt entwickelt wurde. Die NVIDIA KI-Plattform nutzt die Leistung der NVIDIA A100 Tensor Core-GPU, der NVIDIA A30 Tensor Core-GPU, der NVIDIA A10 Tensor Core-GPU sowie Skalierbarkeit und Flexibilität der NVIDIA-Verbindungstechnologien – NVIDIA NVLink^®, NVIDIA NVSwitch^™ und NVIDIA ConnectX^®-6-VPI. Diese sind das Herzstück der NVIDIA DGX^™ A100, der Engine hinter unserer Benchmark-Leistung.

DGX^™-Systeme von NVIDIA zeichnen sich aus durch Skalierbarkeit, schnelle Bereitstellung und unglaubliche Rechenleistung, die es jedem Unternehmen ermöglichen, eine erstklassige KI-Infrastruktur aufzubauen.

WEITERE INFORMATIONEN

Erfahren Sie mehr über die Leistung unserer Rechenzentrumsprodukte bei Training und Inferenz.

Leistungsdaten anzeigen