This site requires Javascript in order to view all its content. Please enable Javascript in order to access all the functionality of this web site. Here are the instructions how to enable JavaScript in your web browser.

MLPerf-Benchmarks

Die KI-Plattform von NVIDIA glänzt sowohl bei MLPerf Training als auch bei Inferenz und präsentiert führende Leistung und Vielseitigkeit, um die anspruchsvollsten KI-Workloads in der Praxis zu bewältigen.

Unsere Ergebnisse

Was ist MLPerf?

MLPerf ist ein Konsortium von führenden Akteuren im KI-Bereich aus Wissenschaft, Forschungslaboren und der Wirtschaft, deren Aufgabe es ist, „faire und nutzbare Benchmarks zu schaffen“. Sie sollen dazu dienen, unvoreingenommene Bewertungen von Trainings- und Inferenzleistung für Hardware, Software und Services vorzunehmen, die alle unter vorgegebenen Bedingungen durchgeführt werden. Um bei den Branchentrends nicht ins Hintertreffen zu gelangen, entwickelt sich MLPerf ständig weiter, führt regelmäßig neue Tests durch und fügt neue Workloads hinzu, die dem neuesten Stand von KI entsprechen.

Die Technische Hochschule Chalmers, eine der führenden Forschungseinrichtungen in Schweden, ist auf mehrere Bereiche von der Nanotechnologie bis zur Klimaforschung spezialisiert. Seit wir für unsere Forschungsbemühungen KI nutzen, konnten wir feststellen, dass der MLPerf-Benchmark einen transparenten und sinnvollen Vergleich über mehrere KI-Plattformen hinweg ermöglicht und die tatsächliche Leistung in verschiedenen realen Anwendungsfällen widerspiegelt.

– Technische Universität Chalmers, Schweden

TSMC fordert und fördert die Spitzentechnologie der globalen Halbleiterfertigung, beispielsweise mit unserem neuesten 5-nm-Knoten, der marktführend in der Prozesstechnologie ist. Innovationen wie auf maschinellem Lernen basierende Lithographie und Ätzverfahren verbessern die Genauigkeit unserer Korrektur des optischen Naheffekts (Optical Proximity Correction, OPC) und der Ätzungssimulation dramatisch. Um das Potenzial des maschinellen Lernens bei Modelltraining und Inferenz voll auszuschöpfen, arbeiten wir mit dem NVIDIA-Entwicklungsteam zusammen, um unsere Maxwell-Simulations- und ILT-Engine (Inverse Lithography Technology) auf GPUs zu portieren und somit signifikante Beschleunigungen zu erzielen. Der MLPerf-Benchmark ist für uns ein wichtiger Faktor bei der Entscheidungsfindung.

– Dr. Danping Peng, Direktor, OPC-Abteilung, TSMC, San Jose, Kalifornien, USA

Computer Vision und Bildgebung stehen im Mittelpunkt der KI-Forschung, sind Triebfeder der wissenschaftlichen Entdeckung und stellen Kernkomponenten der medizinischen Versorgung dar. Wir konnten in enger Zusammenarbeit mit NVIDIA Innovationen wie 3DUNet für den Gesundheitssektor umsetzen. MLPerf-Benchmarks sind der Industriestandard und liefern relevante Leistungsdaten, wodurch sie IT-Organisationen und Entwicklern helfen, die richtige Lösung für die Beschleunigung ihrer spezifischen Projekte und Anwendungen zu finden.

– Prof. Dr. Klaus Maier-Hein (Head of Medical Image Computing, Deutsches Krebsforschungszentrum (DKFZ))

Als Marktführer im Bereich Forschung und Fertigung nutzt Samsung KI, um die Produktleistung und die Produktivität in der Fertigung deutlich zu steigern. Um diese KI-Fortschritte in der Produktion nutzen zu können, benötigen wir die beste erhältliche Computerplattform. Der MLPerf-Benchmark optimiert unseren Auswahlprozess, indem er uns eine offene, direkte Evaluationsmethode zur Verfügung stellt, mit der wir verschiedene Plattformen einheitlich bewerten können.

– Samsung Electronics

MLPerf – Einreichungskategorien

MLPerf Training v2.0 ist die sechste Instanz für Training und setzt sich aus acht verschiedenen Workloads zusammen, die verschiedenste Anwendungsfälle umfassen, darunter Vision, Sprache, Empfehlungen und bestärkendes Lernen.

MLPerf Inference v2.0 wurde in sieben verschiedenen Anwendungsfällen in sieben verschiedenen Arten von neuronalen Netzen getestet. Drei dieser Anwendungsfälle waren für Computer Vision, einer für Empfehlungssysteme, zwei für die Sprachverarbeitung und einer für die medizinische Bildgebung.

Bildklassifikation

Weist einem Eingabebild ein Label aus einem festgelegten Satz von Kategorien zu, beispielsweise bei Computer-Vision-Problemen. Details.

Objekterkennung (leicht)

Sucht nach Instanzen von Objekten aus der realen Welt, wie Gesichtern, Fahrrädern und Gebäuden in Bildern oder Videos, und gibt jeweils einen Begrenzungsrahmen an. Details.

Objekterkennung (schwer)

Erkennt verschiedene interessante Objekte, die in einem Bild angezeigt werden, und identifiziert jeweils eine Pixelmaske. Details.

Biomedizinische Bildsegmentierung

Führt die volumetrische Segmentierung dichter 3D-Bilder für medizinische Anwendungsfälle durch. Details.

Übersetzung (wiederholt)

Übersetzt Text aus einer Sprache in eine andere Sprache mithilfe eines rekurrenten neuronalen Netzes (RNN). Details.

Automatische Spracherkennung (Automatic Speech Recognition, ASR)

Erkennt und transkribiert Audio in Echtzeit. Details.

Verarbeitung natürlicher Sprache (NLP)

Versteht Text, indem die Beziehung zwischen verschiedenen Wörtern in einem Textblock verwendet wird. Ermöglicht die Beantwortung von Fragen, die Satzparaphrasierung und viele andere sprachbezogene Anwendungsfälle. Details.

Empfehlung

Bietet personalisierte Ergebnisse in Diensten für Benutzer, wie Social-Media- oder E-Commerce-Websites, indem Interaktionen zwischen Nutzern und Serviceartikeln, wie beispielsweise Produkte oder Anzeigen, analysiert werden. Details.

Bestärkendes Lernen

Bewertet verschiedene mögliche Aktionen zur Maximierung des Nutzens mithilfe des Strategiespiels Go, das in einem 19 x 19-Raster gespielt wird. Details.

NVIDIA – MLPerf-Benchmarkergebnisse

Training
Inferenz

Die NVIDIA A100 Tensor Core-GPU und der NVIDIA DGX SuperPOD^™ haben bei allen MLPerf-Tests eine hervorragende Leistung geboten – sowohl bei Pro-Chip- als auch bei At-Scale-Workloads. Diese bahnbrechende Leistung resultiert aus der engen Integration von Hardware-, Software- und System-Level-Technologien. Die unermüdlichen Investitionen von NVIDIA im gesamten Stack haben die Leistungssteigerungen mit jeder MLPerf-Einreichung vorangetrieben. Die NVIDIA-Plattform ist hinsichtlich Gesamtleistung und Vielseitigkeit unübertroffen und bietet eine einzige Plattform für Training und Inferenz, die überall verfügbar ist – vom Rechenzentrum über die Peripherie bis hin zur Cloud.

Mehr als die 20-fache Leistung in drei Jahren von MLPerf

NVIDIAs Innovationen in den gesamten Technologie-Stack sorgen fortlaufend für Verbesserungen

Für den Durchsatz normalisierte Ergebnisse aufgrund höherer Genauigkeitsanforderungen im neuesten MLPerf Training 2.0-Durchgang
MLPerf ID 0.5/0.7/2.0 im Vergleich:
BERT: 0.7-56/0.7-38/2.0-2106 | ResNet50v1.5: 0.5-17/0.7-55/0.7-37/2.0-2107 | Mask R-CNN: 0.5-22/0.7-48/0.7-28/2.0-2099
Name und Logo von MLPerf sind markenrechtlich geschützt. Weitere Informationen finden Sie unter www.mlperf.org.

KI von NVIDIA demonstriert führende Leistung und Vielseitigkeit

Für handelsübliche Lösungen

Die KI-Plattform von NVIDIA erzielte bei MLPerf-Tests führende Leistung und war die einzige Plattform, die bei allen Benchmarks vorgelegt hat. Dies zeigt die Leistung und Vielseitigkeit der Full-Stack-KI-Plattform von NVIDIA für alle KI-Workloads.

BENCHMARKTESTS	Im großen Maßstab (Min.)	Pro Beschleuniger (Min.)
Empfehlung (DLRM)	0,59 (DGX SuperPOD)	12,78 (A100)
NLP (BERT)	0,21 (DGX SuperPOD)	126,95 (A100)
Spracherkennung – rekurrent (RNN-T)	2,15 (DGX SuperPOD)	230,07 (A100)
Objekterkennung – schwer (Mask R-CNN)	3,09 (DGX SuperPOD)	327,34 (A100)
Objekterkennung – leicht (RetinaNet)	4,25 (DGX SuperPOD)	675,18 (A100)
Bildklassifizierung (ResNet-50 v1.5)	0,32 (DGX SuperPOD)	218,82 (A100)
Bildsegmentierung (3D U-Net)	1,22 (DGX SuperPOD)	170,23 (A100)
Bestärkendes Lernen (MiniGo)	16,23 (DGX SuperPOD)	2045,4 (A100)

Die Leistung pro Beschleuniger für A100 wurde anhand der NVIDIA-Partner-Einzelknoten-Trainingszeit berechnet und mit der Anzahl der Chips multipliziert | Die Leistung pro Chip im Vergleich zu anderen wird durch den Vergleich der Leistung bei so ähnlich wie möglicher Skalierung ermittelt.
Max. Trainingszeit für Skalierung: DLRM: 2,0–2098 | BERT: 2,0–2106 | Mask R-CNN: 2,0–2099 | ResNet-50 v1.5: 2,0-2107 | RetinaNet: 2,0–2103 | RNN-T: 2,0–2104 | 3D U-Net: 2,0–2100 | MiniGo: 2,0–2105
Max. Trainingszeit pro Beschleuniger: DLRM: 2,0-2068 | BERT: 2,0-2070 | Mask R-CNN: 2,0-207 | ResNet-50 v1.5: 2,0-2069 | RetinaNet: 2,0-2091 | RNN-T: 2,0-2066 | 3D U-Net: 2,0-2060 | MiniGo: 2,00-2105
Name und Logo von MLPerf sind markenrechtlich geschützt. Weitere Informationen finden Sie unter www.mlperf.org.

NVIDIA erzielte herausragende Leistungsergebnisse in allen Szenarien (Server und Offline im Rechenzentrum sowie Single-Stream, Multi-Stream und Offline in der Peripherie). Darüber hinaus erreichten wir in allen Benchmarktests die beste Leistung pro Beschleuniger im Vergleich aller getesteten Produkte. Diese Ergebnisse bestätigen nicht nur NVIDIAs führende Position im Bereich Inferenz, sondern belegen auch die Vielseitigkeit unserer Inferenzplattform.

Offlineszenario für Rechenzentrum und Edge (einzelne GPU)

	NVIDIA A100 (x86-CPU) (Inferenzen/Sekunde)	NVIDIA A100 (Arm-CPU) (Inferenzen/Sekunde)	NVIDIA A30 (Inferenzen/Sekunde)	VIDIA^® Jetson AGX Orin^™ (Max. Inferenzen/Abfrage)
DLRM (Empfohlen)	312.380	281.283	138.194	k. A.*
BERT (Verarbeitung natürlicher Sprache)	3.490	3.149	1.668	476
ResNet-50 v1.5 (Bildklassifikation)	39.190	36.487	18.406	6.139
ResNet-34 (Single-Shot Detector groß)	990	906	478	208
RNN-T (Spracherkennung)	13.344	13.188	6.557	1.110
3D U-Net (Medizinische Bildgebung)	3	3	2	0,5

* DLRM nicht Teil der Edge-Kategoriesuite.

1) MLPerf v2.0-Inferenzergebnisse für Serverformfaktoren im Rechenzentrum und Offlineszenario von www.mlperf.org am 6. April 2022 aus den Einträgen Inf-2.0-094, Inf-2.0-077 und Inf-2.0-090. Die Leistung pro Prozessor wird berechnet, indem die primäre Kennzahl der Gesamtleistung durch die Anzahl der gemeldeten Beschleuniger dividiert wird.

2) MLPerf v2.0-Inferenzergebnisse für Peripherie-Formfaktoren auf Offlineszenario von www.mlperf.org am 6. April 2022 aus den Einträgen 2.0-140. Die Leistung pro Prozessor wird berechnet, indem die primäre Kennzahl der Gesamtleistung durch die Anzahl der gemeldeten Beschleuniger dividiert wird.

Die Technologie hinter den Ergebnissen

Da KI ein so komplexer Bereich ist, ist eine enge Integration aller Aspekte der Plattform vonnöten. Wie die Benchmarks von MLPerf zeigen, liefert die KI-Plattform von NVIDIA erstklassige Leistung mit dem weltweit fortschrittlichsten Grafikprozessor, leistungsfähigen und skalierbaren Verbindungstechnologien sowie modernster Software – eine durchgehende Lösung, die im Rechenzentrum, in der Cloud oder in der Peripherie mit beeindruckenden Ergebnissen eingesetzt werden kann.

Vorab trainierte Modelle und optimierte Software von NVIDIA NGC

Optimierte Software zur Beschleunigung von KI-Workflows

Als wesentlicher Bestandteil der NVIDIA-Plattform und der MLPerf-Trainings- sowie Inferenzergebnisse ist der NGC^™-Katalog eine Drehscheibe für GPU-optimierte KI-, High-Performance-Computing (HPC)- und Datenanalysesoftware, die End-to-End-Workflows vereinfacht und beschleunigt. Mit über 150 Containern auf Enterprise-Ebene – einschließlich Workloads für Gesprächs-KI- und Empfehlungssysteme, hunderten KI-Modellen und branchenspezifischen SDKs, die lokal, in der Cloud oder in der Peripherie bereitgestellt werden können – ermöglicht es NGC Datenwissenschaftlern, Forschern und Entwicklern, erstklassige Lösungen zu entwickeln, Erkenntnisse zu sammeln und Geschäftsnutzen schneller als je zuvor zu liefern.

NGC-Katalog besuchen

Erstklassige KI-Infrastruktur

Um weltweit führende Ergebnisse über Trainings und die Inferenz hinweg zu erzielen, bedarf es einer Infrastruktur, die speziell für die komplexesten KI-Herausforderungen der Welt entwickelt wurde. Die NVIDIA KI-Plattform nutzt die Leistung der NVIDIA A100 Tensor Core-GPU, der NVIDIA A30 Tensor Core-GPU, der NVIDIA A2 Tensor Core-GPU, des Jetson AGX Orin-Moduls sowie Skalierbarkeit und Flexibilität der NVIDIA-Verbindungstechnologien – NVIDIA NVLink^®, NVIDIA NVSwitch^™ und NVIDIA ConnectX^®-6 VPI. Diese sind das Herzstück der NVIDIA DGX™ A100, der Engine hinter unserer Benchmark-Leistung.

DGX^™-Systeme von NVIDIA zeichnen sich aus durch Skalierbarkeit, schnelle Bereitstellung und unglaubliche Rechenleistung, die es jedem Unternehmen ermöglichen, eine erstklassige KI-Infrastruktur aufzubauen.

MEHR ERFAHREN

Erfahren Sie mehr über die Leistung unserer Rechenzentrumsprodukte bei Training und Inferenz.

Leistungsdaten anzeigen

MLPerf-Benchmarks

Was ist MLPerf?