Die Messlatte hoch setzen in MLPerf

Training- und Inferenz-Lösungen von NVIDIA erzielen rekordverdächtige Leistung in Bewertung von MLPerf, dem führenden Branchenbenchmark für KI-Leistung

Was ist MLPerf?

MLPerf ist ein Konsortium von führenden Akteuren im KI-Bereich aus Wissenschaft, Forschungslaboren und der Wirtschaft, deren Aufgabe es ist, „faire und nutzbare Benchmarks zu schaffen“. Sie sollen dazu dienen, unvoreingenommene Bewertungen von Training- und Inferenzleistung für Hardware, Software und Services vorzunehmen, die alle unter vorgegebenen Bedingungen durchgeführt werden. Um bei den Branchentrends nicht ins Hintertreffen zu gelangen, entwickelt sich MLPerf ständig weiter und führt regelmäßig neue Tests durch und fügt neue Workloads hinzu, die dem neuesten Stand von KI entsprechen.

MLPerf – Einreichungskategorien

MLPerf Training v0.7 ist die dritte Instanz für Training und setzt sich aus acht verschiedenen Workloads zusammen, die verschiedenste Anwendungsfälle umfassen, darunter Vision, Sprache, Empfehlungen und bestärkendes Lernen.

MLPerf Inference v0.5 testet drei verschiedene Anwendungsfälle in fünf verschiedenen Arten von neuronalen Netzen. Vier dieser Anwendungsfälle stammten aus dem Bereich Computer-Vision und der fünfte aus der Übersetzung von Sprachen.

Bildklassifikation

Bildklassifikation

Weist einem Eingabebild ein Label aus einem festgelegten Satz von Kategorien zu, beispielsweise bei Computer-Vision-Problemen wie autonome Fahrzeuge.Mehr Infos.

Objekterkennung (leicht)

Objekterkennung (leicht)

Sucht nach Instanzen von Objekten aus der realen Welt, wie Gesichtern, Fahrrädern und Gebäuden in Bildern oder Videos, und gibt jeweils einen Begrenzungsrahmen an. Mehr Infos.

Objekterkennung (schwer)

Objekterkennung (schwer)

Erkennt verschiedene interessante Objekte, die in einem Bild angezeigt werden, und identifiziert jeweils eine Pixelmaske. Mehr Infos.

Übersetzung (wiederholt)

Übersetzung (wiederholt)

Übersetzt Text aus einer Sprache in eine andere Sprache mithilfe eines rekurrenten neuronalen Netzes (RNN). Mehr Infos.

Übersetzung (einmalig)

Übersetzung (einmalig)

Übersetzt Text aus einer Sprache in eine andere über ein vorwärtsgerichtetes neuronales Netzwerk. Mehr Infos.

Verarbeitung natürlicher Sprache (NLP)

Verarbeitung natürlicher Sprache (NLP)

Versteht Text, indem die Beziehung zwischen verschiedenen Wörtern in einem Textblock verwendet wird. Ermöglicht, Antworten auf Fragen zu geben, Satzumschreibungen und viele andere sprachbezogene Anwendungsfälle. Mehr Infos.

Empfehlung

Empfehlung

Bietet personalisierte Ergebnisse in Diensten für Benutzer wie Social-Media- oder E-Commerce-Websites, indem Interaktionen zwischen Nutzern und Serviceartikeln wie beispielsweise Produkte oder Anzeigen analysiert werden. Mehr Infos.

Bestärkendes Lernen

Bestärkendes Lernen

Bewertet verschiedene mögliche Aktionen zur Maximierung des Nutzens mithilfe des Strategiespiels Go, das in einem 19 x 19-Raster gespielt wird. Mehr Infos.

NVIDIA – MLPerf-Benchmarkergebnisse

  • Training

    Training

  • Inferenz

    Inferenz

Der A100 Tensor Core-Grafikprozessor und das DGX SuperPOD von NVIDIA stellen alle 16 Leistungsrekorde im Bereich Training sowohl pro Chip als auch für ganze Workloads für handelsübliche Systeme auf. Diese bahnbrechende Leistung ist zurückzuführen auf die enge Integration von Hardware, Software und Technologien auf Systemebene. NVIDIA investiert fortlaufend in leistungsfähige Technologien für den gesamten Technologie-Stack. Das hat bei den drei MLPerf-Einreichungen zu einer Verbesserung des Durchsatzes geführt.

BIS ZU VIERMAL MEHR LEISTUNG IN 1,5 JAHREN VON MLPERF

NVIDIAs Innovationen in den gesamten Technologie-Stack sorgen fortlaufend für Verbesserungen

BIS ZU VIERMAL MEHR LEISTUNG IN 1,5 JAHREN VON MLPERF

NVIDIA stellt alle 16 Rekorde auf

Für handelsübliche Lösungen

  Rekorde auf höchstem Niveau Rekorde pro Beschleuniger
Empfehlung (DLRM) 3,33 Min. 0,44 Std.
NLP (BERT) 0,81 Min. 6,53 Std.
Bestärkendes Lernen (MiniGo) 17,07 Min. 39,96 Std.
Übersetzung (einmalig) (Transformator) 0,62 Min. 1,05 Std.
Übersetzung (wiederholt) (Transformator) 0,71 Min. 1,04 Std.
Objekterkennung (schwer) (Mask R-CNN) 10,46 Min. 10,95 Std.
Objekterkennung (leicht) (SSD) 0,82 Min. 1,36 Std.
Bildklassifizierung (ResNet-50 v1.5) 0,76 Min. 5,30 Std.

NVIDIA erzielt in allen vier Szenarien Spitzenergebnisse (Server, offline, Single-Stream und Multi-Stream). Darüber hinaus erzielen wir in allen fünf Benchmarktests die optimale Leistung pro Beschleuniger bei handelsüblichen Produkten. Diese Ergebnisse sind nicht nur ein Beweis für die führende Position von NVIDIA im Bereich Inferenz, sondern auch für die Vielseitigkeit unserer Inferenzplattform.

Serverszenario für Rechenzentrum und Edge

NVIDIA Turing-Architektur

  NVIDIA T4
(Inferenzen/Sekunde)
NVIDIA TITAN RTX
(Inferenzen/Sekunde)
NVIDIA Jetson Xavier
(Max. Inferenzen/Abfrage)
MobileNet-v1 16.884 47.775 302
ResNet-50 v1.5 5.193 15.008 100
SSD MobileNet-v1 7.078 20.501 102
SSD ResNet-34 126 338 2
GNMT 198 645 N/A

Die Technologie hinter den Ergebnissen

Da KI ein so komplexer Bereich ist, ist eine enge Integration aller Aspekte der Plattform vonnöten. Wie die Benchmarks von MLPerf zeigen, liefert die KI-Plattform von NVIDIA erstklassige Leistung mit dem weltweit fortschrittlichsten Grafikprozessor, leistungsfähigen und skalierbaren Verbindungstechnologien sowie modernster Software – eine durchgehende Lösung, die im Rechenzentrum, in der Cloud oder im Edge mit unglaublichen Ergebnissen eingesetzt werden kann.

Optimierte Software zur Beschleunigung von KI-Workflows

Optimierte Software zur Beschleunigung von KI-Workflows

Ein wesentlicher Bestandteil der MLPerf-Training- und Inferenzergebnisse für die NVIDIA-Plattform NGC ist ein Hub für GPU-optimierte KI, High Performance Computing (HPC) und Datenanalysesoftware, die durchgängige Workflows vereinfacht und beschleunigt. Mit mehr als 150 Containern auf Enterprise-Niveau, einschließlich Workloads für Konversations-KI und Empfehlungssysteme, mehr als 100 Modelle und branchenspezifische SDKs, die lokal, in der Cloud oder im Edge bereitgestellt werden können, bietet NGC Datenwissenschaftlern, Wissenschaftlern und Entwicklern die Möglichkeit, erstklassige Lösungen zu entwickeln, Erkenntnisse zu sammeln und Unternehmenswerte schneller denn je bereitzustellen.

Erstklassige KI-Infrastruktur

Um weltweit führende Ergebnisse in den Bereichen Training und Inferenz zu erzielen, ist eine Infrastruktur erforderlich, die speziell auf die derzeit komplexesten globalen KI-Herausforderungen ausgelegt ist. Die KI-Plattform von NVIDIA, bereitgestellt mithilfe von NVIDIA A100 Tensor Core GPU, NVIDIA T4 Tensor Core GPU und der Skalierbarkeit und Flexibilität der NVIDIA-Verbindungstechnologien – NVLink®, NVSwitchund Mellanox ConnectX-6 VPI. Diese Technologien sind das Herzstück von NVIDIA DGX A100, der Motor hinter unserer Benchmarkleistung.

DGX-Systeme von NVIDIA zeichnen sich aus durch Skalierbarkeit, schnelle Bereitstellung und unglaubliche Rechenleistung, die es jedem Unternehmen ermöglichen, eine erstklassige KI-Infrastruktur aufzubauen.

Erstklassige KI-Infrastruktur

Erfahren Sie mehr über die Leistung unserer Rechenzentrumsprodukte bei Training und Inferenz.