This site requires Javascript in order to view all its content. Please enable Javascript in order to access all the functionality of this web site. Here are the instructions how to enable JavaScript in your web browser.

Benchmark MLPerf

La piattaforma NVIDIA AI brilla sia in MLPerf Training che in Inference, offrendo prestazioni e versatilità leader per affrontare i carichi di lavoro IA più esigenti e concreti.

Scopri i nostri risultati

Cos'è MLPerf?

MLPerf è un consorzio di leader nell'intelligenza artificiale per mondo accademico, laboratori di ricerca e settori la cui missione è la "creazione di benchmark equi e utili" che forniscano valutazioni imparziali sulle prestazioni di inferenza e training di hardware, software e servizi, il tutto condotto in condizioni prestabilite. Per rimanere all'avanguardia nelle tendenze del settore, MLPerf continua a evolversi, tenendo nuovi test a intervalli regolari e aggiungendo nuovi carichi di lavoro che rappresentano lo stato dell'arte nell'IA.

L'Università Chalmers è uno dei principali istituti di ricerca in Svezia, specializzata in molteplici aree, dalla nanotecnologia agli studi sul clima. Man mano che integriamo l'intelligenza artificiale per alimentare le nostre iniziative di ricerca, scopriamo che il benchmark MLPerf fornisce un confronto trasparente tra elementi analoghi su più piattaforme IA per dimostrare le prestazioni effettive in diversi scenari di utilizzo reali.

— Politecnico di Chalmers, Svezia

TSMC è all'avanguardia nella produzione globale di semiconduttori, come l'ultimo nodo da 5 nm che guida il mercato della tecnologia di processo. Innovazioni come la litografia basata sul machine learning e la modellazione delle incisioni migliorano notevolmente la correzione ottica di prossimità (OPC) e l'accuratezza della simulazione. Per realizzare appieno il potenziale del machine learning nel formazione e nell'inferenza dei modelli, collaboriamo con il team di ingegneri NVIDIA per utilizzare il motore di simulazione Maxwell e la tecnologia di litografia inversa (ILT) sulle GPU e per un'accelerazione significativa. Il benchmark MLPerf è un fattore importante nel nostro processo decisionale.

— Dr. Danping Peng, Director, OPC Department, TSMC, San Jose, CA, USA

La computer vision e l'imaging sono al centro della ricerca IA che alimenta le scoperte scientifiche per una rappresentazione tempestiva dei componenti essenziali dell'assistenza medica. Abbiamo lavorato a stretto contatto con NVIDIA per portare innovazioni come 3DUNet nel mercato sanitario. I benchmark MLPerf standard del settore forniscono dati pertinenti sulle prestazioni utili a organizzazioni IT e sviluppatori per creare la soluzione adatta ad accelerare progetti e applicazioni specifici.

— Prof. Dr. Klaus Maier-Hein (direttore del Medical Image Computing, Deutsches Krebsforschungszentrum (DKFZ, centro di ricerca tedesco contro il cancro)

Come leader affermato nella ricerca e nella produzione, Samsung utilizza l'intelligenza artificiale per aumentare drasticamente le prestazioni dei prodotti e la produttività. La concretizzazione di questi vantaggi dell'intelligenza artificiale impone di avere la migliore piattaforma di calcolo disponibile. Il benchmark MLPerf semplifica il nostro processo di selezione fornendoci un metodo di valutazione aperto e diretto per un confronto uniforme tra le piattaforme.

— Samsung Electronics

Categorie di invio di contenuti MLPerf

MLPerf Training v2.0 è la sesta istanza di training e consiste in otto carichi di lavoro diversi che ricoprono svariati ambienti, tra cui la visione, la lingua, i consigli e l'apprendimento di rinforzo.

Il benchmark MLPerf Inference v2.0 ha testato sette diversi casi d'uso su sette diversi tipi di reti neurali. Tre di questi erano per computer vision, uno per i sistemi recommender, due per l'elaborazione del linguaggio e uno per la diagnostica per immagini.

Classificazione di immagini

Assegna un'etichetta proveniente da una serie fissa di categorie a un immagine acquisita, es. riguarda i problemi di visione del computer. Dettagli.

Rilevamento di oggetti (leggero)

Rileva istanze di oggetti del mondo reale come visi, biciclette ed edifici all'interno di immagini o video e delinea una bounding box attorno a ciascuno. Dettagli.

Rilevamento di oggetti (pesante)

Rileva distinti oggetti d'interesse che vengono visualizzati in un immagine e calcola una maschera di pixel per ognuno. Dettagli.

Segmentazione delle immagini biomediche

Esegue la segmentazione volumetrica di immagini 3D dense per casi d'uso medici. Dettagli.

Traduzione (ricorrente)

Traduce un testo da una lingua verso un'altra utilizzando una rete neutrale ricorrente (RNN). Dettagli.

Riconoscimento vocale automatico (ASR)

Riconoscimento e trascrizione dell'audio in tempo reale. Dettagli.

Natural Language Processing (NLP)

Comprende il testo usando la relazione tra parole diverse in un blocco di testo. Consente la risposta alle domande, la parafrasi delle frasi e molti altri casi d'uso correlati alla lingua. Dettagli.

Recommender

Offre risultati personalizzati nei servizi rivolti agli utenti, come social media o siti di e-commerce, apprendendo le interazioni tra utenti e servizi, come prodotti o annunci. Dettagli.

Apprendimento di rinforzo

Valuta le diverse azioni possibili per massimizzare la ricompensa utilizzando il gioco di strategia Go giocato su una griglia 19x19. Dettagli.

I risultati di NVIDIA nel benchmark MLPerf

Training
Inferenza

La GPU NVIDIA A100 Tensor Core e la NVIDIA DGX SuperPOD^™ hanno fornito le massime prestazioni in tutti i test MLPerf, sia per chip sia su larga scala. Queste prestazioni rivoluzionarie derivano dalla stretta integrazione di hardware, software e tecnologie a livello di sistema. Il costante investimento di NVIDIA nell'intero stack ha generato miglioramenti delle prestazioni a ogni invio di MLPerf. La piattaforma NVIDIA non ha rivali in termini di prestazioni e versatilità complessive e offre un unico ambiente per il training e l'inferenza disponibile ovunque, dal data center all'edge e fino al cloud.

Prestazioni MLPerf più di 20 volte superiori in tre anni

L'innovazione full-stack di NVIDIA offre miglioramenti continui

Benchmark delle prestazioni di training MLPerf

Risultati normalizzati per la produttività grazie a requisiti di precisione più elevati sull'ultimo round di MLPerf Training 2.0.
Confronto MLPerf ID 0.5/0.7/2.0:
BERT: 0.7-56/0.7-38/2.0-2106 | ResNet50v1.5: 0.5-17/0.7-55/0.7-37/2.0-2107 | Mask R-CNN: 0.5-22/0.7-48/0.7-28/2.0-2099
Il nome e il logo MLPerf sono marchi registrati. Per ulteriori informazioni, visita www.mlperf.org.

NVIDIA AI fornisce prestazioni e versatilità leader

Per soluzioni disponibili in commercio

La piattaforma NVIDIA AI ha fornito prestazioni leader nei test MLPerf ed è stata l'unica piattaforma con invii in tutti i benchmark. Questo dimostra le prestazioni e la versatilità della piattaforma NVIDIA AI full-stack per tutti i carichi di lavoro IA.

BENCHMARK	Su larga scala (min)	Per acceleratore (min)
Recommender (DLRM)	0,59 (DGX SuperPOD)	12,78 (A100)
NLP (BERT)	0,21 (DGX SuperPOD)	126,95 (A100)
Riconoscimento vocale - Ricorrente (RNN-T)	2,15 (DGX SuperPOD)	230,07 (A100)
Rilevamento di oggetti (pesante) (Mask R-CNN)	3,09 (DGX SuperPOD)	327,34 (A100)
Rilevamento di oggetti (leggero) (RetinaNet)	4,25 (DGX SuperPOD)	675,18 (A100)
Classificazione di immagini (ResNet-50 v1.5)	0.32 (DGX SuperPOD)	217,82 (A100)
Segmentazione delle immagini (3D U-Net)	1,22 (DGX SuperPOD)	170,23 (A100)
Reinforcement Learning (MiniGo)	16,23 (DGX SuperPOD)	2045,4 (A100)

Prestazioni per acceleratore per A100 calcolate utilizzando il time-to-train del partner NVIDIA a nodo singolo e moltiplicandolo per il numero di chip | I confronti delle prestazioni per chip con altri sono ottenuti confrontando le prestazioni alla scala simile più vicina.
Tempi massimi di scala per il training: DLRM: 2.0-2098 | BERT: 2.0-2106 | Mask R-CNN: 2.0-2099 | ResNet-50 v1.5: 2.0-2107 | RetinaNet: 2.0-2103 | RNN-T: 2.0-2104 | 3D U-Net: 2.0-2100 | MiniGo: 2.0-2105
Tempi massimi per accelerator per il training: DLRM: 2.0-2068 | BERT: 2.0-2070 | Mask R-CNN: 2.0-207 | ResNet-50 v1.5: 2.0-2069 | RetinaNet: 2.0-2091 | RNN-T: 2.0-2066 | 3D U-Net: 2.0-2060 | MiniGo: 2.0-2105
Il nome e il logo MLPerf sono marchi registrati. Per ulteriori informazioni, visita www.mlperf.org.

NVIDIA ha ottenuto i migliori risultati di prestazioni tutti gli scenari (server in data center e offline, con Edge single-stream, multi-stream e offline). Inoltre, abbiamo ottenuto le migliori prestazioni per acceleratore tra tutti i prodotti testati nei test del benchmark. Questi risultati sono una vera e propria certificazione non solo della leadership di NVIDIA nelle prestazioni per inferenza, ma anche della versatilità della nostra piattaforma.

Scenario offline per data center e edge (GPU singola)

	NVIDIA A100 (CPU x86) (inferenze/secondo)	NVIDIA A100 (CPU Arm) (inferenze/secondo)	NVIDIA A30 (inferenze/secondo)	NVIDIA^® Jetson AGX Orin^™ (max inferenze/query)
DLRM (recommender)	312.380	281.283	138.194	N/D*
BERT (elaborazione del linguaggio naturale)	3.490	3.149	1.668	476
ResNet-50 v1.5 (classificazione di immagini)	39.190	36.487	18.406	6.139
ResNet-34 (rilevatore grande single-shot)	990	906	478	208
RNN-T (riconoscimento vocale)	13.344	13.188	6.557	1.110
3D U-Net (diagnostica per immagini)	3	3	2	0,5

*DLRM non fa parte della suite di categorie Edge.

1) Risultati del MLPerf v2.0 Inference per fattori di forma server per data center e offline e scenari server recuperati da www.mlperf.org il 6 aprile 2022, dalle voci Inf-2.0-094, Inf-2.0-077 e Inf-2.0-090. Le prestazioni per processore vengono calcolate dividendo la metrica principale delle prestazioni complessive per il numero di acceleratori riportati.

2) Risultati del MLPerf v2.0 Inference per fattori di forma Edge e scenari offline recuperati da www.mlperf.org il 6 aprile 2022, dalle voci 2.0-140. Le prestazioni per processore vengono calcolate dividendo la metrica principale delle prestazioni complessive per il numero di acceleratori riportati.

La tecnologia dietro ai risultati

La complessità dell'IA richiede una stretta integrazione di tutti gli aspetti della piattaforma. Come dimostrato dai benchmark MLPerf, la piattaforma NVIDIA AI offre prestazioni di leadership con la GPU più avanzata al mondo, tecnologie di interconnessione potenti e scalabili e software all'avanguardia, una soluzione end-to-end che può essere installata nel data center, nel cloud o sui sistemi periferici con risultati incredibili.

Modelli pre-addestrati e software ottimizzato di NVIDIA NGC

Software ottimizzato che accelera i flussi di lavoro IA

Fattore essenziale dei risultati di training e inferenze MLPerf e della piattaforma NVIDIA, il catalogo NGC^™ è un hub ottimizzato da GPU per software IA, calcolo ad alte prestazioni (HPC) e analisi dei dati che semplifica e accelera i flussi di lavoro completi. Con oltre 150 container di livello enterprise, cui carichi di lavoro per IA conversazionale e sistemi recommender, oltre 100 modelli e SDK specifici per settore che possono essere distribuiti in locale, nel cloud o sui sistemi periferici, il catalogo NGC permette agli esperti di dati, ai ricercatori e agli sviluppatori di creare soluzioni all'avanguardia, ricavare dati utili e fornire valore aziendale più velocemente che mai.

Visita il catalogo NGC

Infrastruttura IA leader

Per ottenere risultati leader a livello mondiale in materia di training e inferenza è necessaria un'infrastruttura appositamente costruita per le sfide di intelligenza artificiale più complesse del mondo. La piattaforma NVIDIA AI viene fornita con la potenza della GPU NVIDIA A100 Tensor Core, la GPU NVIDIA A30 Tensor Core, la GPU NVIDIA A2 Tensor Core, il modulo Jetson AGX Orin e la scalabilità e flessibilità delle tecnologie di interconnessine NVIDIA, NVIDIA NVLink^®, NVIDIA NVSwitch^™ e NVIDIA ConnectX^®-6 VPI. Questi prodotti sono al cuore della NVIDIA DGX A100™, il motore alla base delle prestazioni nel benchmark.

I sistemi NVIDIA DGX^™ offrono la scalabilità, la rapida installazione e l'incredibile potenza di elaborazione utili per tutte le aziende per progettare un'infrastruttura IA a livello di leadership.

SCOPRI DI PIÙ

Scopri di più sulle prestazioni dei nostri prodotti per l'inferenza e il training del data center.

Osserva le prestazioni

Benchmark MLPerf

Cos'è MLPerf?