Benchmark MLPerf

La piattaforma NVIDIA AI dimostra prestazioni straordinarie e versatilità nei benchmark MLPerf per training, inferenza e HPC per i carichi di lavoro IA più esigenti e realistici.

Scopri i nostri risultati

Cos'è MLPerf?

I benchmark MLPerf™, sviluppati da MLCommons, consorzio di leader in IA provenienti dalle università, dai laboratori di ricerca e da diversi settori industriali, sono pensati per fornire valutazioni imparziali sulle prestazioni di inferenza e training di hardware, software e servizi. Tutti i benchmark vengono condotti seguendo condizioni prestabilite. Per rimanere all'avanguardia nelle tendenze del settore, MLPerf continua a evolversi, tenendo nuovi test a intervalli regolari e aggiungendo nuovi carichi di lavoro che rappresentano lo stato dell'arte nell'IA.

L'Università Chalmers è uno dei principali istituti di ricerca in Svezia, specializzata in molteplici aree, dalla nanotecnologia agli studi sul clima. Man mano che integriamo l'intelligenza artificiale per alimentare le nostre iniziative di ricerca, scopriamo che il benchmark  MLPerf fornisce un confronto trasparente tra elementi analoghi su più piattaforme IA per dimostrare le prestazioni effettive in diversi scenari di utilizzo reali.

— Politecnico di Chalmers, Svezia

TSMC è all'avanguardia nella produzione globale di semiconduttori, come l'ultimo nodo da 5 nm che guida il mercato della tecnologia di processo. Innovazioni come la litografia basata sul machine learning e la modellazione delle incisioni migliorano notevolmente la correzione ottica di prossimità (OPC) e l'accuratezza della simulazione. Per realizzare appieno il potenziale del machine learning nel formazione e nell'inferenza dei modelli, collaboriamo con il team di ingegneri NVIDIA per utilizzare il motore di simulazione Maxwell e la tecnologia di litografia inversa (ILT) sulle GPU e per un'accelerazione significativa. Il benchmark MLPerf è un fattore importante nel nostro processo decisionale.

— Dr. Danping Peng, Director, OPC Department, TSMC, San Jose, CA, USA

La computer vision e l'imaging sono al centro della ricerca IA che alimenta le scoperte scientifiche per una rappresentazione tempestiva dei componenti essenziali dell'assistenza medica. Abbiamo lavorato a stretto contatto con NVIDIA per portare innovazioni come 3DUNet nel mercato sanitario. I benchmark MLPerf standard del settore forniscono dati pertinenti sulle prestazioni utili a organizzazioni IT e sviluppatori per creare la soluzione adatta ad accelerare progetti e applicazioni specifici.

— Prof. Dr. Klaus Maier-Hein (direttore del Medical Image Computing, Deutsches Krebsforschungszentrum (DKFZ, centro di ricerca tedesco contro il cancro)

Come leader affermato nella ricerca e nella produzione, Samsung utilizza l'intelligenza artificiale per aumentare drasticamente le prestazioni dei prodotti e la produttività. La concretizzazione di questi vantaggi dell'intelligenza artificiale impone di avere la migliore piattaforma di calcolo disponibile. Il benchmark MLPerf semplifica il nostro processo di selezione fornendoci un metodo di valutazione aperto e diretto per un confronto uniforme tra le piattaforme.

— Samsung Electronics

Uno sguardo approfondito ai benchmark MLPerf

MLPerf Training v3.1 misura i tempi di training di modelli in nove diversi casi d'uso, tra cui modelli linguistici di grandi dimensioni (LLM), generazione di immagini, computer vision, segmentazione di immagini mediche, riconoscimento vocale e generazione di consigli.

MLPerf Inference v3.1 testa le prestazioni di inferenza utilizzando sette diversi tipi di reti neurali, tra cui LLM, elaborazione del linguaggio naturale, computer vision e segmentazione di immagini mediche.

MLPerf HPC v3.0 testa quattro diversi casi d'uso di calcolo scientifico, tra cui l'identificazione climatica e atmosferica dei fiumi, la previsione dei parametri cosmologici, la modellazione molecolare quantistica e la previsione della struttura proteica.

Large Language Model (LLM)

Modelli linguistici di grandi dimensioni

Algoritmi di deep learning addestrati su set di dati su larga scala in grado di riconoscere, riepilogare, tradurre, prevedere e generare contenuti per una vasta gamma di casi d'uso.Dettagli.

Text-to-Image

Text-to-Image: conversione da testo a immagine

Genera immagini da richieste in formato testuale.Dettagli.

Recommendation

Consigli

Offre risultati personalizzati nei servizi rivolti agli utenti, come social media o siti di e-commerce, apprendendo le interazioni tra utenti e servizi, come prodotti o annunci. Dettagli.

Object Detection (Lightweight)

Rilevamento di oggetti (leggero)

Rileva istanze di oggetti del mondo reale come visi, biciclette ed edifici all'interno di immagini o video e delinea una bounding box attorno a ciascuno. Dettagli.

Object Detection (Heavyweight)

Rilevamento di oggetti (pesante)

Rileva distinti oggetti d'interesse che vengono visualizzati in un immagine e calcola una maschera di pixel per ognuno. Dettagli.

Image Classification

Classificazione di immagini

Assegna un'etichetta proveniente da una serie fissa di categorie a un immagine acquisita, es. riguarda i problemi di visione del computer. Dettagli.

Natural Language Processing (NLP)

Elaborazione del linguaggio naturale (NLP)

Comprende il testo usando la relazione tra parole diverse in un blocco di testo. Consente la risposta alle domande, la parafrasi delle frasi e molti altri casi d'uso correlati alla lingua. Dettagli.

Automatic Speech Recognition (ASR)

Riconoscimento vocale automatico (ASR)

Riconoscimento e trascrizione dell'audio in tempo reale. Dettagli.

Biomedical Image Segmentation

Segmentazione delle immagini biomediche

Esegue la segmentazione volumetrica di immagini 3D dense per casi d'uso medici. Dettagli.

Climate Atmospheric River Identification Category

Identificazione climatica atmosferica dei fiumi

Rilevamento di uragani e fiumi atmosferici nei dati delle simulazioni climatiche. Dettagli.

Cosmology Parameter Prediction Category

Previsione dei parametri cosmologici

Risoluzione di problemi di regressione di immagini 3D su dati cosmologici. Dettagli.

Quantum Molecular Modeling Category

Modellazione molecolare quantistica

Previsione di energie o configurazioni molecolari. Dettagli.

Protein Structure Prediction

Previsione della struttura proteica

Previsione della struttura proteica tridimensionale in base alla connettività unidimensionale degli aminoacidi. Dettagli.

I risultati di NVIDIA nel benchmark MLPerf

  • Training

    Training

  • Inferenza

    Inferenza

  • HPC

    HPC

La piattaforma di computing accelerato NVIDIA, basata su GPU NVIDIA H100 Tensor Core e networking NVIDIA Quantum-2 InfiniBand, ha superato record di prestazioni di training in LLM in MLPerf Training v3.1, alimentando due progetti di dimensioni senza precedenti con 10.752 GPU H100 con efficienza scalabile quasi lineare nel benchmark GPT-3 175B. Inoltre, con il nuovo test text-to-image basato su Stable Diffusion, la piattaforma NVIDIA definisce lo standard, offrendo le massime prestazioni e scalabilità senza pari. Con una progettazione incessante e completa a livello di data center, NVIDIA continua ad accelerare le prestazioni di training con IA alla velocità della luce.

NVIDIA stabilisce un nuovo record per il training di modelli linguistici con il più grande contenuto MLPerf di sempre

NVIDIA Sets a New Large Language Model Training Record With Largest MLPerf Submission Ever
Benchmark Per-Accelerator Records
(NVIDIA H100 Tensor Core GPU)
Large Language Model (GPT-3 175B) 548 hours (23 days)
Natural Language Processing (BERT) 0.71 hours
Recommendation (DLRM-DCNv2) 0.56 hours
Speech Recognition (RNN-T) 2.2 hours
Image Classification (ResNet-50 v1.5) 1.8 hours
Object Detection, Heavyweight (Mask R-CNN) 2.6 hours
Object Detection, Lightweight (RetinaNet) 4.9 hours
Image Segmentation (3D U-Net) 1.6 hours

Fonte dei risultati: www.mlperf.org, 8 novembre 2023, voci: 3.0-2053, 3.0-2054, 3.0-2055, 3.0-2064, 3.0-2069 e 3.0-2063.

Il nome e il logo MLPerf™ sono marchi di MLCommons Association negli Stati Uniti e in altri paesi. Tutti i diritti riservati. Ogni uso non autorizzato è severamente proibito Per ulteriori informazioni, visita www.mlcommons.org.

La piattaforma NVIDIA AI raggiunge le massime prestazioni in ogni test su MLPerf Training

Oltre a prestazioni rivoluzionarie su larga scala con modelli linguistici di grandi dimensioni all'avanguardia e test text-to-image, NVIDIA ha anche raggiunto nuovi record di prestazioni per carichi di lavoro recommender, rilevamento di oggetti, segmentazione di immagini diagnostiche ed elaborazione del linguaggio naturale in MLPerf Training v3. 1. Con le GPU NVIDIA H100 e NVIDIA Quantum-2, la piattaforma NVIDIA continua a offrire tempi di training più rapidi su ogni benchmark, dimostrando le sue prestazioni e la sua versatilità senza pari per gestire l'intera gamma di carichi di lavoro IA.

Massima scalabilità delle prestazioni

Benchmark Tempi di training
GPT-3 3,92 minuti
Stable Diffusion v2 2.47 minuti
DLRM-DCNv2 1.0 minuti
BERT-large 0.12 minuti
ResNet-50 v1.5 0.18 minuti
Mask R-CNN 1.5 minuti
RetinaNet 0.92 minuti
3D U-Net 0.77 minuti
RNN-T 1.7 minuti

MLPerf™ Training v3.1. Fonte dei risultati: www.mlperf.org, 8 novembre 2023. Il nome e il logo MLPerf™ sono marchi di MLCommons Association negli Stati Uniti e in altri paesi. Tutti i diritti riservati. Ogni uso non autorizzato è severamente proibito Per ulteriori informazioni, visita www.mlcommons.org.

La GPU NVIDIA H100 Tensor Core alimenta i sistemi con il throughput più elevato in ogni carico di lavoro e scenario MLPerf Inference v3.1 per data center. Al suo debutto al MLPerf, NVIDIA GH200 Grace Hopper™  Superchip ha eseguito tutti i carichi di lavoro e ampliato le prestazioni già eccezionali di H100. Anche la GPU NVIDIA L4 Tensor Core, ottimizzata per essere l'acceleratore NVIDIA più efficiente per i server mainstream, ha ottenuto ottimi risultati su tutta la linea. Per le applicazioni di IA Edge e robotica a efficienza energetica, NVIDIA Jetson AGX Orin™ e Jetson Orin NX hanno continuato a dimostrare straordinarie capacità di inferenza system-on-module.

Scenario offline per data center e sistemi periferici (GPU singola)

NVIDIA GH200 Grace Hopper Superchip (inferenze/secondo) NVIDIA H100 (inferenze/secondo) NVIDIA L4 (inferenze/secondo) NVIDIA Jetson AGX Orin (max inferenze/query) NVIDIA Jetson Orin NX (max inferenze/query)
GPT-J (modelli linguistici di grandi dimensioni) 13.34 13.29 1.30 N/D N/D
DLRMv2 (recommender) 49,002 42,856 3,673 N/D* N/D*
BERT (elaborazione del linguaggio naturale)** 8,646 7,878 631 554 195
ResNet-50 v1.5 (classificazione di immagini) 93,198 88,526 12,882 6,424 2,641
RetinaNet (rilevamento di oggetti) 1,849 1,761 226 149 67
RNN-T (riconoscimento vocale) 25,975 23,307 3,899 1,170 432
3D U-Net (diagnostica per immagini) 6.8 6.5 1.07 0.51 0.20

*DLRMv2 non fa parte della suite di categorie Edge.

** Obiettivo di accuratezza BERT 99,9% utilizzato per H100, A100 e L4. BERT 99% utilizzato per Jetson AGX Orin e Jetson Orin NX come obiettivo di accuratezza massima supportato nella categoria MLPerf Inference: Edge per il benchmark BERT

1) Fonte dei risultati MLPerf Inference v3.1 per datacenter in scenario offline: www.mlperf.org, 11 settembre 2023, voci 3.1-0106, 3.1-0107, 3.1-0108 e 3.1-0110. Le prestazioni per processore non rappresentano una metrica primaria di MLPerf Inference v3.1. Le prestazioni per processore vengono calcolate dividendo la metrica principale delle prestazioni complessive per il numero di acceleratori riportati.

2) Fonte dei risultati MLPerf Inference v3.1 per Edge in scenario offline: www.mlperf.org, 11 settembre 2023, voci 3.1-0114, 3.1-0116. Le prestazioni per processore non rappresentano una metrica primaria di MLPerf Inference v3.1. Le prestazioni per processore vengono calcolate dividendo la metrica principale delle prestazioni complessive per il numero di acceleratori riportati.

NVIDIA H100 Tensor Core ha potenziato la piattaforma NVIDIA per HPC e IA al suo debutto al MLPerf HPC v3.0, aumentando le prestazioni fino a 2 volte e garantendo le massime prestazioni su tutti i carichi di lavoro in termini di tempi di training e throughput. La piattaforma NVIDIA è stata anche l'unica a inviare risultati per ogni carico di lavoro MLPerf HPC, che include la segmentazione climatica, la previsione dei parametri cosmologici, la modellazione molecolare quantistica e l'ultima novità, la previsione della struttura proteica. Le prestazioni e la versatilità senza pari della piattaforma NVIDIA la rendono lo strumento ideale per alimentare la nuova ondata di scoperte scientifiche basate su IA.

Prestazioni fino a 16 volte superiori in 3 anni

L'innovazione full-stack di NVIDIA alimenta miglioramenti delle prestazioni

Up to 16X More Performance in 3 Years

MLPerf v3.0 HPC Closed Strong Scaling: fonte dei risultati https://mlcommons.org/en/training-hpc-20, 9 novembre 2022 - ID risultati mostrati: Cosmoflow v0.7 0.7-407, v1.0 1.0-1120, v2.0 2.0-8006 | DeepCAM v0.7 0.7-406, v1.0 1.0-1122 v2.0 2.0-8005 | Opencatalyst v1.0 1.0-1115 v2.0 2.0-8006. Il nome e il logo MLPerf™ sono marchi di MLCommons Association negli Stati Uniti e in altri paesi. Tutti i diritti riservati. Ogni uso non autorizzato è severamente proibito Per ulteriori informazioni, visita www.mlcommons.org.

Up to 16X More Performance in 3 Years

MLPerf™ HPC v3.0 Results retrieved from www.mlperf.org on November 8, 2023. Results retrieved from entries 3.0-8004, 3.0-8009, and 3.0-8010.  The MLPerf™ name and logo are trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

La tecnologia dietro ai risultati

La complessità dell'IA richiede una stretta integrazione di tutti gli aspetti della piattaforma. Come dimostrato dai benchmark MLPerf, la piattaforma NVIDIA AI offre prestazioni di leadership con la GPU più avanzata al mondo, tecnologie di interconnessione potenti e scalabili e software all'avanguardia, una soluzione end-to-end che può essere installata nel data center, nel cloud o sui sistemi periferici con risultati incredibili.

Modelli pre-addestrati e software ottimizzato di NVIDIA NGC

Software ottimizzato che accelera i flussi di lavoro IA

Fattore essenziale dei risultati di training e inferenze MLPerf e della piattaforma NVIDIA, il catalogo NGC™ è un hub ottimizzato da GPU per software IA, HPC e analisi dei dati che semplifica e accelera i flussi di lavoro completi. Con oltre 150 container di livello enterprise, cui carichi di lavoro per IA generativa, IA conversazionale, e sistemi recommender, oltre 100 modelli e SDK specifici per settore che possono essere distribuiti in locale, nel cloud o sui sistemi periferici, il catalogo NGC permette agli esperti di dati, ai ricercatori e agli sviluppatori di creare soluzioni all'avanguardia, ricavare dati utili e fornire valore aziendale più velocemente che mai.

Visita il catalogo NGC

Infrastruttura IA leader

Per ottenere risultati leader a livello mondiale in materia di training e inferenza è necessaria un'infrastruttura appositamente costruita per le sfide di intelligenza artificiale più complesse del mondo. Piattaforma NVIDIA AI con prestazioni leader di settore basate su NVIDIA GH200 Grace Hopper Superchip, GPU NVIDIA H100 Tensor Core, GPU NVIDIA L4 Tensor Core e con la scalabilità e la flessibilità delle tecnologie di interconnessine NVIDIA NVLink®, NVSwitch™ e Quantum-2 InfiniBand. Questi prodotti sono al cuore della piattaforma per data center NVIDIA, il motore alla base delle prestazioni nel benchmark.

Inoltre, i sistemi NVIDIA DGX™ offrono la scalabilità, la distribuzione rapida e l'incredibile potenza di calcolo che consentono a ogni impresa di progettare un'infrastruttura IA leader di settore.

Scopri di più
Leadership-Class AI Infrastructure

Scopri di più sulle prestazioni dei nostri prodotti per l'inferenza e il training del data center.

Osserva le prestazioni
Protein Structure Prediction

Previsione della struttura proteica

Utilizza il modello OpenFold addestrato sul set di dati OpenProteinSet.
Text-to-Image

Text-to-Image: conversione da testo a immagine

MLPerf Training utilizza il modello di conversione da testo a immagine Stable Diffusion addestrato su un sottoinsieme del set di dati Laion400 con un sottoinsieme del set di dati COCO-2014 utilizzato per la convalida.
Quantum Molecular Modeling Category

Modellazione molecolare quantistica

Utilizza il modello DimeNet++ con il set di dati Open Catalyst 2020 (OC20).
Cosmology Parameter Prediction Category

Previsione dei parametri cosmologici

Utilizza il modello CosmoFlow con il set di dati di simulazione CosmoFlow N-body.
Climate Atmospheric River Identification Category

Identificazione climatica atmosferica dei fiumi

Utilizza il modello DeepCAM con set di dati di simulazione CAM5 + TECA.
Image Classification

Classificazione di immagini

MLPerf Training e Inference utilizzano ResNet v1.5 con il set di dati ImageNet.
MLPerf Inference used ResNet-50 v. 1.5 and MobileNet-v1 with the ImageNet dataset.
Object Detection (Lightweight)

Rilevamento di oggetti (leggero)

MLPerf Training uses Single-Shot Detector (SSD) with ResNeXt50 backbone on a subset of the Google OpenImages Dataset.
MLPerf Training utilizza il Single-Shot Detector (SSD) sul set di dati COCO 2017.
Object Detection (Heavyweight)

Rilevamento di oggetti (pesante)

MLPerf Training utilizza Mask R-CNN con il set di dati COCO 2014.
MLPerf Inference utilizza RetinaNet con il set di convalida OpenImages MLPerf ridimensionato a 800x800 pixel.
Translation (Recurrent)

Translation (Recurrent)

MLPerf used Google’s Machine Translation System (GNMT) on the WMT English-German dataset.
MLPerf Inference used the Google Neural Machine Translation (GNMT) RNN with the WMT16 dataset.
Translation (Non-recurrent)

Translation (Non-recurrent)

MLPerf used Transformer on the WMT English-German dataset.
MLPerf Inference measured speech recognition using the RNN-T network with the LibriSpeech dataset.
Natural Language Processing (NLP)

Elaborazione del linguaggio naturale (NLP)

MLPerf Training utilizza BERT (Bidirectional Encoder Representations from Transformers) sul set di dati di Wikipedia in data 01/01/2020.
MLPerf Inference ha usato BERT con set di dati SQuAD v.1.1.
Recommendation

Consigli

MLPerf Training e Inference utilizzano il Deep Learning Recommendation Model v2 (DLRMv2) che impiega un set di dati DCNv2 cross-layer e multi-hot sintetizzato dal set di dati Criteo.
Reinforcement Learning

Modelli linguistici di grandi dimensioni

MLPerf Training utilizza il modello di linguaggio generativo GPT-3 con 175 miliardi di parametri e una lunghezza delle sequenze di 2.048 su set di dati C4.
MLPerf Inference utilizza il modello GPT-J (6 miliardi di parametri) con il set di dati CNN-DailyMail.
Automatic Speech Recognition (ASR

Riconoscimento vocale automatico (ASR)

MLPerf Training e Inference utilizzano RNN-T su set di dati LibriSpeech.
Biomedical Image Segmentation

Segmentazione delle immagini biomediche

MLPerf Training e Inference utilizzano 3D U-Net con il set di dati KiTS19.
Prodotti
Tecnologie
Software
Risorse