Benchmark MLPerf

La piattaforma NVIDIA AI offre prestazioni e versatilità di livello mondiale nei benchmark di formazione, inferenza e HPC di MLPerf per i carichi di lavoro di intelligenza artificiale più esigenti e reali.

Che cosa è MLPerf?

I benchmark MLPerf™, sviluppati da MLCommons, un consorzio di leader dell’IA provenienti dal mondo accademico, dai laboratori di ricerca e dall’industria, sono progettati per fornire valutazioni imparziali della formazione e delle prestazioni di inferenza per hardware, software e servizi. Il tutto condotto in condizioni prestabilite. Per rimanere all’avanguardia nelle tendenze del settore, MLPerf continua a evolversi, tenendo nuovi test a intervalli regolari e aggiungendo nuovi carichi di lavoro che rappresentano lo stato dell’arte nell’IA.

Dentro i benchmark MLPerf

MLPerf Inference v4.1 misura le prestazioni di inferenza su nove diversi benchmark, tra cui diversi modelli di linguaggio di grandi dimensioni (LLM), text-to-image, elaborazione del linguaggio naturale, sistemi recommender, computer vision e segmentazione di immagini mediche.

MLPerf Training v4.0 misura le prestazioni di training su nove diversi benchmark, tra cui LLM pre-training, LLM fine-tuning, text-to-image, rete neurale a grafo (GNN), computer vision, segmentazione di immagini mediche e recommender.

MLPerf HPC v3.0 misura le prestazioni di training in quattro diversi casi d'uso di calcolo scientifico, tra cui l'identificazione dei fiumi climatica e atmosferica, la previsione dei parametri di cosmologia, la modellazione molecolare quantistica e la previsione della struttura proteica. 

Modelli linguistici di grandi dimensioni

Algoritmi di deep learning addestrati su set di dati su larga scala in grado di riconoscere, riassumere, tradurre, prevedere e generare contenuti per una vasta gamma di casi d'uso.
Dettagli.

Text-to-Image

Genera immagini da prompt di testo.
Dettagli.

Recommender

Offre risultati personalizzati nei servizi rivolti all'utente, come social media o siti di e-commerce apprendendo le interazioni tra utenti e servizi, come prodotti o annunci.
Dettagli.

Rilevamento di oggetti (leggero)

Rileva istanze di oggetti del mondo reale come visi, biciclette ed edifici all'interno di immagini o video e delinea una bounding box attorno a ciascuno.
Dettagli.

Rete neurale a grafo

Utilizza reti neurali progettate per lavorare con dati strutturati come grafici.
. Dettagli.

Classificazione di immagini

Assegna un'etichetta proveniente da una serie fissa di categorie a un'immagine acquisita, ad es. riguarda i problemi di visione del computer.
Dettagli.

Natural Language Processing (NLP)

Comprende il testo usando la relazione tra parole diverse in un blocco di testo. Consente di rispondere a domande, parafrasi di frasi e molti altri casi d'uso legati al linguaggio.
Dettagli.

Segmentazione delle immagini biomediche

Esegue la segmentazione volumetrica di immagini 3D dense per casi di utilizzo medico.
Dettagli.

Identificazione dei fiumi climatica e atmosferica

Identificare gli uragani e i fiumi atmosferici nei dati di simulazione climatica.
Dettagli.

Previsione dei parametri di cosmologia

Risolvere un problema di regressione di immagini 3D su dati cosmologici.
Dettagli.

Modellazione molecolare quantistica

Prevedere energie o configurazioni molecolari.
Dettagli.

Previsione della struttura proteica

Prevede la struttura tridimensionale della proteina basata sulla connettività unidimensionale degli amminoacidi.
Dettagli.

I risultati NVIDIA nel benchmark MLPerf

La piattaforma di calcolo accelerato NVIDIA, basata sulle GPU NVIDIA HopperTM e sul networking NVIDIA Quantum-2 InfiniBand, ha fornito le prestazioni più elevate in ogni benchmark di MLPerf Training v4.0. Nel benchmark LLM, NVIDIA ha più che triplicato le prestazioni in un solo anno, grazie a una scala record di 11.616 GPU H100 e ottimizzazioni software. NVIDIA ha inoltre fornito prestazioni 1,8 volte in più nel benchmark di testo-immagine in soli sette mesi. E, nel benchmark di fine-tuning LLM e di rete neurale grafica, NVIDIA ha impostato il livello. NVIDIA ha raggiunto questi risultati eccezionali grazie a un'incessante ingegneria full-stack su scala data center.

NVIDIA stabilisce un nuovo record per il training di modelli linguistici di grandi dimensioni con il più grande contenuto MLPerf di sempre

I risultati di MLPerf™ Training v3.1 e v4.0 sono stati recuperati da www.mlperf.org il 12 giugno 2024, dalle seguenti voci: NVIDIA + CoreWeave 3.0-2003, NVIDIA 4.0-0007. Il nome e il logo MLPerf™ sono marchi registrati di MLCommons Association negli Stati Uniti e in altri paesi. Tutti i diritti riservati. L'uso non autorizzato è severamente vietato. Per ulteriori informazioni, visitare www.mlcommons.org.

NVIDIA continua a offrire le massime prestazioni in ogni test di allenamento MLPerf

La piattaforma NVIDIA continua a dimostrare prestazioni e versatilità senza precedenti in MLPerf Training v4.0. NVIDIA ha ottenuto le prestazioni più elevate in tutti e nove i benchmark e ha stabilito nuovi record nei seguenti benchmark: LLM, LLM fine-tuning, text-to-image, graph neural network e rilevamento oggetti (leggero).

Prestazioni di scala massima

Benchmark Time to Train
LLM (GPT-3 175B) 3.4 minutes
LLM Fine-Tuning (Llama 2 70B-LoRA) 1.5 minutes
Text-to-Image (Stable Diffusion v2) 1.4 minutes
Graph Neural Network (R-GAT) 1.1 minutes
Recommender (DLRM-DCNv2) 1.0 minutes
Natural Language Processing (BERT) 0.1 minutes
Image Classification (ResNet-50 v1.5) 0.2 minutes
Object Detection (RetinaNet) 0.8 minutes
Biomedical Image Segmentation (3D U-Net) 0.8 minutes

I risultati di MLPerf™ Training v4.0 sono stati recuperati da www.mlperf.org il 12 giugno 2024, dalle seguenti voci: NVIDIA 4.0-0058, NVIDIA 4.0-0053, NVIDIA 4.0-0007, NVIDIA 4.0-0054, NVIDIA 4.0-0053, NVIDIA + CoreWeave 4.0-0008, NVIDIA 4.0-0057, NVIDIA 4.0-0056, NVIDIA 4.0-0067. Il nome e il logo MLPerf™ sono marchi registrati di MLCommons Association negli Stati Uniti e in altri paesi. Tutti i diritti riservati. L'uso non autorizzato è severamente vietato. Per ulteriori informazioni, visitare www.mlcommons.org.

Nel suo debutto in MLPerf Inference, la piattaforma NVIDIA Blackwell con il sistema di quantizzazione NVIDIA Quasar ha fornito prestazioni LLM fino a 4 volte superiori rispetto alla GPU H100 Tensor Core di generazione precedente. Tra le soluzioni disponibili, la GPU NVIDIA H200 Tensor Core, basata sull'architettura NVIDIA Hopper, ha fornito le prestazioni più elevate per GPU per l'IA generativa, inclusi tutti e tre i benchmark LLM, che includevano Llama 2 70B, GPT-J e la nuova aggiunta LLM Mixtral 8x7B, nonché il benchmark di testo-immagine Stable Diffusion XL. Grazie all'incrollabile ottimizzazione del software, le prestazioni di H200 sono aumentate fino al 27% in meno di sei mesi. Per l'IA generativa ai margini, NVIDIA Jetson Orin™ ha fornito risultati eccezionali, aumentando la velocità di GPT-J di oltre 6 volte e riducendo la latenza di 2,4 volte in un solo round.

NVIDIA Blackwell offre un salto di qualità per l'inferenza LLM

Server

4X

Offline

3.7X

Superchip IA

208 miliardi di transistor

Motore transformer di seconda generazione

Il centro del tensore FP4/FP6

NVLINK di quinta generazione

Scalabile fino a 576 GPU

Motore RAS

Autotest interno al sistema al 100%

IA sicura

Crittografia e TEE con prestazioni complete

Motore di decompressione

800 GB/sec


MLPerf Inference v4.1 Chiuso, Data Center. Risultati recuperati da www.mlperf.org il 28 agosto 2024. I risultati di Blackwell sono stati misurati su una singola GPU e recuperati dalla voce 4.1-0074 nella categoria Closed, Preview. H100 risultati dalla voce 4.1-0043 nella categoria Closed, Available su un sistema H100 8x e divisi per il conteggio delle GPU per il confronto per GPU. Il throughput per GPU non è una metrica primaria di MLPerf Inference. Il nome e il logo MLPerf sono marchi registrati e non registrati di MLCommons Association negli Stati Uniti e in altri paesi. Tutti i diritti riservati. L'uso non autorizzato è severamente vietato. Per ulteriori informazioni, visita www.mlcommons.org.

H200 offre un'eccezionale produttività di inferenza multi-GPU su ogni benchmark

Benchmark Offline Server
Llama 2 70B 34,864 tokens/second 32,790 tokens/second
Mixtral 8x7B 59,022 tokens/second 57,177 tokens/second
GPT-J 20,086 tokens/second 19,243 tokens/second
Stable Diffusion XL 17.42 samples/second 16.78 queries/second
DLRMv2 99% 637,342 samples/second 585,202 queries/second
DLRMv2 99.9% 390,953 samples/second 370,083 queries/second
BERT 99% 73,310 samples/second 57,609 queries/second
BERT 99.9% 63,950 samples/second 51,212 queries/second
RetinaNet 14,439 samples/second 13,604 queries/second
ResNet-50 v1.5 756,960 samples/second 632,229 queries/second
3D U-Net 54.71 samples/second Not part of benchmark



MLPerf Inference v4.1 Chiuso, Centro dati. Risultati recuperati da www.mlperf.org il 28 agosto 2024. Tutti i risultati sono stati ottenuti utilizzando otto GPU e recuperati dalle seguenti voci: 4.1-0046, 4.1-0048, 4.1-0050. Il nome e il logo MLPerf sono marchi registrati e non registrati della MLCommons Association negli Stati Uniti e in altri paesi. Tutti i diritti riservati. L'uso non autorizzato è severamente vietato. Per ulteriori informazioni, visitare www.mlcommons.org.

Il Tensor Core NVIDIA H100 ha sovralimentato la piattaforma NVIDIA per HPC e IA nel suo debutto MLPerf HPC v3.0, consentendo di velocizzare fino a 16 volte il tempo di allenamento in soli tre anni e offrendo le massime prestazioni su tutti i carichi di lavoro sia in termini di tempo di allenamento che di throughput. La piattaforma NVIDIA è stata anche l'unica a presentare i risultati per ogni carico di lavoro HPC MLPerf, che copre la segmentazione climatica, la previsione dei parametri cosmologici, la modellazione molecolare quantistica e l'ultima aggiunta, la previsione della struttura proteica. Le prestazioni e la versatilità senza pari della piattaforma NVIDIA ne fanno lo strumento di scelta per alimentare la prossima ondata di scoperte scientifiche basate sull'IA.

Prestazioni fino a 16 volte superiori in tre anni

L'innovazione NVIDIA Full-Stack alimenta i guadagni in termini di prestazioni

MLPerf™ HPC v3.0 Risultati recuperati da www.mlperf.org l'8 novembre 2023. Risultati recuperati dalle voci 0.7-406, 0.7-407, 1.0-1115, 1.0-1120, 1.0-1122, 2.0-8005, 2.0-8006, 3.0-8006, 3.0-8007, 3.0-8008. Il punteggio di CosmoFlow in v1.0 è normalizzato ai nuovi RCP introdotti in MLPerf HPC v2.0. I punteggi per v0.7, v1.0 e v2.0 sono regolati per rimuovere il tempo di staging dei dati dal benchmark, coerentemente con le nuove regole adottate per v3.0 per consentire confronti equi tra i round di presentazione. Il nome e il logo MLPerf™ sono marchi registrati della MLCommons Association negli Stati Uniti e in altri paesi. Tutti i diritti riservati. L'uso non autorizzato è severamente vietato. Per ulteriori informazioni, visitare www.mlcommons.org.

 

MLPerf™ HPC v3.0 Risultati recuperati da www.mlperf.org l'8 novembre 2023. Risultati recuperati dalle voci 3.0-8004, 3.0-8009 e 3.0-8010. Il nome e il logo MLPerf™ sono marchi registrati della MLCommons Association negli Stati Uniti e in altri paesi. Tutti i diritti riservati. L'uso non autorizzato è severamente vietato. Per ulteriori informazioni, visitare www.mlcommons.org.

La tecnologia dietro ai risultati

La complessità dell’IA richiede una stretta integrazione di tutti gli aspetti della piattaforma. Come dimostrato dai benchmark MLPerf, la piattaforma NVIDIA AI offre prestazioni di leadership con la GPU più avanzata al mondo, tecnologie di interconnessione potenti e scalabili e software all'avanguardia, una soluzione end-to-end che può essere installata nel data center, nel cloud o sui sistemi periferici con risultati incredibili.

Software ottimizzato che accelera i flussi di lavoro IA

Fattore essenziale dei risultati di training e inferenze MLPerf e della piattaforma NVIDIA, il catalogo NGC™è un hub ottimizzato da GPU per software IA, HPC e analisi dei dati che semplifica e accelera i flussi di lavoro completi. Con oltre 150 container di livello aziendale, tra cui carichi di lavoro per l’IA generativa, l’IA conversazionale e sistemi recommender; centinaia di modelli di AI; e SDK specifici per il settore che possono essere distribuiti in locale, nel cloud o sui sistemi periferici, NGC consente a data scientist, ricercatori e sviluppatori di creare soluzioni all'avanguardia, raccogliere informazioni e offrire valore aziendale più velocemente che mai.

Infrastruttura IA leader

Per ottenere risultati di livello mondiale in termini di formazione e inferenza è necessaria un'infrastruttura appositamente progettata per le sfide più complesse al mondo in materia di intelligenza artificiale. La piattaforma di intelligenza artificiale NVIDIA offre prestazioni all'avanguardia grazie alla piattaforma NVIDIA Blackwell, alla piattaforma Hopper, a NVLink™, NVSwitch™ e a Quantum InfiniBand. Questi elementi sono il cuore della piattaforma di data center NVIDIA, il motore alla base delle nostre prestazioni di benchmark

.

Inoltre, i sistemi NVIDIA DGXâ„¢offrono la scalabilità, la distribuzione rapida e l'incredibile potenza di calcolo che consentono a ogni azienda di costruire un'infrastruttura AI di livello leader. 

Sbloccare l'IA generativa al limite grazie a prestazioni trasformative

NVIDIA Jetson Orin offre un'elaborazione IA senza pari, una grande memoria unificata e stack software completi, fornendo un'efficienza energetica superiore per gestire le più recenti applicazioni di IA generativa. È in grado di effettuare inferenze rapide per qualsiasi modello di IA generativa alimentato dall'architettura Transformer, fornendo prestazioni edge superiori su MLPerf.

Scopri di più sulle prestazioni dei nostri prodotti per l'inferenza e il training del data center.

Modelli linguistici di grandi dimensioni

MLPerf Training utilizza il modello del linguaggio generativo GPT-3 con 175 miliardi di parametri e una lunghezza di sequenza di 2.048 sul set di dati C4 per il carico di lavoro pre-allenamento LLM. Per il test di calibrazione LLM, il modello Llama 2 70B con il set di dati GovReport con lunghezze di sequenza di 8.192.

MLPerf Inference utilizza il modello Llama 2 70B con il set di dati OpenORCA; il modello Mixtral 8x7B con i set di dati OpenORCA, GSM8K e MBXP; e il modello GPT-J con il set di dati CNN-DailyMail.

Text-to-Image

MLPerf Training utilizza il modello text-to-image Stable Diffusion v2 addestrato sul set di dati filtrato da LAION-400M.

MLPerf Inference utilizza il modello di testo-immagine Stable Diffusion XL (SDXL) con un sottoinsieme di 5.000 prompt dal set di dati coco-val-2014. 

Recommender

MLPerf Training and Inference utilizza il Deep Learning Recommendation Model v2 (DLRMv2) che impiega DCNv2 cross-layer e un dataset multi-hot sintetizzato dal dataset Criteo.

Rilevamento di oggetti (leggero)

MLPerf Training utilizza Single-Shot Detector (SSD) con backbone ResNeXt50 su un sottoinsieme del Dataset Google OpenImages.

Rete neurale a grafo

MLPerf Training utilizza R-GAT con l'Illinois Graph Benchmark (IGB), set di dati eterogenei.

Classificazione di immagini

MLPerf Training e Inference utilizzano ResNet v1.5 con il set di dati ImageNet.

Natural Language Processing (NLP)

MLPerf Training utilizza BERT (Bidirectional Encoder Representations from Transformers) sul set di dati di Wikipedia in data 2020/01/01.

MLPerf Inference ha usato BERT con set di dati SQuAD v.1.1.

Segmentazione delle immagini biomediche

MLPerf Training e Inference utilizzano 3D U-Net con il set di dati KiTS19.

Identificazione dei fiumi climatica e atmosferica

Utilizza il modello DeepCAM con CAM5 + set di dati di simulazione TECA.

Previsione dei parametri di cosmologia

Utilizza il modello CosmoFlow con il set di dati di simulazione del corpo N CosmoFlow.

Modellazione molecolare quantistica

Utilizza il modello DimeNet++ con il set di dati Open Catalyst 2020 (OC20).

Previsione della struttura proteica

Utilizza il modello OpenFold basato sul dataset OpenProteinSet.