Che cosa è MLPerf?
I benchmark MLPerf™ sono progettati per fornire valutazioni imparziali sulle prestazioni di addestramento e inferenza per hardware, software e servizi. Sviluppate da MLCommons, un consorzio di leader dell'IA provenienti da università, laboratori di ricerca e vari settori industriali, queste valutazioni sono tutte condotte in condizioni prescritte. Per rimanere all’avanguardia nelle tendenze del settore, MLPerf continua a evolversi, tenendo nuovi test a intervalli regolari e aggiungendo nuovi carichi di lavoro che rappresentano lo stato dell’arte nell’IA.
Dentro i benchmark MLPerf
MLPerf Inference v6.1 misura le prestazioni di inferenza su una vasta gamma di architetture di modelli, tra cui modelli linguistici di grandi dimensioni (LLM) densi e mixture-of-expert (MoE), modelli linguistici visivi, modelli da testo a video, raccomandatori generativi e altro ancora.
MLPerf Training v6.0 misura il tempo necessario per formare i modelli a un livello di qualità specifico in vari tipi di modelli, tra cui LLM, text-to-image e sistemi di raccomandazione.
I risultati NVIDIA nel benchmark MLPerf
-
Formazione
-
Inferenza
La piattaforma NVIDIA ha eccelso nell'offrire il tempo di addestramento più rapido e le massime prestazioni per GPU nei benchmark MLPerf Training v6. In questo round, NVIDIA ha inviato risultati sia su sistemi GB200 NVL72 che su GB300 NVL72. Sulla stessa scala, GB300 NVL72 ha offerto un addestramento fino a 1,6 volte più veloce rispetto a GB200 NVL72. Questo round ha aggiunto due nuovi carichi di lavoro di pre-addestramento MoE, DeepSeek-V3 671B e GPT-OSS-20B, e NVIDIA ha stabilito record di prestazioni su entrambi. Su DeepSeek-V3 671B, NVIDIA ha scalato fino a 8.192 GPU utilizzando i sistemi GB200 NVL72, la soluzione basata su NVIDIA Blackwell su più larga scala nell'addestramento MLPerf fino ad oggi.
La piattaforma NVIDIA Blackwell alza l'asticella per le prestazioni e la scalabilità
Risultati MLPerfTraining v5.0, v5.1 e v6.0 recuperati da www.mlcommons.org il 16 giugno 2026. Risultati di scalabilità delle GPU MLPerf dalle voci 5.0-0004, 5.1-004, 6.0-0001, 6.0-0005 e 6.0-0014. Confronto dell'addestramento MLPerf Blackwell dalle seguenti voci: 6.0-0006, 6.0-0013, 6.0-0017, 6.0-0018, 6.0-0078 e 5.1-0072. Il nome e il logo MLPerf sono marchi registrati e non registrati della MLCommons Association negli Stati Uniti e in altri paesi. Tutti i diritti riservati. L'uso non autorizzato è severamente vietato. Per ulteriori informazioni, consulta www.mlcommons.org.
Ritmo annuale e co-progettazione estrema per la leadership sostenuta dell'addestramento
La piattaforma NVIDIA ha offerto il tempo di formazione più rapido su ogni benchmark MLPerf Training v6, con innovazioni in chip, sistemi e software che hanno consentito una leadership costante nelle prestazioni di formazione, come mostrato dai dati sulle prestazioni standard di settore e sottoposti a revisione paritaria.
Prestazioni di scala massima
| Benchmark | Tempo di formazione |
|---|---|
| DeepSeek-v3 671B | 2,02 minuti |
| GPT-OSS-20B | 7,43 minuti |
| Llama 3.1 405B | 7,07 minuti |
| Llama 2 70B LoRA | 0,40 minuti |
| Llama 3.1 8B | 4,46 minuti |
| FLUX.1 | 17,1 minuti |
| DLRM-dcnv2 | 0,67 minuti |
MLPerf™ Training v6.0 è stato recuperato da www.mlcommons.org il 16 giugno 2026, dalle seguenti voci: 6.0-0005, 6.0-0102, 6.0-0001, 6.0-0102, 6.0-0015, 6.0-0101 e 6.0-0062. Il nome e il logo MLPerf sono marchi di MLCommons Association negli Stati Uniti e in altri paesi. Tutti i diritti riservati. L'uso non autorizzato è severamente vietato. Per ulteriori informazioni, consulta www.mlcommons.org.
NVIDIA Vera Rubin NVL72 offre prestazioni di punta nel debutto dell'inferenza MLPerf v6.1
Tre fattori sono centrali per l'economia dell'inferenza IA: prestazioni del sistema, efficienza della scalabilità dell'infrastruttura e ottimizzazione continua del software. Prestazioni più elevate significano più token generati, portando a ricavi più elevati. Una scalabilità efficiente significa che il throughput cresce proporzionalmente con l'aggiunta di hardware, richiedendo meno risorse per servire gli utenti. L'ottimizzazione continua significa più valore dall'infrastruttura già distribuita.
La piattaforma NVIDIA è progettata appositamente per migliorare tutte e tre le cose e i risultati di MLPerf Inference v6.1 mostrano come:
- Vera Rubin NVL72 debutta con prestazioni di punta: nella sua prima presentazione per MLPerf Inference, Vera Rubin NVL72 offre un throughput fino a 3,7 volte superiore rispetto a GB300 NVL72.
- GB300 NVL72 scala con un'efficienza all'avanguardia: una presentazione a 288 GPU su quattro rack GB300 NVL72 ha raggiunto un'efficienza di scalabilità del 99%, con un throughput in crescita quasi lineare da una baseline a rack singolo.
- Le ottimizzazioni del software generano guadagni continui: i progressi del software v6.1 hanno offerto prestazioni fino a 1,6 volte superiori rispetto alla v6.0, con ulteriori guadagni dall'ottimizzazione post-invio.
Le prestazioni, l'efficienza della scalabilità e la velocità del software determinano insieme l'economia dell'infrastruttura IA a lungo termine.
MLPerf Inference v6.1, divisione chiusa. Risultati recuperati da www.mlcommons.org il 16 settembre 2026. Risultati della piattaforma NVIDIA dalle seguenti voci: 6.1-0106, 6.1-0073 e 6.1-0074. Il nome e il logo MLPerf sono marchi registrati e non registrati della MLCommons Association negli Stati Uniti e in altri paesi. Tutti i diritti riservati. L'uso non autorizzato è severamente vietato. Vedi www.mlcommons.org per maggiori informazioni.
La tecnologia dietro ai risultati
La complessità dell’IA richiede una stretta integrazione di tutti gli aspetti della piattaforma. Come dimostrato dai benchmark MLPerf, la piattaforma NVIDIA AI offre prestazioni di leadership con la GPU più avanzata al mondo, tecnologie di interconnessione potenti e scalabili e software all'avanguardia, una soluzione end-to-end che può essere installata nel data center, nel cloud o sui sistemi periferici con risultati incredibili.
Software ottimizzato che accelera i flussi di lavoro IA
NVIDIA Dynamo è un framework open source distribuito di inferenza per distribuire modelli in ambienti multi-nodo su larga scala da fabbriche IA. Semplifica il servizio distribuito disaggregando l'inferenza, ottimizzando il routing ed estendendo la memoria attraverso il caching dei dati a livelli di storage convenienti.
Dynamo funziona disaggregando (separando) le fasi di pre-riempimento e decodifica dell'inferenza LLM su diverse GPU, consentendo un'ottimizzazione indipendente e un throughput più elevato. È stato presentato in modo prominente nei benchmark MLPerf Inference v5.1, dimostrando prestazioni superiori nei test di ragionamento Llama 3.1 405B Interactive e DeepSeek-R1.
Infrastruttura IA leader
Per ottenere risultati leader a livello mondiale in materia di training e inferenza è necessaria un'infrastruttura appositamente costruita per le sfide di intelligenza artificiale più complesse del mondo. La piattaforma NVIDIA AI ha offerto prestazioni leader basate sulle piattaforme NVIDIA Blackwell e Blackwell Ultra, tra cui i sistemi NVIDIA GB300 NVL72 e GB200 NVL72, NVLink e NVLink Switch e le reti scale-out NVIDIA Quantum InfiniBand e NVIDIA Spectrum-X Ethernet. Questi rappresentano il centro delle fabbriche di IA alimentate dalla piattaforma dei data center NVIDIA, il motore dietro le nostre prestazioni benchmark.
Inoltre, i sistemi NVIDIA DGX™ offrono la scalabilità, la distribuzione rapida e l'incredibile potenza di calcolo che consentono a ogni impresa di progettare un'infrastruttura IA leader di settore.
Scopri di più sulle prestazioni dei nostri prodotti per l'inferenza e l'addestramento dei data center.
LLM per il ragionamento
L'inferenza MLPerf utilizza:
DeepSeek-R1 con campioni provenienti dai set di dati AIME, MATH500, GPQA Diamond, MMLU-Pro e LiveCodeBench.
GPT-OSS-120B con campioni dai set di dati AIME 2024, LivecodeBench v6 e GPQA Diamond.
Modello linguistico visivo
MLPerf Inference utilizza il modello Qwen3-VL-235B-A22B-Instruct con il set di dati del catalogo dei prodotti Shopify.
LLM
L'inferenza MLPerf utilizza:
Llama 3.1 405B con campioni provenienti da LongBench, LongDataCollection, RULER e dal riepilogo GovReport. Llama 2 70B utilizza OpenOrca. Llama 3.1 8B utilizza CNN/DailyMail. Mixtral 8x7B con campioni provenienti da set di dati OpenOrca, GSM8K e MBXP.
MLPerf Training utilizza:
il modello linguistico generativo Llama 3.1 con 405 miliardi di parametri e una lunghezza di sequenza di 8.192 per il carico di lavoro di pre-addestramento LLM con il set di dati c4 (v3.0.1). Per il test di calibrazione LLM, utilizza il modello Llama 2 70B con il set di dati GovReport con lunghezze di sequenza di 8.192. Llama 3.1 8B utilizza anche il set di dati C4 con lunghezze di sequenza di 8.192.
Text-to-Video
MLPerf Inference utilizza Wan-2.2-T2V-A14B con il set di dati VBench.
Text-to-Image
MLPerf Training utilizza il modello da testo a immagine FLUX.1 addestrato sul set di dati CC12M con il set di dati COCO 2014 per la valutazione.
Recommender
MLPerf Inference utilizza DLRMv3 con un set di dati Synthetic Streaming da 100B.
MLPerf Training and Inference utilizza il Deep Learning Recommendation Model v2 (DLRMv2) che impiega DCNv2 cross-layer e un dataset multi-hot sintetizzato dal dataset Criteo.
Rete neurale a grafo
MLPerf Inference utilizza il set di dati eterogeneo Illinois Graph Benchmark (IGB).
MLPerf Training utilizza R-GAT con l'Illinois Graph Benchmark (IGB), set di dati eterogenei.
Speech-to-Text
MLPerf Inference utilizza Whisper-Large-V3 con il set di dati LibriSpeech.
