¿Qué es MLPerf?
Las pruebas de referencia de MLPerf™ están diseñadas para proporcionar evaluaciones imparciales del rendimiento de entrenamiento e inferencia para hardware, software y servicios. Estas evaluaciones, desarrolladas por MLCommons, un consorcio de líderes en IA del ámbito académico, laboratorios de investigación y el sector, se realizan en condiciones predefinidas. Para mantenerse a la vanguardia de las tendencias del sector, MLPerf está en constante evolución, realizando nuevas pruebas a intervalos regulares y agregando nuevas cargas de trabajo que representan la IA más avanzada.
Dentro de las pruebas de referencia de MLPerf
MLPerf Inference v6.1 mide el rendimiento de inferencia en una amplia variedad de arquitecturas de modelos, como modelos de lenguaje de gran tamaño (LLM) densos y con mezcla de expertos (MoE), modelos de lenguaje de visión, modelos de texto a vídeo, recomendadores generativos y mucho más.
MLPerf Training v6.0 mide el tiempo necesario para entrenar modelos para alcanzar un nivel de calidad especificado en varios tipos de modelos, incluidos LLM, de texto a imagen y recomendadores.
Resultados de las pruebas de referencia de MLPerf de NVIDIA
-
Formación
-
Inferencia
La plataforma de NVIDIA destacó por su rendimiento al ofrecer el tiempo de entrenamiento más rápido y el mayor rendimiento por GPU en las pruebas de referencia de MLPerf Training v6. En esta ronda, NVIDIA presentó resultados en los sistemas GB200 NVL72 y GB300 NVL72. Con la misma escala, GB300 NVL72 proporcionó un entrenamiento hasta 1,6 veces más rápido que GB200 NVL72. Esta ronda añadió dos nuevas cargas de trabajo de preentrenamiento MoE, DeepSeek-V3 671B y GPT-OSS-20B, y NVIDIA batió récords de rendimiento en ambas. En DeepSeek-V3 671B, NVIDIA escaló a 8192 GPU utilizando sistemas GB200 NVL72, el envío a mayor escala basado en NVIDIA Blackwell en MLPerf Training hasta la fecha.
La plataforma NVIDIA Blackwell eleva el listón en cuanto a rendimiento y escalabilidad
Los resultados de MLPerfTraining v5.0, v5.1 y v6.0 se obtuvieron de www.mlcommons.org el 16 de junio de 2026. Los resultados de escalado de GPU de MLPerf se basan en las entradas 5.0-0004, 5.1-004, 6.0-0001, 6.0-0005 y 6.0-0014. Comparación del entrenamiento de MLPerf Blackwell a partir de las siguientes entradas: 6.0-0006, 6.0-0013, 6.0-0017, 6.0-0018, 6.0-0078 y 5.1-0072. El nombre y el logotipo de MLPerf son marcas registradas y no registradas de la asociación MLCommons en los Estados Unidos y otros países. Todos los derechos reservados. El uso no autorizado está estrictamente prohibido. Para obtener más información, consulte www.mlcommons.org.
Co-diseño extremo y ritmo anual para el liderazgo en el entrenamiento sostenido.
La plataforma NVIDIA presento el tiempo de entrenamiento más rápido en todas las pruebas de referencia de MLPerf Training v6, con innovaciones en chips, sistemas y software que permiten el liderazgo constante en el rendimiento de entrenamiento, como muestran los datos de rendimiento estándar del sector revisados por pares.
Rendimiento de máxima escala
| Prueba de referencia | Hora de entrenamiento |
|---|---|
| DeepSeek-v3 671B | 2,02 minutos |
| GPT-OSS-20B | 7,43 minutos |
| Llama 3.1 405B | 7,07 minutos |
| Llama 2 70B LoRA | 0,40 minutos |
| Llama 3.1 8B | 4,46 minutos |
| FLUX.1 | 17,1 minutos |
| DLRM-DCNv2 | 0,67 minutos |
MLPerf™ Training v6.0 se obtuvo de www.mlcommons.org el 16 de junio de 2026 de las siguientes entradas: 6.0-0005, 6.0-0102, 6.0-0001, 6.0-0102, 6.0-0015, 6.0-0101 y 6.0-0062. El nombre y el logotipo de MLPerf son marcas comerciales de MLCommons Association en Estados Unidos y otros países. Todos los derechos reservados. El uso no autorizado está estrictamente prohibido. Para obtener más información, consulte www.mlcommons.org.
NVIDIA Vera Rubin NVL72 brinda un rendimiento puntero en su debut con MLPerf Inference v6.1
Tres factores son fundamentales para la economía de la inferencia de IA: rendimiento del sistema, escalado eficiente de la infraestructura y optimización continua del software. Un mayor rendimiento significa más tókenes generados, lo que genera mayores ingresos. El escalado eficiente significa que el rendimiento aumenta proporcionalmente a medida que se añade hardware, lo que requiere menos recursos para atender a los usuarios. La optimización continua significa obtener más valor de la infraestructura ya implementada.
La plataforma de NVIDIA está diseñada específicamente para impulsar los tres factores, como demuestran los resultados de la inferencia de MLPerf v6.1:
- Vera Rubin NVL72 debuta con un rendimiento puntero: en su primera presentación de inferencia de MLPerf, Vera Rubin NVL72 proporciona un rendimiento hasta 3,7 veces superior al de GB300 NVL72.
- GB300 NVL72 escala con eficiencia puntera: una presentación con 288 GPU en cuatro bastidores GB300 NVL72 logró una eficiencia de escalado del 99 %, con un rendimiento que aumenta casi linealmente con respecto a un nivel de referencia de un solo bastidor.
- Las optimizaciones de software impulsan continuas mejoras: los avances en software v6.1 han proporcionado un rendimiento hasta 1,6 veces superior al de la versión 6.0, con ventajas adicionales gracias a las optimizaciones realizadas después de presentar los resultados.
El rendimiento, el escalado eficiente y la velocidad del software determinan conjuntamente la rentabilidad de la infraestructura de IA a largo plazo.
MLPerf Inference v6.1, división cerrada. Resultados obtenidos de www.mlcommons.org el 16 de septiembre de 2026. Los resultados de la plataforma NVIDIA provienen de las siguientes entradas: 6.1-0106, 6.1-0073 y 6.1-0074. El nombre y el logotipo de MLPerf son marcas registradas y no registradas de la asociación MLCommons en los Estados Unidos y otros países. Todos los derechos reservados. El uso no autorizado está estrictamente prohibido. Si desea obtener más información, consulte www.mlcommons.org.
La tecnología detrás de los resultados
La complejidad de la IA exige una estrecha integración entre todos los aspectos de la plataforma. Como se ha demostrado en las pruebas de referencia de MLPerf, la plataforma de IA de NVIDIA ofrece un rendimiento de liderazgo con la GPU más avanzada del mundo, tecnologías de interconexión potentes y escalables y software de vanguardia: una solución integral que se puede implementar en el centro de datos, en la nube o en el perímetro con resultados increíbles.
Software optimizado que acelera los flujos de trabajo de IA
NVIDIA Dynamo es un marco de servicio de inferencia distribuida de código abierto para implementar modelos en entornos de varios nodos a escala de fábrica de IA. Agiliza el servicio distribuido al desagregar la inferencia, optimizar el enrutamiento y ampliar la memoria mediante el almacenamiento en caché de datos a niveles de almacenamiento rentables.
Dynamo funciona al desagregar (separar) las fases de prellenado y descodificación de la inferencia de LLM en diferentes GPU, lo que permite una optimización independiente y un mayor rendimiento. Se ha presentado de forma destacada en las pruebas de referencia de MLPerf Inference v5.1, lo que demuestra un rendimiento superior en las pruebas de razonamiento de Llama 3.1 405B Interactive y DeepSeek-R1.
Infraestructura de IA de nivel de liderazgo
Para lograr resultados de primera línea en formación e inferencia, se requiere una infraestructura diseñada específicamente para los desafíos de IA más complejos del mundo. La plataforma de IA de NVIDIA ofreció un rendimiento líder impulsado por las plataformas NVIDIA Blackwell y Blackwell Ultra, incluidos los sistemas NVIDIA GB300 NVL72 y GB200 NVL72, NVLink y NVLink Switch, NVIDIA Quantum InfiniBand y las redes de escalado vertical NVIDIA Spectrum-X Ethernet. Estos se encuentran en el corazón de las fábricas de IA impulsadas por la plataforma de centros de datos de NVIDIA, el motor detrás de nuestro rendimiento de referencia.
Además, los sistemas NVIDIA DGX™ ofrecen la escalabilidad, la rápida implementación y una increíble capacidad de cálculo que permite a todas las empresas crear infraestructuras de IA de nivel de liderazgo.
Obtenga más información sobre el rendimiento de inferencia y de entrenamiento de nuestro centro de datos.
LLM de razonamiento
La inferencia de MLPerf utiliza:
DeepSeek-R1 con muestras procedentes de los conjuntos de datos AIME, MATH500, GPQA Diamond, MMLU-Pro y LiveCodeBench.
GPT-OSS-120B con muestras de los conjuntos de datos de AIME 2024, LivecodeBench v6 y GPQA Diamond.
Modelo de lenguaje de visión
MLPerf Inference utiliza el modelo Qwen3-VL-235B-A22B-Instruct con el conjunto de datos del catálogo de productos de Shopify.
LLM
La inferencia de MLPerf utiliza:
Llama 3.1 405B con muestras obtenidas de LongBench, LongDataCollection, RULER y resumen de GovReport. Llama 2 70B utiliza OpenOrca. Llama 3.1 8B utiliza CNN/DailyMail. Mixtral 8x7B con muestras procedentes de conjuntos de datos de OpenOrca, GSM8K y MBXP.
MLPerf Training utiliza:
el modelo de lenguaje generativo Llama 3.1 con 405 000 millones de parámetros y una longitud de secuencia de 8192 para la carga de trabajo de preentrenamiento de LLM con el conjunto de datos c4 (v3.0.1). Para la prueba de ajuste preciso de LLM, utiliza el modelo Llama 2 70B con el conjunto de datos GovReport con longitudes de secuencia de 8.192. Llama 3.1 8B también utiliza el conjunto de datos C4 con longitudes de secuencia de 8192.
Texto a vídeo
MLPerf Inference utiliza Wan-2.2-T2V-A14B con el conjunto de datos de VBench.
Texto a imagen
MLPerf Training utiliza el modelo de texto a imagen FLUX.1 entrenado en el conjunto de datos CC12M con el conjunto de datos COCO 2014 para Eval.
Recomendaciones
MLPerf Inference utiliza DLRMv3 con un conjunto de datos de Synthetic Streaming 100B.
MLPerf Training and Inference utiliza el modelo de recomendación v2 (DLRMv2) de Deep Learning que emplea DCNv2 multinivel y un conjunto de datos multi-hot sintetizado a partir del conjunto de datos de Criteo.
Red neuronal gráfica
MLPerf Inference utiliza el conjunto de datos heterogéneo de Illinois Graph Benchmark (IGB).
MLPerf Training utiliza R-GAT con el conjunto de datos Illinois Graph Benchmark (IGB): conjunto de datos heterogéneos.
Voz a texto
MLPerf Inference utiliza Whisper-Large-V3 con el conjunto de datos de LibriSpeech.
