MLPerf Benchmarks

The NVIDIA AI platform showcases leading performance and versatility in MLPerf Training, Inference, and HPC for the most demanding, real-world AI workloads.

See Our Results

¿Qué es MLPerf?

Las pruebas de referencia MLPerf™, desarrolladas por MLCommons, un consorcio de líderes en IA del mundo académico, laboratorios de investigación y la industria, están diseñadas para proporcionar evaluaciones imparciales del rendimiento de la formación y la inferencia para hardware, software y servicios. Todas se llevan a cabo en las condiciones prescritas. Para mantenerse a la vanguardia de las tendencias del sector, MLPerf sigue evolucionando, llevando a cabo nuevas pruebas a intervalos regulares y añadiendo nuevas cargas de trabajo que representan lo último en IA.

La Universidad Chalmers es una de las principales instituciones de investigación en Suecia, especializada en diversas áreas, desde nanotecnología hasta estudios climáticos. A medida que incorporamos la IA para avanzar en nuestros esfuerzos de investigación, descubrimos que las pruebas de rendimiento de MLPerf proporcionan una comparación transparente entre iguales de varias plataformas de IA para mostrar el rendimiento real en diversos casos de uso del mundo real.

— Universidad Tecnológica Chalmers, Suecia

TSMC está impulsando la vanguardia de la fabricación global de semiconductores, como nuestro último nodo de 5nm que lidera el mercado en tecnología de procesos. Innovaciones como la litografía basada en aprendizaje automático y el modelado de grabados mejoran drásticamente nuestra corrección de proximidad óptica (OPC) y la precisión de la simulación de grabado. Para aprovechar al máximo el potencial del aprendizaje automático en el entrenamiento de modelos y la inferencia, estamos trabajando con el equipo de ingeniería de NVIDIA para portar nuestro motor Maxwell de simulación y tecnología de litografía inversa (ILT) a las GPU y ver aceleraciones muy significativas. Las pruebas de referencia de MLPerf son un factor importante en nuestra toma de decisiones.

— Dr. Danping Peng, Director, Departamento de OPC, TSMC, San José, CA, EE. UU.

La visión computarizada y la creación de imágenes están en el centro de la investigación de la IA, impulsando el descubrimiento científico y representando fácilmente los componentes centrales de la atención médica. Hemos colaborado estrechamente con NVIDIA para introducir innovaciones como 3DUNet en el mercado sanitario. Las pruebas de referencia de MLPerf estándares del sector proporcionan datos de rendimiento relevantes en beneficio de las organizaciones y desarrolladores de TI para obtener la solución adecuada para acelerar sus proyectos y aplicaciones específicos.

— Prof. Dr. Klaus Maier-Hein (Jefe de Computación de Imágenes Médicas, Deutsches Krebsforschungszentrum (DKFZ, Centro Alemán de Investigación del Cáncer)

Como líder preeminente en investigación y fabricación, Samsung utiliza la IA para aumentar drásticamente el rendimiento del producto y la productividad de fabricación. La comercialización de estos avances de IA requiere que tengamos la mejor plataforma informática disponible. Las pruebas de referencia de MLPerf agilizan nuestro proceso de selección al proporcionarnos un método de evaluación abierto y directo para evaluar, de manera uniforme, en todas las plataformas.

— Samsung Electronics

Dentro de las pruebas de referencia de MLPerf

MLPerf Training v3.1 mide el tiempo necesario para entrenar modelos en nueve casos de uso diferentes, incluidos modelos de lenguaje de gran tamaño (LLM), generación de imágenes, visión computarizada, segmentación de imágenes médicas, reconocimiento de voz y recomendación.

La inferencia de MLPerf v3.1 prueba el rendimiento de la inferencia utilizando siete tipos diferentes de redes neuronales, incluidos los LLM, el procesamiento del lenguaje natural, la visión computarizada y la segmentación de imágenes médicas.

MLPerf HPC v3.0 prueba cuatro casos de uso de computación científica diferentes, incluida la identificación de ríos atmosféricos climáticos, la predicción de parámetros de cosmología, el modelado molecular cuántico y la predicción de la estructura de las proteínas.

Large Language Model (LLM)

Modelos lingüísticos de gran tamaño

Algoritmos de deep learning entrenados en conjuntos de datos a gran escala que pueden reconocer, resumir, traducir, predecir y generar contenido para una amplia gama de casos de uso Más información.

Text-to-Image

Texto a imagen

Genera imágenes a partir de mensajes de texto. Más información.

Recommendation

Recomendación

Ofrece resultados personalizados en servicios de contacto entre usuarios, como redes sociales o sitios web de comercio electrónico, al comprender las interacciones entre usuarios y servicios, como los productos o los anuncios. Más información.

Object Detection (Lightweight)

Detección de objetos (ligera)

Busca instancias de objetos del mundo real, como caras, bicicletas y edificios, en imágenes o vídeos, y especifica un cuadro delimitador alrededor de cada uno. Más información.

Object Detection (Heavyweight)

Detección de objetos (pesada)

Detecta distintos objetos de interés que aparecen en una imagen e identifica una máscara de píxeles para cada uno.Más información.

Image Classification

Clasificación de imágenes

Asigna una etiqueta de un conjunto fijo de categorías a una imagen de entrada, es decir, se aplica a problemas de visión computarizada. Más información.

Natural Language Processing (NLP)

Procesamiento del lenguaje natural (PLN)

Entiende el texto mediante la relación entre las distintas palabras de un bloque de texto. Permite responder a preguntas, parafrasear oraciones y muchos otros casos de uso relacionados con el idioma.Más información.

Automatic Speech Recognition (ASR)

Reconocimiento de voz automático (ASR)

Reconoce y transcribe audio en tiempo real. Más información.

Biomedical Image Segmentation

Segmentación de imágenes biomédicas

Realiza la segmentación volumétrica de imágenes 3D densas para casos de uso médico. Más información.

Climate Atmospheric River Identification Category

Identificación climática de ríos atmosféricos

Identifica huracanes y ríos atmosféricos en datos de simulación climática. Más información.

Cosmology Parameter Prediction Category

Predicción de parámetros de cosmología

Resuelve un problema de regresión de imágenes 3D en datos cosmológicos. Más información.

Quantum Molecular Modeling Category

Modelado molecular cuántico

Predice energías o configuraciones moleculares. Más información.

Protein Structure Prediction

Predicción de la estructura de proteínas

Predice la estructura de proteínas tridimensional en función de la conectividad de aminoácidos unidimensional. Más información.

Resultados de las pruebas de referencia de MLPerf de NVIDIA

  • Formación

    Formación

  • Inferencia

    Inferencia

  • HPC

    HPC

La plataforma de computación acelerada de NVIDIA, con tecnología de GPU NVIDIA H100 Tensor Core y redes NVIDIA Quantum-2 InfiniBand batieron grandes récords de rendimiento de entrenamiento LLM en MLPerf Training v3.1, lo que impulsó dos presentaciones a una escala sin precedentes de 10 752 GPU H100 con una eficiencia de escalado casi lineal en la prueba de referencia GPT-3 175B. Además, en la nueva prueba de conversión de texto a imagen basada en Stable Diffusion, la plataforma NVIDIA puso el listón muy alto, ofreciendo el mayor rendimiento y una escalabilidad incomparable. A través de una incesante ingeniería de bloques completos a escala de centro de datos, NVIDIA sigue acelerando el rendimiento del entrenamiento de la IA a la velocidad de la luz.

NVIDIA bate un nuevo récord de entrenamiento de modelos lingüísticos con la mayor propuesta de MLPerf de la historia

NVIDIA Sets a New Large Language Model Training Record With Largest MLPerf Submission Ever
Benchmark Per-Accelerator Records
(NVIDIA H100 Tensor Core GPU)
Large Language Model (GPT-3 175B) 548 hours (23 days)
Natural Language Processing (BERT) 0.71 hours
Recommendation (DLRM-DCNv2) 0.56 hours
Speech Recognition (RNN-T) 2.2 hours
Image Classification (ResNet-50 v1.5) 1.8 hours
Object Detection, Heavyweight (Mask R-CNN) 2.6 hours
Object Detection, Lightweight (RetinaNet) 4.9 hours
Image Segmentation (3D U-Net) 1.6 hours

Resultados obtenidos en www.mlperf.org el 8 de noviembre de 2023 a partir de las inscripciones siguientes: 3.0-2053, 3.0-2054, 3.0-2055, 3.0-2064, 3.0-2069 y 3.0-2063.

El nombre y el logotipo de MLPerf™ son marcas comerciales de MLCommons Association en los Estados Unidos y otros países. Quedan reservados todos los derechos. Uso no autorizado estrictamente prohibido. Consulta www.mlcommons.org para obtener más información.

La plataforma de IA de NVIDIA logra el mayor rendimiento en cada prueba de entrenamiento de MLPerf

Además de un rendimiento innovador a escala en el modelo de lenguaje de gran tamaño de vanguardia y las pruebas de texto a imagen, NVIDIA también logró nuevos récords de rendimiento en las cargas de trabajo de recomendación, detección de objetos, segmentación de imágenes médicas y procesamiento de lenguaje natural en MLPerf Training v3.1. Con las GPU NVIDIA H100 y NVIDIA Quantum-2, la plataforma NVIDIA sigue ofreciendo el tiempo más rápido para entrenar en cada prueba de referencia, lo que demuestra su rendimiento y versatilidad inigualables para manejar toda la gama de cargas de trabajo de IA.

Rendimiento a máxima escala

Prueba de referencia Hora de entrenamiento
GPT-3 3,92 minutos
Stable Diffusion v2 2,47 minutos
DLRM-DCNv2 1,0 minutos
BERT-large 0,12 minutos
ResNet-50 v1.5 0.,8 minutos
Máscara R-CNN 1,5 minutos
RetinaNet 0,92 minutos
3D U-Net 0,77 minutos
RNN-T 1,7 minutos

MLPerf™ Training v3.1. Resultados obtenidos en www.mlperf.org el 8 de noviembre de 2023 a partir de inscripciones. El nombre y el logotipo de MLPerf™ son marcas comerciales de MLCommons Association en los Estados Unidos y otros países. Quedan reservados todos los derechos. Uso no autorizado estrictamente prohibido. Consulta www.mlcommons.org para obtener más información.

La GPU NVIDIA H100 Tensor Core impulsó los sistemas de mayor rendimiento en cada escenario y carga de trabajo del centro de datos de inferencia de MLPerf v3.1. En su debut en MLPerf, el superchip NVIDIA GH200 Grace Hopper™ ejecutó todas las cargas de trabajo y amplió el rendimiento excepcional de H100. La GPU NVIDIA L4 Tensor Core, optimizada para ser el acelerador NVIDIA más eficiente para servidores convencionales, también obtuvo grandes resultados en todos los ámbitos. En el caso de aplicaciones de robótica e IA perimetral de bajo consumo, NVIDIA Jetson AGX Orin™ y Jetson Orin NX siguieron demostrando su extraordinaria capacidad de inferencia de sistema en módulo.

Escenario de centro de datos y perímetro (GPU única)

NVIDIA GH200 Grace Hopper Superchip (inferencias/segundo) NVIDIA H100 (Inferencias por segundo) NVIDIA L4 (Inferencias por segundo) NVIDIA Jetson AGX Orin (número máximo de inferencias por consulta) NVIDIA Jetson Orin NX (Inferencias máximas por consulta)
GPT-J (Modelos lingüísticos de gran tamaño) 13.34 13.29 1.30 N/D N/D
DLRMv2 (Recomendación) 49,002 42,856 3,673 N/D* N/D*
BERT (Procesamiento de lenguaje natural)** 8,646 7,878 631 554 195
ResNet-50 v1.5 (Clasificación de imágenes) 93,198 88,526 12,882 6,424 2,641
RetinaNet (Detección de objetos) 1,849 1,761 226 149 67
RNN-T (Reconocimiento de voz) 25,975 23,307 3,899 1,170 432
3D U-Net (Imágenes médicas) 6.8 6.5 1.07 0.51 0.20

* DLRMv2 no forma parte del conjunto de categoría en la periferia.

** Objetivo de precisión BERT del 99,9 % utilizado para H100, A100 y L4. BERT 99 % utilizado para Jetson AGX Orin y Jetson Orin NX, ya que es el objetivo de mayor precisión compatible con la categoría MLPerf Inference: Edge para la prueba de referencia BERT

1) Resultados del centro de datos de inferencia de MLPerf v3.1 para el escenario sin conexión obtenidos en www.mlperf.org el 11 de septiembre de 2023, a partir de las inscripciones 3.1-0106, 3.1-0107, 3.1-0108 y 3.1-0110. El rendimiento por procesador no es una métrica principal de la inferencia de MLPerf v3.1. El rendimiento por procesador se calcula dividiendo la métrica principal del rendimiento total por el número de aceleradores notificados.

2) Resultados perimetrales de la inferencia de MLPerf v3.1 para el escenario sin conexión recuperados de www.mlperf.org el 11 de septiembre de 2023, a partir de las inscripciones 3.1-0114, 3.1-0116. El rendimiento por procesador no es una métrica principal de la inferencia de MLPerf v3.1. El rendimiento por procesador se calcula dividiendo la métrica principal del rendimiento total por el número de aceleradores notificados.

NVIDIA H100 Tensor Core potenció la plataforma NVIDIA para HPC e IA en su debut en MLPerf HPC v3.0, lo que aumentó el rendimiento hasta el doble y ofreció el mayor rendimiento en todas las cargas de trabajo en las métricas de tiempo de entrenamiento y rendimiento. La plataforma NVIDIA también fue la única en enviar resultados para cada carga de trabajo de HPC de MLPerf, que abarcan la segmentación climática, la predicción de parámetros de cosmología, el modelado molecular cuántico y la última adición, la predicción de la estructura de las proteínas. El rendimiento y la versatilidad inigualables de la plataforma NVIDIA la convierten en el instrumento preferido para impulsar la próxima ola de descubrimientos científicos con tecnología de IA.

Un rendimiento hasta 16 veces mayor en 3 años

La innovación de pila completa de NVIDIA impulsa mejoras de rendimiento

Up to 16X More Performance in 3 Years

MLPerf v3.0 HPC Closed Strong Scaling—Resultado obtenido en https://mlcommons.org/en/training-hpc-20 el 9 de noviembre de 2022—ID de resultados mostrados: Cosmoflow v0.7 0.7-407, v1.0 1.0-1120, v2.0 2.0-8006 | DeepCAM v0.7 0.7-406, v1.0 1.0-1122 v2.0 2.0-8005 | Opencatalyst v1.0 1.0-1115 v2.0 2.0-8006. CosmoFlow score in v1.0 is normalized to new RCPs introduced in MLPerf HPC v2.0. Scores for v0.7, v1.0, and v2.0 are adjusted to remove data staging time from the benchmark, consistent with new rules adopted for v3.0 to enable fair comparisons between the submission rounds. El nombre y el logotipo de MLPerf™ son marcas comerciales de MLCommons Association en los Estados Unidos y otros países. Quedan reservados todos los derechos. Uso no autorizado estrictamente prohibido. Consulta www.mlcommons.org para obtener más información..

Up to 16X More Performance in 3 Years

MLPerf™ HPC v3.0 Results retrieved from www.mlperf.org on November 8, 2023. Results retrieved from entries 3.0-8004, 3.0-8009, and 3.0-8010.  The MLPerf™ name and logo are trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

La tecnología detrás de los resultados

La complejidad de la inteligencia artificial exige una estrecha integración entre todos los aspectos de la plataforma. Como se ha demostrado en las pruebas de referencia de MLPerf, la plataforma de IA de NVIDIA ofrece un rendimiento de liderazgo con la GPU más avanzada del mundo, tecnologías de interconexión potentes y escalables y software de vanguardia: una solución integral que se puede implementar en el centro de datos, en la nube o en el perímetro con resultados increíbles.

Modelos pre-entrenados y software optimizado de NVIDIA NGC

Software optimizado que acelera los flujos de trabajo de IA

El catálogo NGC™, componente esencial de los resultados de entrenamiento e inferencia de MLPerf y la plataforma de NVIDIA, es un centro de IA optimizado para GPU, HPC y software de análisis de datos que simplifica y acelera los flujos de trabajo de extremo a extremo. Con más de 150 contenedores de nivel empresarial, que incluyen cargas de trabajo para IA generativa, IA conversacional, y sistemas de recomendación, cientos de modelos de IA y SDK específicos del sector que se pueden implementar en el entorno local, en la nube o en el perímetro, NGC permite que los científicos, los investigadores y los desarrolladores de datos creen las mejores soluciones de su clase, recopilen información y aporten valor a la empresa más rápido que nunca.

Visita el catálogo de NGC

Infraestructura de IA de nivel de liderazgo

La consecución de resultados de primer nivel en el entrenamiento y la inferencia requiere una infraestructura diseñada expresamente para los desafíos más complejos del mundo. La plataforma de IA de NVIDIA ofrece el máximo rendimiento gracias al superchip NVIDIA GH200 Grace Hopper, la GPU NVIDIA H100 Tensor Core, la GPU NVIDIA L4 Tensor Core y la escalabilidad y flexibilidad de las tecnologías de interconexión de NVIDIA: NVIDIA NVLink®, NVSwitch™, y Quantum-2 InfiniBand. Son el núcleo de la plataforma de centros de datos de NVIDIA,, el motor que respalda nuestra prueba de referencia de rendimiento.

Además, los sistemas NVIDIA DGX™ ofrecen la escalabilidad, la rápida implementación y una increíble capacidad de cálculo que permite a todas las empresas crear infraestructuras de IA de primera clase.

Más información
Leadership-Class AI Infrastructure

Obtén más información sobre el rendimiento del producto de entrenamiento e inferencia de nuestro centro de datos.

Ver el rendimiento
Protein Structure Prediction

Predicción de la estructura de proteínas

Utiliza el modelo OpenFold entrenado en el conjunto de datos OpenProteinSet.
Text-to-Image

Texto a imagen

El entrenamiento de MLPerf utiliza el modelo texto-imagen de Stable Diffusion entrenado en un subconjunto del conjunto de datos Laion400 con un subconjunto del conjunto de datos COCO-2014 utilizado para la validación.
Quantum Molecular Modeling Category

Modelado molecular cuántico

Utiliza el modelo DimeNet++ con el conjunto de datos Open Catalyst 2020 (OC20).
Cosmology Parameter Prediction Category

Predicción de parámetros de cosmología

Utiliza el modelo CosmoFlow con el conjunto de datos de simulación de cuerpo N de CosmoFlow.
Climate Atmospheric River Identification Category

Identificación climática de ríos atmosféricos

Utiliza el modelo DeepCAM con el conjunto de datos de simulación CAM5 + TECA.
Image Classification

Clasificación de imágenes

El entrenamiento y la inferencia de MLPerf utilizan ResNet v1.5 con el conjunto de datos ImageNet.
MLPerf Inference used ResNet-50 v. 1.5 and MobileNet-v1 with the ImageNet dataset.
Object Detection (Lightweight)

Detección de objetos (ligera)

MLPerf Training uses Single-Shot Detector (SSD) with ResNeXt50 backbone on a subset of the Google OpenImages Dataset.
El entrenamiento de MLPerf utiliza Single-Shot Detector (SSD) en el conjunto de datos COCO 2017.
Object Detection (Heavyweight)

Detección de objetos (pesada)

MLPerf Training utiliza Mask R-CNN en el conjunto de datos COCO 2014.
La inferencia de MLPerf utiliza RetinaNet con el conjunto de validación OpenImages MLPerf cuyo tamaño se ha ajustado a 800x800 píxeles.
Translation (Recurrent)

Translation (Recurrent)

MLPerf used Google’s Machine Translation System (GNMT) on the WMT English-German dataset.
MLPerf Inference used the Google Neural Machine Translation (GNMT) RNN with the WMT16 dataset.
Translation (Non-recurrent)

Translation (Non-recurrent)

MLPerf used Transformer on the WMT English-German dataset.
MLPerf Inference measured speech recognition using the RNN-T network with the LibriSpeech dataset.
Natural Language Processing (NLP)

Procesamiento del lenguaje natural (PLN)

El entrenamiento de MLPerf utiliza representaciones codificadoras bidireccionales de transformadores (BERT) en el conjunto de datos de Wikipedia del 01/01/2020.
La inferencia de MLPerf utilizó BERT con el conjunto de datos SQuAD v. 1.1.
Recommendation

Recomendación

El entrenamiento y la inferencia de MLPerf utilizan el modelo de recomendación de deep learning v2 (DLRMv2) que emplea DCNv2 de varias capas y un conjunto de datos multihot sintetizado a partir del conjunto de datos Criteo.
Reinforcement Learning

Modelos lingüísticos de gran tamaño

MLPerf Training utiliza el modelo de lenguaje generativo GPT-3 con 175 000 millones de parámetros y una longitud de secuencia de 2048 en el conjunto de datos C4.
La inferencia de MLPerf utiliza el modelo GPT-J (6000 millones de parámetros) con el conjunto de datos CNN-DailyMail.
Automatic Speech Recognition (ASR

Reconocimiento de voz automático (ASR)

El entrenamiento y la inferencia de MLPerf utilizan RNN-T en el conjunto de datos LibriSpeech.
Biomedical Image Segmentation

Segmentación de imágenes biomédicas

El entrenamiento y la inferencia de MLPerf utilizan 3D U-Net con el conjunto de datos KiTS19.
Productos
Tecnologías
Software
Recursos