Benchmarks de MLPerf

La plataforma de IA de NVIDIA logra rendimiento y versatilidad de clase mundial en MLPerf Training, Inference y HPC para las cargas de trabajo de AI más exigentes del mundo real.

Ver Nuestros Resultados

¿Qué es MLPerf?

MLPerf es un grupo de líderes de IA de la industria, laboratorios de investigación e instituciones académicas cuya misión es "desarrollar evaluaciones útiles e imparciales", que proporcionen pruebas sin sesgos (que se llevan a cabo bajo condiciones prescritas) para el rendimiento de la inferencia y el entrenamiento del hardware, el software y los servicios. Para seguir a la vanguardia de las tendencias de la industria, MLPerf sigue evolucionando y realiza nuevas pruebas de forma periódica. También agrega nuevas cargas de trabajo que representan lo último en IA.

La Universidad de Chalmers es una de las principales instituciones de investigación en Suecia, especializada en múltiples áreas, desde la nanotecnología hasta los estudios climáticos. A medida que incorporamos la IA para avanzar en nuestros esfuerzos de investigación, encontramos que la  evaluación MLPerf proporciona una comparación transparente y equivalente a través de múltiples plataformas de IA para mostrar el rendimiento real en diversos casos de uso del mundo real.

— Universidad Tecnológica de Chalmers, Suecia

TSMC está impulsando la vanguardia de la fabricación global de semiconductores, como nuestro último nodo de 5 nm que lidera el mercado en tecnología de procesos. Innovaciones como la litografía basada en machine learning y el modelado de grabado mejoran significativamente nuestra corrección óptica de proximidad (OPC) y la precisión de la simulación de grabado. Para aprovechar al máximo el potencial de machine learning en el entrenamiento y la inferencia de modelos, estamos trabajando con el equipo de ingeniería de NVIDIA para incorporar nuestro motor de tecnología de simulación y litografía inversa Maxwell en las GPU y ver aceleraciones muy significativas. La evaluación MLPerf es un factor importante en nuestra toma de decisiones.

— Dr. Danping Peng, Director, Departamento de OPC, TSMC, San José, CA, EE. UU.

La visión de computación y las imágenes son el núcleo de la investigación de la IA, impulsan el descubrimiento científico y representan los componentes centrales de la atención médica. Hemos trabajado estrechamente con NVIDIA para lanzar innovaciones como 3DUNet al mercado de la salud. Las evaluaciones MLPerf estándar de la industria proporcionan datos de rendimiento relevantes en beneficio de las organizaciones y desarrolladores de TI para obtener la solución adecuada, lo que permite acelerar sus proyectos y aplicaciones específicos.

— Prof. Dr. Klaus Maier-Hein (Jefe de Computación de Imágenes Médicas, Deutsches Krebsforschungszentrum (DKFZ, Centro Alemán de Investigación del Cáncer)

Como líder preeminente en investigación y fabricación, Samsung utiliza la IA para aumentar enormemente el rendimiento del producto y la productividad en la fabricación. Aprovechar estos avances de IA en la producción requiere que tengamos la mejor plataforma de computación disponible. La evaluación MLPerf agiliza nuestro proceso de selección al proporcionarnos un método de evaluación abierto y directo para evaluar uniformemente a todos los proveedores de plataformas.

— Samsung Electronics

Categorías de Participación de MLPerf

MLPerf Inference v4.0 mide el rendimiento de la inferencia en nueve puntos de referencia diferentes, incluidos grandes modelos de lenguaje (LLM), texto a imagen, procesamiento de lenguaje natural, voz, recomendadores, visión artificial y segmentación de imágenes médicas.

MLPerf Training v4.0 mide el rendimiento de la formación en nueve puntos de referencia diferentes, entre los que se incluyen la formación previa de LLM, el ajuste fino de LLM, la conversión de texto a imagen, la red neuronal de grafos (GNN), la visión artificial, la segmentación de imágenes médicas y la recomendación.

MLPerf HPC v3.0 mide el rendimiento del entrenamiento en cuatro casos de uso de computación científica diferentes, incluida la identificación de ríos climáticos y atmosféricos, la predicción de parámetros cosmológicos, el modelado molecular cuántico y la predicción de la estructura de proteínas.

Large Language Model (LLM)

Grandes Modelos de Lenguaje

MLPerf Training utiliza el modelo de lenguaje generativo GPT-3 con 175 mil millones de parámetros y una longitud de secuencia de 2,048 en el conjunto de datos C4.

MLPerf Inference utiliza el modelo GPT-J (6 mil millones de parámetros) con el conjunto de datos CNN-DailyMail. detalles.

Text-to-Image

Texto a Imagen

MLPerf Training utiliza el modelo de texto a imagen de Stable Diffusion v2 entrenado en el conjunto de datos filtrado LAION-400M.  detalles.

Recommendation

Recomendación

MLPerf Training and Inference utiliza el Deep Learning Recommendation Model v2 (DLRMv2) que emplea DCNv2 cross-layer y un conjunto de datos multi-hot sintetizado a partir del conjunto de datos de Criteo. detalles.

Object Detection (Lightweight)

Detección de Objetos (Ligero)

MLPerf Training utiliza Single-Shot Detector (SSD) con la red troncal ResNeXt50 en un subconjunto del conjunto de datos de Google OpenImages. detalles.

MLPerf Submission Categories

Red Neuronal de Grafos

Utiliza redes neuronales diseñadas para trabajar con datos estructurados como grafos.   detalles.

Image Classification

Clasificación de Imágenes

El entrenamiento y la inferencia de MLPerf usan ResNet v1.5 con el conjunto de datos de ImageNet. detalles.

Natural Language Processing (NLP)

Procesamiento del Lenguaje Natural (PLN)

MLPerf Training usa representaciones de codificador bidireccional de transformadores (BERT) en el conjunto de datos de Wikipedia 2020/01/01.

La inferencia de MLPerf usó BERT con el conjunto de datos SQuAD v.1.1. detalles.

Biomedical Image Segmentation

Segmentación de Imágenes Biomédicas

MLPerf Training and Inference utiliza 3D U-Net con el conjunto de datos KiTS19.

detalles.

Climate Atmospheric River Identification Category

Clima Identificación de Ríos Atmosféricos

Identifique huracanes y ríos atmosféricos en datos de simulación climática. detalles.

Cosmology Parameter Prediction Category

Predicción de Parámetros Cosmológicos

Resuelva un problema de regresión de imágenes 3D en datos cosmológicos. detalles.

Quantum Molecular Modeling Category

Modelado Molecular Cuántico

Predecir energías o configuraciones moleculares. detalles.

Protein Structure Prediction

Predicción de la Estructura de las Proteínas

Predice la estructura tridimensional de las proteínas basándose en la conectividad unidimensional de aminoácidos. detalles.

Resultados del Benchmark de NVIDIA MLPerf

  • Entrenamiento

    Entrenamiento

  • Inferencia

    Inferencia

  • HPC

    HPC

La plataforma de computación acelerada de NVIDIA, impulsada por las GPU NVIDIA HopperTM y las redes NVIDIA Quantum-2 InfiniBand, ofreció el rendimiento más alto en todos los puntos de referencia de MLPerf Training v4.0. En el benchmark LLM, NVIDIA triplicó con creces el rendimiento en solo un año, a través de una escala récord de presentación de 11.616 GPU H100 y optimizaciones de software. NVIDIA también ofreció 1,8 veces más rendimiento en el benchmark de texto a imagen en solo siete meses. Y, en los puntos de referencia de redes neuronales gráficas y ajuste fino de LLM recientemente agregados, NVIDIA estableció el estándar. NVIDIA logró estos resultados excepcionales a través de una ingeniería completa implacable a escala de data center.

NVIDIA Establece un Nuevo Gran Récord de Entrenamiento de Modelos de Lenguaje con la Mayor Presentación de MLPerf de la Historia

NVIDIA Sets a New Large Language Model Training Record With Largest MLPerf Submission Ever

Resultados de MLPerf™ Training v3.1 y v4.0 obtenidos de www.mlperf.org. el 12 de junio de 2024, de las siguientes entradas: NVIDIA + CoreWeave 3.0-2003, NVIDIA 4.0-0007. El nombre y el logotipo de MLPerf™ son marcas comerciales de MLCommons Association en los Estados Unidos y otros países. Todos los derechos reservados. Uso no autorizado estrictamente prohibido. Consulte www.mlcommons.org para obtener más información.

NVIDIA Sigue Ofreciendo el Máximo Rendimiento en Todas las Pruebas de Entrenamiento de MLPerf

La plataforma NVIDIA continuó demostrando un rendimiento y versatilidad inigualables en MLPerf Training v4.0. NVIDIA ofreció el rendimiento más alto en los nueve puntos de referencia y estableció nuevos récords en los siguientes puntos de referencia: LLM, ajuste fino de LLM, texto a imagen, red neuronal de grafos y detección de objetos (peso ligero).

Max-Scale Performance

Benchmark Tiempo de Entrenamiento
LLM (GPT-3 175B) 34 minutos
Puesta a Punto de LLM (Llama 2 70B-LoRA) 15 minutos
Texto a Imagen (Stable Diffusion v2) 14 minutos
Red Neuronal de Grafos (R-GAT) 11 minutos
Recomendador (DLRM-DCNv2) 10 minutos
Procesamiento del Lenguaje Natural (BERT) 01 minutos
Clasificación de Imágenes (ResNet-50 v1.5) 0 minutos
Detección de Objetos (RetinaNet) 0.8 minutos
Segmentación de Imágenes Biomédicas (3D U-Net) 0,8 minutos

Resultados de MLPerf™ Training v4.0 obtenidos de www.mlperf.org el 12 de junio de 2024, de las siguientes entradas: NVIDIA 4.0-0058, NVIDIA 4.0-0053, NVIDIA 4.0-0007, NVIDIA 4.0-0054, NVIDIA 4.0-0053, NVIDIA + CoreWeave 4.0-0008, NVIDIA 4.0-0057, NVIDIA 4.0-0056, NVIDIA 4.0-0067. El nombre y el logotipo de MLPerf™ son marcas comerciales de MLCommons Association en los Estados Unidos y otros países. Todos los derechos reservados. Uso no autorizado estrictamente prohibido. Consulte www.mlcommons.org para obtener más información.

La plataforma de computación acelerada de NVIDIA, impulsada por la arquitectura NVIDIA Hopper, ofreció un rendimiento excepcional en todas las cargas de trabajo en la categoría de data centers MLPerf Inference v4.0. El software NVIDIA TensorRT TM-LLM casi triplicó el rendimiento de GPT-J LLM en las GPU Hopper en solo seis meses. La NVIDIA HGX™ H200, impulsada por las GPU NVIDIA H200 Tensor Core con 141GB de memoria HBM3e, también hizo su debut, estableciendo nuevos récords en las nuevas pruebas de IA generativa Llama 2 70B y Stable Diffusion XL. El Superchip NVIDIA GH200 Grace Hopper™ también demostró un rendimiento sobresaliente, mientras que NVIDIA Jetson Orin se mantuvo a la vanguardia en la categoría de edge, ejecutando el conjunto más diverso de modelos, incluidos modelos de IA generativa como GPT-J y Stable Diffusion XL.

NVIDIA H200 Ofrece un Gran Impulso para Llama 2 70B

NVIDIA H200 Delivers Bost for LLama 2 70B

Resultados del data center MLPerf Inference v4.0 obtenidos de www.mlperf.org el 27 de marzo de 2024 de las entradas 4.0-0062 y 4.0-0068. El nombre y el logotipo de MLPerf son marcas comerciales registradas y no registradas de MLCommons Association en los Estados Unidos y otros países. Todos los derechos reservados. Uso no autorizado estrictamente prohibido. Consulte www.mlcommons.org para obtener más información..

TensorRT-LLM Casi Triplica el Rendimiento del LLM de la Tolva

TensorRT-LLM Triples H100 Performance

Resultados del data center MLPerf Inference v3.1 y v4.0 recuperados de www.mlperf.org el 27 de marzo de 2024 de las entradas 3.1-0107 y 4.0-0060, respectivamente. El nombre y el logotipo de MLPerf son marcas comerciales registradas y no registradas de MLCommons Association en los Estados Unidos y otros países. Todos los derechos reservados. Uso no autorizado estrictamente prohibido. Consulte www.mlcommons.org para obtener más información.

NVIDIA H100 Tensor Core potenció la plataforma NVIDIA para HPC e IA en su debut MLPerf HPC v3.0, lo que permite un tiempo de entrenamiento hasta 16 veces más rápido en solo tres años y ofrece el rendimiento más alto en todas las cargas de trabajo tanto en el tiempo de entrenamiento como en las métricas de rendimiento. La plataforma NVIDIA también fue la única que presentó resultados para cada carga de trabajo de HPC de MLPerf, que abarcan la segmentación climática, la predicción de parámetros de cosmología, el modelado molecular cuántico y, la última incorporación, la predicción de la estructura de proteínas. El rendimiento y la versatilidad inigualables de la plataforma NVIDIA la convierten en el instrumento elegido para impulsar la próxima ola de descubrimientos científicos impulsados por IA.

Hasta 16 Veces Más Rendimiento en Tres Años

La innovación de NVIDIA Full-Stack impulsa el aumento del rendimiento

Hasta 16 Veces Más Rendimiento en Tres Años

Resultados de MLPerf™ HPC v3.0 obtenidos de www.mlperf.org el 8 de noviembre de 2023. Resultados obtenidos de las entradas 0.7-406, 0.7-407, 1.0-1115, 1.0-1120, 1.0-1122, 2.0-8005, 2.0-8006, 3.0-8006, 3.0-8007, 3.0-8008. La puntuación de CosmoFlow en v1.0 se normaliza a los nuevos RCP introducidos en MLPerf HPC v2.0. Las puntuaciones de las versiones 0.7, 1.0 y 2.0 se ajustan para eliminar el tiempo de preparación de los datos del índice de referencia, en consonancia con las nuevas reglas adoptadas para la versión 3.0 para permitir comparaciones justas entre las rondas de envío. El nombre y el logotipo de MLPerf™ son marcas comerciales de MLCommons Association en los Estados Unidos y otros países. Todos los derechos reservados. Uso no autorizado estrictamente prohibido. Consulte www.mlcommons.org para obtener más información.

Up to 16X More Performance in 3 Years

Resultados de MLPerf™ HPC v3.0 obtenidos de www.mlperf.org el 8 de noviembre de 2023. Resultados obtenidos de las entradas 3.0-8004, 3.0-8009 y 3.0-8010.  El nombre y el logotipo de MLPerf™ son marcas comerciales de MLCommons Association en los Estados Unidos y otros países. Todos los derechos reservados. Uso no autorizado estrictamente prohibido. Consulte www.mlcommons.org para obtener más información.

La Tecnología Detrás de los Resultados

La complejidad de la IA exige una estrecha integración entre todos los aspectos de la plataforma. Como quedó demostrado en las evaluaciones de MLPerf, la plataforma de IA de NVIDIA ofrece un rendimiento líder con la GPU más avanzada del mundo, tecnologías de interconexión potentes y escalables, y software de vanguardia. Por lo tanto, es una solución integral que se puede implementar en el data center, en el cloud o en el edge de la red con resultados increíbles.

Modelos Previamente Entrenados y Software Optimizado de NVIDIA NGC

Software Optimizado que Acelera los Workflows de IA

El catálogo NGC™ es un componente esencial de la plataforma de NVIDIA y de los resultados de entrenamiento e inferencia de MLPerf, ya que es un centro para IA optimizado por GPU para el software de análisis de datos, IA y computación de alto rendimiento (HPC) que simplifica y acelera los workflows integrales. NGC permite a los científicos de datos, investigadores y desarrolladores crear las mejores soluciones de su clase, recopilar información y ofrecer valor comercial más rápido que nunca, ya que cuenta con más de 150 contenedores de nivel empresarial, incluidas cargas de trabajo para IA conversacional y sistemas de recomendación, cientos de modelos de IA y SDK específicos de la industria que se pueden implementar en las instalaciones, en el cloud o en el edge.

Visitar el catálogo de NGC

Infraestructura de IA de Clase Líder

Lograr resultados líderes a nivel mundial en capacitación e inferencia requiere una infraestructura diseñada específicamente para los desafíos de IA más complejos del mundo. La plataforma de IA de NVIDIA brindó un rendimiento líder impulsado por el superchip NVIDIA GH200 Grace Hopper, las GPU NVIDIA H100 y H200 Tensor Core, la GPU NVIDIA L40S Tensor Core y la escalabilidad y flexibilidad de las tecnologías de interconexión de NVIDIA: NVIDIA NVLink®, NVSwitch™ y InfiniBand Quantum-2. Estos están en el corazón de la plataforma del data center de NVIDIA, el motor detrás de nuestro rendimiento de referencia.

Además, los sistemas NVIDIA DGX™ ofrecen escalabilidad, implementación rápida y una increíble potencia computacional que permiten a todas las empresas crear una infraestructura de IA de primer nivel.

Más Información
NVIDIA HGX H200

Obtén más información sobre el rendimiento de nuestros productos de entrenamiento e inferencia en data centers.

Ver Rendimiento
Predicción de la Estructura de las Proteínas

Predicción de la Estructura de las Proteínas

Utiliza el modelo OpenFold entrenado en el conjunto de datos OpenProteinSet.
Texto a Imagen

Texto a Imagen

El Entrenamiento MLPerf utiliza el modelo de texto a imagen Stable Diffusion v2 entrenado en el conjunto de datos filtrado por LAION-400M.
La Inferencia MLPerf utiliza el modelo de texto a imagen Stable Diffusion XL (SDXL) con un subconjunto de 5000 mensajes del conjunto de datos coco-val-2014.
Modelado Molecular Cuántico

Quantum Molecular Modeling

Utiliza el modelo DimeNet++ con el conjunto de datos Open Catalyst 2020 (OC20).
Predicción de Parámetros de Cosmología

Predicción de Parámetros de Cosmología

Utiliza el modelo CosmoFlow con el conjunto de datos de simulación de N-body de CosmoFlow.
Identificación River de Clima Atmosférico

Identificación River de Clima Atmosférico

Utiliza el modelo DeepCAM con el conjunto de datos de simulación CAM5 + TECA.
Clasificación de Imágenes

Clasificación de Imágenes

El Entrenamiento y la Inferencia utilizan ResNet v1.5 con el conjunto de datos ImageNet.
MLPerf Inference used ResNet-50 v. 1.5 and MobileNet-v1 with the ImageNet dataset.
Detección de Objetos (Ligero)

Detección de Objetos (Ligero)

El Entrenamiento MLPerf utiliza un detector de disparo único (SSD) con la columna vertebral ResNeXt50 en un subconjunto del conjunto de datos de Google OpenImages.
MLPerf Inference uses SSD-MobileNet-v1 (low-res, 0.09 MP), with the COCO 2017 dataset.
Translation (Recurrent)

Translation (Recurrent)

MLPerf used Google’s Machine Translation System (GNMT) on the WMT English-German dataset.
MLPerf Inference used the Google Neural Machine Translation (GNMT) RNN with the WMT16 dataset.
Translation (Non-recurrent)

Translation (Non-recurrent)

MLPerf used Transformer on the WMT English-German dataset.
MLPerf Inference measured speech recognition using the RNN-T network with the LibriSpeech dataset.
Procesamiento del Lenguaje Natural (PNL)

Procesamiento del Lenguaje Natural (PNL)

El Entrenamiento MLPerf utiliza representaciones de codificador bidireccional de Transformers (BERT) en el conjunto de datos de Wikipedia del 01/01/2020.
La Inferencia MLPerf utiliza BERT con el conjunto de datos SQuAD v.1.1.
Recomendación

Recomendación

El Entrenamiento y la Inferencia MLPerf utilizan el Modelo de Recomendación de deep learning v2 (DLRMv2) que emplea DCNv2 entre capas y un conjunto de datos multi-caliente sintetizado a partir del conjunto de datos de Criteo.
Grandes Modelos de Lenguaje

Grandes Modelos de Lenguaje

MLPerf Training utiliza el modelo de lenguaje generativo GPT-3 con 175 mil millones de parámetros y una longitud de secuencia de 2,048 en el conjunto de datos C4 para la carga de trabajo de entrenamiento previo de LLM. Para la prueba de ajuste fino de LLM, el modelo Llama 2 70B con el conjunto de datos GovReport con longitudes de secuencia de 8.192.
MLPerf Inference utiliza el modelo Llama 2 70B con el conjunto de datos OpenORCA y el modelo GPT-J con el conjunto de datos CNN-DailyMail.
Reconocimiento Automático de Voz (ASR)

Reconocimiento Automático de Voz (ASR)

El Entrenamiento y la Inferencia MLPerf utiliza RNN-T en el conjunto de datos Librispeech.
Segmentación de Imágenes Biomédicas

Segmentación de Imágenes Biomédicas

El Entrenamiento y la Inferencia MLPerf utilizan 3D U-Net con el conjunto de datos KiTS19.
MLPerf Submission Categories

Red Neuronal de Grafos

MLPerf Training utiliza R-GAT con el conjunto de datos Illinois Graph Benchmark (IGB) - Heterogeneous.
Products
Tecnologías
Software
Recursos