Evaluaciones MLPerf

La plataforma de IA de NVIDIA se destaca tanto en las pruebas MLPerf Training e Inference, ya que muestra un rendimiento y una versatilidad líderes para abordar las cargas de trabajo de IA más exigentes del mundo real.

¿Qué es MLPerf?

MLPerf es un grupo de líderes de IA de la industria, laboratorios de investigación e instituciones académicas cuya misión es "desarrollar evaluaciones útiles e imparciales", que proporcionen pruebas sin sesgos (que se llevan a cabo bajo condiciones prescritas) para el rendimiento de la inferencia y el entrenamiento del hardware, el software y los servicios. Para seguir a la vanguardia de las tendencias de la industria, MLPerf sigue evolucionando y realiza nuevas pruebas de forma periódica. También agrega nuevas cargas de trabajo que representan lo último en IA.

La Universidad de Chalmers es una de las principales instituciones de investigación en Suecia, especializada en múltiples áreas, desde la nanotecnología hasta los estudios climáticos. A medida que incorporamos la IA para avanzar en nuestros esfuerzos de investigación, encontramos que la  evaluación MLPerf proporciona una comparación transparente y equivalente a través de múltiples plataformas de IA para mostrar el rendimiento real en diversos casos de uso del mundo real.

— Universidad Tecnológica de Chalmers, Suecia

TSMC está impulsando la vanguardia de la fabricación global de semiconductores, como nuestro último nodo de 5 nm que lidera el mercado en tecnología de procesos. Innovaciones como la litografía basada en machine learning y el modelado de grabado mejoran significativamente nuestra corrección óptica de proximidad (OPC) y la precisión de la simulación de grabado. Para aprovechar al máximo el potencial de machine learning en el entrenamiento y la inferencia de modelos, estamos trabajando con el equipo de ingeniería de NVIDIA para incorporar nuestro motor de tecnología de simulación y litografía inversa Maxwell en las GPU y ver aceleraciones muy significativas. La evaluación MLPerf es un factor importante en nuestra toma de decisiones.

— Dr. Danping Peng, Director, Departamento de OPC, TSMC, San José, CA, EE. UU.

La visión de computación y las imágenes son el núcleo de la investigación de la IA, impulsan el descubrimiento científico y representan los componentes centrales de la atención médica. Hemos trabajado estrechamente con NVIDIA para lanzar innovaciones como 3DUNet al mercado de la salud. Las evaluaciones MLPerf estándar de la industria proporcionan datos de rendimiento relevantes en beneficio de las organizaciones y desarrolladores de TI para obtener la solución adecuada, lo que permite acelerar sus proyectos y aplicaciones específicos.

— Prof. Dr. Klaus Maier-Hein (Jefe de Computación de Imágenes Médicas, Deutsches Krebsforschungszentrum (DKFZ, Centro Alemán de Investigación del Cáncer)

Como líder preeminente en investigación y fabricación, Samsung utiliza la IA para aumentar enormemente el rendimiento del producto y la productividad en la fabricación. Aprovechar estos avances de IA en la producción requiere que tengamos la mejor plataforma de computación disponible. La evaluación MLPerf agiliza nuestro proceso de selección al proporcionarnos un método de evaluación abierto y directo para evaluar uniformemente a todos los proveedores de plataformas.

— Samsung Electronics

Categorías de Participación de MLPerf

MLPerf Training v3.1 es la novena edición de entrenamiento y probó ocho cargas de trabajo diferentes en una diversidad de casos de uso, incluida la visión artificial, los grandes modelos de lenguaje y los sistemas de recomendación.

MLPerf Inference v3.1 es la octava instancia para inferencia y probó siete casos de uso diferentes en siete tipos diferentes de redes neuronales. Tres de estos casos de uso fueron para la visión por computadora, uno fue para sistemas de recomendación, dos fueron para el procesamiento del lenguaje, incluida una nueva prueba de grande modelo de lenguaje, y uno fue para imágenes médicas.

MLPerf HPC v3.0 es la cuarta iteración de HPC y probó tres casos de uso de computación científica diferentes, incluida la identificación de ríos atmosféricos climáticos, la predicción de parámetros cosmológicos y el modelado molecular cuántico.

Large Language Model (LLM)

Grandes Modelos de Lenguaje

MLPerf Training utiliza el modelo de lenguaje generativo GPT-3 con 175 mil millones de parámetros y una longitud de secuencia de 2,048 en el conjunto de datos C4.

MLPerf Inference utiliza el modelo GPT-J (6 mil millones de parámetros) con el conjunto de datos CNN-DailyMail. details.

Text-to-Image

Texto a Imagen

MLPerf Training utiliza el modelo de texto a imagen de Stable Diffusion v2 entrenado en el conjunto de datos filtrado LAION-400M.  details.

Recommendation

Recomendación

MLPerf Training and Inference utiliza el Deep Learning Recommendation Model v2 (DLRMv2) que emplea DCNv2 cross-layer y un conjunto de datos multi-hot sintetizado a partir del conjunto de datos de Criteo. details.

Object Detection (Lightweight)

Detección de Objetos (Ligero)

MLPerf Training utiliza Single-Shot Detector (SSD) con la red troncal ResNeXt50 en un subconjunto del conjunto de datos de Google OpenImages. details.

Object Detection (Heavyweight)

Detección de Objetos (Peso Pesado)

MLPerf Training utiliza Mask R-CNN en el conjunto de datos de COCO 2017.

La inferencia de MLPerf utiliza RetinaNet con el conjunto de validación de OpenImages MLPerf redimensionado a 800 x 800 píxeles. details.

Image Classification

Clasificación de Imágenes

El entrenamiento y la inferencia de MLPerf usan ResNet v1.5 con el conjunto de datos de ImageNet. details.

Natural Language Processing (NLP)

Procesamiento del Lenguaje Natural (PLN)

MLPerf Training usa representaciones de codificador bidireccional de transformadores (BERT) en el conjunto de datos de Wikipedia 2020/01/01.

La inferencia de MLPerf usó BERT con el conjunto de datos SQuAD v.1.1. details.

Automatic Speech Recognition (ASR)

Reconocimiento Automático de Voz (ASR)

MLPerf Training and Inference utiliza RNN-T en el conjunto de datos de Librispeech. details.

Biomedical Image Segmentation

Segmentación de Imágenes Biomédicas

MLPerf Training and Inference utiliza 3D U-Net con el conjunto de datos KiTS19.

details.

Climate Atmospheric River Identification Category

Clima Identificación de Ríos Atmosféricos

Identifique huracanes y ríos atmosféricos en datos de simulación climática. details.

Cosmology Parameter Prediction Category

Predicción de Parámetros Cosmológicos

Resuelva un problema de regresión de imágenes 3D en datos cosmológicos. details.

Quantum Molecular Modeling Category

Modelado Molecular Cuántico

Predecir energías o configuraciones moleculares. details.

Protein Structure Prediction

Predicción de la Estructura de las Proteínas

Predice la estructura tridimensional de las proteínas basándose en la conectividad unidimensional de aminoácidos. details.

NVIDIA MLPerf Benchmark Results

  • Training

    Training

  • Inferencia

    Inferencia

  • HPC

    HPC

La plataforma de computación acelerada de NVIDIA, impulsada por las GPU NVIDIA H100 Tensor Core y la red NVIDIA Quantum-2 InfiniBand, rompió grandes récords de rendimiento de entrenamiento de LLM en MLPerf Training v3.1, impulsando dos presentaciones en el punto de referencia GPT-3 175B a una escala sin precedentes de 10,752 GPU H100 con una eficiencia de escalado casi lineal. Y, en la prueba de texto a imagen recientemente agregada basada en Stable Diffusion v2, la plataforma NVIDIA estableció el estándar, logrando el mayor rendimiento y demostrando una escalabilidad inigualable. A través de una ingeniería de stack completo implacable a escala de data center, NVIDIA continúa acelerando el rendimiento del entrenamiento de IA a la velocidad de la luz.

NVIDIA Establece un Nuevo Récord de Entrenamiento de Modelos de Lenguaje con la Mayor Presentación de MLPerf de la Historia

NVIDIA Sets a New Large Language Model Training Record With Largest MLPerf Submission Ever
Benchmark Per-Accelerator Records
(NVIDIA H100 Tensor Core GPU)
Large Language Model (GPT-3 175B) 548 hours (23 days)
Natural Language Processing (BERT) 0.71 hours
Recommendation (DLRM-DCNv2) 0.56 hours
Speech Recognition (RNN-T) 2.2 hours
Image Classification (ResNet-50 v1.5) 1.8 hours
Object Detection, Heavyweight (Mask R-CNN) 2.6 hours
Object Detection, Lightweight (RetinaNet) 4.9 hours
Image Segmentation (3D U-Net) 1.6 hours

NVIDIA AI Platform Achieves Highest Performance on Every MLPerf Training Test

In addition to breakthrough performance at scale on the cutting-edge large language model and text-to-image tests, NVIDIA also achieved new performance records on the recommender, object detection, medical image segmentation, and natural language processing workloads in MLPerf Training v3.1. With NVIDIA H100 GPUs and NVIDIA Quantum-2, the NVIDIA platform continues to deliver the fastest time to train on every benchmark, demonstrating its unmatched performance, scalability, and versatility to handle the full range of AI workloads. 

Max-Scale Performance

Benchmark Tiempo de entrenar
GPT-3 3,92 minutos
Stable Diffusion v2 2,47 minutos
DLRM-DCNv2 1,0 minutos
BERT-large 0,12 minutos
ResNet-50 v1.5 0,18 minutos
Mask R-CNN 1,5 minutos
RetinaNet 0,92 minutos
3D U-Net 0,77 minutos
RNN-T 1,7 minutos

NVIDIA logró los mejores resultados de rendimiento en todos los escenarios (servidor de data center y sin conexión, así como en el edge de flujo único, varios flujos y sin conexión). Además, ofreció el mejor rendimiento por acelerador entre todos los productos probados en todas las evaluaciones. Estos resultados son un testimonio, no solo del liderazgo en rendimiento de inferencia de NVIDIA, sino también de la versatilidad de nuestra plataforma de inferencia.

Escenario sin conexión para data center y edge (GPU única)

  NVIDIA A100 (CPU x86)
(Inferencias/Segundo)
NVIDIA A100 (CPU Arm)
(Inferencias/Segundo)
NVIDIA A30
(Inferencias/Segundo)
NVIDIA® Jetson AGX Orin
(Inferencias Máximas/Consulta)
DLRM
(Recomendador)
312,380 281,283 138,194 N/A*
BERT
(Procesamiento de Idiomas Naturales)
3,490 3,149 1,668 476
ResNet-50 v1.5
(Clasificación de Imágenes)
39,190 36,487 18,406 6,139
ResNet-34
(Detector Grande de un Solo Disparo)
990 906 478 208
RNN-T
(Reconocimiento del Habla)
13,344 13,188 6,557 1,110
U-Net 3D
(Generación de Imágenes Médicas)
3 3 2 0.5

NVIDIA H100 Tensor Core potenció la plataforma NVIDIA para HPC e IA en su debut MLPerf HPC v3.0, lo que permite un tiempo de entrenamiento hasta 16 veces más rápido en solo tres años y ofrece el mayor rendimiento en todas las cargas de trabajo en las métricas de tiempo de entrenamiento y rendimiento. La plataforma NVIDIA también fue la única en enviar resultados para cada carga de trabajo de HPC de MLPerf, que abarcan la segmentación climática, la predicción de parámetros cosmológicos, el modelado molecular cuántico y, la última incorporación, la predicción de la estructura de las proteínas. El rendimiento y la versatilidad inigualables de la plataforma NVIDIA la convierten en el instrumento elegido para impulsar la próxima ola de descubrimientos científicos impulsados por IA.

Hasta 16 Veces Más Rendimiento en 3 Años

La Innovación Full-Stack de NVIDIA Impulsa las Ganancias de Rendimiento

Up to 16X More Performance in 3 Years
Up to 16X More Performance in 3 Years

La Tecnología Detrás de los Resultados

La complejidad de la IA exige una estrecha integración entre todos los aspectos de la plataforma. Como quedó demostrado en las evaluaciones de MLPerf, la plataforma de IA de NVIDIA ofrece un rendimiento líder con la GPU más avanzada del mundo, tecnologías de interconexión potentes y escalables, y software de vanguardia. Por lo tanto, es una solución integral que se puede implementar en el data center, en el cloud o en el edge de la red con resultados increíbles.

Modelos Previamente Entrenados y Software Optimizado de NVIDIA NGC

Software Optimizado que Acelera los Workflows de IA

El catálogo NGC es un componente esencial de la plataforma de NVIDIA y de los resultados de entrenamiento e inferencia de MLPerf, ya que es un centro para IA optimizado por GPU para el software de análisis de datos, IA y computación de alto rendimiento (HPC) que simplifica y acelera los workflows integrales. NGC permite a los científicos de datos, investigadores y desarrolladores crear las mejores soluciones de su clase, recopilar información y ofrecer valor comercial más rápido que nunca, ya que cuenta con más de 150 contenedores de nivel empresarial, incluidas cargas de trabajo para IA conversacional y sistemas de recomendación, cientos de modelos de IA y SDK específicos de la industria que se pueden implementar en las instalaciones, en el cloud o en el edge.

Infraestructura de IA Líder

Lograr resultados increíbles en las evaluaciones de entrenamiento e inferencia requiere una infraestructura que se haya diseñado específicamente para los desafíos de IA más complejos del mundo. La plataforma de IA de NVIDIA se entregó utilizando la potencia de la GPU NVIDIA A100 Tensor Core, la GPU NVIDIA A30 Tensor Core, la GPU NVIDIA A2 Tensor Core y el módulo Jetson AGX Orin, junto con la escalabilidad y la flexibilidad de las tecnología de interconexión de NVIDIA: NVIDIA NVLink®, NVIDIA NVSwitch y la VPI NVIDIA ConnectX®-6. Estos componentes son la base de la NVIDIA DGX™ A100, el motor detrás de nuestro rendimiento récord.

Los sistemas NVIDIA DGX ofrecen la escalabilidad, implementación rápida y potencia de computación increíble que permiten a cada empresa desarrollar una infraestructura de IA líder.

Leadership-Class AI Infrastructure

Obtén más información sobre el rendimiento de nuestros productos de entrenamiento e inferencia en data centers.