Pruebas de referencia de MLPerf

Las soluciones de entrenamiento e inferencia de NVIDIA ofrecen un rendimiento sin precedentes en MLPerf, la prueba de referencia líder del sector para rendimiento de IA.

Ver nuestros resultados

¿Qué es MLPerf?

MLPerf es un consorcio de directivos de IA procedentes del ámbito académico, laboratorios de investigación y el sector industrial cuya misión es “crear pruebas de referencia útiles y razonables” que ofrezcan evaluaciones no sesgadas del entrenamiento y la inferencia para hardware, software y servicios, todo lo cual se realiza bajo las condiciones prescritas. Para mantenerse a la vanguardia de las tendencias del sector, MLPerf sigue evolucionando, con la realización de nuevas pruebas a intervalos regulares y la adición de nuevas cargas de trabajo que representan lo último en IA.

La Universidad Chalmers es una de las principales instituciones de investigación en Suecia, especializada en diversas áreas, desde nanotecnología hasta estudios climáticos. A medida que incorporamos la IA para avanzar en nuestros esfuerzos de investigación, descubrimos que las pruebas de rendimiento de MLPerf proporcionan una comparación transparente entre iguales de varias plataformas de IA para mostrar el rendimiento real en diversos casos de uso del mundo real.

— Universidad Tecnológica Chalmers, Suecia

TSMC está impulsando la vanguardia de la fabricación global de semiconductores, como nuestro último nodo de 5nm que lidera el mercado en tecnología de procesos. Innovaciones como la litografía basada en aprendizaje automático y el modelado de grabados mejoran drásticamente nuestra corrección de proximidad óptica (OPC) y la precisión de la simulación de grabado. Para aprovechar al máximo el potencial del aprendizaje automático en el entrenamiento de modelos y la inferencia, estamos trabajando con el equipo de ingeniería de NVIDIA para portar nuestro motor Maxwell de simulación y tecnología de litografía inversa (ILT) a las GPU y ver aceleraciones muy significativas. Las pruebas de referencia de MLPerf son un factor importante en nuestra toma de decisiones.

— Dr. Danping Peng, Director, Departamento de OPC, TSMC, San José, CA, EE. UU.

La visión computarizada y la creación de imágenes están en el centro de la investigación de la IA, impulsando el descubrimiento científico y representando fácilmente los componentes centrales de la atención médica. Hemos colaborado estrechamente con NVIDIA para introducir innovaciones como 3DUNet en el mercado sanitario. Las pruebas de referencia de MLPerf estándares del sector proporcionan datos de rendimiento relevantes en beneficio de las organizaciones y desarrolladores de TI para obtener la solución adecuada para acelerar sus proyectos y aplicaciones específicos.

— Prof. Dr. Klaus Maier-Hein (Jefe de Computación de Imágenes Médicas, Deutsches Krebsforschungszentrum (DKFZ, Centro Alemán de Investigación del Cáncer)

Como líder preeminente en investigación y fabricación, Samsung utiliza la IA para aumentar drásticamente el rendimiento del producto y la productividad de fabricación. La comercialización de estos avances de IA requiere que tengamos la mejor plataforma informática disponible. Las pruebas de referencia de MLPerf agilizan nuestro proceso de selección al proporcionarnos un método de evaluación abierto y directo para evaluar, de manera uniforme, en todas las plataformas.

— Samsung Electronics

Categorías de presentación de MLPerf

MLPerf Training consta de ocho cargas de trabajo diferentes que cubren una amplia diversidad de casos de uso, como, por ejemplo, visión, lenguaje, recomendaciones y aprendizaje de refuerzo.

MLPerf Inference probó siete casos de uso diferentes en siete tipos diferentes de redes neuronales. Tres de estos casos de uso son de visión computarizada, uno es para sistemas recomendados, dos son para el procesamiento lingüístico y otro es para la creación de imágenes médicas.

Clasificación de imágenes

Clasificación de imágenes

Asigna una etiqueta de un conjunto fijo de categorías a una imagen de entrada, es decir, se aplica a problemas de visión computarizada. Más información.

Detección de objetos (ligera)

Detección de objetos (ligera)

Busca instancias de objetos del mundo real, como caras, bicicletas y edificios, en imágenes o vídeos, y especifica un cuadro delimitador alrededor de cada uno. Más información.

Detección de objetos (pesada)

Detección de objetos (pesada)

Detecta distintos objetos de interés que aparecen en una imagen e identifica una máscara de píxeles para cada uno. Más información.

Segmentación de imágenes biomédicas

Segmentación de imágenes biomédicas

Realiza la segmentación volumétrica de imágenes 3D densas para casos de uso médico. Detalles.

Traducción (recurrente)

Traducción (recurrente)

Traduce texto de un idioma a otro mediante una red neuronal recurrente (RNN). Más información.

Reconocimiento de voz automático (ASR)

Reconocimiento de voz automático (ASR)

Reconoce y transcribe audio en tiempo real. Detalles.

Procesamiento del lenguaje natural (PLN)

Procesamiento del lenguaje natural (PLN)

Entiende el texto mediante la relación entre las distintas palabras de un bloque de texto. Permite responder a preguntas, parafrasear oraciones y muchos otros casos de uso relacionados con el idioma. detalles.

Recomendación

Recomendación

Ofrece resultados personalizados en servicios de contacto entre usuarios, como redes sociales o sitios web de comercio electrónico, al comprender las interacciones entre usuarios y servicios, como los productos o los anuncios. Más información.

Aprendizaje de refuerzo

Aprendizaje de refuerzo

Evalúa distintas acciones posibles para maximizar el uso del juego de estrategia Go en una cuadrícula de 19x19. Más información.

Resultados de las pruebas de referencia de MLPerf de NVIDIA

  • Entrenamiento

    Entrenamiento

  • Inferencia

    Inferencia

La GPU NVIDIA A100 Tensor Core y NVIDIA DGX SuperPOD™ establecieron los 16 récords de rendimiento de entrenamiento, tanto en cargas de trabajo por chip como a escala. Este rendimiento revolucionario, junto con una mejora en el rendimiento de las cuatro presentaciones de MLPerf, surgió de la estrecha integración de hardware, software y tecnologías a nivel de sistema, y de la inversión continua de NVIDIA en rendimiento de pila completa. La plataforma NVIDIA sobresale tanto en rendimiento como en usabilidad y ofrece una plataforma de liderazgo único desde el centro de datos hasta el perímetro y la nube.

MÁS DE 20 VECES EL RENDIMIENTO EN TRES AÑOS DE MLPERF

La completa innovación de la pila de NVIDIA ofrece mejoras continuas

Pruebas de referencia del rendimiento del entrenamiento de MLPerf

Resultados normalizados para el rendimiento debido a los requisitos de mayor precisión en la última ronda de MLPerf1.1
Comparación de MlPerf ID 0.5/0.7/1.1:
SSD: 0.5-23/0.7-53/1.1-2078 | BERT: 0.7-56/1.1-2083 | ResNet50v1.5: 0.5-17/0.7-55/1.1-2082 | Mask R-CNN: 0.5-22/0.7-48/1.1-2076 | El nombre y el logotipo de MLPerf son marcas comerciales. Consulta www.mlperf.org para obtener más información.

NVIDIA ESTABLECE LOS 16 RÉCORDS

Para soluciones disponibles en el mercado

La plataforma NVIDIA AI estableció los 8 récords por acelerador utilizando GPU NVIDIA A100 en servidores OEM, así como NVIDIA DGX. Esto demuestra la fortaleza de la pila de hardware y software NVIDIA integral que permite a los fabricantes de ordenadores ofrecer resultados récord en MLPerf.

PRUEBA DE REFERENCIA Récords de At Scale (min) Récords de Per Accelerator (min)
Recomendación (DLRM) 0,63 (DGX SuperPOD) 13,5 (A100)
NLP (BERT) 0,24 (DGX SuperPOD) 155,1 (A100)
Reconocimiento de voz - Recurrente (RNN-T) 2,38 (DGX SuperPOD) 267,0 (A100)
Detección de objetos - Pesada (Mask R-CNN) 3,24 (DGX SuperPOD) 335,1 (A100)
Detección de objetos - Ligera (SSD) 0,45 (DGX SuperPOD) 63,8 (A100)
Clasificación de imágenes (ResNet-50 v1.5) 0,35 (DGX SuperPOD) 220,5 (A100)
Segmentación de imágenes (3D-Unet) 1.26 (Microsoft Azure NDm A100 v4) 187,7 (A100)
Aprendizaje de refuerzo (MiniGo) 15,47 (DGX SuperPOD) 1805,2 (A100)

Rendimiento por acelerador para A100 calculado con el tiempo de entrenamiento de nodo único del partner de NVIDIA y multiplicándolo por el número de chips | Las comparaciones de rendimiento por chip con otras se realizaron comparando el rendimiento en la escala similar más cercana.
Registros de escala máxima: DLRM: 1.1-2073   |   BERT: 1.1-2083   |   Mask R-CNN: 1.1-2076   |   Resnet50 v1.5: 1.1-2082   |   SSD: 1.1-2078   |   RNN-T: 1.1-2080   |   3D-Unet: 1.1-2012   |   MiniGo: 1.1-2081
Registros por acelerador: DLRM: 1.1-2084   |   BERT: 1.1-2053   |   Mask R-CNN: 1.1-2031   |   Resnet50 v1.5: 1.1-2050   |   SSD: 1.1-2050   |   RNN-T: 1.1-2052   |   3D-Unet: 1.1-2051   |   MiniGo: 1.1-2031
El nombre y el logotipo de MLPerf son marcas comerciales. Consulta www.mlperf.org para obtener más información.

NVIDIA obtuvo los mejores resultados de rendimiento en todos los escenarios (servidor de centro de datos y sin conexión, así como en una sola secuencia de periferia, varias secuencias y sin conexión). Además, ofrecimos el mejor rendimiento por acelerador entre los productos probados en todas las pruebas de referencia. Estos resultados son un testimonio no solo del liderazgo en rendimiento de inferencia de NVIDIA, sino también de la versatilidad de nuestra plataforma de inferencia.

Escenario de centro de datos y perímetro (GPU única)

  NVIDIA A100 (CPU x86)
(Inferencias por segundo)		 NVIDIA A100 (CPU ARM)
(Inferencias por segundo)		 NVIDIA A30
(Inferencias por segundo)		 NVIDIA® Jetson Xavier™
(Inferencias máximas por consulta)
DLRM
(Recomendación)		 312.380 281.283 138.194 N/D*
BERT
(Procesamiento de lenguaje natural)		 3.490 3.149 1.668 476
ResNet-50 v1.5
(Clasificación de imágenes)		 39.160 36.487 18.406 6.139
ResNet-34
(Detector de capturas únicas grandes)		 990 906 478 208
RNN-T
(Reconocimiento de voz)		 13.344 13.188 6.557 1.110
3D U-net
(Imágenes médicas)		 3 3 2 0,5

* DLRM no forma parte del conjunto de categoría en la periferia.

1) Resultados de MLPerf Inference v2.0 para formatos de servidor de centro de datos y escenario sin conexión recuperados de www.mlperf.org el 6 de abril de 2022, de las entradas Inf-2.0-094, Inf-2.0-077 e Inf-2.0-090. El rendimiento por procesador se calcula dividiendo la métrica principal del rendimiento total por el número de aceleradores notificados.

2) Resultados de MLPerf Inference v2.0 para los formatos de perímetro en el escenario sin conexión recuperados de www.mlperf.org el 6 de abril del 2022, desde las entradas 2.0-140. El rendimiento por procesador se calcula dividiendo la métrica principal del rendimiento total por el número de aceleradores notificados.

La tecnología detrás de los resultados

La complejidad de la inteligencia artificial exige una estrecha integración entre todos los aspectos de la plataforma. Como se ha demostrado en las pruebas de referencia de MLPerf, la plataforma de IA de NVIDIA ofrece un rendimiento de liderazgo con la GPU más avanzada del mundo, tecnologías de interconexión potentes y escalables y software de vanguardia: una solución integral que se puede implementar en el centro de datos, en la nube o en el perímetro con resultados increíbles.

Modelos pre-entrenados y software optimizado de NVIDIA NGC

Software optimizado que acelera los flujos de trabajo de IA

NGC™, componente esencial de los resultados de entrenamiento e inferencia MLPerf y la plataforma de NVIDIA, es un centro de IA optimizado para GPU, computación de alto rendimiento (HPC) y software de análisis de datos que simplifica y acelera los flujos de trabajo de extremo a extremo. Con más de 150 contenedores de nivel empresarial, que incluyen cargas de trabajo para IA conversacional y sistemas de recomendación, más de 100 modelos y SDK específicos del sector que se pueden implementar en el entorno local, en la nube o en el perímetro, NGC permite que los científicos, los investigadores y los desarrolladores de datos creen las mejores soluciones de su clase, recopilen información y aporten valor a la empresa más rápido que nunca.

VISITA NGC

Infraestructura de IA de nivel de liderazgo

La consecución de resultados de primer nivel en el entrenamiento y la inferencia requiere una infraestructura diseñada expresamente para los desafíos más complejos del mundo. La plataforma IA de NVIDIA se ofrece con la potencia de la GPU NVIDIA A100 Tensor Core, la GPU NVIDIA A30 Tensor Core, la GPU NVIDIA A2 Tensor Core, el módulo Jetson AGX Orin y la escalabilidad y flexibilidad de las tecnologías de interconexión de NVIDIA, NVIDIA NVLink®, NVIDIA NVSwitch™ y NVIDIA ConnectX®-6 VPI. Estos se encuentran en el centro de NVIDIA DGX™ A100, el motor que respalda nuestra prueba de referencia de rendimiento.

Los sistemas NVIDIA DGX™ ofrecen la escalabilidad, la rápida implementación y una increíble capacidad de cálculo que permite a todas las empresas crear infraestructuras de IA de nivel de liderazgo.

MÁS INFORMACIÓN
GPU NVIDIA Tensor Core

Obtén más información sobre el rendimiento del producto de entrenamiento e inferencia de nuestro centro de datos.

Ver el rendimiento
Clasificación de imágenes

Clasificación de imágenes

El entrenamiento y la inferencia de MLPerf utiliza ResNet v1.5 con el conjunto de datos ImageNet.
La inferencia de MLPerf utilizó ResNet-50 v.1.5 y MobileNet-v1 con el conjunto de datos ImageNet.
Detección de objetos (ligera)

Detección de objetos (ligera)

El entrenamiento de MLPerf utiliza Single-Shot Detector (SSD) en el conjunto de datos COCO 2017.
La inferencia de MLPerf utiliza SSD-MobileNet-v1 (baja resolución, 0,09 MP), con el conjunto de datos de COCO 2017.
Detección de objetos (pesada)

Detección de objetos (pesada)

MLPerf Training utiliza Mask R-CNN en el conjunto de datos COCO 2014.
MLPerf Inference utiliza SSD-ResNet-34 (alta resolución, 1,44 MP) con el conjunto de datos de COCO 2014.
Traducción (recurrente)

Traducción (recurrente)

MLPerf usó el sistema de traducción automática (GNMT) de Google en el conjunto de datos inglés-alemán WMT.
MLPerf Inference utilizó la RNN de traducción automática neuronal de Google (GNMT) con el conjunto de datos WMT16.
Traducción (no recurrente)

Traducción (no recurrente)

MLPerf utilizó Transformer en el conjunto de datos inglés-alemán WMT.
MLPerf Inference midió el reconocimiento de voz mediante la red RNN-T con el conjunto de datos de LibriSpeech.
Procesamiento del lenguaje natural (PLN)

Procesamiento del lenguaje natural (PLN)

MLPerf Training utiliza Bidirectional Encoder Representations from Transformers (BERT) en el conjunto de datos Wikipedia del 01/01/2020.
MLPerf Inference utilizó BERT con el conjunto de datos SQuAD v. 1.1.
Recomendación

Recomendación

MLPerf Training and Inference utiliza el modelo de recomendación de aprendizaje profundo (DLRM) en el conjunto de datos Criteo 1 TB.
MLPerf Inference utilizó la red DLRM con el conjunto de datos de Criteo Terabyte.
Aprendizaje de refuerzo

Aprendizaje de refuerzo

MLPerf Training utiliza una prueba de referencia basada en una partida de Mini Go.
Reconocimiento de voz automático (ASR)

Reconocimiento de voz automático (ASR)

MLPerf Training usó RNN-T en el conjunto de datos LibriSpeech.
Segmentación de imágenes biomédicas

Segmentación de imágenes biomédicas

MLPerf Training and Inference utiliza UNet-3D con el conjunto de datos KiTS19 y BraTS 2019 respectivamente.

Productos

Tecnologías

Software

Recursos