Evaluaciones MLPerf

La plataforma de IA de NVIDIA se destaca tanto en las pruebas MLPerf Training e Inference, ya que muestra un rendimiento y una versatilidad líderes para abordar las cargas de trabajo de IA más exigentes del mundo real.

Ver Nuestros Resultados

¿Qué es MLPerf?

MLPerf es un grupo de líderes de IA de la industria, laboratorios de investigación e instituciones académicas cuya misión es "desarrollar evaluaciones útiles e imparciales", que proporcionen pruebas sin sesgos (que se llevan a cabo bajo condiciones prescritas) para el rendimiento de la inferencia y el entrenamiento del hardware, el software y los servicios. Para seguir a la vanguardia de las tendencias de la industria, MLPerf sigue evolucionando y realiza nuevas pruebas de forma periódica. También agrega nuevas cargas de trabajo que representan lo último en IA.

La Universidad de Chalmers es una de las principales instituciones de investigación en Suecia, especializada en múltiples áreas, desde la nanotecnología hasta los estudios climáticos. A medida que incorporamos la IA para avanzar en nuestros esfuerzos de investigación, encontramos que la  evaluación MLPerf proporciona una comparación transparente y equivalente a través de múltiples plataformas de IA para mostrar el rendimiento real en diversos casos de uso del mundo real.

— Universidad Tecnológica de Chalmers, Suecia

TSMC está impulsando la vanguardia de la fabricación global de semiconductores, como nuestro último nodo de 5 nm que lidera el mercado en tecnología de procesos. Innovaciones como la litografía basada en machine learning y el modelado de grabado mejoran significativamente nuestra corrección óptica de proximidad (OPC) y la precisión de la simulación de grabado. Para aprovechar al máximo el potencial de machine learning en el entrenamiento y la inferencia de modelos, estamos trabajando con el equipo de ingeniería de NVIDIA para incorporar nuestro motor de tecnología de simulación y litografía inversa Maxwell en las GPU y ver aceleraciones muy significativas. La evaluación MLPerf es un factor importante en nuestra toma de decisiones.

— Dr. Danping Peng, Director, Departamento de OPC, TSMC, San José, CA, EE. UU.

La visión de computación y las imágenes son el núcleo de la investigación de la IA, impulsan el descubrimiento científico y representan los componentes centrales de la atención médica. Hemos trabajado estrechamente con NVIDIA para lanzar innovaciones como 3DUNet al mercado de la salud. Las evaluaciones MLPerf estándar de la industria proporcionan datos de rendimiento relevantes en beneficio de las organizaciones y desarrolladores de TI para obtener la solución adecuada, lo que permite acelerar sus proyectos y aplicaciones específicos.

— Prof. Dr. Klaus Maier-Hein (Jefe de Computación de Imágenes Médicas, Deutsches Krebsforschungszentrum (DKFZ, Centro Alemán de Investigación del Cáncer)

Como líder preeminente en investigación y fabricación, Samsung utiliza la IA para aumentar enormemente el rendimiento del producto y la productividad en la fabricación. Aprovechar estos avances de IA en la producción requiere que tengamos la mejor plataforma de computación disponible. La evaluación MLPerf agiliza nuestro proceso de selección al proporcionarnos un método de evaluación abierto y directo para evaluar uniformemente a todos los proveedores de plataformas.

— Samsung Electronics

Categorías de Participación de MLPerf

MLPerf Training v2.0 es la sexta instancia de entrenamiento y cuenta con ocho cargas de trabajo diferentes que abarcan diversos casos de uso, lo que incluye visión, idioma, recomendadores y aprendizaje de refuerzo.

MLPerf Inference v2.0 evaluó siete casos de uso diversos en siete tipos de redes neuronales diferentes. Tres de estos casos de uso fueron para visión de computación, uno para sistemas de recomendación, dos para procesamiento de idiomas y uno para imágenes médicas.

Clasificación de Imágenes

Clasificación de Imágenes

Asigna una etiqueta de un conjunto fijo de categorías a una imagen de entrada, es decir, se aplica a problemas de visión de computación. detalles.

Detección de Objetos (Poco Exigente)

Detección de Objetos (Poco Exigente)

Encuentra instancias de objetos del mundo real, como caras, bicicletas y edificios, en imágenes o videos, y especifica un cuadro delimitador alrededor de cada uno. detalles.

Detección de Objetos (Exigente)

Detección de Objetos (Exigente)

Detecta distintos objetos de interés que aparecen en una imagen e identifica una máscara de píxeles para cada uno. detalles.

Segmentación de Imágenes Biomédicas

Segmentación de Imágenes Biomédicas

Realiza una segmentación volumétrica de imágenes 3D densas para casos de uso médico. detalles.

Traducción (Recurrente)

Traducción (Recurrente)

Traduce texto de un idioma a otro utilizando una red neuronal recurrente (RNN). detalles.

Reconocimiento Automático de Voz (ASR)

Reconocimiento Automático de Voz (ASR)

Reconocer y transcribir audio en tiempo real. detalles.

Procesamiento de Idiomas Naturales (NLP)

Procesamiento de Idiomas Naturales (NLP)

Entiende el texto mediante el uso de la relación entre diferentes palabras en un bloque de texto. Permite responder preguntas, parafrasear oraciones y muchos otros casos de uso relacionados con los idiomas. detalles.

Recomendación

Recomendación

Ofrece resultados personalizados en servicios orientados al usuario, como redes sociales o sitios web de comercio electrónico, al comprender las interacciones entre los usuarios y los elementos de servicio, como productos o anuncios. detalles.

Aprendizaje de Refuerzo

Aprendizaje de Refuerzo

Evalúa diferentes acciones posibles para maximizar la recompensa utilizando el juego de estrategia Go en una cuadrícula de 19 × 19. detalles.

Resultados de NVIDIA en las Evaluaciones MLPerf

  • Entrenamiento

    Entrenamiento

  • Inferencia

    Inferencia

La GPU NVIDIA A100 Tensor Core y la NVIDIA DGX SuperPOD™ logran un rendimiento líder en todas las pruebas de MLPerf, tanto por chip como a escala. Este rendimiento revolucionario es posible gracias a una estrecha integración entre el hardware, el software y las tecnologías del sistema. La implacable inversión de NVIDIA en toda la pila ha impulsado mejoras de rendimiento con cada participación de MLPerf. La plataforma NVIDIA es incomparable en rendimiento y versatilidad generales, ya que ofrece una única plataforma para entrenamiento e inferencia que está disponible en todas partes, desde el data center hasta el edge y el cloud.

Aumento de Más de 20 Veces del Rendimiento en 3 Años de Mlperf

La Innovación en Toda la Pila de NVIDIA Ofrece Mejoras Continuas

Evaluaciones de Rendimiento de Entrenamiento de MLPerf

Resultados normalizados para el rendimiento debido a los requisitos de mayor precisión en la última ronda de MLPerf Training 2.0. 
Comparación de MLPerf ID 0.5/0.7/2.0:
BERT: 0.7-56/0.7-38/2.0-2106 | ResNet50v1.5: 0.5-17/0.7-55/0.7-37/2.0-2107 | Mask R-CNN: 0.5-22/0.7-48/0.7-28/2.0-2099
El nombre y el logotipo de MLPerf son marcas comerciales. Visita www.mlperf.org para obtener más información.

La IA de NVIDIA Ofrece Rendimiento y Versatilidad Líderes

Para Soluciones Disponibles Comercialmente

La plataforma de IA de NVIDIA brindó el rendimiento líder en las pruebas de MLPerf y fue la única plataforma en participar de todas las evaluaciones. Esto demuestra el rendimiento y la versatilidad de la plataforma de IA de NVIDIA de pila completa para todas las cargas de trabajo de IA.

EVALUACIÓN A escala (min) Por acelerador (min)
Recomendación (DLRM) 0.59 (DGX SuperPOD) 12.78 (A100)
NLP (BERT) 0.21 (DGX SuperPOD) 126.95 (A100)
Reconocimiento de Voz (Recurrente) (RNN-T) 2.15 (DGX SuperPOD) 230.07 (A100)
Detección de Objetos (Exigente) (Mask R-CNN) 3.09 (DGX SuperPOD) 327.34 (A100)
Detección de Objetos (Poco exigente) (RetinaNet) 4.25 (DGX SuperPOD) 675.18 (A100)
Clasificación de Imágenes (ResNet-50 v1.5) 0.32 (DGX SuperPOD) 217.82 (A100)
Segmentación de Imágenes (3D U- Net) 1.22 (DGX SuperPOD) 170.23 (A100)
Aprendizaje de Refuerzo (MiniGo) 16.23 (DGX SuperPOD) 2045.4 (A100)

El rendimiento por acelerador para A100 se calculó utilizando el tiempo de entrenamiento de un solo nodo del socio NVIDIA y multiplicándolo por el número de chips | Las comparaciones de rendimiento por chip con otras se realizaron comparando el rendimiento en la escala similar más cercana.
Tiempo máximo para el entrenamiento a escala: DLRM:  2.0-2098 | BERT:  2.0-2106 | Mask R-CNN: 2.0-2099   | ResNet-50 v1.5: 2.0-2107  | RetinaNet: 2.0-2103  | RNN-T: 2.0-2104  | 3D U-Net: 2.0-2100  | MiniGo: 2.0-2105 
Tiempo máximo para el entrenamiento por acelerador: DLRM: 2.0-2068 | BERT: 2.0-2070 | Mask R-CNN: 2.0-207 | ResNet-50 v1.5: 2.0-2069  | RetinaNet: 2.0-2091  | RNN-T: 2.0-2066  | 3D U-Net: 2.0-2060  | MiniGo: 2.0-2105 
El nombre y el logotipo de MLPerf son marcas comerciales. Visita www.mlperf.org para obtener más información.

NVIDIA logró los mejores resultados de rendimiento en todos los escenarios (servidor de data center y sin conexión, así como en el edge de flujo único, varios flujos y sin conexión). Además, ofreció el mejor rendimiento por acelerador entre todos los productos probados en todas las evaluaciones. Estos resultados son un testimonio, no solo del liderazgo en rendimiento de inferencia de NVIDIA, sino también de la versatilidad de nuestra plataforma de inferencia.

Escenario sin conexión para data center y edge (GPU única)

  NVIDIA A100 (CPU x86)
(Inferencias/Segundo)		 NVIDIA A100 (CPU Arm)
(Inferencias/Segundo)		 NVIDIA A30
(Inferencias/Segundo)		 NVIDIA® Jetson AGX Orin™
(Inferencias Máximas/Consulta)
DLRM
(Recomendador)		 312,380 281,283 138,194 N/A*
BERT
(Procesamiento de Idiomas Naturales)		 3,490 3,149 1,668 476
ResNet-50 v1.5
(Clasificación de Imágenes)		 39,190 36,487 18,406 6,139
ResNet-34
(Detector Grande de un Solo Disparo)		 990 906 478 208
RNN-T
(Reconocimiento del Habla)		 13,344 13,188 6,557 1,110
U-Net 3D
(Generación de Imágenes Médicas)		 3 3 2 0.5

* DLRM no forma parte del conjunto de categorías de edge.

1) Resultados de MLPerf v2.0 Inference para formatos del servidor de data center y escenario sin conexión obtenidos de la www.mlperf.org el 6 de abril de 2022, de las entradas Inf-2.0-094, Inf-2.0-077 y Inf-2.0-090. El rendimiento por procesador se calcula dividiendo la métrica principal del rendimiento total por el número de aceleradores informados.

2) Resultados de MLPerf v2.0 Inference para formatos de edge en escenario sin conexión obtenidos de www.mlperf.org el 6 de abril de 2022, de las entradas 2.0-140. El rendimiento por procesador se calcula dividiendo la métrica principal del rendimiento total por el número de aceleradores informados.

La Tecnología Detrás de los Resultados

La complejidad de la IA exige una estrecha integración entre todos los aspectos de la plataforma. Como quedó demostrado en las evaluaciones de MLPerf, la plataforma de IA de NVIDIA ofrece un rendimiento líder con la GPU más avanzada del mundo, tecnologías de interconexión potentes y escalables, y software de vanguardia. Por lo tanto, es una solución integral que se puede implementar en el data center, en el cloud o en el edge de la red con resultados increíbles.

Modelos Previamente Entrenados y Software Optimizado de NVIDIA NGC

Software Optimizado que Acelera los Workflows de IA

El catálogo NGC™ es un componente esencial de la plataforma de NVIDIA y de los resultados de entrenamiento e inferencia de MLPerf, ya que es un centro para IA optimizado por GPU para el software de análisis de datos, IA y computación de alto rendimiento (HPC) que simplifica y acelera los workflows integrales. NGC permite a los científicos de datos, investigadores y desarrolladores crear las mejores soluciones de su clase, recopilar información y ofrecer valor comercial más rápido que nunca, ya que cuenta con más de 150 contenedores de nivel empresarial, incluidas cargas de trabajo para IA conversacional y sistemas de recomendación, cientos de modelos de IA y SDK específicos de la industria que se pueden implementar en las instalaciones, en el cloud o en el edge.

Visitar el catálogo de NGC

Infraestructura de IA Líder

Lograr resultados increíbles en las evaluaciones de entrenamiento e inferencia requiere una infraestructura que se haya diseñado específicamente para los desafíos de IA más complejos del mundo. La plataforma de IA de NVIDIA se entregó utilizando la potencia de la GPU NVIDIA A100 Tensor Core, la GPU NVIDIA A30 Tensor Core, la GPU NVIDIA A2 Tensor Core y el módulo Jetson AGX Orin, junto con la escalabilidad y la flexibilidad de las tecnología de interconexión de NVIDIA: NVIDIA NVLink®, NVIDIA NVSwitch™ y la VPI NVIDIA ConnectX®-6. Estos componentes son la base de la NVIDIA DGX™ A100, el motor detrás de nuestro rendimiento récord.

Los sistemas NVIDIA DGX™ ofrecen la escalabilidad, implementación rápida y potencia de computación increíble que permiten a cada empresa desarrollar una infraestructura de IA líder.

MÁS INFORMACIÓN
GPU NVIDIA Tensor Core

Obtén más información sobre el rendimiento de nuestros productos de entrenamiento e inferencia en data centers.

Ver Rendimiento
Clasificación de Imágenes

Clasificación de Imágenes

MLPerf Training e Inference utilizan ResNet v1.5 con el conjunto de datos ImageNet.
MLPerf Inference utilizó ResNet-50 v. 1.5 y MobileNet-v1 con el conjunto de datos ImageNet.
Detección de Objetos (Poco Exigente)

Detección de Objetos (Poco Exigente)

MLPerf Training utiliza un Detector de Disparo Único (SSD) en el conjunto de datos COCO 2017.
MLPerf Inference utiliza SSD-MobileNet-v1 (baja res., 0.09 MP), con el conjunto de datos COCO 2017.
Detección de Objetos (Exigente)

Detección de Objetos (Exigente)

MLPerf Training utiliza Mask R-CNN en el conjunto de datos COCO 2014.
MLPerf Inference utiliza SSD-ResNet-34 (alta res., 1.44 MP), con el conjunto de datos COCO 2017.
Traducción (Recurrente)

Traducción (Recurrente)

MLPerf utilizó el Sistema de Traducción Automática de Google (GNMT) en el conjunto de datos WMT Inglés-Alemán.
MLPerf Inference utilizó la RNN de Traducción Automática Neuronal de Google (GNMT) con el conjunto de datos WMT16.
Traducción (No recurrente)

Traducción (No recurrente)

MLPerf utilizó Transformer en el conjunto de datos WMT inglés-alemán.
MLPerf Inference midió el reconocimiento de voz utilizando la red RNN-T con el conjunto de datos LibriSpeech.
Procesamiento de Idiomas Naturales (NLP)

Procesamiento de Idiomas Naturales (NLP)

MLPerf Training utiliza Representaciones de Codificadores Bidireccionales de Transformers (BERT) en el conjunto de datos Wikipedia 2020/01/01.
MLPerf Inference utilizó BERT con el conjunto de datos SQuAD v.1.1.
Recomendación

Recomendación

MLPerf Training e Inference utilizan el Modelo de Recomendación de Deep Learning (DLRM) en el conjunto de datos Criteo 1 TB.
MLPerf Inference utilizó la red de DLRM con el conjunto de datos Criteo Terabyte.
Aprendizaje de Refuerzo

Aprendizaje de Refuerzo

MLPerf Training utiliza un juego basado en la evaluación Mini Go.
Reconocimiento Automático de Voz (ASR)

Reconocimiento Automático de Voz (ASR)

MLPerf Training e Inference utiliza RNN-T con el conjunto de datos ImageNet.
Segmentación de Imágenes Biomédicas

Segmentación de Imágenes Biomédicas

MLPerf Training e Inference utilizan 3D U-Net con el conjunto de datos KiTS19.
Products
Tecnologías
Software
Recursos