Pruebas de referencia de MLPerf

La plataforma de IA de NVIDIA brilla tanto en entrenamiento como en inferencia de MLPerf, mostrando un rendimiento y una versatilidad líderes para hacer frente a las cargas de trabajo de IA más exigentes del mundo real.

¿Qué es MLPerf?

MLPerf es un consorcio de directivos de IA procedentes del ámbito académico, laboratorios de investigación y el sector industrial cuya misión es “crear pruebas de referencia útiles y razonables” que ofrezcan evaluaciones no sesgadas del entrenamiento y la inferencia para hardware, software y servicios, todo lo cual se realiza bajo las condiciones prescritas. Para mantenerse a la vanguardia de las tendencias del sector, MLPerf sigue evolucionando, con la realización de nuevas pruebas a intervalos regulares y la adición de nuevas cargas de trabajo que representan lo último en IA.

La Universidad Chalmers es una de las principales instituciones de investigación en Suecia, especializada en diversas áreas, desde nanotecnología hasta estudios climáticos. A medida que incorporamos la IA para avanzar en nuestros esfuerzos de investigación, descubrimos que las pruebas de rendimiento de MLPerf proporcionan una comparación transparente entre iguales de varias plataformas de IA para mostrar el rendimiento real en diversos casos de uso del mundo real.

— Universidad Tecnológica Chalmers, Suecia

TSMC está impulsando la vanguardia de la fabricación global de semiconductores, como nuestro último nodo de 5nm que lidera el mercado en tecnología de procesos. Innovaciones como la litografía basada en aprendizaje automático y el modelado de grabados mejoran drásticamente nuestra corrección de proximidad óptica (OPC) y la precisión de la simulación de grabado. Para aprovechar al máximo el potencial del aprendizaje automático en el entrenamiento de modelos y la inferencia, estamos trabajando con el equipo de ingeniería de NVIDIA para portar nuestro motor Maxwell de simulación y tecnología de litografía inversa (ILT) a las GPU y ver aceleraciones muy significativas. Las pruebas de referencia de MLPerf son un factor importante en nuestra toma de decisiones.

— Dr. Danping Peng, Director, Departamento de OPC, TSMC, San José, CA, EE. UU.

La visión computarizada y la creación de imágenes están en el centro de la investigación de la IA, impulsando el descubrimiento científico y representando fácilmente los componentes centrales de la atención médica. Hemos colaborado estrechamente con NVIDIA para introducir innovaciones como 3DUNet en el mercado sanitario. Las pruebas de referencia de MLPerf estándares del sector proporcionan datos de rendimiento relevantes en beneficio de las organizaciones y desarrolladores de TI para obtener la solución adecuada para acelerar sus proyectos y aplicaciones específicos.

— Prof. Dr. Klaus Maier-Hein (Jefe de Computación de Imágenes Médicas, Deutsches Krebsforschungszentrum (DKFZ, Centro Alemán de Investigación del Cáncer)

Como líder preeminente en investigación y fabricación, Samsung utiliza la IA para aumentar drásticamente el rendimiento del producto y la productividad de fabricación. La comercialización de estos avances de IA requiere que tengamos la mejor plataforma informática disponible. Las pruebas de referencia de MLPerf agilizan nuestro proceso de selección al proporcionarnos un método de evaluación abierto y directo para evaluar, de manera uniforme, en todas las plataformas.

— Samsung Electronics

Categorías de presentación de MLPerf

MLPerf Training v2.0 es la sexta instancia del entrenamiento y consta de ocho cargas de trabajo diferentes que cubren una amplia diversidad de casos de uso, como, por ejemplo, visión, lenguaje, recomendaciones y aprendizaje de refuerzo.

MLPerf Inference v2.0 probó siete casos de uso diferentes en siete tipos diferentes de redes neuronales. Tres de estos casos de uso fueron de visión computarizada, uno para sistemas recomendados, dos para el procesamiento lingüístico y otro para la creación de imágenes médicas.

Clasificación de imágenes

Clasificación de imágenes

Asigna una etiqueta de un conjunto fijo de categorías a una imagen de entrada, es decir, se aplica a problemas de visión computarizada. Más información.

Detección de objetos (ligera)

Detección de objetos (ligera)

Busca instancias de objetos del mundo real, como caras, bicicletas y edificios, en imágenes o vídeos, y especifica un cuadro delimitador alrededor de cada uno. Más información.

Detección de objetos (pesada)

Detección de objetos (pesada)

Detecta distintos objetos de interés que aparecen en una imagen e identifica una máscara de píxeles para cada uno. Más información.

Segmentación de imágenes biomédicas

Segmentación de imágenes biomédicas

Realiza la segmentación volumétrica de imágenes 3D densas para casos de uso médico. Detalles.

Traducción (recurrente)

Traducción (recurrente)

Traduce texto de un idioma a otro mediante una red neuronal recurrente (RNN). Más información.

Reconocimiento de voz automático (ASR)

Reconocimiento de voz automático (ASR)

Reconoce y transcribe audio en tiempo real. Detalles.

Procesamiento del lenguaje natural (PLN)

Procesamiento del lenguaje natural (PLN)

Entiende el texto mediante la relación entre las distintas palabras de un bloque de texto. Permite responder a preguntas, parafrasear oraciones y muchos otros casos de uso relacionados con el idioma. detalles.

Recomendación

Recomendación

Ofrece resultados personalizados en servicios de contacto entre usuarios, como redes sociales o sitios web de comercio electrónico, al comprender las interacciones entre usuarios y servicios, como los productos o los anuncios. Más información.

Aprendizaje de refuerzo

Aprendizaje de refuerzo

Evalúa distintas acciones posibles para maximizar el uso del juego de estrategia Go en una cuadrícula de 19x19. Más información.

Resultados de las pruebas de referencia de MLPerf de NVIDIA

  • Entrenamiento

    Entrenamiento

  • Inferencia

    Inferencia

La GPU NVIDIA A100 Tensor Core y NVIDIA DGX SuperPOD ofrecieron un rendimiento líder en todas las pruebas de MLPerf, tanto por chip como a escala. Este innovador rendimiento se debe a la estrecha integración del hardware, el software y las tecnologías de nivel de sistema. La inversión incesante de NVIDIA en toda la pila ha impulsado mejoras de rendimiento con cada presentación de MLPerf. La plataforma NVIDIA no tiene rival en rendimiento y versatilidad generales, ya que ofrece una única plataforma de entrenamiento e inferencia que está disponible en todas partes, desde el centro de datos hasta el perímetro y la nube.

Más de 20 veces el rendimiento en tres años de MLPerf

La completa innovación de la pila de NVIDIA ofrece mejoras continuas

Pruebas de referencia del rendimiento del entrenamiento de MLPerf

La IA de NVIDIA ofrece un rendimiento y versatilidad líderes

Para soluciones disponibles en el mercado

La plataforma NVIDIA AI ofreció un rendimiento líder en pruebas MLPerf y fue la única plataforma en enviar en todas las pruebas de referencia. Esto demuestra el rendimiento y la versatilidad de la plataforma de IA de NVIDIA de pila completa para todas las cargas de trabajo de IA.

PRUEBA DE REFERENCIA A escala (mín.) Por acelerador (mín.)
Recomendación (DLRM) 0,59 (DGX SuperPOD) 12,78 (A100)
NLP (BERT) 0,21 (DGX SuperPOD) 126,95 (A100)
Reconocimiento de voz - Recurrente (RNN-T) 2,15 (DGX SuperPOD) 230,07 (A100)
Detección de objetos - Pesada (Mask R-CNN) 3,09 (DGX SuperPOD) 327,34 (A100)
Detección de objetos - Ligera (RetinaNet) 4,25 (DGX SuperPOD) 675,18 (A100)
Clasificación de imágenes (ResNet-50 v1.5) 0,32 (DGX SuperPOD) 217,82 (A100)
Segmentación de imágenes (3D U-net) 1,22 (DGX SuperPOD) 170,23 (A100)
Aprendizaje de refuerzo (MiniGo) 16,23 (DGX SuperPOD) 2045,4 (A100)

NVIDIA obtuvo los mejores resultados de rendimiento en todos los escenarios (servidor de centro de datos y sin conexión, así como en una sola secuencia de periferia, varias secuencias y sin conexión). Además, ofrecimos el mejor rendimiento por acelerador entre los productos probados en todas las pruebas de referencia. Estos resultados son un testimonio no solo del liderazgo en rendimiento de inferencia de NVIDIA, sino también de la versatilidad de nuestra plataforma de inferencia.

Escenario de centro de datos y perímetro (GPU única)

  NVIDIA A100 (CPU x86)
(Inferencias por segundo)
NVIDIA A100 (CPU ARM)
(Inferencias por segundo)
NVIDIA A30
(Inferencias por segundo)
NVIDIA® Jetson AGX Orin
(Inferencias máximas por consulta)
DLRM
(Recomendación)
312.380 281.283 138.194 N/D*
BERT
(Procesamiento de lenguaje natural)
3.490 3.149 1.668 476
ResNet-50 v1.5
(Clasificación de imágenes)
39.190 36.487 18.406 6.139
ResNet-34
(Detector de capturas únicas grandes)
990 906 478 208
RNN-T
(Reconocimiento de voz)
13.344 13.188 6.557 1.110
3D U-net
(Imágenes médicas)
3 3 2 0,5

La tecnología detrás de los resultados

La complejidad de la inteligencia artificial exige una estrecha integración entre todos los aspectos de la plataforma. Como se ha demostrado en las pruebas de referencia de MLPerf, la plataforma de IA de NVIDIA ofrece un rendimiento de liderazgo con la GPU más avanzada del mundo, tecnologías de interconexión potentes y escalables y software de vanguardia: una solución integral que se puede implementar en el centro de datos, en la nube o en el perímetro con resultados increíbles.

Modelos pre-entrenados y software optimizado de NVIDIA NGC

Software optimizado que acelera los flujos de trabajo de IA

El catálogo NGC, componente esencial de los resultados de entrenamiento e inferencia MLPerf y la plataforma de NVIDIA, es un centro de IA optimizado para GPU, computación de alto rendimiento (HPC) y software de análisis de datos que simplifica y acelera los flujos de trabajo de extremo a extremo. Con más de 150 contenedores de nivel empresarial, que incluyen cargas de trabajo para IA conversacional y sistemas de recomendación, cientos de modelos de IA y SDK específicos del sector que se pueden implementar en el entorno local, en la nube o en el perímetro, NGC permite que los científicos, los investigadores y los desarrolladores de datos creen las mejores soluciones de su clase, recopilen información y aporten valor a la empresa más rápido que nunca.

Infraestructura de IA de nivel de liderazgo

La consecución de resultados de primer nivel en el entrenamiento y la inferencia requiere una infraestructura diseñada expresamente para los desafíos más complejos del mundo. La plataforma IA de NVIDIA se ofrece con la potencia de la GPU NVIDIA A100 Tensor Core, la GPU NVIDIA A30 Tensor Core, la GPU NVIDIA A2 Tensor Core, el módulo Jetson AGX Orin y la escalabilidad y flexibilidad de las tecnologías de interconexión de NVIDIA, NVIDIA NVLink®, NVIDIA NVSwitch y NVIDIA ConnectX®-6 VPI. Estos se encuentran en el centro de NVIDIA DGX™ A100, el motor que respalda nuestra prueba de referencia de rendimiento.

Los sistemas NVIDIA DGX ofrecen la escalabilidad, la rápida implementación y una increíble capacidad de cálculo que permite a todas las empresas crear infraestructuras de IA de nivel de liderazgo.

GPU NVIDIA Tensor Core

Obtén más información sobre el rendimiento del producto de entrenamiento e inferencia de nuestro centro de datos.