Establecer una Nueva Norma para MLPerf

Las soluciones de entrenamiento e inferencia de NVIDIA ofrecen un rendimiento récord en MLPerf, la evaluación líder en la industria para el rendimiento de IA

¿Qué es MLPerf?

MLPerf es un grupo de líderes de IA de la industria, laboratorios de investigación e instituciones académicas cuya misión es “desarrollar evaluaciones útiles e imparciales”, que proporcionen pruebas sin sesgos (que se llevan a cabo bajo condiciones prescritas) para el rendimiento de la inferencia y el entrenamiento del hardware, el software y los servicios. Para seguir a la vanguardia de las tendencias de la industria, MLPerf sigue evolucionando y realiza nuevas pruebas de forma periódica y agregando nuevas cargas de trabajo que representan el estado del arte en IA.

La Universidad de Chalmers es una de las instituciones de investigación líderes en Suecia, especializada en múltiples áreas, desde la nanotecnología hasta los estudios climáticos. A medida que incorporamos IA para avanzar en nuestros esfuerzos de investigación, encontramos que el punto de referencia MLPerf proporciona una comparación transparente en múltiples plataformas de IA para mostrar el rendimiento real en diversos casos de uso del mundo real.

— Universidad Tecnológica de Chalmers, Suecia

SMC está impulsando la vanguardia de la fabricación global de semiconductores, como nuestro último nodo de 5nm que lidera el mercado en tecnología de procesos. Las innovaciones como la litografía basada en machine learning y el modelado de grabado mejoran significativamente nuestra corrección óptica de proximidad (OPC) y la precisión de la simulación de grabado. Para aprovechar al máximo el potencial del machine learning en el entrenamiento y la inferencia de modelos, estamos trabajando con el equipo de ingeniería de NVIDIA para trasladar nuestro motor de tecnología de litografía inversa (ILT) y simulación de Maxwell a las GPU y ver aceleraciones muy significativas. El benchmark MLPerf es un factor importante en nuestra toma de decisiones..

— Dr. Danping Peng, Director, OPC Department, TSMC, San Jose, CA, USA

La visión por computadora y las imágenes son el núcleo de la investigación de la inteligencia artificial, impulsan el descubrimiento científico y representan fácilmente los componentes centrales de la atención médica. Hemos trabajado en estrecha colaboración con NVIDIA para llevar innovaciones como 3DUNet al mercado de la area de la salud. Los puntos de referencia MLPerf estándar de la industria proporcionan datos de rendimiento relevantes en beneficio de las organizaciones de TI y los desarrolladores para obtener la solución adecuada para acelerar sus proyectos y aplicaciones específicos.

— Prof.Dr. Klaus Maier-Hein, Jefe de Computación de Imágenes Médicas, Deutsches Krebsforschungszentrum (DKFZ, Centro Alemán de Investigación del Cáncer)

Como líder preeminente en investigación y manufactura, Samsung utiliza la inteligencia artificial para impulsar significativamente el rendimiento del producto y la productividad de manufactura. La producción de estos avances en IA requiere que tengamos la mejor plataforma de computación disponible. El punto de referencia MLPerf agiliza nuestro proceso de selección al proporcionarnos un método de evaluación abierto y directo para evaluar de manera uniforme en todas las plataformas.

—  Samsung Electronics

CATEGORÍAS DE PRESENTACIÓN DE MLPERF

MLPerf Training v1.0 es la cuarta instanciación para la capacitación y constaba de ocho cargas de trabajo diferentes que cubren una amplia diversidad de casos de uso, que incluyen visión, lenguaje, recomendaciones y aprendizaje reforzado.

MLPerf Inference v1.0 probó siete casos de uso diferentes en siete tipos diferentes de redes neuronales. Tres de estos casos de uso fueron para visión por computadora, uno para sistemas de recomendación, dos para procesamiento de lenguaje y uno para imágenes médicas.

Clasificación de Imágenes

Clasificación de Imágenes

Asigna una etiqueta de un conjunto fijo de categorías a una imagen de entrada, es decir, se aplica a problemas de visión por computadora. Más detalles.

Detección de Objetos (Ligero)

Detección de Objetos (Ligero)

Encuentra instancias de objetos del mundo real como caras, bicicletas y edificios en imágenes o videos y especifica un cuadro delimitador alrededor de cada uno. Más detalles.

Detección de Objetos (Peso Pesado)

Detección de Objetos (Peso Pesado)

Detecta distintos objetos de interés que aparecen en una imagen e identifica una máscara de píxeles para cada uno. Más detalles.

Segmentación de Imágenes Biomédicas

Segmentación de Imágenes Biomédicas

Realiza la segmentación volumétrica de imágenes densas en 3D para casos de uso médico. Más detalles.

Translation (Recurrent)

Translation (Recurrent)

Translates text from one language to another using a recurrent neural network (RNN). details.

Translation (Non-recurrent)

Translation (Non-recurrent)

Translates text from one language to another using a feed-forward neural network. Más detalles.

Reconocimiento Automático de Voz (ASR)

Reconocimiento Automático de Voz (ASR)

Reconoce y transcribe audio en tiempo real. Más detaller.

Procesamiento de Lenguaje Natural (PNL)

Procesamiento de Lenguaje Natural (PNL)

Entiende el texto usando la relación entre diferentes palabras en un bloque de texto. Permite responder preguntas, parafrasear oraciones y muchos otros casos de uso relacionados con el lenguaje. Más detalles.

Recomendación

Recomendación

Ofrece resultados personalizados en servicios orientados al usuario, como redes sociales o sitios web de comercio electrónico, al comprender las interacciones entre los usuarios y los elementos de servicio, como productos o anuncios. Más detalles.

Aprendizaje Reforzado

Aprendizaje Reforzado

Evalúa diferentes acciones posibles para maximizar la recompensa usando el juego de estrategia Go jugado en una grilla de 19x19. Más detalles.

RESULTADOS DEL BENCHMARK MLPERF DE NVIDIA

  • Entrenamiento

    Entrenamiento

  • Inferencia

    Inferencia

La GPU NVIDIA A100 Tensor Core y el NVIDIA DGX SuperPOD establecen los 16 registros de rendimiento de entrenamiento, tanto en cargas de trabajo por chip como a escala para sistemas disponibles comercialmente. Este rendimiento revolucionario provino de la estrecha integración de hardware, software y tecnologías de nivel de sistema. La inversión continua de NVIDIA en el rendimiento de la pila completa ha llevado a una mejora en el rendimiento en los tres envíos MLPerf.

HASTA 4 VECES EL RENDIMIENTO EN 1.5 AÑOS DE MLPERF

La Innovación de Pila Completa de NVIDIA Ofrece Mejoras Continuas

HASTA 4 VECES EL RENDIMIENTO EN 1.5 AÑOS DE MLPERF

NVIDIA ESTABLECE LOS 16 REGISTROS

Para Soluciones Disponibles Comercialmente

  Registros de Escala Máxima Registros por Acelerador
Recomendación (DLRM) 3.33 min 0.44 hrs
NLP (BERT) 0.81 min 6.53 hrs
Aprendizaje de Refuerzo (MiniGo) 17.07 min 39.96 hrs
Traducción (No recurrente) (Transformador) 0.62 min 1.05 hrs
Traducción (Recurrente) (GNMT) 0.71 min 1.04 hrs
Detección de Objetos (Peso Pesado) (Máscara R-CNN) 10.46 min 10.95 hrs
Detección de Objetos (Ligero) (SSD) 0.82 min 1.36 hrs
Clasificación de Imagen (ResNet-50 v1.5) 0.76 min 5.30 hrs

NVIDIA logró los mejores resultados de rendimiento en todos los escenarios (servidor del centro de datos y fuera de línea, así como en el borde de una sola transmisión, varias transmisiones y fuera de línea). Además, entregamos el mejor rendimiento por acelerador entre todos los productos probados en todas las pruebas comparativas. Estos resultados son un testimonio, no solo del liderazgo de rendimiento de inferencia de NVIDIA, sino también de la versatilidad de nuestra plataforma de inferencia.

ESCENARIO SIN CONEXIÓN PARA DATA CENTER Y EDGE (GPU ÚNICA)

  NVIDIA A100 (x86 CPU)
(Inferencias/Segundo)
NVIDIA A100 (Arm CPU)
(Inferencias/Segundo)
NVIDIA A30
(Inferencias/Segundo)
NVIDIA® Jetson Xavier
(Máximo de inferencias/Consulta)
DLRM
(Recomendador)
302,680 274,433 135,450 N/A*
BERT
(Procesamiento Natural del Lenguaje)
3,538 3,151 1,673 97
ResNet-50 v1.5
(IClasificación de Imágenes)
39,190 36,436 18,647 2,039
ResNet-34
(Detector Grande de Disparo Único)
981 901 474 55
RNN-T
(Reconocimiento de Voz)
13,365 12,640 6,574 416
3D U-Net
(Imagenes Medicas)
61 57 30 3

La Tecnología Detrás de los Resultados

La complejidad de la IA exige una estrecha integración entre todos los aspectos de la plataforma. Como se demuestra en los puntos de referencia de MLPerf, la plataforma de IA de NVIDIA ofrece un rendimiento de liderazgo con la GPU más avanzada del mundo, tecnologías de interconexión potentes y escalables y software de vanguardia, una solución de extremo a extremo que se puede implementar en el data center, en el cloud o en el edge con resultados sorprendentes.

Software Optimizado que Acelera los Workflows de IA

Software Optimizado que Acelera los Workflows de IA

NGC es un componente esencial de NVIDIA para lograr estos resultados de inferencia y entrenamiento en MLPerf, dado que nuclea el software optimizado por GPU de análisis de datos, de procesamiento de alto rendimiento (HPC) y de IA, lo que simplifica y acelera los workflows integrales. NGC cuenta con más de 150contenedores de grado empresarial, más de 100modelos y SDK específicos de la industria, que se pueden implementar en las instalaciones, en cloud o en edge. De esta manera, NGC permite a los científicos de datos, investigadores y desarrolladores generar las mejores soluciones, obtener resultados y lograr valor comercial más rápido que antes.

Infraestructura de IA Líder

Lograr resultados líderes en el mundo a través de la capacitación y las inferencias requiere una infraestructura diseñada específicamente para los desafíos de inteligencia artificial más complejos del mundo. La plataforma de IA de NVIDIA entregada utilizando la potencia de la GPU NVIDIA A100 Tensor Core, la GPU NVIDIA A30 Tensor Core, la GPU NVIDIA A10 Tensor Core y la escalabilidad y flexibilidad de las tecnologías de interconexión de NVIDIA: NVIDIA NVLink®, NVIDIA NVSwitch y NVIDIA ConnectX®-6 VPI. Estos están en el corazón de NVIDIA DGX A100, el motor detrás de nuestro rendimiento de referencia.

Los sistemas NVIDIA DGX ofrecen la escalabilidad, la implementación rápida y la increíble potencia de cómputo que pueden permitir a todas las empresas construir una infraestructura de inteligencia artificial de clase líder.

Infraestructura de IA Líder

Obtenga más información sobre nuestra capacitación en data center y el rendimiento del producto de inferencia.