Pruebas de referencia de MLPerf

La plataforma de IA de NVIDIA logra un rendimiento y versatilidad de clase mundial en entrenamiento MLPerf, inferencia y pruebas de referencia de HPC para las cargas de trabajo de IA del mundo real más exigentes.

Ver nuestros resultados

Acerca de MLPerf
Pruebas de rendimiento
Nuestros resultados
Cómo lo hacemos

Acerca de MLPerf
Pruebas de rendimiento
Nuestros resultados
Cómo lo hacemos

¿Qué es MLPerf?

Las pruebas de referencia de MLPerf™ —desarrolladas por MLCommons, un consorcio de líderes de IA del mundo académico, laboratorios de investigación y la industria— están diseñadas para proporcionar evaluaciones imparciales de entrenamiento y rendimiento de inferencia para hardware, software y servicios. Todas se realizan en las condiciones prescritas. Para mantenerse a la vanguardia de las tendencias del sector, MLPerf está en constante evolución, realizando nuevas pruebas a intervalos regulares y agregando nuevas cargas de trabajo que representan la IA más avanzada.

La Universidad de Chalmers es una de las principales instituciones de investigación de Suecia, especializada en múltiples áreas, desde la nanotecnología hasta los estudios sobre el clima. A medida que incorporamos la IA para avanzar en nuestros esfuerzos de investigación, descubrimos que las pruebas de rendimiento de MLPerf proporcionan una comparación transparente entre iguales de varias plataformas de IA para mostrar el verdadero rendimiento en diversos casos de uso del mundo real.

— Universidad Tecnológica Chalmers, Suecia

TSMC impulsa la vanguardia de la fabricación global de semiconductores, como nuestro último nodo de 5 nm, al frente del mercado de tecnología de procesos. Innovaciones como la litografía basada en aprendizaje automático y el modelado de grabado mejoran drásticamente nuestra corrección de proximidad óptica (OPC) y precisión de simulación de grabado. Para aprovechar al máximo el potencial del aprendizaje automático en el entrenamiento de modelos y la inferencia, trabajamos con el equipo de ingeniería de NVIDIA para portar nuestro motor Maxwell de simulación y tecnología de litografía inversa (ILT) a las GPU y ver aceleraciones muy significativas. Las pruebas de referencia de MLPerf son un factor importante en nuestra toma de decisiones.

— Dr. Danping Peng, Director, Departamento de OPC, TSMC, San José, CA, EE. UU.

La visión por ordenador y las imágenes son el núcleo de la investigación de IA, impulsando el descubrimiento científico y representan fácilmente los componentes centrales de la atención médica. Hemos trabajado estrechamente con NVIDIA para introducir innovaciones como 3DUNet en el mercado de la atención sanitaria. Las pruebas de referencia de MLPerf, estándares del sector, proporcionan datos de rendimiento relevantes en beneficio de las organizaciones y desarrolladores de TI para obtener la solución adecuada para acelerar sus proyectos y aplicaciones específicos.

— Prof. Dr. Klaus Maier-Hein (Jefe de Computación de Imágenes Médicas, Deutsches Krebsforschungszentrum (DKFZ, Centro Alemán de Investigación del Cáncer)

Como líder preeminente en investigación y fabricación, Samsung utiliza la IA para aumentar drásticamente el rendimiento del producto y la productividad de la fabricación. La productividad de estos avances de IA requiere que tengamos la mejor plataforma de computación disponible. Las pruebas de referencia de MLPerf agilizan nuestro proceso de selección al proporcionarnos un método de evaluación abierto y directo para evaluar, de manera uniforme, en todas las plataformas.

— Samsung Electronics

Diapositiva 1
Diapositiva 2
Diapositiva 3
Diapositiva 3

Dentro de las pruebas de referencia de MLPerf

MLPerf Inference v4.1 mide el rendimiento de la inferencia en nueve puntos de referencia diferentes, incluidos varios modelos lingüísticos de gran tamaño (LLM), texto a imagen, procesamiento de lenguaje natural, recomendaciones, visión por ordenador y segmentación de imágenes médicas.

MLPerf Training v4.1 mide el tiempo para entrenar en siete puntos de referencia diferentes, incluida la formación previa de LLM, la puesta a punto de LLM, la conversión de texto a imagen, la red neuronal de gráficos (GNN), la visión por ordenador, la recomendación y el procesamiento del lenguaje natural.

MLPerf HPC v3.0 mide el rendimiento de entrenamiento en cuatro casos de uso de computación científica diferentes, incluida la identificación de ríos atmosféricos, la predicción de parámetros cosmológicos, el modelado molecular cuántico y la predicción de estructuras de proteínas.

Modelos lingüísticos de gran tamaño

Algoritmos de Deep learning entrenados en conjuntos de datos a gran escala que pueden reconocer, resumir, traducir, predecir y generar contenido para una amplia gama de casos de uso.
Detalles.

Texto a imagen

Genera imágenes a partir de indicaciones de texto.
Detalles.

Recomendación

Ofrece resultados personalizados en servicios orientados al usuario, como redes sociales o sitios web de comercio electrónico, al comprender las interacciones entre los usuarios y los artículos de servicio, como productos o anuncios.
Detalles.

Detección de objetos (ligera)

Busca instancias de objetos del mundo real, como caras, bicicletas y edificios en imágenes o vídeos, y especifica un cuadro delimitador alrededor de cada uno.
Detalles.

Red neuronal gráfica

Utiliza redes neuronales diseñadas para trabajar con datos estructurados en forma de gráficos.
Detalles.

Clasificación de imágenes

Asigna una etiqueta de un conjunto fijo de categorías a una imagen de entrada; es decir, se aplica a problemas de visión por ordenador.
Detalles.

Procesamiento del lenguaje natural (PLN)

Comprende el texto utilizando la relación entre las diferentes palabras en un bloque de texto. Permite responder preguntas, parafrasear oraciones y muchos otros casos de uso relacionados con el lenguaje.
Detalles.

Segmentación de imágenes biomédicas

Realiza la segmentación volumétrica de imágenes 3D densas para casos de uso médico.
Detalles.

Identificación climática de ríos atmosféricos

Identifica huracanes y ríos atmosféricos en datos de simulación climática.
Detalles.

Predicción de parámetros cosmológicos

Resuelve un problema de regresión de imágenes 3D en datos cosmológicos.
Detalles.

Modelado molecular cuántico

Predice energías o configuraciones moleculares.
Detalles.

Predicción de la estructura de proteínas

Predice la estructura proteica tridimensional basada en la conectividad unidimensional de los aminoácidos.
Detalles.

Resultados de las pruebas de referencia de MLPerf de NVIDIA

Formación
Inferencia
HPC

La plataforma NVIDIA HGX™ B200, con tecnología GPU NVIDIA Blackwell, NVLink™ de quinta generación y el último NVLink Switch, ofrecieron otro salto de gigante para la formación de LLM en MLPerf Training v4.1. A través de una implacable ingeniería de pila completa a escala de centro de datos, NVIDIA no deja de superar los límites del rendimiento del entrenamiento de IA generativa, lo que acelera la creación y la personalización de modelos de IA cada vez más capaces.

NVIDIA Blackwell potencia el entrenamiento de los LLM

Los resultados de MLPerf™ Training v4.1 se recuperaron de http://www.mlcommons.org el 13 de noviembre de 2024, de las siguientes entradas: 4.1-0060 (HGX H100, 2024, 512 GPU) en la categoría disponible, 4.1-0082 (HGX B200, 2024, 64 GPU) en la categoría de vista previa. Los resultados de MLPerf™ Training v3.0, utilizados para HGX H100 (2023, 512 GPU), recuperados de la entrada 3.0-2069. El resultado de HGX A100, utilizando 512 GPU, no ha sido verificado por la asociación MLCommons. El rendimiento normalizado por GPU no es una métrica principal de MLPerf™ Training. El nombre y el logotipo de MLPerf™ son marcas comerciales de la asociación MLCommons en los Estados Unidos y otros países. Todos los derechos reservados. El uso no autorizado está estrictamente prohibido. Consulte http://www.mlcommons.org para obtener más información.

NVIDIA continúa ofreciendo el más alto rendimiento a escala

La plataforma NVIDIA, con tecnología GPU NVIDIA Hopper™, NVLink de cuarta generación con NVSwitch™ de tercera generación y Quantum-2 InfiniBand, sigue demostrando un rendimiento y versatilidad sin igual en MLPerf Training v4.1. NVIDIA ofreció el más alto rendimiento a escala en los siete índices de referencia.

Rendimiento de máxima escala

Benchmark	Time to Train	Number of GPUs
LLM (GPT-3 175B)	3.4 minutes	11,616
LLM Fine-Tuning (Llama 2 70B-LoRA)	1.2 minutes	1,024
Text-to-Image (Stable Diffusion v2)	1.4 minutes	1,024
Graph Neural Network (R-GAT)	0.9 minutes	512
Recommender (DLRM-DCNv2)	1.0 minutes	128
Natural Language Processing (BERT)	0.1 minutes	3,472
Object Detection (RetinaNet)	0.8 minutes	2,528

Los resultados de MLPerf™ Training v4.1 fueron recuperados de https://mlcommons.org el 13 de noviembre de 2024, de las siguientes entradas: 4.1-0012, 4.1-0054, 4.1-0053, 4.1-0059, 4.1-0055, 4.10058, 4.1-0056. El nombre y el logotipo de MLPerf™ son marcas comerciales de la asociación MLCommons en los Estados Unidos y otros países. Todos los derechos reservados. El uso no autorizado está estrictamente prohibido. Consulte https://mlcommons.org para obtener más información.

En su debut con MLPerf Inference, la plataforma NVIDIA Blackwell con el sistema de cuantificación NVIDIA Quasar ofreció un rendimiento de LLM hasta 4 veces mayor en comparación con la GPU H100 con núcleo Tensor de la generación anterior. Entre las soluciones disponibles, la GPU NVIDIA H200 con núcleo Tensor, basada en la arquitectura NVIDIA Hopper, ofreció el más alto rendimiento por GPU para IA generativa, incluso en los tres índices de referencia de LLM, que incluían Llama 2 70B, GPT-J y la nueva mezcla de expertos LLM, Mixtral 8x7B, así como en el índice de referencia de texto a imagen Stable Diffusion XL. Mediante una implacable optimización del software, el rendimiento de H200 aumentó hasta un 27 % en menos de seis meses. Para la IA generativa en el perímetro, NVIDIA Jetson Orin™ ofreció resultados sobresalientes, lo que aumentó el rendimiento de GPT-J en más de 6 veces y redujo la latencia en 2,4 veces en una sola ronda.

NVIDIA Blackwell supone un gran salto cualitativo para la inferencia de LLM

Servidor

4 veces

10 756 tokens por segundo
GPU individual

Sin conexión

3,7 veces

11 264 tokens por segundo
GPU individual

Superchip de IA

Transistores 208B

Motor de transformador de 2.ª generación

Núcleo Tensor FP4/FP6

NVLINK de 5.ª generación

Escala hasta 576 GPU

Motor de fiabilidad, disponibilidad y mantenimiento (RAS)

Autoprueba 100 % dentro del sistema

IA segura

Cifrado de rendimiento total y entorno de ejecución de confianza (TEE)

Motor de descompresión

800 GB/s

MLPerf Inference v4.1 cerrado, centro de datos. Los resultados se recuperaron de https://mlcommons.org el 28 de agosto de 2024. Los resultados de Blackwell se midieron en una única GPU y se recuperaron de la entrada 4.1-0074 en la categoría Cerrada, Vista previa. Los resultados de H100 de la entrada 4.1-0043 en la categoría Cerrada, Disponible en un sistema de 8 H100 y dividido por el recuento de GPU para una comparación por GPU. El rendimiento por GPU no es una métrica principal de MLPerf Inference. El nombre y el logotipo de MLPerf son marcas registradas y no registradas de la asociación MLCommons en los Estados Unidos y otros países. Todos los derechos reservados. El uso no autorizado está estrictamente prohibido. Consulte https://mlcommons.org para obtener más información.

H200 ofrece un rendimiento de inferencia multiGPU excepcional en cada punto de referencia

Benchmark	Offline	Server
Llama 2 70B	34,864 tokens/second	32,790 tokens/second
Mixtral 8x7B	59,022 tokens/second	57,177 tokens/second
GPT-J	20,086 tokens/second	19,243 tokens/second
Stable Diffusion XL	17.42 samples/second	16.78 queries/second
DLRMv2 99%	637,342 samples/second	585,202 queries/second
DLRMv2 99.9%	390,953 samples/second	370,083 queries/second
BERT 99%	73,310 samples/second	57,609 queries/second
BERT 99.9%	63,950 samples/second	51,212 queries/second
RetinaNet	14,439 samples/second	13,604 queries/second
ResNet-50 v1.5	756,960 samples/second	632,229 queries/second
3D U-Net	54.71 samples/second	Not part of benchmark

MLPerf Inference v4.1 cerrado, centro de datos. Los resultados se recuperaron de https://mlcommons.org el 28 de agosto de 2024. Todos los resultados utilizan ocho GPU y se recuperaron de las siguientes entradas: 4.1-0046, 4.1-0048 y 4.1-0050. El nombre y el logotipo de MLPerf son marcas registradas y no registradas de la asociación MLCommons en los Estados Unidos y otros países. Todos los derechos reservados. El uso no autorizado está estrictamente prohibido. Consulte https://mlcommons.org para obtener más información.

La NVIDIA H100 con núcleo Tensor ha dotado a la plataforma NVIDIA de una espectacular potencia de proceso para HPC e IA en su debut con MLPerf HPC v3.0, lo cual permite un tiempo de entrenamiento hasta 16 veces más rápido en solo tres años y ofrece el mayor rendimiento en todas las cargas de trabajo en las métricas de tiempo de entrenamiento y capacidad de proceso. La plataforma NVIDIA también fue la única en presentar resultados para cada carga de trabajo de HPC MLPerf, que abarca la segmentación climática, la predicción de parámetros cosmológicos, el modelado molecular cuántico y la última incorporación, la predicción de la estructura de proteínas. El rendimiento y la versatilidad inigualables de la plataforma NVIDIA la convierten en el instrumento favorito para impulsar la próxima ola de descubrimientos científicos impulsados por la IA.

Hasta 16 veces más rendimiento en tres años

La innovación de pila completa de NVIDIA fomenta el aumento de rendimiento

Los resultados de MLPerf™ HPC v3.0 fueron recuperados de https://mlcommons.org el 8 de noviembre de 2023. Los resultados se recuperaron de las entradas 0,7-406, 0,7-407, 1,0-1115, 1,0-1120, 1,0-1122, 2,0-8005, 2,0-8006, 3,0-8006, 3,0-8007, 3,0-8008. La puntuación de CosmoFlow en la v1.0 se normaliza con los nuevos RCP introducidos en MLPerf HPC v2.0. Las puntuaciones de las versiones v0.7, v1.0 y v2.0 se ajustan para eliminar el tiempo de preparación de datos del punto de referencia, en consonancia con las nuevas reglas adoptadas para la versión v3.0 para permitir comparaciones justas entre las rondas de presentación. El nombre y el logotipo de MLPerf™ son marcas comerciales de la asociación MLCommons en los Estados Unidos y otros países. Todos los derechos reservados. El uso no autorizado está estrictamente prohibido. Consulte https://mlcommons.org para obtener más información.

Los resultados de MLPerf™ HPC v3.0 fueron recuperados de https://mlcommons.org el 8 de noviembre de 2023. Resultados obtenidos de las entradas 3.0-8004, 3.0-8009 y 3.0-8010. El nombre y el logotipo de MLPerf™ son marcas comerciales de la asociación MLCommons en los Estados Unidos y otros países. Todos los derechos reservados. El uso no autorizado está estrictamente prohibido. Consulte https://mlcommons.org para obtener más información.

La tecnología detrás de los resultados

La complejidad de la IA exige una estrecha integración entre todos los aspectos de la plataforma. Como se ha demostrado en las pruebas de referencia de MLPerf, la plataforma de IA de NVIDIA ofrece un rendimiento de liderazgo con la GPU más avanzada del mundo, tecnologías de interconexión potentes y escalables y software de vanguardia: una solución integral que se puede implementar en el centro de datos, en la nube o en el perímetro con resultados increíbles.

Software optimizado que acelera los flujos de trabajo de IA

Un componente esencial de la plataforma de NVIDIA y de los resultados de entrenamiento e inferencia de MLPerf, el catálogo NGC™ es un centro para software de IA, HPC y análisis de datos optimizado para GPU que simplifica y acelera los flujos de trabajo de extremo a extremo. Con más de 150 contenedores de nivel empresarial, incluidas cargas de trabajo para IA generativa, IA conversacional, sistemas de recomendación y cientos de modelos de IA y SDK específicos del sector que se pueden implementar en las instalaciones, en la nube o en el perímetro, NGC permite a científicos de datos, investigadores y desarrolladores crear las mejores soluciones, recopilar información y ofrecer valor comercial más rápido que nunca.

Visite el catálogo de NGC

Infraestructura de IA de nivel de liderazgo

Para lograr resultados de primera línea en formación e inferencia, se requiere una infraestructura diseñada específicamente para los desafíos de IA más complejos del mundo. La plataforma NVIDIA AI proporcionó un rendimiento líder sobre la plataforma NVIDIA Blackwell, la plataforma Hopper, NVLink™, NVSwitch™ y Quantum InfiniBand. Todas ellas son partes esenciales de la plataforma de centros de datos de NVIDIA, el motor detrás de nuestro rendimiento en índices de referencia.

Además, los sistemas NVIDIA DGX™ ofrecen la escalabilidad, la rápida implementación y una increíble capacidad de cálculo que permite a todas las empresas crear infraestructuras de IA de nivel de liderazgo.

Más información sobre la plataforma de centro de datos de NVIDIA

Liberar la IA generativa en el perímetro con un rendimiento transformador

NVIDIA Jetson Orin ofrece computación de IA sin precedentes, gran memoria unificada y pilas de software completas con una eficiencia energética superior para impulsar las aplicaciones de IA generativa más recientes. Es capaz de realizar inferencias rápidamente para cualquier modelo de IA generativa impulsado por la arquitectura del transformador, proporcionando un rendimiento perimetral superior en MLPerf.

Más información sobre NVIDIA Jetson Orin

Obtenga más información sobre el rendimiento de inferencia y de entrenamiento de nuestro centro de datos.

Ver rendimiento