Benchmarks MLPerf

A plataforma de AI da NVIDIA se destaca no Treinamento e na Inferência do MLPerf, apresentando desempenho e versatilidade líderes para encarar as cargas de trabalho de AI mais exigentes e reais.

O que é o MLPerf?

Os benchmarks MLPerf™, desenvolvidos pela MLCommons, um consórcio de líderes de IA da academia, laboratórios de pesquisa e indústria, são projetados para fornecer avaliações imparciais do desempenho de treinamento e inferência para hardware, software e serviços. Todos eles são conduzidos sob condições prescritas. Para se manter na vanguarda das tendências do setor, o MLPerf continua a evoluir, realizando novos testes em intervalos regulares e adicionando novas cargas de trabalho que representam o estado da arte em IA.

A Universidade de Chalmers é uma das principais instituições de pesquisa da Suécia, com especialização em diversas áreas, da nanotecnologia aos estudos climáticos. À medida que incorporamos a AI para impulsionar nossos esforços de pesquisa, fica evidente que o benchmark MLPerf fornece uma comparação transparente e justa entre múltiplas plataformas de AI para mostrar o verdadeiro desempenho em vários casos de uso reais.

— Universidade de Tecnologia de Chalmers, Suécia

A TSMC está na vanguarda da manufatura global de semicondutores, como nosso mais novo nó de 5nm, que lidera o mercado de tecnologia de processamento. Inovações como a litografia baseada em machine learning e modelagem de gravuras melhoram significativamente nossa correção óptica de proximidade (OPC - Optical Proximity Correction) e a precisão da simulação de gravuras. Para aproveitar todo o potencial do machine learning no treinamento e na inferência de modelos, colaboramos com a equipe de engenharia da NVIDIA para fazer a portabilidade do nosso mecanismo de simulação Maxwell e a tecnologia de litografia inversa (ILT - Inverse Lithography Technology) para GPUs, e acelerar consideravelmente as atividades. O benchmark MLPerf é um fator importante na nossa tomada de decisão.

— Dr. Danping Peng, Diretor, Departamento de OPC, TSMC, San Jose, CA, EUA

A visão computacional e os diagnósticos por imagens estão no centro da pesquisa de AI, contribuindo para descobertas científicas e representando componentes fundamentais do atendimento médico. Trabalhamos em estreita colaboração com a NVIDIA para disponibilizar inovações como a 3DUNet na área da saúde. Os benchmarks MLPerf padrão do setor disponibilizam dados de desempenho relevantes para as organizações de TI e para desenvolvedores, pois permitem adotar a solução ideal para acelerar projetos e aplicações específicos.

— Prof. Dr. Klaus Maier-Hein (Diretor de Computação para Diagnóstico por Imagem, Centro Alemão de Pesquisa sobre Câncer - DKFZ - Deutsches Krebsforschungszentrum)

Como grande líder na pesquisa e manufatura, a Samsung usa AI para aumentar significativamente o desempenho de produtos e a produtividade de manufatura. Para produtizar esses avanços em AI, precisamos da melhor plataforma de computação disponível. O benchmark MLPerf agiliza nosso processo de seleção, pois oferece um método direto e aberto de avaliação que analisa os fornecedores de plataformas de modo igualitário.

— Samsung Electronics

Categorias de Apresentação do MLPerf

O MLPerf Training v3.1 mede o tempo para treinar modelos em nove casos de uso diferentes, incluindo grandes modelos de linguagem (LLMs), geração de imagem, visão computacional, segmentação de imagens médicas, reconhecimento de fala e recomendação.

O MLPerf Inference v3.1 mede o desempenho da inferência usando sete tipos diferentes de redes neurais, incluindo LLMs, processamento de linguagem natural, visão computacional e segmentação de imagens médicas.

O MLPerf HPC v3.0 mede o desempenho do treinamento em quatro diferentes casos de uso de computação científica, incluindo identificação de rios atmosféricos climáticos, previsão de parâmetros cosmológicos, modelagem molecular quântica e previsão de estrutura de proteínas.

Large Language Model (LLM)

Grandes Modelos de Linguagem

O MLPerf Training usa o modelo de linguagem generativa GPT-3 com 175 bilhões de parâmetros e um comprimento de sequência de 2.048 no conjunto de dados C4.

O MLPerf Inference usa o modelo GPT-J (parâmetro de 6 bilhões) com o conjunto de dados CNN-DailyMail. details.

Text-to-Image

Conversão de Texto em Imagem

O MLPerf Training usa o modelo de texto para imagem Stable Diffusion v2 treinado no conjunto de dados filtrado LAION-400M. details.

Recommendation

Recomendação

O MLPerf Training and Inference usa o Deep Learning Recommendation Model v2 (DLRMv2) que emprega a camada cruzada DCNv2 e um conjunto de dados multi-hot sintetizado a partir do conjunto de dados Criteo. details.

Object Detection (Lightweight)

Object Detecção de Objetos (Leve)

O MLPerf Training usa o Single-Shot Detector (SSD) com backbone ResNeXt50 em um subconjunto do conjunto de dados do Google OpenImages. details.

Object Detection (Heavyweight)

Detecção de Objetos (Peso Pesado)

O MLPerf Training usa o Mask R-CNN no conjunto de dados do COCO 2017.

MLPerf Inference usa RetinaNet com o conjunto de validação OpenImages MLPerf redimensionado para 800x800 pixels. details.

Image Classification

Classificação de Imagens

O MLPerf Training and Inference usa o ResNet v1.5 com o conjunto de dados ImageNet. details.

Natural Language Processing (NLP)

Processamento de Linguagem Natural (PLN)

O MLPerf Training usa Representações de Codificadores Bidirecionais de Transformadores (BERT) no conjunto de dados Wikipedia 2020/01/01.

MLPerf Inference usou BERT com o conjunto de dados SQuAD v.1.1. details.

Automatic Speech Recognition (ASR)

Reconhecimento Automático de Fala (ASR)

MLPerf Training and Inference usa RNN-T no conjunto de dados Librispeech. details.

Biomedical Image Segmentation

Segmentação de Imagem Biomédica

O MLPerf Training and Inference usa 3D U-Net com o conjunto de dados KiTS19. details.

Climate Atmospheric River Identification Category

Identificação Climática Atmosférica de Rios

Identificar furacões e rios atmosféricos em dados de simulação climática. details.

Cosmology Parameter Prediction Category

Previsão de Parâmetros Cosmológicos

Resolva um problema de regressão de imagem 3D em dados cosmológicos. details.

Quantum Molecular Modeling Category

Modelagem Molecular Quântica

Prever energias ou configurações moleculares. details.

Protein Structure Prediction

Predição da Estrutura da Proteína

Prevê a estrutura tridimensional de proteínas com base na conectividade unidimensional de aminoácidos. details.

Resultados de Benchmark do NVIDIA MLPerf

  • Treinamento

    Treinamento

  • Inferência

    Inferência

  • HPC

    HPC

A plataforma de computação acelerada NVIDIA, impulsionada por  GPUs NVIDIA H100 Tensor Core e rede NVIDIA Quantum-2 InfiniBand,  quebrou grandes recordes de desempenho de treinamento LLM no MLPerf Training v3.1, impulsionando duas submissões no benchmark GPT-3 175B em uma escala sem precedentes de 10.752 GPUs H100 com eficiência de escalabilidade quase linear. E, no recém-adicionado teste de conversão de texto em imagem baseado no Stable Diffusion v2, a plataforma NVIDIA estabeleceu a barra, alcançando o mais alto desempenho e demonstrando escalabilidade incomparável. Por meio da engenharia implacável de stack completo em escala de data center, a NVIDIA continua a acelerar o desempenho de treinamento de IA na velocidade da luz.

NVIDIA Estabelece um Novo Recorde de Treinamento de Grandes Modelos de Linguagem com o Maior Envio de MLPerf de Todos os Tempos

NVIDIA Sets a New Large Language Model Training Record With Largest MLPerf Submission Ever
Benchmark Per-Accelerator Records
(NVIDIA H100 Tensor Core GPU)
Large Language Model (GPT-3 175B) 548 hours (23 days)
Natural Language Processing (BERT) 0.71 hours
Recommendation (DLRM-DCNv2) 0.56 hours
Speech Recognition (RNN-T) 2.2 hours
Image Classification (ResNet-50 v1.5) 1.8 hours
Object Detection, Heavyweight (Mask R-CNN) 2.6 hours
Object Detection, Lightweight (RetinaNet) 4.9 hours
Image Segmentation (3D U-Net) 1.6 hours

Plataforma de IA da NVIDIA Alcança o Mais Alto Desempenho em Todos os Testes de Treinamento do MLPerf

Além do desempenho inovador em escala nos grandes modelos de linguagem de ponta e nos testes de texto para imagem, a NVIDIA também alcançou novos recordes de desempenho nas cargas de trabalho de recomendação, detecção de objetos, segmentação de imagens médicas e processamento de linguagem natural no MLPerf Training v3.1. Com GPUs NVIDIA H100 e NVIDIA Quantum-2, a plataforma NVIDIA continua a oferecer o tempo mais rápido para treinar em cada benchmark, demonstrando seu desempenho, escalabilidade e versatilidade incomparáveis para lidar com toda a gama de cargas de trabalho de IA. 

Max-Scale Performance

Benchmark Tempo de Treinamento
GPT-3 3.92 minutos
Stable Diffusion v2 2.47 minutos
DLRM-DCNv2 1.0 minutos
BERT-large 0.12 minutos
ResNet-50 v1.5 0.18 minutos
Mask R-CNN 1.5 minutos
RetinaNet 0.92 minutos
3D U-Net 0.77 minutos
RNN-T 1.7 minutos

A NVIDIA obteve os melhores resultados em todos os cenários (servidor de data center e off-line, edge single-stream, multi-stream e off-line). Além disso, tivemos o melhor desempenho por aceleradora entre todos os produtos avaliados pelos testes do benchmark. Esses resultados são prova da liderança de desempenho de inferência da NVIDIA e também da versatilidade de nossa plataforma de inferência.

Cenário off-line para data center e edge (GPU única)

  NVIDIA A100 (CPU x86)
(Inferências/segundo)
NVIDIA A100 (CPU Arm)
(Inferências/segundo)
NVIDIA A30
(Inferências/segundo)
NVIDIA® Jetson AGX Orin
(Inferências Máximas/Consulta)
DLRM
(Mecanismo de Recomendação)
312.380 281.283 138.194 Indisponível*
BERT
(Processamento de Linguagem Natural)
3.490 3.149 1.668 476
ResNet-50 v1.5
(Classificação de Imagens)
39.190 3.,487 18.406 6.139
ResNet-34
(Ampla Detecção de Disparo Único)
990 906 478 208
RNN-T
(Reconhecimento de Fala)
13.344 13.188 6.557 1.110
3D U-Net
(Diagnósticos por Imagens)
3 3 2 0,5

A NVIDIA H100 Tensor Core superou a plataforma NVIDIA para HPC e IA em sua estreia no MLPerf HPC v3.0, permitindo um tempo de treinamento até 16 vezes mais rápido em apenas três anos e oferecendo o mais alto desempenho em todas as cargas de trabalho em métricas de tempo de treinamento e taxa de transferência. A plataforma NVIDIA também foi a única a enviar resultados para cada carga de trabalho de HPC MLPerf, que abrangem segmentação climática, previsão de parâmetros cosmológicos, modelagem molecular quântica e a mais recente adição, previsão de estrutura de proteína. O desempenho incomparável e a versatilidade da plataforma NVIDIA a tornam o instrumento de escolha para impulsionar a próxima onda de descobertas científicas impulsionada por IA.

Até 16 Vezes Mais Desempenho em 3 Anos

Inovação Full-Stack da NVIDIA Impulsiona Ganhos de Desempenho

Up to 16X More Performance in 3 Years
Up to 16X More Performance in 3 Years

A Tecnologia por Trás dos Resultados

A complexidade da AI exige uma forte integração entre todos os aspectos da plataforma. Como demonstrado pelos benchmarks MLPerf, a plataforma de AI da NVIDIA entrega o máximo desempenho com a GPU mais avançada do mundo, tecnologias de interconexão potentes e dimensionáveis e software revolucionário: uma solução completa que pode ser implantada no data center, no cloud ou no edge com resultados incríveis.

Modelos Pré-Treinados e Software Otimizado do NVIDIA NGC

Software Otimizado que Acelera Workflows de AI

Um componente essencial da plataforma NVIDIA e dos resultados de Treinamento e Inferência no MLPerf, o catálogo do NGC é um hub para AI otimizada por GPU, computação de alto desempenho (HPC) e software de análise de dados que simplifica e acelera workflows de ponta a ponta. Com mais de 150 contêineres de nível corporativo, incluindo cargas de trabalho para AI conversacional e sistemas de recomendação, centenas de modelos de AI e SDKs específicos para setores que podem ser implantados localmente, no cloud ou no edge, o NGC permite que cientistas de dados, pesquisadores e desenvolvedores criem as melhores soluções do mercado, coletem insights e garantam valor comercial mais rápido que nunca.

Infraestrutura Líder de AI

Atingir os melhores resultados do mundo em treinamento e inferência exige uma infraestrutura especialmente desenvolvida para os desafios de AI mais complexos da atualidade. A plataforma de AI da NVIDIA utilizou o poder da GPU NVIDIA A100 Tensor Core, da GPU NVIDIA A30 Tensor Core, da GPU NVIDIA A2 Tensor Core, do módulo Jetson AGX Orin e da escalabilidade e flexibilidade das tecnologias de interconexão da NVIDIA: NVIDIA NVLink®, NVIDIA NVSwitch e a NVIDIA ConnectX ®-6 VPI. Essas tecnologias são o centro da NVIDIA DGX™ A100, o motor por trás de nosso desempenho de benchmark.

Os sistemas NVIDIA DGX oferecem a escalabilidade, a rápida implantação e a enorme potência computacional que permitem que toda empresa crie infraestruturas de AI líderes.

Leadership-Class AI Infrastructure

Saiba mais sobre o desempenho de nossos produto em treinamento e inferência de data center.