Benchmarks MLPerf

As soluções de treinamento e inferência da NVIDIA têm desempenho recorde no MLPerf, o benchmark líder do setor para desempenho de AI.

O que é o MLPerf?

O MLPerf é um consórcio de líderes de AI do meio acadêmico, dos laboratórios de pesquisa e da indústria, cuja missão é "criar benchmarks justos e úteis" que proporcionem avaliações imparciais de desempenho de treinamento e inferência para hardware, software e serviços, sob condições prescritas. Para permanecer na vanguarda das tendências do setor, o MLPerf continua evoluindo, realizando novos testes a intervalos regulares e adicionando novas cargas de trabalho que representam o que há de mais moderno em AI.

A Universidade de Chalmers é uma das principais instituições de pesquisa da Suécia, com especialização em diversas áreas, da nanotecnologia aos estudos climáticos. À medida que incorporamos a AI para impulsionar nossos esforços de pesquisa, fica evidente que o benchmark MLPerf fornece uma comparação transparente e justa entre múltiplas plataformas de AI para mostrar o verdadeiro desempenho em vários casos de uso reais.

— Universidade de Tecnologia de Chalmers, Suécia

A TSMC está na vanguarda da manufatura global de semicondutores, como nosso mais novo nó de 5nm, que lidera o mercado de tecnologia de processamento. Inovações como a litografia baseada em machine learning e modelagem de gravuras melhoram significativamente nossa correção óptica de proximidade (OPC - Optical Proximity Correction) e a precisão da simulação de gravuras. Para aproveitar todo o potencial do machine learning no treinamento e na inferência de modelos, colaboramos com a equipe de engenharia da NVIDIA para fazer a portabilidade do nosso mecanismo de simulação Maxwell e a tecnologia de litografia inversa (ILT - Inverse Lithography Technology) para GPUs, e acelerar consideravelmente as atividades. O benchmark MLPerf é um fator importante na nossa tomada de decisão.

— Dr. Danping Peng, Diretor, Departamento de OPC, TSMC, San Jose, CA, EUA

A visão computacional e os diagnósticos por imagens estão no centro da pesquisa de AI, contribuindo para descobertas científicas e representando componentes fundamentais do atendimento médico. Trabalhamos em estreita colaboração com a NVIDIA para disponibilizar inovações como a 3DUNet na área da saúde. Os benchmarks MLPerf padrão do setor disponibilizam dados de desempenho relevantes para as organizações de IT e para desenvolvedores, pois permitem adotar a solução ideal para acelerar projetos e aplicações específicos.

— Prof. Dr. Klaus Maier-Hein (Diretor de Computação para Diagnóstico por Imagem, Centro Alemão de Pesquisa sobre Câncer - DKFZ - Deutsches Krebsforschungszentrum)

Como grande líder na pesquisa e manufatura, a Samsung usa AI para aumentar significativamente o desempenho de produtos e a produtividade de manufatura. Para produtizar esses avanços em AI, precisamos da melhor plataforma de computação disponível. O benchmark MLPerf agiliza nosso processo de seleção, pois oferece um método direto e aberto de avaliação que analisa os fornecedores de plataformas de modo igualitário.

— Samsung Electronics

Categorias de Apresentação do MLPerf

O Treinamento MLPerf consiste em oito cargas de trabalho diferentes que abrangem uma variedade de casos de uso, incluindo visão, linguagem, recomendações e aprendizado por reforço.

A Inferência MLPerf testa sete casos de uso diferentes em sete tipos de redes neurais. Três desses casos de uso são em visão computacional, um em sistemas de recomendação, dois em processamento de linguagem e um em diagnósticos por imagens.

Classificação de Imagens

Classificação de Imagens

Atribui um rótulo a uma imagem de entrada a partir de um conjunto fixo de categorias, ou seja, aplica-se a problemas de visão computacional. Mais detalhes.

Detecção de Objetos (Leves)

Detecção de Objetos (Leves)

Encontra instâncias de objetos do mundo real, como rostos, bicicletas e edifícios em imagens ou vídeos e define uma caixa delimitadora ao redor de cada objeto. Mais detalhes.

Detecção de Objetos (Pesados)

Detecção de Objetos (Pesados)

Detecta objetos de interesse distintos em uma imagem e identifica uma máscara de pixel para cada objeto. Mais detalhes.

Segmentação de Imagens em Biomedicina

Segmentação de Imagens em Biomedicina

Realiza segmentação volumétrica de imagens 3D densas para casos de uso na área da saúde. Mais detalhes.

Tradução (Recorrente)

Tradução (Recorrente)

Traduz texto de um idioma a outro usando uma rede neural recorrente (RNR). Mais detalhes.

Reconhecimento Automático de Fala (ASR - Automatic Speech Recognition)

Reconhecimento Automático de Fala (ASR - Automatic Speech Recognition)

Reconhece e transcreve áudios em tempo real. Mais detalhes.

Processamento de Linguagem Natural (PLN)

Processamento de Linguagem Natural (PLN)

Compreende o texto usando a relação entre diferentes palavras em um bloco de texto. Permite respostas, paráfrases de enunciados e muitos outros casos de uso relativos à linguagem. Mais detalhes.

Recomendação

Recomendação

Oferece resultados personalizados em serviços voltados para o usuário, como redes sociais ou sites de e-commerce, pelo entendimento de interações entre usuários e itens de serviço, como produtos ou anúncios. Mais detalhes.

Aprendizado por Reforço

Aprendizado por Reforço

Avalia diferentes ações possíveis para maximizar a recompensa usando o jogo estratégico Go em um formato 19x19. Mais detalhes.

Resultados de Benchmark MLPerf da NVIDIA

  • Treinamento

    Treinamento

  • Inferência

    Inferência

A GPU NVIDIA A100 Tensor Core e o NVIDIA DGX SuperPOD detêm os 16 recordes de desempenho de treinamento, tanto em cargas de trabalho por chip quanto em escala. Esse desempenho inovador, além de uma melhoria de rendimento nas quatro submissões ao MLPerf, só é possível graças à forte integração de hardware, software e tecnologias a nível de sistema, e o investimento contínuo da NVIDIA em desempenho de pacote completo. A plataforma NVIDIA tem destaque tanto no desempenho quanto na usabilidade, oferecendo uma plataforma de liderança única do data center ao edge e ao cloud.

DESEMPENHO 20 VEZES MAIOR EM TRÊS ANOS DE MLPERF

Inovação de Pacote Completo da NVIDIA Oferece Melhorias Contínuas

Benchmarks de Desempenho de Treinamento MLPerf

NVIDIA BATE TODOS OS 16 RECORDES

Para Soluções Comercialmente Disponíveis

A plataforma NVIDIA AI detêm os 8 recordes por acelerador usando GPUs NVIDIA A100 em servidores de OEM, bem como a NVIDIA DGX. Isso demonstra a potência dos pacotes completos de hardware e de software NVIDIA, que auxiliam fabricantes de computadores a alcançarem resultados recordes no MLPerf.

BENCHMARK Recordes em Escala (min.) Recordes por Acelerador (min.)
Recomendação (DLRM) 0,63 (DGX SuperPOD) 13,5 (A100)
NLP (BERT) 0,24 (DGX SuperPOD) 155,1 (A100)
Reconhecimento de Fala - Recorrente (RNN-T) 2,38 (DGX SuperPOD) 267,0 (A100)
Detecção de Objetos - Pesados (Mask R-CNN) 3,24 (DGX SuperPOD) 335,1 (A100)
Detecção de Objetos - Leves (SSD) 0,45 (DGX SuperPOD) 63,8 (A100)
Classificação de Imagens (ResNet-50 v1.5) 0,35 (DGX SuperPOD) 220,5 (A100)
Segmentação de Imagem (3D-Unet) 1,26 (Microsoft Azure NDm A100 v4) 187,7 (A100)
Aprendizado por Reforço (MiniGo) 15,47 (DGX SuperPOD) 1.805,2 (A100)

A NVIDIA obteve os melhores resultados em todos os cenários (servidor de data center e off-line, edge single-stream, multi-stream e off-line). Além disso, tivemos o melhor desempenho por aceleradora entre todos os produtos avaliados pelos testes do benchmark. Esses resultados são prova da liderança de desempenho de inferência da NVIDIA e também da versatilidade de nossa plataforma de inferência.

Cenário off-line para data center e edge (GPU única)

  NVIDIA A100 (CPU x86)
(Inferências/segundo)
NVIDIA A100 (CPU Arm)
(Inferências/segundo)
NVIDIA A30
(Inferências/segundo)
NVIDIA® Jetson Xavier
(Inferências Máximas/Consulta)
DLRM
(Mecanismo de Recomendação)
312.380 281.283 138.194 Indisponível*
BERT
(Processamento de Linguagem Natural)
3.490 3.149 1.668 476
ResNet-50 v1.5
(Classificação de Imagens)
39.160 36.487 18.406 6.139
ResNet-34
(Ampla Detecção de Disparo Único)
990 906 478 208
RNN-T
(Reconhecimento de Fala)
13.344 13.188 6.557 1.110
3D U-Net
(Diagnósticos por Imagens)
3 3 2 0,5

A Tecnologia por Trás dos Resultados

A complexidade da AI exige uma forte integração entre todos os aspectos da plataforma. Como demonstrado pelos benchmarks MLPerf, a plataforma de AI da NVIDIA entrega o máximo desempenho com a GPU mais avançada do mundo, tecnologias de interconexão potentes e dimensionáveis e software revolucionário: uma solução completa que pode ser implantada no data center, no cloud ou no edge com resultados incríveis.

Modelos Pré-Treinados e Software Otimizado do NVIDIA NGC

Software Otimizado que Acelera Workflows de AI

Um componente essencial da plataforma NVIDIA e dos resultados de treinamento e inferência no MLPerf, o NGC é um hub para AI otimizada por GPU, computação de alto desempenho (HPC) e software de análise de dados que simplifica e acelera workflows de ponta a ponta. Com mais de 150 contêineres de nível corporativo, incluindo workflows para AI conversacional e sistemas de recomendação, mais de 100 modelos e SDKs específicos para setores, que podem ser implantados localmente, no cloud ou no edge, o NGC permite que cientistas de dados, pesquisadores e desenvolvedores criem as melhores soluções do mercado, coletem insights e garantam valor comercial mais rápido que nunca.

Infraestrutura Líder de AI

Atingir os melhores resultados do mundo em treinamento e inferência exige uma infraestrutura especialmente desenvolvida para os desafios de AI mais complexos da atualidade. A plataforma de AI da NVIDIA utilizou o poder da GPU NVIDIA A100 Tensor Core, da GPU NVIDIA A30 Tensor Core, da GPU NVIDIA A2 Tensor Core, do módulo Jetson AGX Orin e da escalabilidade e flexibilidade das tecnologias de interconexão da NVIDIA: NVIDIA NVLink®, NVIDIA NVSwitch e a NVIDIA ConnectX ®-6 VPI. Essas tecnologias são o centro da NVIDIA DGX™ A100, o motor por trás de nosso desempenho de benchmark.

Os sistemas NVIDIA DGX oferecem a escalabilidade, a rápida implantação e a enorme potência computacional que permitem que toda empresa crie infraestruturas de AI líderes.

GPUs NVIDIA Tensor Core

Saiba mais sobre o desempenho de nossos produto em treinamento e inferência de data center.