Definindo um Novo Parâmetro no MLPerf

As soluções de treinamento e inferência da NVIDIA entregam desempenho recorde no MLPerf, a referência líder do setor para desempenho de AI

O que é o MLPerf?

O MLPerf é um consórcio entre líderes de AI do meio acadêmico, dos laboratórios de pesquisa e da indústria cuja missão é "criar referências justas e úteis" que proporcionem avaliações imparciais de desempenho de treinamento e inferência para hardware, software e serviços — tudo isso feito sob condições prescritas. Para permanecer na vanguarda das tendências do setor, o MLPerf continua evoluindo e realiza novos testes em intervalos regulares.

A Chalmers University é uma das principais instituições de pesquisa na Suécia, especializada em várias áreas, desde nanotecnologia até estudos climáticos. À medida que incorporamos a AI para avançar nossos esforços de pesquisa, descobrimos que o benchmark  MLPerf fornece uma comparação transparente em várias plataformas de AI para mostrar o desempenho real em diversos casos de uso do mundo real.

— Universidade de Tecnologia Chalmers, Suécia

A TSMC está conduzindo a vanguarda da fabricação global de semicondutores, como nosso último nó de 5nm, que lidera o mercado em tecnologia de processo. Inovações como litografia baseada em machine learning e modelagem de corrosão melhoram significativamente nossa correção de proximidade óptica (OPC) e precisão de simulação de corrosão. Para aproveitar totalmente o potencial do machine learning no treinamento e inferência de modelos, estamos trabalhando com a equipe de engenharia da NVIDIA para portar nosso mecanismo de simulação Maxwell e tecnologia de litografia inversa (ILT) para GPUs e ver acelerações muito significativas. O benchmark MLPerf é um fator importante em nossa tomada de decisão.O benchmark MLPerf é um fator importante em nossa tomada de decisão.

— Dr. Danping Peng, Diretor, Departamento OPC, TSMC, San Jose, CA, EUA

A visão computacional e a imagem estão no centro da pesquisa de AI, conduzindo a descoberta científica e representando prontamente os principais componentes da assistência médica. Trabalhamos em estreita colaboração com a NVIDIA para trazer inovações como a 3DUNet para o mercado de saúde. Os benchmarks MLPerf padrão da indústria fornecem dados de desempenho relevantes para o benefício de organizações de IT e desenvolvedores para obter a solução certa para acelerar seus projetos e aplicações específicas.

 

— Prof. Dr. Klaus Maier-Hein, Chefe de Computação de Imagens Médicas, Deutsches Krebsforschungszentrum (DKFZ, Centro Alemão de Pesquisa do Câncer)

Como líder preeminente em pesquisa e manufatura, a Samsung usa AI para aumentar significativamente o desempenho do produto e a produtividade da manufatura. Produzir esses avanços de AI exige que tenhamos a melhor plataforma de computação disponível. O benchmark MLPerf simplifica nosso processo de seleção, fornecendo-nos um método de avaliação aberto e direto para avaliar uniformemente em todas as plataformas.

—  Samsung Electronics

Categorias de Envio do MLPerf

MLPerf Training v1.0 é a quarta instanciação para treinamento e consiste em oito cargas de trabalho diferentes que cobrem uma ampla diversidade de casos de uso, incluindo visão, linguagem, recomendações e aprendizado por reforço.

O MLPerf Inference v1.0 testou sete casos de uso diferentes em sete tipos diferentes de redes neurais. Três desses casos de uso foram para visão computacional, um para sistemas de recomendação, dois para processamento de linguagem e um para imagens médicas.

Classificação de Imagens

Classificação de Imagens

Atribui um rótulo de um conjunto fixo de categorias a uma imagem de entrada, ou seja, aplica-se a problemas de visão computacional. Mais detalhes.

Detecção de Objetos (Leve)

Detecção de Objetos (Leve)

Localiza instâncias de objetos do mundo real, como rostos, bicicletas e construções, em imagens ou vídeos e especifica uma caixa delimitadora em torno de cada uma. Mais detalhes.

Detecção de Objetos (Pesado)

Detecção de Objetos (Pesado)

Detecta objetos de interesse distintos que aparecem em uma imagem e identifica uma máscara de pixel para cada um. Mais detalhes.

Segmentação de Imagem Biomédica

Segmentação de Imagem Biomédica

Executa segmentação volumétrica de imagens 3D densas para casos de uso médico. Mais detalhes.

Translation (Recurrent)

Translation (Recurrent)

Translates text from one language to another using a recurrent neural network (RNN). details.

Translation (Non-recurrent)

Translation (Non-recurrent)

Translates text from one language to another using a feed-forward neural network. details.

Reconhecimento Automático de Fala (ASR)

Reconhecimento Automático de Fala (ASR)

Reconhece e transcreve áudio em tempo real. Mais detalhes.

Processamento de Linguagem Natural (PNL)

Processamento de Linguagem Natural (PNL)

Entende o texto usando o relacionamento entre palavras diferentes em um bloco de texto. Permite responder perguntas, parafrasear frases e muitos outros casos de uso relacionados ao idioma. Mais detalhes.

Recomendação

Recomendação

Oferece resultados personalizados em serviços voltados ao usuário, como mídias sociais ou sites de comércio eletrônico, entendendo as interações entre usuários e itens de serviço, como produtos ou anúncios. Mais detalhes.

Aprendizagem por Reforço

Aprendizagem por Reforço

Avalia diferentes ações possíveis para maximizar a recompensa usando o jogo de estratégia Go jogado em uma grade de 19x19. Mais detalhes.

RESULTADOS DO BENCHMARK MLPERF DA NVIDIA

  • Treinamento

    Treinamento

  • Inferência

    Inferência

A GPU NVIDIA A100 Tensor Core e o NVIDIA DGX SuperPOD estabeleceram todos os 16 recordes de desempenho de treinamento, tanto em cargas de trabalho por chip quanto em escala para sistemas disponíveis comercialmente. Esse desempenho inovador veio da forte integração de hardware, software e tecnologias no nível do sistema. O investimento contínuo da NVIDIA em desempenho full-stack levou a uma melhoria na taxa de transferência em relação aos três envios de MLPerf.

ATÉ 4 VEZES MAIS DESEMPENHO EM 1,5 ANOS DE MLPERF

A Inovação Full Stack da NVIDIA Fornece Melhorias Contínuas

UP TO 4X THE PERFORMANCE IN 1.5 YEAR​S OF MLPERF

NVIDIA ESTABELECE TODOS OS 16 RECORDES

Para Soluções Comercialmente Disponíveis

  Recorde de Escala Máxima Recorde por Acelerador
Recomendação (DLRM) 3.33 min 0.44 hrs
NLP (BERT) 0.81 min 6.53 hrs
Aprendizagem por Reforço (MiniGo) 17.07 min 39.96 hrs
Tradução (Não recorrente) (Transformador) 0.62 min 1.05 hrs
Tradução (Recorrente) (GNMT) 0.71 min 1.04 hrs
Detecção de Objeto (Pesado) (Máscara R-CNN) 10.46 min 10.95 hrs
Detecção de Objeto (Leve) (SSD) 0.82 min 1.36 hrs
Classificação de Imagem (ResNet-50 v1.5) 0.76 min 5.30 hrs

A NVIDIA obteve os melhores resultados de desempenho em todos os cenários (servidor de data center e offline, bem como stream único no edge, multi-stream e offline). Além disso, fornecemos o melhor desempenho por acelerador entre todos os produtos testados em todos os testes de benchmark. Esses resultados são uma prova não apenas da liderança em desempenho de inferência da NVIDIA, mas também da versatilidade de nossa plataforma de inferência.

CENÁRIO OFFLINE PARA DATA CENTER E EDGE (ÚNICA GPU)

  NVIDIA A100 (x86 CPU)
(Inferências/Segundo)
NVIDIA A100 (Arm CPU)
(Inferências/Segundo)
NVIDIA A30
(Inferências/Segundo)
NVIDIA® Jetson Xavier
(Máximo de Inferências/Consulta)
DLRM
(Recomendação)
302,680 274,433 135,450 N/A*
BERT
(Processamento de Linguagem Natural)
3,538 3,151 1,673 97
ResNet-50 v1.5
(Classificação de Imagens)
39,190 36,436 18,647 2,039
ResNet-34
(Detector Grande de Disparo Único)
981 901 474 55
RNN-T
(Reconhecimento de Fala)
13,365 12,640 6,574 416
3D U-Net
(Imagem Médica)
61 57 30 3

A Tecnologia Por Trás dos Resultados

A complexidade da AI exige uma integração estreita entre todos os aspectos da plataforma. Conforme demonstrado nos benchmarks do MLPerf, a plataforma NVIDIA AI oferece desempenho de liderança com a GPU mais avançada do mundo, tecnologias de interconexão poderosas e escalonáveis e software de ponta, uma solução ponta a ponta que pode ser implantada no data center, no cloud ou no edge com resultados surpreendentes.

Software Otimizado que Acelera os Workflows da AI

Software Otimizado que Acelera os Workflows da AI

Um componente essencial dos resultados de inferência e treinamento da NVIDIA no MLPerf, a NGC é uma central para AI otimizada por GPU, computação de alto desempenho (HPC) e software de análise de dados — incluindo a CUDA-X — que simplifica e acelera workflows de ponta a ponta. Com mais de 150 contêineres de nível corporativo, mais de 100 modelos e SDKs específicos do setor que podem ser implantados localmente, no cloud ou no edge, o NGC permite que cientistas de dados, pesquisadores e desenvolvedores criem as melhores soluções do mercado, coletem informações e ofereçam um valor comercial mais rápido do que nunca.

Infraestrutura Líder de AI

Para alcançar resultados de liderança mundial em treinamento e inferência, há a necessidade de uma infraestrutura desenvolvida para os desafios de AI mais complexos do mundo. A plataforma NVIDIA AI entregue usando o poder da GPU NVIDIA A100 Tensor Core, a GPU NVIDIA A30 Tensor Core, a GPU NVIDIA A10 Tensor Core e a escalabilidade e flexibilidade das tecnologias de interconexão NVIDIA: NVIDIA NVLink®, NVIDIA NVSwitch e NVIDIA ConnectX®-6 VPI. Eles estão no coração do NVIDIA DGX A100, o motor por trás de nosso desempenho de referência.

Os sistemas NVIDIA DGX oferecem escalabilidade, implantação rápida e incrível poder de computação que pode permitir que todas as empresas construam uma infraestrutura de AI de classe de liderança.

Infraestrutura Líder de AI

Saiba mais sobre nosso treinamento em data center e desempenho do produto de inferência.