Definindo um Novo Parâmetro no MLPerf

As soluções de treinamento e inferência da NVIDIA entregam desempenho recorde no MLPerf, a referência líder do setor para desempenho de AI

O que é o MLPerf?

O MLPerf é um consórcio entre líderes de AI do meio acadêmico, dos laboratórios de pesquisa e da indústria cuja missão é "criar referências justas e úteis" que proporcionem avaliações imparciais de desempenho de treinamento e inferência para hardware, software e serviços — tudo isso feito sob condições prescritas. Para permanecer na vanguarda das tendências do setor, o MLPerf continua evoluindo e realiza novos testes em intervalos regulares.

A Chalmers University é uma das principais instituições de pesquisa na Suécia, especializada em várias áreas, desde nanotecnologia até estudos climáticos. À medida que incorporamos a AI para avançar nossos esforços de pesquisa, descobrimos que o benchmark  MLPerf fornece uma comparação transparente em várias plataformas de AI para mostrar o desempenho real em diversos casos de uso do mundo real.

— Universidade de Tecnologia Chalmers, Suécia

A TSMC está conduzindo a vanguarda da fabricação global de semicondutores, como nosso último nó de 5nm, que lidera o mercado em tecnologia de processo. Inovações como litografia baseada em machine learning e modelagem de corrosão melhoram significativamente nossa correção de proximidade óptica (OPC) e precisão de simulação de corrosão. Para aproveitar totalmente o potencial do machine learning no treinamento e inferência de modelos, estamos trabalhando com a equipe de engenharia da NVIDIA para portar nosso mecanismo de simulação Maxwell e tecnologia de litografia inversa (ILT) para GPUs e ver acelerações muito significativas. O benchmark MLPerf é um fator importante em nossa tomada de decisão.O benchmark MLPerf é um fator importante em nossa tomada de decisão.

— Dr. Danping Peng, Diretor, Departamento OPC, TSMC, San Jose, CA, EUA

A visão computacional e a imagem estão no centro da pesquisa de AI, conduzindo a descoberta científica e representando prontamente os principais componentes da assistência médica. Trabalhamos em estreita colaboração com a NVIDIA para trazer inovações como a 3DUNet para o mercado de saúde. Os benchmarks MLPerf padrão da indústria fornecem dados de desempenho relevantes para o benefício de organizações de IT e desenvolvedores para obter a solução certa para acelerar seus projetos e aplicações específicas.

 

— Prof. Dr. Klaus Maier-Hein, Chefe de Computação de Imagens Médicas, Deutsches Krebsforschungszentrum (DKFZ, Centro Alemão de Pesquisa do Câncer)

Como líder preeminente em pesquisa e manufatura, a Samsung usa AI para aumentar significativamente o desempenho do produto e a produtividade da manufatura. Produzir esses avanços de AI exige que tenhamos a melhor plataforma de computação disponível. O benchmark MLPerf simplifica nosso processo de seleção, fornecendo-nos um método de avaliação aberto e direto para avaliar uniformemente em todas as plataformas.

—  Samsung Electronics

MLPerf Submission Categories

MLPerf Training v1.0 is the fourth instantiation for training and consisted of eight different workloads covering a broad diversity of use cases, including vision, language, recommenders, and reinforcement learning.

MLPerf Inference v1.0 tested seven different use cases across seven different kinds of neural networks. Three of these use cases were for computer vision, one for recommender systems, two for language processing, and one for medical imaging.

Classificação de Imagens

Classificação de Imagens

Atribui um rótulo de um conjunto fixo de categorias a uma imagem de entrada, isto é, aplica-se a problemas de visão computacional, como veículos autônomos. Mais detalhes.

Detecção de Objetos (Leve)

Detecção de Objetos (Leve)

Localiza instâncias de objetos do mundo real, como rostos, bicicletas e construções, em imagens ou vídeos e especifica uma caixa delimitadora em torno de cada uma. Mais detalhes.

Detecção de Objetos (Pesado)

Detecção de Objetos (Pesado)

Detecta objetos de interesse distintos que aparecem em uma imagem e identifica uma máscara de pixel para cada um. Mais detalhes.

Segmentação de Imagem Biomédica

Segmentação de Imagem Biomédica

Executa segmentação volumétrica de imagens 3D densas para casos de uso médico. details.

Translation (Recurrent)

Translation (Recurrent)

Translates text from one language to another using a recurrent neural network (RNN). details.

Translation (Non-recurrent)

Translation (Non-recurrent)

Translates text from one language to another using a feed-forward neural network. details.

Reconhecimento Automático de Fala (ASR)

Reconhecimento Automático de Fala (ASR)

Reconhece e transcreve áudio em tempo real. details.

Processamento de Linguagem Natural (PNL)

Processamento de Linguagem Natural (PNL)

Entende o texto usando o relacionamento entre palavras diferentes em um bloco de texto. Permite responder perguntas, parafrasear frases e muitos outros casos de uso relacionados ao idioma. Mais detalhes.

Recomendação

Recomendação

Oferece resultados personalizados em serviços voltados ao usuário, como mídias sociais ou sites de comércio eletrônico, entendendo as interações entre usuários e itens de serviço, como produtos ou anúncios. Mais detalhes.

Aprendizagem por Reforço

Aprendizagem por Reforço

Avalia diferentes ações possíveis para maximizar a recompensa usando o jogo de estratégia Go jogado em uma grade de 19x19. Mais detalhes.

RESULTADOS DO BENCHMARK MLPERF DA NVIDIA

  • Treinamento

    Treinamento

  • Inferência

    Inferência

A GPU NVIDIA A100 Tensor Core e o NVIDIA DGX SuperPOD estabeleceram todos os 16 recordes de desempenho de treinamento, tanto em cargas de trabalho por chip quanto em escala para sistemas disponíveis comercialmente. Esse desempenho inovador veio da forte integração de hardware, software e tecnologias no nível do sistema. O investimento contínuo da NVIDIA em desempenho full-stack levou a uma melhoria na taxa de transferência em relação aos três envios de MLPerf.

ATÉ 4 VEZES MAIS DESEMPENHO EM 1,5 ANOS DE MLPERF

A Inovação Full Stack da NVIDIA Fornece Melhorias Contínuas

UP TO 4X THE PERFORMANCE IN 1.5 YEAR​S OF MLPERF

NVIDIA ESTABELECE TODOS OS 16 RECORDES

Para Soluções Comercialmente Disponíveis

  Recorde de Escala Máxima Recorde por Acelerador
Recomendação (DLRM) 3.33 min 0.44 hrs
NLP (BERT) 0.81 min 6.53 hrs
Aprendizagem por Reforço (MiniGo) 17.07 min 39.96 hrs
Tradução (Não recorrente) (Transformador) 0.62 min 1.05 hrs
Tradução (Recorrente) (GNMT) 0.71 min 1.04 hrs
Detecção de Objeto (Pesado) (Máscara R-CNN) 10.46 min 10.95 hrs
Detecção de Objeto (Leve) (SSD) 0.82 min 1.36 hrs
Classificação de Imagem (ResNet-50 v1.5) 0.76 min 5.30 hrs

A NVIDIA obteve os melhores resultados em todos os cinco cenários (servidor de data center e offline, bem como stream único no edge, multi-stream e offline). Além disso, fornecemos o melhor desempenho por acelerador entre todos os produtos testados em todos os cinco testes de benchmark. Esses resultados são uma prova não apenas da liderança em desempenho de inferência da NVIDIA, mas também da versatilidade de nossa plataforma de inferência.

CENÁRIO DE SERVIDOR PARA DATA CENTER E EDGE

  NVIDIA A100
(Inferências/Segundo)
NVIDIA A30
(Inferências/Segundo)
NVIDIA A10
(Inferências/Segundo)
NVIDIA® Jetson Xavier
(Inferências Máximas/consulta)
DLRM
(Recomendador)
307,788 133,439 96,547 N/A*
BERT
(Processamento de Linguagem Natural)
3,543 1,658 1,057 92
ResNet-50 v1.5
(Classificação de Imagens)
38,110 17,690 13,210 2,072
ResNet-34
(Detector Grande de Disparo Único)
985 470 312 57
RNN-T
(Reconhecimento de Voz)
13,210 6,461 4,515 433
3D U-Net
(Imagens Médicas)
60 30 22 3

A Tecnologia por Trás dos Resultados

A complexidade da AI exige uma integração estreita entre todos os aspectos da plataforma. Conforme demonstrado nos benchmarks do MLPerf, a plataforma de AI da NVIDIA oferece desempenho de liderança com a GPU mais avançada do mundo, tecnologias de interconexão poderosas e escalonáveis e software de ponta, uma solução ponta a ponta que pode ser implantada no data center, no cloud ou no edge com resultados surpreendentes.

Software Otimizado que Acelera os Workflows da AI

Software Otimizado que Acelera os Workflows da AI

Um componente essencial dos resultados de inferência e treinamento da NVIDIA no MLPerf, a NGC é uma central para AI otimizada por GPU, computação de alto desempenho (HPC) e software de análise de dados — incluindo a CUDA-X — que simplifica e acelera workflows de ponta a ponta. Com mais de 150 contêineres de nível corporativo, mais de 100 modelos e SDKs específicos do setor que podem ser implantados localmente, no cloud ou no edge, o NGC permite que cientistas de dados, pesquisadores e desenvolvedores criem as melhores soluções do mercado, coletem informações e ofereçam um valor comercial mais rápido do que nunca.

Infraestrutura Líder de AI

Para alcançar resultados de liderança mundial em treinamento e inferência, há a necessidade de uma infraestrutura desenvolvida para os desafios de AI mais complexos do mundo. A plataforma NVIDIA AI entregue usando o poder da GPU NVIDIA A100 Tensor Core, a GPU NVIDIA A30 Tensor Core, a GPU NVIDIA A10 Tensor Core e a escalabilidade e flexibilidade das tecnologias de interconexão NVIDIA: NVIDIA NVLink®, NVIDIA NVSwitch e NVIDIA ConnectX®-6 VPI. Eles estão no coração do NVIDIA DGX A100, o motor por trás de nosso desempenho de referência.

Os sistemas NVIDIA DGX oferecem escalabilidade, implantação rápida e incrível poder de computação que pode permitir que todas as empresas construam uma infraestrutura de AI de classe de liderança.

Infraestrutura Líder de AI

Saiba mais sobre nosso treinamento em data center e desempenho do produto de inferência.