This site requires Javascript in order to view all its content. Please enable Javascript in order to access all the functionality of this web site. Here are the instructions how to enable JavaScript in your web browser.

Benchmarks MLPerf

A plataforma de AI da NVIDIA se destaca no Treinamento e na Inferência do MLPerf, apresentando desempenho e versatilidade líderes para encarar as cargas de trabalho de AI mais exigentes e reais.

Veja Nossos Resultados

O que é o MLPerf?

O MLPerf é um consórcio de líderes de AI do meio acadêmico, dos laboratórios de pesquisa e da indústria, cuja missão é "criar benchmarks justos e úteis" que proporcionem avaliações imparciais de desempenho de treinamento e inferência para hardware, software e serviços, sob condições prescritas. Para permanecer na vanguarda das tendências do setor, o MLPerf continua evoluindo, realizando novos testes a intervalos regulares e adicionando novas cargas de trabalho que representam o que há de mais moderno em AI.

A Universidade de Chalmers é uma das principais instituições de pesquisa da Suécia, com especialização em diversas áreas, da nanotecnologia aos estudos climáticos. À medida que incorporamos a AI para impulsionar nossos esforços de pesquisa, fica evidente que o benchmark MLPerf fornece uma comparação transparente e justa entre múltiplas plataformas de AI para mostrar o verdadeiro desempenho em vários casos de uso reais.

— Universidade de Tecnologia de Chalmers, Suécia

A TSMC está na vanguarda da manufatura global de semicondutores, como nosso mais novo nó de 5nm, que lidera o mercado de tecnologia de processamento. Inovações como a litografia baseada em machine learning e modelagem de gravuras melhoram significativamente nossa correção óptica de proximidade (OPC - Optical Proximity Correction) e a precisão da simulação de gravuras. Para aproveitar todo o potencial do machine learning no treinamento e na inferência de modelos, colaboramos com a equipe de engenharia da NVIDIA para fazer a portabilidade do nosso mecanismo de simulação Maxwell e a tecnologia de litografia inversa (ILT - Inverse Lithography Technology) para GPUs, e acelerar consideravelmente as atividades. O benchmark MLPerf é um fator importante na nossa tomada de decisão.

— Dr. Danping Peng, Diretor, Departamento de OPC, TSMC, San Jose, CA, EUA

A visão computacional e os diagnósticos por imagens estão no centro da pesquisa de AI, contribuindo para descobertas científicas e representando componentes fundamentais do atendimento médico. Trabalhamos em estreita colaboração com a NVIDIA para disponibilizar inovações como a 3DUNet na área da saúde. Os benchmarks MLPerf padrão do setor disponibilizam dados de desempenho relevantes para as organizações de TI e para desenvolvedores, pois permitem adotar a solução ideal para acelerar projetos e aplicações específicos.

— Prof. Dr. Klaus Maier-Hein (Diretor de Computação para Diagnóstico por Imagem, Centro Alemão de Pesquisa sobre Câncer - DKFZ - Deutsches Krebsforschungszentrum)

Como grande líder na pesquisa e manufatura, a Samsung usa AI para aumentar significativamente o desempenho de produtos e a produtividade de manufatura. Para produtizar esses avanços em AI, precisamos da melhor plataforma de computação disponível. O benchmark MLPerf agiliza nosso processo de seleção, pois oferece um método direto e aberto de avaliação que analisa os fornecedores de plataformas de modo igualitário.

— Samsung Electronics

Categorias de Apresentação do MLPerf

O Treinamento MLPerf v2.0 é a sexta instanciação para treinamento e consiste em oito cargas de trabalho diferentes que abrangem uma variedade de casos de uso, incluindo visão, linguagem, recomendações e aprendizado por reforço.

A Inferência MLPerf v2.0 testou sete casos de uso diferentes em sete tipos de redes neurais. Três desses casos de uso foram em visão computacional, um em sistemas de recomendação, dois em processamento de linguagem e um em diagnósticos por imagens.

Classificação de Imagens

Atribui um rótulo a uma imagem de entrada a partir de um conjunto fixo de categorias, ou seja, aplica-se a problemas de visão computacional. Mais detalhes.

Detecção de Objetos (Leves)

Encontra instâncias de objetos do mundo real, como rostos, bicicletas e edifícios em imagens ou vídeos e define uma caixa delimitadora ao redor de cada objeto. Mais detalhes.

Detecção de Objetos (Pesados)

Detecta objetos de interesse distintos em uma imagem e identifica uma máscara de pixel para cada objeto. Mais detalhes.

Segmentação de Imagens em Biomedicina

Realiza segmentação volumétrica de imagens 3D densas para casos de uso na área da saúde. Mais detalhes.

Tradução (Recorrente)

Traduz texto de um idioma a outro usando uma rede neural recorrente (RNR). Mais detalhes.

Reconhecimento Automático de Fala (ASR - Automatic Speech Recognition)

Reconhece e transcreve áudios em tempo real. Mais detalhes.

Processamento de Linguagem Natural (PLN)

Compreende o texto usando a relação entre diferentes palavras em um bloco de texto. Permite respostas, paráfrases de enunciados e muitos outros casos de uso relativos à linguagem. Mais detalhes.

Recomendação

Oferece resultados personalizados em serviços voltados para o usuário, como redes sociais ou sites de e-commerce, pelo entendimento de interações entre usuários e itens de serviço, como produtos ou anúncios. Mais detalhes.

Aprendizado por Reforço

Avalia diferentes ações possíveis para maximizar a recompensa usando o jogo estratégico Go em um formato 19x19. Mais detalhes.

Resultados de Benchmark MLPerf da NVIDIA

Treinamento
Inferência

A GPU NVIDIA A100 Tensor Core e o NVIDIA DGX SuperPOD^™ apresentaram desempenho líder em todos os testes do MLPerf, tanto por chip quanto em escala. Esse desempenho inédito foi possível graças à forte integração de hardware, software e tecnologias de nível de sistema. O investimento contínuo da NVIDIA em todo o pacote impulsionou melhorias no desempenho com cada apresentação do MLPerf. A plataforma da NVIDIA é inigualável no desempenho e na versatilidade gerais, oferecendo uma única plataforma para treinamento e inferência disponível em todos os lugares, do data center ao edge e ao cloud.

Desempenho 20x Maior em Três Anos de MLPerf

Inovação de Pacote Completo da NVIDIA Oferece Melhorias Contínuas

Benchmarks de Desempenho de Treinamento MLPerf

Resultados normalizados para rendimento devido a requisitos mais altos de precisão na última rodada do Treinamento MLPerf 2.0.
Comparação entre MLPerf ID 0.5/0.7/2.0:
BERT: 0.7-56/0.7-38/2.0-2106 | ResNet50v1.5: 0.5-17/0.7-55/0.7-37/2.0-2107 | Mask R-CNN: 0.5-22/0.7-48/0.7-28/2.0-2099
O nome e o logo MLPerf são marcas registradas. Consulte www.mlperf.org para mais informações.

A AI da NVIDIA Oferece Desempenho e Versatilidade Líderes

Para Soluções Comercialmente Disponíveis

A plataforma de AI da NVIDIA apresentou desempenho superior nos testes do MLPerf e foi a única plataforma a apresentar em todos os benchmarks. Isso demonstra o desempenho e a versatilidade da plataforma de AI da NVIDIA de pacote completo para todas as cargas de trabalho de AI.

BENCHMARK	Em Escala (Min.)	Por Acelerador (Min.)
Recomendação (DLRM)	0593 (DGX SuperPOD)	12,78 (A100)
NLP (BERT)	0,21 (DGX SuperPOD)	126,95 (A100)
Reconhecimento de Fala - Recorrente (RNN-T)	2,15 (DGX SuperPOD)	230,07 (A100)
Detecção de Objetos - Pesados (Mask R-CNN)	3,09 (DGX SuperPOD)	327,34 (A100)
Detecção de Objetos - Leves (RetinaNet)	0,63 (DGX SuperPOD)	675,18 (A100)
Classificação de Imagens (ResNet-50 v1.5)	0,32 (DGX SuperPOD)	217,82 (A100)
Segmentação de Imagem (3D U-Net)	1,22 (DGX SuperPOD)	170,23 (A100)
Aprendizado por Reforço (MiniGo)	16,23 (DGX SuperPOD)	2.045,4 (A100)

O desempenho por acelerador da A100 foi calculado a partir do tempo de formação de nó único do parceiro NVIDIA e de sua multiplicação pelo número de chips | As comparações de desempenho por chip em relação a outros foram obtidas a partir da escala semelhante mais próxima.
Tempo de treinamento de Escala Máxima: DLRM: 2.0-2098 | BERT: 2.0-2106 | Mask R-CNN: 2.0-2099 | ResNet-50 v1.5: 2.0-2107 | RetinaNet: 2.0-2103 | RNN-T: 2.0-2104 | 3D U-Net: 2.0-2100 | MiniGo: 2.0-2105
Tempo de treinamento Por Acelerador: DLRM: 2.0-2068 | BERT: 2.0-2070 | Mask R-CNN: 2.0-207 | ResNet-50 v1.5: 2.0-2069 | RetinaNet: 2.0-2091 | RNN-T: 2.0-2066 | 3D U-Net: 2.0-2060 | MiniGo: 2.0-2105
O nome e o logo MLPerf são marcas registradas. Consulte www.mlperf.org para mais informações.

A NVIDIA obteve os melhores resultados em todos os cenários (servidor de data center e off-line, edge single-stream, multi-stream e off-line). Além disso, tivemos o melhor desempenho por aceleradora entre todos os produtos avaliados pelos testes do benchmark. Esses resultados são prova da liderança de desempenho de inferência da NVIDIA e também da versatilidade de nossa plataforma de inferência.

Cenário off-line para data center e edge (GPU única)

	NVIDIA A100 (CPU x86) (Inferências/segundo)	NVIDIA A100 (CPU Arm) (Inferências/segundo)	NVIDIA A30 (Inferências/segundo)	NVIDIA^® Jetson AGX Orin^™ (Inferências Máximas/Consulta)
DLRM (Mecanismo de Recomendação)	312.380	281.283	138.194	Indisponível*
BERT (Processamento de Linguagem Natural)	3.490	3.149	1.668	476
ResNet-50 v1.5 (Classificação de Imagens)	39.190	3.,487	18.406	6.139
ResNet-34 (Ampla Detecção de Disparo Único)	990	906	478	208
RNN-T (Reconhecimento de Fala)	13.344	13.188	6.557	1.110
3D U-Net (Diagnósticos por Imagens)	3	3	2	0,5

*DLRM não faz parte do pacote da categoria edge.

1) Resultados de inferência MLPerf v2.0 para formatos de servidores de data center e cenários off-line extraídos de www.mlperf.org em 6 de abril de 2022, das entradas Inf-2.0-0-094, Inf-2.0-0-077 e Inf-2.0-0-090. O desempenho por processador é calculado dividindo a principal métrica do desempenho total pelo número de aceleradores relatados.

2) Resultados de inferência MLPerf v2.0 para formatos no edge em cenários off-line extraídos de www.mlperf.org em 6 de abril de 2022, das entradas 2.0-140. O desempenho por processador é calculado dividindo a principal métrica do desempenho total pelo número de aceleradores relatados.

A Tecnologia por Trás dos Resultados

A complexidade da AI exige uma forte integração entre todos os aspectos da plataforma. Como demonstrado pelos benchmarks MLPerf, a plataforma de AI da NVIDIA entrega o máximo desempenho com a GPU mais avançada do mundo, tecnologias de interconexão potentes e dimensionáveis e software revolucionário: uma solução completa que pode ser implantada no data center, no cloud ou no edge com resultados incríveis.

Modelos Pré-Treinados e Software Otimizado do NVIDIA NGC

Software Otimizado que Acelera Workflows de AI

Um componente essencial da plataforma NVIDIA e dos resultados de Treinamento e Inferência no MLPerf, o catálogo do NGC^™ é um hub para AI otimizada por GPU, computação de alto desempenho (HPC) e software de análise de dados que simplifica e acelera workflows de ponta a ponta. Com mais de 150 contêineres de nível corporativo, incluindo cargas de trabalho para AI conversacional e sistemas de recomendação, centenas de modelos de AI e SDKs específicos para setores que podem ser implantados localmente, no cloud ou no edge, o NGC permite que cientistas de dados, pesquisadores e desenvolvedores criem as melhores soluções do mercado, coletem insights e garantam valor comercial mais rápido que nunca.

Acesse o Catálogo do NGC

Infraestrutura Líder de AI

Atingir os melhores resultados do mundo em treinamento e inferência exige uma infraestrutura especialmente desenvolvida para os desafios de AI mais complexos da atualidade. A plataforma de AI da NVIDIA utilizou o poder da GPU NVIDIA A100 Tensor Core, da GPU NVIDIA A30 Tensor Core, da GPU NVIDIA A2 Tensor Core, do módulo Jetson AGX Orin e da escalabilidade e flexibilidade das tecnologias de interconexão da NVIDIA: NVIDIA NVLink^®, NVIDIA NVSwitch^™ e a NVIDIA ConnectX ^®-6 VPI. Essas tecnologias são o centro da NVIDIA DGX™ A100, o motor por trás de nosso desempenho de benchmark.

Os sistemas NVIDIA DGX^™ oferecem a escalabilidade, a rápida implantação e a enorme potência computacional que permitem que toda empresa crie infraestruturas de AI líderes.

SAIBA MAIS

Saiba mais sobre o desempenho de nossos produto em treinamento e inferência de data center.

Exibir Desempenho

Benchmarks MLPerf

O que é o MLPerf?