GPU NVIDIA A100 Tensor Core

Aceleração sem Precedentes em Todas as Escalas

Acelerando o Trabalho Mais Importante do Nosso Tempo

A GPU Tensor Core NVIDIA A100 oferece aceleração sem precedentes em todas as escalas para AI, análise de dados e computação de alto desempenho (HPC) para enfrentar os desafios de computação mais difíceis do mundo. Como o mecanismo da plataforma de datacenter da NVIDIA, a A100 pode ser escalonada de maneira eficiente para milhares de GPUs ou, com a tecnologia NVIDIA Multi-Instance GPU (MIG), ser particionada em sete instâncias de GPU para acelerar cargas de trabalho de todos os tamanhos. E os Tensor Cores de terceira geração aceleram toda a precisão para diversas cargas de trabalho, acelerando o tempo de percepção e o tempo de lançamento no mercado.

A Mais Poderosa e Completa Plataforma de Data Centers de AI e HPC

A A100 faz parte da solução completa de datacenter da NVIDIA, que incorpora elementos básicos de hardware, rede, software, bibliotecas e modelos e aplicações de AI otimizados da NGC. Representando a plataforma completa de AI e HPC mais poderosa para data centers, ela permite que os pesquisadores entreguem resultados reais e implementem soluções na produção em escala.

Making of Ampere Video

Desempenho até 6 Vezes Maior com o TF32 para Treinamento em AI

Treinamento BERT

Desempenho até 6 Vezes Maior com o TF32 para Treinamento em AI

Treinamento em Deep Learning

Os modelos de AI estão cada vez mais complexos à medida que enfrentam desafios de próximo nível, como AI de conversação precisa e sistemas profundos de recomendação. Treiná-los requer enorme poder de computação e escalabilidade.

Os Tensor Cores de terceira geração da NVIDIA A100 com precisão de flutuador de tensor (TF32) oferecem desempenho até 20 vezes superior à geração anterior com zero alterações de código e um aumento adicional de 2 vezes com precisão mista automática e FP16. Quando combinado com o NVIDIA® NVLink® de terceira geração, o NVIDIA NVSwitch™, o PCI Gen4, o NVIDIA Mellanox InfiniBand e o SDK do software NVIDIA Magnum IO, é possível escalar para milhares de GPUs A100. Isso significa que grandes modelos de AI como o BERT podem ser treinados em apenas 37 minutos em um cluster de 1.024 A100s, oferecendo desempenho e escalabilidade sem precedentes.

A liderança em treinamento da NVIDIA foi demonstrada no MLPerf 0.6, o primeiro benchmark de todo o setor para treinamento em AI.

Inferência em Deep Learning

A A100 apresenta novos recursos inovadores para otimizar as cargas de trabalho de inferência. Ela traz versatilidade sem precedentes, acelerando uma gama completa de precisões, do FP32 ao FP16 ao INT8 e todo o caminho até o INT4. A tecnologia GPU de várias instâncias (MIG) permite que várias redes operem simultaneamente em uma única GPU A100 para utilização otimizada dos recursos de computação. E o suporte à escassez estrutural oferece até 2 vezes mais desempenho, além dos outros ganhos de desempenho de inferência do A100.

A NVIDIA já oferece desempenho de inferência líder de mercado, como demonstrado em uma varredura geral do MLPerf Inference 0.5, o primeiro benchmark de inferência do setor. A A100 traz 20 vezes mais desempenho para ampliar ainda mais essa liderança.

Desempenho até 7 vezes maior com GPU de várias instâncias (MIG) para inferência de AI

Inferência Ampla BERT

Desempenho até 7 vezes maior com GPU de várias instâncias (MIG) para inferência de AI

9 Vezes Mais Desempenho de HPC em 4 Anos

Taxa de Transferência para as Principais Aplicações HPC

9 Vezes Mais Desempenho de HPC em 4 Anos

High-Performance Computing

Para auxiliar nas descobertas da próxima geração, os cientistas buscam simulações para entender melhor moléculas complexas para descoberta de medicamentos, física para novas fontes potenciais de energia e dados atmosféricos para melhor prever e se preparar para padrões climáticos extremos.

A A100 apresenta Tensor Cores de precisão dupla, fornecendo o maior marco desde a introdução da computação de precisão dupla nas GPUs para HPC. Isso permite que os pesquisadores reduzam uma simulação de precisão dupla de 10 horas em execução nas GPUs NVIDIA V100 Tensor Core para apenas quatro horas na A100. As aplicações HPC também podem alavancar a precisão TF32 nos Tensor Cores da A100 para obter até 10 vezes mais taxa de transferência para operações de multiplicação de matriz densa de precisão única.

Análise de Dados de Alto Desempenho

Os clientes podem ter a necessidade de analisar, visualizar e transformar conjuntos de dados em massa em insights. Porém, as soluções de expansão com muita frequência ficam paradas, pois esses conjuntos de dados estão espalhados por vários servidores.

Servidores acelerados com A100 fornecem o poder de computação necessário, juntamente com 1,6 terabytes por segundo (TB/s) de largura de banda e escalabilidade de memória com o NVLink e o NVSwitch de terceira geração, para lidar com essas cargas de trabalho maciças. Combinada com o NVIDIA Mellanox InfiniBand, o Magnum IO SDK, o Spark 3.0 acelerado por GPU e o RAPIDS,, um conjunto de software para análise de dados acelerados por GPU, a plataforma de datacenter da NVIDIA é capaz de acelerar de maneira exclusiva essas enormes cargas de trabalho em níveis sem precedentes de desempenho e eficiência.

High-Performance Data Analytics

Taxa de Transferência de Inferência 7 Vezes Maior com GPU Multi-Instâncias (MIG)

Inferência Ampla BERT

Taxa de Transferência de Inferência 7 Vezes Maior com GPU Multi-Instâncias (MIG)

Utilização Pronta para Empresas

A A100 com MIG maximiza a utilização da infraestrutura acelerada por GPU como nunca. A MIG permite que uma GPU A100 seja particionada com segurança em até sete instâncias separadas, dando a vários usuários acesso à aceleração da GPU para suas aplicações e projetos de desenvolvimento. Além disso, os administradores de data center podem obter os benefícios operacionais e de gerenciamento da virtualização de servidores baseada em hipervisor nas instâncias MIG com o NVIDIA Virtual Compute Server (vCS). A MIG permite que os gerentes de infraestrutura forneçam recursos de GPU com maior granularidade para fornecer aos desenvolvedores a quantidade certa de capacidade de computação e garantir o uso ideal de todos os seus recursos de GPU.

Data Center GPUs

NVIDIA A100 para HGX

NVIDIA A100 para HGX

Ultimate performance for all workloads.

NVIDIA A100 para PCIe

NVIDIA A100 para PCIe

Highest versatility for all workloads.

Especificações

  NVIDIA A100 para HGX NVIDIA A100 para PCIe
Peak FP64 9,7 TF 9.7 TF
Peak FP64 Tensor Core 19,5 TF 19.5 TF
Peak FP32 19,5 TF 19.5 TF
Peak TF32 Tensor Core 156 TF | 312 TF* 156 TF | 312 TF*
Peak BFLOAT16 Tensor Core 312 TF | 624 TF* 312 TF | 624 TF*
Peak FP16 Tensor Core 312 TF | 624 TF* 312 TF | 624 TF*
Peak INT8 Tensor Core 624 TOPS | 1.248 TOPS* 624 TOPS | 1,248 TOPS*
Peak INT4 Tensor Core 1,248 TOPS | 2,496 TOPS* 1,248 TOPS | 2,496 TOPS*
Memória GPU 40 GB 40 GB
Largura de Banda da Memória da GPU 1,555 GB/s 1,555 GB/s
Interconexão NVIDIA NVLink 600 GB/s**
PCIe Gen4 64 GB/s
NVIDIA NVLink 600 GB/s**
PCIe Gen4 64 GB/s
GPUs de Várias Instâncias Vários tamanhos de instância com até 7MIGs a 5GB Vários tamanhos de instância com até 7MIGs a 5GB
Tamanho 4/8 SXM na NVIDIA HGX™ A100 PCIe
Potência TDP Máxima 400W 250W
Desempenho da Principal Aplicação 100% 90%
 

Por Dentro da Arquitetura NVIDIA Ampere

Participe deste webinar para saber as novidades da Arquitetura NVIDIA Ampere e sua implementação na GPU NVIDIA A100.