Supercomputador para AI NVIDIA HGX

A plataforma de supercomputação de IA ponta a ponta mais poderosa

Projetada Especificamente para a Convergência de Simulação, Análise de Dados e AI

Conjuntos de dados massivos, tamanhos de modelo em explosão e simulações complexas requerem várias GPUs com interconexões extremamente rápidas. A plataforma NVIDIA HGX™ reúne todo o poder das GPUs NVIDIA, NVIDIA® NVLink®, rede NVIDIA Mellanox® InfiniBand® e um pacote de software NVIDIA AI e HPC totalmente otimizada do NGC™ para fornecer o mais alto desempenho de aplicações. Com seu desempenho e flexibilidade de ponta a ponta, a NVIDIA HGX permite que pesquisadores e cientistas combinem simulação, análise de dados e AI para promover o progresso científico.

Plataforma de Computação Acelerada Incomparável

NVIDIA HGX A100 combina GPUs NVIDIA A100 Tensor Core com interconexões de alta velocidade para formar os servidores mais poderosos do mundo. Com GPUs A100 de 80GB, uma única HGX A100 tem até 1,3 terabytes (TB) de memória GPU e mais de 2 terabytes por segundo (TB/s) de largura de banda de memória, oferecendo aceleração sem precedentes.

O HGX A100 oferece uma aceleração AI de até 20 vezes em comparação com as gerações anteriores com Tensor Float 32 (TF32) e uma aceleração HPC de 2,5 vezes com FP64. Totalmente testado e fácil de implantar, a HGX A100 se integra a servidores parceiros para fornecer desempenho garantido. A NVIDIA HGX A100 com 16 GPUs oferece incríveis 10 petaFLOPS, formando a plataforma de servidor de aumento de escala acelerada mais poderosa do mundo para AI e HPC.

NVIDIA HGX A100 Datasheet (PDF 418 KB)
HGX Stack

NVIDIA HGX A100 com 8 GPUs

NVIDIA HGX A100 with 8x A100 GPUs

NVIDIA HGX A100 com 4 GPUs

NVIDIA HGX A100 with 4x A100 GPUs

Desempenho do Deep Learning

Treinamento AI Até 3 Vezes Superior em Modelos Maiores

Treinamento DLRM

Treinamento AI Até 3 Vezes Superior em Modelos Maiores

DLRM no framewokr HugeCTR, precisão = FP16 | NVIDIA A100 80GB tamanho do lote = 48 | NVIDIA A100 tamanho do lote de 40GB = 32 | NVIDIA V100 tamanho de lote de 32GB = 32.

Os modelos de deep learning estão cada vez maiores e mais complexos, exigindo um sistema com grande quantidade de memória, grande poder de computação e interconexões rápidas para escalabilidade. Com o NVIDIA® NVSwitch™ fornecendo comunicações de GPU de alta velocidade, tudo para todos, a HGX A100 pode lidar com os modelos de AI mais avançados. Com as GPUs A100 de 80GB, a memória da GPU é duplicada, fornecendo até 1,3TB de memória em um único HGX A100. Cargas de trabalho emergentes nos modelos maiores, como modelos de recomendação de deep learning (DLRM), que têm tabelas de dados massivas, são aceleradas em até 3 vezes em relação à HGX com GPUs A100 de 40GB.

Desempenho de Machine Learning

Até 83 Vezes Mais Rápido que a CPU, 2 Vezes Mais Rápido que A100 40GB no Benchmark de Análise de Big Data

2X Faster than A100 40GB on Big Data Analytics Benchmark

Referência de análise de big data | 30 consultas analíticas de varejo, ETL, ML, NLP em conjunto de dados de 10TB | CPU: Intel Xeon Gold 6252 2,10 GHz, Hadoop | V100 32 GB, RAPIDS / Dask | A100 40GB e A100 80GB, RAPIDS / Dask / BlazingSQL​

Os modelos de machine learning exigem carregamento, transformação e processamento de conjuntos de dados extremamente grandes para obter insights críticos. Com até 1,3TB de memória unificada e comunicações de GPU completas com NVSwitch, o HGX A100 com GPUs A100 de 80GB tem a capacidade de carregar e realizar cálculos em enormes conjuntos de dados para obter insights acionáveis rapidamente.

Em um benchmark de análise de big data, a A100 80GB forneceu insights com taxas de transferência 83 vezes maior do que CPUs e desempenho 2 vezes maior em relação à A100 40GB, tornando-o idealmente adequado para cargas de trabalho emergentes com tamanhos de conjuntos de dados cada vez maiores.

Desempenho de HPC

As aplicações HPC precisam realizar uma enorme quantidade de cálculos por segundo. O aumento da densidade de computação de cada nó de servidor reduz significativamente o número de servidores necessários, resultando em enormes economias de custo, energia e espaço consumido no data center. Para simulações, a multiplicação de matrizes de alta dimensão requer um processador para buscar dados de muitos vizinhos para computação, tornando as GPUs conectadas por NVIDIA NVLink ideais. As aplicações HPC também podem aproveitar o TF32 no A100 para atingir um rendimento até 11 vezes maior em quatro anos para operações de multiplicação de matriz densa de precisão única.

Uma HGX A100 equipada com GPUs A100 de 80GB oferece um aumento de rendimento de 2 vezes em relação às GPUs A100 de 40GB no Quantum Espresso, uma simulação de materiais, aumentando o tempo de percepção.

11 Vezes Mais Desempenho de HPC em Quatro Anos

Principais Aplicações de HPC​

11X More HPC Performance in Four Years

Média geométrica de acelerações de aplicação vs. P100: Aplicação de referência: Âmbar [PME-Cellulose_NVE], Chroma [szscl21_24_128], GROMACS [ADH Dodec], MILC [Apex Médio], NAMD [stmv_nve_cuda], PyTorch (BERT-Large Fine Tuner], Quantum Espresso [AUSURF112-jR]; Random Forest FP32 [make_blobs (160000 x 64: 10)], TensorFlow [ResNet-50], VASP 6 [Si Huge] | Nó de GPU com CPUs de soquete duplo com 4x NVIDIA P100, V100, ou GPUs A100.​

Desempenho até 1,8 Vezes Superior para Aplicações HPC

Quantum Espresso​

Up to 1.8X Higher Performance for HPC Applications

Quantum Espresso medido usando o conjunto de dados CNT10POR8, precisão = FP64.

Especificações Da NVIDIA HGX

NVIDIA HGX está disponível em placas de base simples com quatro ou oito H100 GPUs e 80GB de memória GPU, ou A100 GPUs, cada uma com 40GB ou 80GB de memória de GPU. A configuração de 4 GPUs é totalmente interconectada com o NVIDIA NVLink® e a configuração de 8 GPUs é interconectada com NVSwitch. Duas placas de base NVIDIA HGX A100 de 8 GPUs podem ser combinadas usando uma interconexão NVSwitch para criar um único nó poderoso de 16 GPU.

A HGX também está disponível em formato PCIe para uma opção modular e fácil de implementar, trazendo o mais alto desempenho de computação para servidores convencionais, cada um com 40GB ou 80 GB de memória GPU.

Esta poderosa combinação de hardware e software estabelece a base para a mais recente plataforma de supercomputação de IA.

  HGX H100
  H100 PCIe 4-GPU 8-GPU
GPUs 1x NVIDIA H100 PCIe HGX H100 4-GPU HGX H100 8-GPU
Formato PCIe 4x NVIDIA H100 SXM 8x NVIDIA H100 SXM
HPC e computação AI (FP64/TF32/FP16/FP8/INT8) 48TF/800TF/1.6PF/3.2PF/3.2 POPS 240TF/4PF/8PF/16PF/16POPS 480TF/8PF/16PF/32PF/32POPS
Memória 80GB por GPU Até 320GB Até 640GB
NVLink Quarta Geração Quarta Geração Quarta Geração
NVSwitch N/A N/A Terceira Geração
NVLink Switch N/A N/A N/A
Largura de banda do NVSwitch de GPU para GPU N/A N/A 900 GB/s
Largura de banda total agregada 900 GB/s 3.6 TB/s 7.2 TB/s
  HGX A100
  A100 PCIe 4-GPU 8-GPU 16-GPU
GPUs 1x NVIDIA A100 PCIe HGX A100 4-GPU HGX A100 8-GPU 2x HGX A100 8-GPU
Formato PCIe 4x NVIDIA A100 SXM 8x NVIDIA A100 SXM 16x NVIDIA A100 SXM
HPC e computação AI (FP64/TF32/FP16/INT8) 19.5TF/312TF/624TF/1.2POPS 78TF/1.25PF/2.5PF/5POPS 156TF/2.5PF/5PF/10POPS 312TF/5PF/10PF/20POPS
Memória 80GB por GPU Até 320GB Até 640GB Até 1,280GB
NVLink Terceira Geração Terceira Geração Terceira Geração Terceira Geração
NVSwitch N/A N/A Segunda Geração Segunda Geração
Largura de banda do NVSwitch de GPU para GPU N/A N/A 600 GB/s 600 GB/s
Largura de banda total agregada 600 GB/s 2.4 TB/s 4.8 TB/s 9.6 TB/s

Acelerando a HGX com Rede NVIDIA

Com a HGX, também é possível incluir a rede NVIDIA para acelerar e descarregar as transferências de dados e garantir a utilização total dos recursos de computação. Adaptadores e switches inteligentes reduzem a latência, aumentam a eficiência, aumentam a segurança e simplificam a automação do data center para acelerar o desempenho da aplicação de ponta a ponta.

O data center é a nova unidade de computação, e a rede HPC desempenha um papel integral no dimensionamento do desempenho da aplicação em todo o data center. NVIDIA InfiniBand está abrindo caminho com rede definida por software, aceleração de computação em rede, acesso remoto direto à memória (RDMA) e velocidades e avanços mais rápidos.

HGX-1 and HGX-2 Reference Architectures

Powered by NVIDIA GPUs and NVLINK

NVIDIA HGX-1 and HGX-2 are reference architectures that standardize the design of data centers accelerating AI and HPC. Built with NVIDIA SXM2 V100 boards, with NVIDIA NVLink and NVSwitch interconnect technologies, HGX reference architectures have a modular design that works seamlessly in hyperscale and hybrid data centers to deliver up to 2 petaFLOPS of compute power for a quick, simple path to AI and HPC.

Powered by NVIDIA GPUs and NVLINK

Specifications

8-GPU
HGX-1  		16-GPU
HGX-2 
GPUs 8x NVIDIA V100 16x NVIDIA V100
AI Compute 1 petaFLOPS (FP16) 2 petaFLOPS (FP16)
Memory 256 GB 512 GB
NVLink 2nd generation 2nd generation
NVSwitch N/A Yes
NVSwitch GPU-to-GPU Bandwidth N/A 300 GB/s
Total Aggregate Bandwidth 2.4 TB/s 4.8 TB/s

Saiba mais sobre a GPU NVIDIA A100.

Saiba Mais
Produtos
Tecnologias
Software
Recursos