A plataforma de supercomputação de IA ponta a ponta mais poderosa
Conjuntos de dados massivos, tamanhos de modelo em explosão e simulações complexas requerem várias GPUs com interconexões extremamente rápidas. A plataforma NVIDIA HGX™ reúne todo o poder das GPUs NVIDIA, NVIDIA® NVLink®, rede NVIDIA Mellanox® InfiniBand® e um pacote de software NVIDIA AI e HPC totalmente otimizada do NGC™ para fornecer o mais alto desempenho de aplicações. Com seu desempenho e flexibilidade de ponta a ponta, a NVIDIA HGX permite que pesquisadores e cientistas combinem simulação, análise de dados e AI para promover o progresso científico.
NVIDIA HGX A100 combina GPUs NVIDIA A100 Tensor Core com interconexões de alta velocidade para formar os servidores mais poderosos do mundo. Com GPUs A100 de 80GB, uma única HGX A100 tem até 1,3 terabytes (TB) de memória GPU e mais de 2 terabytes por segundo (TB/s) de largura de banda de memória, oferecendo aceleração sem precedentes.
O HGX A100 oferece uma aceleração AI de até 20 vezes em comparação com as gerações anteriores com Tensor Float 32 (TF32) e uma aceleração HPC de 2,5 vezes com FP64. Totalmente testado e fácil de implantar, a HGX A100 se integra a servidores parceiros para fornecer desempenho garantido. A NVIDIA HGX A100 com 16 GPUs oferece incríveis 10 petaFLOPS, formando a plataforma de servidor de aumento de escala acelerada mais poderosa do mundo para AI e HPC.
Treinamento DLRM
DLRM no framewokr HugeCTR, precisão = FP16 | NVIDIA A100 80GB tamanho do lote = 48 | NVIDIA A100 tamanho do lote de 40GB = 32 | NVIDIA V100 tamanho de lote de 32GB = 32.
Os modelos de deep learning estão cada vez maiores e mais complexos, exigindo um sistema com grande quantidade de memória, grande poder de computação e interconexões rápidas para escalabilidade. Com o NVIDIA® NVSwitch™ fornecendo comunicações de GPU de alta velocidade, tudo para todos, a HGX A100 pode lidar com os modelos de AI mais avançados. Com as GPUs A100 de 80GB, a memória da GPU é duplicada, fornecendo até 1,3TB de memória em um único HGX A100. Cargas de trabalho emergentes nos modelos maiores, como modelos de recomendação de deep learning (DLRM), que têm tabelas de dados massivas, são aceleradas em até 3 vezes em relação à HGX com GPUs A100 de 40GB.
Referência de análise de big data | 30 consultas analíticas de varejo, ETL, ML, NLP em conjunto de dados de 10TB | CPU: Intel Xeon Gold 6252 2,10 GHz, Hadoop | V100 32 GB, RAPIDS / Dask | A100 40GB e A100 80GB, RAPIDS / Dask / BlazingSQL
Os modelos de machine learning exigem carregamento, transformação e processamento de conjuntos de dados extremamente grandes para obter insights críticos. Com até 1,3TB de memória unificada e comunicações de GPU completas com NVSwitch, o HGX A100 com GPUs A100 de 80GB tem a capacidade de carregar e realizar cálculos em enormes conjuntos de dados para obter insights acionáveis rapidamente.
Em um benchmark de análise de big data, a A100 80GB forneceu insights com taxas de transferência 83 vezes maior do que CPUs e desempenho 2 vezes maior em relação à A100 40GB, tornando-o idealmente adequado para cargas de trabalho emergentes com tamanhos de conjuntos de dados cada vez maiores.
As aplicações HPC precisam realizar uma enorme quantidade de cálculos por segundo. O aumento da densidade de computação de cada nó de servidor reduz significativamente o número de servidores necessários, resultando em enormes economias de custo, energia e espaço consumido no data center. Para simulações, a multiplicação de matrizes de alta dimensão requer um processador para buscar dados de muitos vizinhos para computação, tornando as GPUs conectadas por NVIDIA NVLink ideais. As aplicações HPC também podem aproveitar o TF32 no A100 para atingir um rendimento até 11 vezes maior em quatro anos para operações de multiplicação de matriz densa de precisão única.
Uma HGX A100 equipada com GPUs A100 de 80GB oferece um aumento de rendimento de 2 vezes em relação às GPUs A100 de 40GB no Quantum Espresso, uma simulação de materiais, aumentando o tempo de percepção.
Principais Aplicações de HPC
Média geométrica de acelerações de aplicação vs. P100: Aplicação de referência: Âmbar [PME-Cellulose_NVE], Chroma [szscl21_24_128], GROMACS [ADH Dodec], MILC [Apex Médio], NAMD [stmv_nve_cuda], PyTorch (BERT-Large Fine Tuner], Quantum Espresso [AUSURF112-jR]; Random Forest FP32 [make_blobs (160000 x 64: 10)], TensorFlow [ResNet-50], VASP 6 [Si Huge] | Nó de GPU com CPUs de soquete duplo com 4x NVIDIA P100, V100, ou GPUs A100.
Quantum Espresso
Quantum Espresso medido usando o conjunto de dados CNT10POR8, precisão = FP64.
NVIDIA HGX está disponível em placas de base simples com quatro ou oito H100 GPUs e 80GB de memória GPU, ou A100 GPUs, cada uma com 40GB ou 80GB de memória de GPU. A configuração de 4 GPUs é totalmente interconectada com o NVIDIA NVLink® e a configuração de 8 GPUs é interconectada com NVSwitch. Duas placas de base NVIDIA HGX A100 de 8 GPUs podem ser combinadas usando uma interconexão NVSwitch para criar um único nó poderoso de 16 GPU.
A HGX também está disponível em formato PCIe para uma opção modular e fácil de implementar, trazendo o mais alto desempenho de computação para servidores convencionais, cada um com 40GB ou 80 GB de memória GPU.
Esta poderosa combinação de hardware e software estabelece a base para a mais recente plataforma de supercomputação de IA.
Com a HGX, também é possível incluir a rede NVIDIA para acelerar e descarregar as transferências de dados e garantir a utilização total dos recursos de computação. Adaptadores e switches inteligentes reduzem a latência, aumentam a eficiência, aumentam a segurança e simplificam a automação do data center para acelerar o desempenho da aplicação de ponta a ponta.
O data center é a nova unidade de computação, e a rede HPC desempenha um papel integral no dimensionamento do desempenho da aplicação em todo o data center. NVIDIA InfiniBand está abrindo caminho com rede definida por software, aceleração de computação em rede, acesso remoto direto à memória (RDMA) e velocidades e avanços mais rápidos.
NVIDIA HGX-1 and HGX-2 are reference architectures that standardize the design of data centers accelerating AI and HPC. Built with NVIDIA SXM2 V100 boards, with NVIDIA NVLink and NVSwitch interconnect technologies, HGX reference architectures have a modular design that works seamlessly in hyperscale and hybrid data centers to deliver up to 2 petaFLOPS of compute power for a quick, simple path to AI and HPC.