Supercomputador para AI NVIDIA HGX

A plataforma de supercomputação de IA ponta a ponta mais poderosa

Projetada Especificamente para a Convergência de Simulação, Análise de Dados e AI

Conjuntos de dados massivos, tamanhos de modelo em explosão e simulações complexas requerem várias GPUs com interconexões extremamente rápidas. A plataforma NVIDIA HGX™ reúne todo o poder das GPUs NVIDIA, NVIDIA® NVLink®, rede NVIDIA Mellanox® InfiniBand® e um pacote de software NVIDIA AI e HPC totalmente otimizada do NGC™ para fornecer o mais alto desempenho de aplicações. Com seu desempenho e flexibilidade de ponta a ponta, a NVIDIA HGX permite que pesquisadores e cientistas combinem simulação, análise de dados e AI para promover o progresso científico.

Plataforma de Computação Acelerada Incomparável

NVIDIA HGX A100 combina GPUs NVIDIA A100 Tensor Core com interconexões de alta velocidade para formar os servidores mais poderosos do mundo. Com GPUs A100 de 80GB, uma única HGX A100 tem até 1,3 terabytes (TB) de memória GPU e mais de 2 terabytes por segundo (TB/s) de largura de banda de memória, oferecendo aceleração sem precedentes.

O HGX A100 oferece uma aceleração AI de até 20 vezes em comparação com as gerações anteriores com Tensor Float 32 (TF32) e uma aceleração HPC de 2,5 vezes com FP64. Totalmente testado e fácil de implantar, a HGX A100 se integra a servidores parceiros para fornecer desempenho garantido. A NVIDIA HGX A100 com 16 GPUs oferece incríveis 10 petaFLOPS, formando a plataforma de servidor de aumento de escala acelerada mais poderosa do mundo para AI e HPC.

HGX Stack

NVIDIA HGX A100 com 8 GPUs

NVIDIA HGX A100 with 8x A100 GPUs

NVIDIA HGX A100 com 4 GPUs

NVIDIA HGX A100 with 4x A100 GPUs

Desempenho do Deep Learning

Treinamento AI Até 3 Vezes Superior em Modelos Maiores

Treinamento DLRM

Treinamento AI Até 3 Vezes Superior em Modelos Maiores

Os modelos de deep learning estão cada vez maiores e mais complexos, exigindo um sistema com grande quantidade de memória, grande poder de computação e interconexões rápidas para escalabilidade. Com o NVIDIA® NVSwitch™ fornecendo comunicações de GPU de alta velocidade, tudo para todos, a HGX A100 pode lidar com os modelos de AI mais avançados. Com as GPUs A100 de 80GB, a memória da GPU é duplicada, fornecendo até 1,3TB de memória em um único HGX A100. Cargas de trabalho emergentes nos modelos maiores, como modelos de recomendação de deep learning (DLRM), que têm tabelas de dados massivas, são aceleradas em até 3 vezes em relação à HGX com GPUs A100 de 40GB.

Desempenho de Machine Learning

Até 83 Vezes Mais Rápido que a CPU, 2 Vezes Mais Rápido que A100 40GB no Benchmark de Análise de Big Data

2X Faster than A100 40GB on Big Data Analytics Benchmark

Os modelos de machine learning exigem carregamento, transformação e processamento de conjuntos de dados extremamente grandes para obter insights críticos. Com até 1,3TB de memória unificada e comunicações de GPU completas com NVSwitch, o HGX A100 com GPUs A100 de 80GB tem a capacidade de carregar e realizar cálculos em enormes conjuntos de dados para obter insights acionáveis rapidamente.

Em um benchmark de análise de big data, a A100 80GB forneceu insights com taxas de transferência 83 vezes maior do que CPUs e desempenho 2 vezes maior em relação à A100 40GB, tornando-o idealmente adequado para cargas de trabalho emergentes com tamanhos de conjuntos de dados cada vez maiores.

Desempenho de HPC

As aplicações HPC precisam realizar uma enorme quantidade de cálculos por segundo. O aumento da densidade de computação de cada nó de servidor reduz significativamente o número de servidores necessários, resultando em enormes economias de custo, energia e espaço consumido no data center. Para simulações, a multiplicação de matrizes de alta dimensão requer um processador para buscar dados de muitos vizinhos para computação, tornando as GPUs conectadas por NVIDIA NVLink ideais. As aplicações HPC também podem aproveitar o TF32 no A100 para atingir um rendimento até 11 vezes maior em quatro anos para operações de multiplicação de matriz densa de precisão única.

Uma HGX A100 equipada com GPUs A100 de 80GB oferece um aumento de rendimento de 2 vezes em relação às GPUs A100 de 40GB no Quantum Espresso, uma simulação de materiais, aumentando o tempo de percepção.

11 Vezes Mais Desempenho de HPC em Quatro Anos

Principais Aplicações de HPC​

11X More HPC Performance in Four Years

Desempenho até 1,8 Vezes Superior para Aplicações HPC

Quantum Espresso​

Up to 1.8X Higher Performance for HPC Applications

ESPECIFICAÇÕES DA NVIDIA HGX

NVIDIA HGX está disponível em placas de base simples com quatro ou oito GPUs A100, cada uma com 40GB ou 80GB de memória de GPU. A configuração de 4 GPUs é totalmente interconectada com o NVIDIA NVLink® e a configuração de 8 GPUs é interconectada com NVSwitch. Duas placas de base NVIDIA HGX A100 de 8 GPUs podem ser combinadas usando uma interconexão NVSwitch para criar um único nó poderoso de 16 GPU.

A HGX também está disponível em formato PCIe para uma opção modular e fácil de implementar, trazendo o mais alto desempenho de computação para servidores convencionais, cada um com 40GB ou 80 GB de memória GPU.

Esta poderosa combinação de hardware e software estabelece a base para a mais recente plataforma de supercomputação de IA.

  A100 PCIe 4 GPUs 8 GPUs 16 GPUs
GPUs 1 NVIDIA A100 PCIe HGX A100 4 GPUs HGX A100 8 GPUs 2 HGX A100 8 GPUs
Formato PCIe 4 NVIDIA A100 SXM 8 NVIDIA A100 SXM 16 NVIDIA A100 SXM
HPC e computação AI (FP64/TF32*/FP16*/INT8*) 19.5TF/312TF*/624TF*/1.2POPS* 78TF/1.25PF*/2.5PF*/5POPS* 156TF/2.5PF*/5PF*/10POPS* 312TF/5PF*/10PF*/20POPS*
Memória 40 ou 80GB por GPU Até 320GB Até 640GB Até 1,280GB
NVLink Terceira geração Terceira geração Terceira geração Terceira geração
NVSwitch N/A N/A Segunda geração Segunda geração
Largura de banda do NVSwitch de GPU para GPU N/A N/A 600GB/s 600GB/s
Largura de banda total agregada 600GB/s 2,4TB/s 4,8TB/s 9,6TB/s

Acelerando a HGX com Rede NVIDIA

Com a HGX, também é possível incluir a rede NVIDIA para acelerar e descarregar as transferências de dados e garantir a utilização total dos recursos de computação. Adaptadores e switches inteligentes reduzem a latência, aumentam a eficiência, aumentam a segurança e simplificam a automação do data center para acelerar o desempenho da aplicação de ponta a ponta.

O data center é a nova unidade de computação, e a rede HPC desempenha um papel integral no dimensionamento do desempenho da aplicação em todo o data center. NVIDIA InfiniBand está abrindo caminho com rede definida por software, aceleração de computação em rede, acesso remoto direto à memória (RDMA) e velocidades e avanços mais rápidos.

HGX-1 and HGX-2 Reference Architectures

Powered by NVIDIA GPUs and NVLINK

NVIDIA HGX-1 and HGX-2 are reference architectures that standardize the design of data centers accelerating AI and HPC. Built with NVIDIA SXM2 V100 boards, with NVIDIA NVLink and NVSwitch interconnect technologies, HGX reference architectures have a modular design that works seamlessly in hyperscale and hybrid data centers to deliver up to 2 petaFLOPS of compute power for a quick, simple path to AI and HPC.

Powered by NVIDIA GPUs and NVLINK

Specifications

8-GPU
HGX-1 
16-GPU
HGX-2 
GPUs 8x NVIDIA V100 16x NVIDIA V100
AI Compute 1 petaFLOPS (FP16) 2 petaFLOPS (FP16)
Memory 256 GB 512 GB
NVLink 2nd generation 2nd generation
NVSwitch N/A Yes
NVSwitch GPU-to-GPU Bandwidth N/A 300 GB/s
Total Aggregate Bandwidth 2.4 TB/s 4.8 TB/s

Por Dentro da Arquitetura NVIDIA Ampere

Leia este material técnico para aprender o que há de novo na arquitetura NVIDIA Ampere e sua implementação na GPU NVIDIA A100.