Supercomputador de IA NVIDIA HGX

A plataforma de computação de IA líder mundial.

Desenvolvido Especificamente para IA e HPC

IA, simulações complexas e conjuntos de dados massivos exigem várias GPUs com interconexões extremamente rápidas e um stack de software totalmente acelerado. A plataforma de supercomputação de IA NVIDIA HGX™ reúne todo o poder das GPUs NVIDIA, NVLink®, rede NVIDIA e stacks de software de IA e computação de alto desempenho (HPC) totalmente otimizados para fornecer o mais alto desempenho de aplicações e gerar o tempo mais rápido para insights. 

Plataforma Incomparável de Computação Acelerada de Ponta a Ponta

A NVIDIA HGX H200 combina GPUs H200 Tensor Core com interconexões de alta velocidade para formar os servidores mais poderosos do mundo. Configurações de até oito GPUs oferecem aceleração sem precedentes, com até 1,1 terabytes (TB) de memória GPU e 38 terabytes por segundo (TB/s) de largura de banda de memória agregada. Isso combinado com 32 petaFLOPS de desempenho cria a plataforma de servidor de expansão acelerada mais poderosa do mundo para IA e HPC.

Tanto a HGX H200 quanto a HGX H100 incluem opções avançadas de rede, em velocidades de até 400 gigabits por segundo (Gb/s), utilizando NVIDIA Quantum-2 InfiniBand e Spectrum-X™ Ethernet para o mais alto desempenho de IA. HGX H200 e HGX H100 também incluem unidades de processamento de dados (DPUs) NVIDIA® BlueField-3® para permitir rede em nuvem, armazenamento componível, segurança de confiança zero e elasticidade de computação GPU em nuvens de IA de hiperescala. 

HGX Stack

Treinamento de Deep Learning: Desempenho e Escalabilidade

Up to 5X Faster Training at Scale

As GPUs NVIDIA H200 e H100 apresentam o Transformer Engine, com precisão FP8, que fornece treinamento até 5 vezes mais rápido do que a geração anterior de GPUs para grandes modelos de linguagem. A combinação de NVLink de quarta geração, que oferece 900 GB/s de interconexão GPU a GPU, PCIe Gen5 e software Magnum IO™ oferece escalabilidade eficiente, de pequenas empresas a enormes clusters de GPU unificados. Esses avanços de infraestrutura, trabalhando em conjunto com o pacote de software NVIDIA AI Enterprise, tornam a HGX H200 e a HGX H100 a plataforma de computação de IA líder mundial.

Inferência de Deep Learning: Performance e Versatilidade

Desempenho de Inferência de IA Até 30 Vezes Maior nos Grandes Modelos

Inferência de chatbot Megatron com 530 bilhões de parâmetros.

Real-Time Deep Learning Inference

A IA resolve uma ampla gama de desafios de negócios usando uma gama igualmente ampla de redes neurais. Um grande acelerador de inferência de IA precisa não apenas oferecer o mais alto desempenho, mas também a versatilidade necessária para acelerar essas redes em qualquer local, do data center ao edge, que os clientes escolherem para implantá-las.

HGX H200 e HGX H100 ampliam ainda mais a liderança de inferência líder de mercado da NVIDIA, acelerando a inferência em até 30 vezes em relação à geração anterior em chatbots de parâmetros Megatron 530 bilhões.

Desempenho de HPC

Desempenho Até 110 Vezes Maior para Aplicações de HPC

110x Higher Performance for HPC Adipplications

A largura de banda da memória é crucial para aplicações de computação de alto desempenho, pois permite uma transferência de dados mais rápida, reduzindo gargalos complexos de processamento. Para aplicações de HPC com uso intensivo de memória, como simulações, pesquisas científicas e inteligência artificial, a maior largura de banda de memória do H200 garante que os dados possam ser acessados e manipulados de forma eficiente, levando a um tempo de resultados até 110 vezes mais rápido em comparação com as CPUs.

Acelerando HGX com Rede NVIDIA

O data center é a nova unidade de computação, e a rede desempenha um papel fundamental no dimensionamento do desempenho do aplicação em todo ele. Emparelhado com o NVIDIA Quantum InfiniBand, a HGX oferece desempenho e eficiência de classe mundial, o que garante a utilização total dos recursos de computação.

Para data centers em nuvem de IA que implantam Ethernet, a HGX é melhor usada com a plataforma de rede NVIDIA Spectrum-X, que fornece o mais alto desempenho de IA sobre Ethernet de 400 Gb/s. Com switches NVIDIA Spectrum-4 e DPUs BlueField-3, o Spectrum-X™ oferece resultados consistentes e previsíveis para milhares de trabalhos simultâneos de IA em todas as escalas por meio da utilização ideal de recursos e isolamento de desempenho. O Spectrum-X permite multilocação avançada em nuvem e segurança de confiança zero.  Como um projeto de referência para o NVIDIA Spectrum-X, a NVIDIA projetou o Israel-1, um supercomputador de IA generativa em hiperescala construído com servidores Dell PowerEdge XE9680 baseados na plataforma NVIDIA HGX™ H100 de oito GPUs, DPUs BlueField-3 e switches Spectrum-4.

Conectando HGX H200 ou HGX H100 com Rede NVIDIA

  Plataforma NVIDIA Quantum-2 InfiniBand:

Comutador Quantum-2, Adaptador ConnectX-7, DPU BlueField-3

Plataforma NVIDIA Spectrum-X:

Switch Spectrum-4, DPU BlueField-3, Licença Spectrum-X

Plataforma NVIDIA Spectrum Ethernet:

Switch Spectrum, Adaptador ConnectX, DPU BlueField

Treinamento DL EXCELENTE MELHOR BOM
Simulação Científica EXCELENTE MELHOR BOM
Análise de Dados EXCELENTE MELHOR BOM
Inferência DL EXCELENTE MELHOR BOM

Especificações da NVIDIA HGX

NVIDIA HGX está disponível em placas de base simples com quatro ou oito GPUs H200 ou H100, ou quatro ou oito GPUs A100. Essas poderosas combinações de hardware e software estabelecem a base para um desempenho de supercomputação de IA sem precedentes.

  HGX H200
  4 GPU 8 GPU
GPUs HGX H200 4-GPU HGX H200 com 8 GPU
Formato 4 NVIDIA H200 SXM 8 NVIDIA H200 SXM
Computação de HPC e IA (FP64/TF32/FP16/FP8/INT8) 268TF/4PF/8PF/16PF/16 POPS 535TF/8PF/16PF/32PF/32 POPS
Memória Até 564 GB Até 1,1 TB
NVLink Quarta geração Quarta geração
NVSwitch N/A Terceira geração
Largura de banda NVSwitch GPU-to-GPU N/A 900GB/s
Largura de banda agregada total 3,6 TB/s 7,2 TB/s
  HGX H100
  4 GPU 8 GPU
GPUs HGX H100 4 GPU HGX H100 8 GPU
Formato 4x NVIDIA H100 SXM 8x NVIDIA H100 SXM
HPC e computação AI (FP64/TF32/FP16/FP8/INT8) 268TF/4PF/8PF/16PF/16 POPS 535TF/8PF/16PF/32PF/32 POPS
Memória Até 320GB Até 640GB
NVLink Quarta Geração Quarta Geração
NVSwitch N/A Terceira Geração
NVLink Switch N/A N/A
Largura de banda do NVSwitch de GPU para GPU N/A 900 GB/s
Largura de banda total agregada 3.6 TB/s 7.2 TB/s
  HGX A100
  4 GPU 8 GPU
GPUs HGX A100 4 GPU HGX A100 8 GPU
Formato 4x NVIDIA A100 SXM 8x NVIDIA A100 SXM
HPC e computação AI (FP64/TF32/FP16/INT8) 78TF/1.25PF/2.5PF/5 POPS 156TF/2.5PF/5PF/10 POPS
Memória Até 320GB Até 640GB
NVLink Terceira Geração Terceira Geração
NVSwitch N/A Segunda Geração
Largura de banda do NVSwitch de GPU para GPU N/A 600 GB/s
Largura de banda total agregada 4.8 TB/s 9.6 TB/s

Saiba mais sobre a GPU NVIDIA H200 Tensor Core .