Acelerador Convergente NVIDIA H100 CNX

Desempenho inédito para cargas de trabalho com uso intensivo de I/O e impulsionadas por GPU

Aceleração Unificada de Rede e Computação

Experimente o desempenho inédito da aceleração convergente. O NVIDIA H100 CNX combina a potência da GPU NVIDIA H100 Tensor Core com os recursos avançados de rede da placa de rede inteligente (SmartNIC - smart network interface card) NVIDIA® ConnectX®-7 para acelerar cargas de trabalho com uso intensivo de entrada/saída (I/O) e impulsionadas por GPU, como treinamento distribuído de AI no data center empresarial e processamento em 5G no edge.

Melhor Desempenho de I/O

Melhor Desempenho de I/O

O NVIDIA H100 e o ConnectX-7 são conectados por um switch PCIe 5.0 integrado, que oferece um caminho dedicado de alta velocidade para transferências de dados entre a GPU e a rede. Isso elimina os gargalos de dados que passam pelo host e oferece uma latência baixa e previsível, o que é importante para aplicações em que a velocidade é fundamental, como o processamento de sinais 5G.

Um Design Equilibrado e Otimizado

Um Design Equilibrado e Otimizado

A integração de uma GPU e um SmartNIC em um único dispositivo resulta em uma arquitetura equilibrada por design. Em sistemas que precisam de várias GPUs, uma placa aceleradora convergente aplica a proporção ideal, de GPU para NIC.  O design também evita contenções no barramento PCIe do servidor, desse modo, o desempenho é dimensionado linearmente com dispositivos adicionais.

Redução de Custos

Redução de Custos

Como a GPU e o SmartNIC estão conectados diretamente, os clientes podem aproveitar os servidores convencionais PCIe 4.0 ou até mesmo 3.0 para alcançar um nível de desempenho que só é possível com sistemas de ponta ou especialmente desenvolvidos.  O uso de uma única placa também economiza energia, espaço e slots de PCIe do dispositivo, proporcionando mais redução de custos ao permitir um número maior de aceleradores por servidor.

Pronto para Aplicações

Pronto para Aplicações

As bibliotecas de softwares de aceleração de núcleos, como a NVIDIA Collective Communications Library (NCCL) e a Unified Communication X (UCX®), usam automaticamente o caminho de melhor desempenho para transferências de dados para GPUs. Como resultado, as aplicações de vários nós aceleradas existentes podem aproveitar o H100 CNX sem qualquer modificação, oferecendo vantagens imediatas.

Sistemas de AI Mais Rápidos e Eficientes

Treinamento Distribuído de AI de Vários Nós

Treinamento Distribuído de AI de Vários Nós

Os servidores geralmente acabam tendo limitações de desempenho, escalabilidade e densidade ao executar cargas de trabalho de treinamento distribuído de AI que envolvem transferências de dados entre GPUs em diferentes hosts. Servidores empresariais típicos não incluem um switch PCIe, então a CPU se torna um gargalo para esse tráfego, especialmente em máquinas virtuais. As transferências de dados estão vinculadas pela velocidade do backplane do host PCIe. A contenção pode ser causada por um desequilíbrio entre o número de GPUs e NICs. Embora uma proporção de um para um seja a ideal, o número de lanes e slots de PCIe no servidor pode limitar o número total de dispositivos.

O H100 CNX alivia esse problema. Com um caminho dedicado da rede para a GPU, ele permite que o GPUDirect® RDMA opere a velocidades próximas da linha. A transferência de dados também ocorre em velocidades de PCIe 5.0, independentemente do backplane do host PCIe. O dimensionamento da potência da GPU em um host pode ser feito de forma equilibrada, uma vez que a proporção ideal de GPU para NIC é alcançada. Um servidor também pode ser equipado com mais potência de aceleração, pois os aceleradores convergentes exigem menos lanes de PCIe e slots de dispositivo do que placas dedicadas.

Acelerando a AI-on-5G no Edge

A NVIDIA AI-on-5G é formada pela plataforma empresarial NVIDIA EGX, pelo SDK NVIDIA Aerial para redes virtuais de acesso por rádio (vRAN - Virtual Radio Access Network) 5G definidas por software e frameworks de AI empresariais, incluindo SDKs como o NVIDIA Isaac e NVIDIA Metropolis. Essa plataforma permite que dispositivos no edge, como câmeras de vídeo e sensores industriais e robôs, usem AI e se comuniquem com servidores por 5G.

Os aceleradores convergentes da NVIDIA oferecem a plataforma de mais alto desempenho para executar aplicações 5G. Como os dados não precisam passar pelo sistema do host PCIe, a latência de processamento é muito reduzida. O mesmo acelerador convergente usado para acelerar o processamento de sinais 5G também pode ser usado para AI no edge com a tecnologia de GPU Multi-Instância (MIG - Multi-Instance GPU) da NVIDIA da NVIDIA, que possibilita o compartilhamento de uma GPU entre várias aplicações diferentes. O H100 CNX oferece toda essa funcionalidade em um único servidor empresarial, sem ter que implantar sistemas especialmente desenvolvidos mais caros.

NVIDIA AI-on-5G

Especificações do H100 CNX

  Especificações
Memória da GPU HBM2e de 80GB
Largura de banda de memória > 2,0Tb/s
Instâncias de MIG 7 instâncias com 10GB cada
3 instâncias com 20GB cada
2 instâncias com 40GB cada
Interconexão PCIe 5.0 de 128GB/s
Bridge NVLINK Duas vias
Redes 1 porta de 400Gb/s, 2 portas de 200Gb/s, Ethernet ou InfiniBand
Formato Dois slots com altura e comprimento totais (FHFL — Full-Height, Full-Length)
Potência Máxima 350W

Saiba Tudo Sobre a Arquitetura NVIDIA Hopper