NVIDIA HGX-2

Com tecnologia das GPUs NVIDIA Tesla V100 e do NVSwitch

Unindo HPC e computação de AI em uma arquitetura unificada

Estamos no início de uma nova era de inteligência, na qual a IA e a computação de alto desempenho (HPC) estão transformando o mundo. De veículos autônomos a simulações de clima global, novos desafios estão surgindo que exigem enormes recursos de computação para serem resolvidos. O NVIDIA HGX-2 é projetado para computação de multiprecisão, que combina a potência da computação científica de alta precisão usando FP64 e FP32 à velocidade de precisão inferior da computação de IA com FP16 e Int8, para oferecer uma plataforma única, flexível e avançada para solucionar esses grandes desafios.

Ativa a “maior GPU do mundo”

Acelerado por 16 GPUs NVIDIA® Tesla® V100 e pelo NVIDIA NVSwitch, o HGX-2 conta com poder computacional, largura de banda e topologia de memória sem precedentes para treinar esses modelos mais rapidamente e com mais eficiência. As 16 GPUs Tesla V100 trabalham como um único e unificado acelerador de 2 petaFLOPs com metade de um terabyte (TB) de memória total da GPU, permitindo a ele lidar com as cargas de trabalho mais intensivas computacionalmente e ativar “a maior GPU do mundo.”

Ativa a maior GPU do mundo

Treinamento em AI: o HGX-2 Substitui 300 Servidores com Tecnologia CPU

Carga de trabalho: ResNet50, 90 epochs to solution  | Servidor CPU: Dual-Socket Intel Xeon Gold 6140
|  Dataset: ImageNet2012  |

IMPULSIONANDO A NOVA GERAÇÃO DE AI EM DEEP LEARNING PARA DESEMPENHO MAIS RÁPIDO

Os modelos de AI em deep learning estão cada vez mais complexos e exigem mais memória, múltiplos GPUs e uma conexão extremamente rápida entre as GPUs para funcionar. Com o NVSwitch conectando todos os GPUs e a memória unificada, o HGX-2 fornece a potência para lidar com novos modelos para treinamento mais rápido em AI avançada. Um único HGX-2 substitui 300 servidores com tecnologia CPU, economizando custos, espaço e energia no data center de forma significativa.

Machine Learning: o HGX-2 Acelera em 544X Comparado a Servidores com Tecnologia CPU

Medições de GPU concluídas no DGX-2 | CPU: 20 CPUs cluster - a comparação é proporcional a 1 CPU (61 GB de memória, 8 vCPUs, plataforma de 64 bits), Apache Spark | Dados sobre hipotecas nos EUA Fannie Mae e Freddie Mac 2006-2017 | 146M em hipotecas | Conjunto de dados CSV de com 200GB | A preparação de dados inclui junções, transformações variáveis

IMPULSIONANDO A NOVA GERAÇÃO DE AI EM DEEP LEARNING PARA DESEMPENHO MAIS RÁPIDO

Modelos de machine learning em AI exigem carregamento, transformação e processamento de conjuntos de dados extremamente grandes para a obtenção de insights. Com 0,5TB de memória unificada acessível a uma largura de banda de 16TB/s e comunicação entre GPUs com o NVSwitch, o HGX-2 tem o poder de carregar e executar cálculos em enormes conjuntos de dados para obter insights utilizáveis rapidamente. Com o software de plataforma aberta RAPIDS para machine learning, um único HGX-2 substitui 544 servidores com tecnologia CPU, gerando grandes economias de custos e espaço.

HPC: o HGX-2 Substitui até 135 Servidores Baseados na Tecnologia CPU

Aplicação (conjunto de dados): MILC (APEX Medium) e Chroma (szscl21_24_128) | Servidor CPU: Dual-Socket Intel Xeon Platinum 8280 (Cascade Lake)

O MAIOR NÓ DE HPC COM O MAIS ALTO DESEMPENHO

Os aplicativos HPC exigem nós de servidores mais fortes com capacidade de processamento para realizar muitos cálculos por segundo. Aumentar a densidade de processamento de cada nó reduz o número de servidores necessários, resultando em uma grande economia de custos, energia e espaço utilizado no data center. Para simulações de HPC, a multiplicação de matrizes de alta dimensão exige um processador para buscar dados de muitas GPUs próximas para facilitar o processamento, tornando ideal que estas conexões sejams feitas pelo NVSwitch. Um único servidor HGX-2 substitui até 135 servidores baseados na tecnologia CPU para aplicações científicas.

NVSwitch para computação de largura de banda total

O NVSwitch possibilita que todas as GPUs se comuniquem entre si em largura de banda total de 2,4TB/s para solucionar os maiores problemas de IA e HPC. Todas as GPUs têm acesso total a 0,5TB de memória HBM2 agregada para lidar com os maiores conjuntos de dados. Ao ativar um nó de servidor unificado, o NVSwitch dramaticamente acelera aplicativos complexos de IA e HPC.

NVSwitch para computação de largura de banda total

Especificações

HGX-1 HGX-2
Desempenho 1 petaFLOP tensor operations
125 teraFLOPS single-precision
62 teraFLOPS double-precision
2 petaFLOPS tensor operations
250 teraFLOPS single-precision
125 teraFLOPS double-precision
GPUs 8x NVIDIA Tesla V100 16x NVIDIA Tesla V100
Memória GPU 256GB total 512GB total
NVIDIA CUDA® Cores 40,960 81,920
NVIDIA Tensor Cores 5,120 10,240
Canal de Comunicação Malha de cubo híbrida alimentada por NVLink com largura de banda de bissecção de 300GB/s NVSwitch alimentado por NVLink com largura de banda de bissecção de 2,4TB/s

Arquitetura de referência HGX-1

Com tecnologia das GPUs NVIDIA Tesla e do NVLink

O NVIDIA HGX-1 é uma arquitetura de referência que padronizou o design de data centers acelerando a IA em nuvem. Com base em oito placas Tesla SXM2 V100, uma topologia de cubo de malha híbrido para escalabilidade e 1 petaFLOP de poder computacional, seu design modular trabalha muito bem em data centers de hiperescala e oferece um caminho simples e rápido para IA.

Capacitando o ecossistema de data centers

A NVIDIA firma parceria com os fabricantes líderes mundiais para avançar rapidamente a computação em nuvem de IA. A NVIDIA oferece placas mães de GPUs HGX-2, diretrizes de design e acesso antecipado às tecnologias de computação em GPUs para os parceiros as integrarem aos servidores e oferecer em escala a seus ecossistemas de data centers.

VEJA A LISTA COMPLETA DE SERVIDORES NVIDIA TESLA QUALIFICADOS.