Necessidade De Interconexões Mais Rápidas E Escalonáveis

As crescentes demandas de computação em AI e na computação de alto desempenho (HPC), incluindo uma classe emergente de modelos de trilhões de parâmetros, estão impulsionando a necessidade de sistemas multi-nós e multi-GPU com comunicação contínua e de alta velocidade entre cada GPU. Para construir a plataforma de computação de ponta a ponta mais poderosa que pode atender à velocidade dos negócios, é necessária uma interconexão rápida e escalável.

NVIDIA A100 PCIe with NVLink GPU-to-GPU connection
NVIDIA A100 with NVLink GPU-to-GPU connections

Desempenho NVLink

NVLink Performance

Conecte GPUs o com NVIDIA NVSwitch

A terceira geração do NVIDIA NVSwitch se baseia no recurso avançado de comunicação do NVLink para fornecer maior largura de banda e latência reduzida para cargas de trabalho com uso intensivo de computação. Para permitir operações coletivas de alta velocidade, cada NVSwitch possui 64 portas NVLink equipadas com mecanismos para o Scalable Hierarchical Aggregation Reduction Protocol (SHARP) da NVIDIA para reduções na rede e aceleração multicast.  

Fully Connect GPUs with NVIDIA NVSwitch
NVLink and NVSwitch Work Together

Como o NVLink e o NVSwitch Funcionam Juntos

O NVLink é uma interconexão direta de GPU para GPU que dimensiona a entrada/saída (IO) de várias GPUs no servidor. O NVSwitch conecta vários NVLinks para fornecer comunicação de GPU completa com velocidade total do NVLink em um único nó e entre nós.

Com a combinação de NVLink e NVSwitch, a NVIDIA ganhou o MLPerf 1.1, o primeiro benchmark de IA do setor.

Ampliação para Treinar Trilhões de Modelos de Parâmetros com o Sistema de Switch NVLink

Com o NVSwitch, as conexões NVLink podem ser estendidas entre nós para criar um cluster de GPU de vários nós contínuo, de alta largura de banda, formando efetivamente uma GPU do tamanho de um data center. Ao adicionar uma segunda camada de NVSwitches externamente aos servidores, a rede NVLink pode conectar até 256 GPUs e fornecer impressionantes 57,6 terabytes por segundo (TB/s) de largura de banda total, tornando possível resolver rapidamente até mesmo os maiores empregos de AI. 

Scale-Up to Train Trillion Parameter Models
NVIDIA NVLink Switch

Switch NVIDIA NVLink

O switch de rack NVIDIA NVLink possui 128 portas NVLink com capacidade de comutação sem bloqueio de 3,2 terabytes por segundo (TB/s). O switch de rack foi projetado para fornecer alta largura de banda e baixa latência em sistemas NVIDIA DGX e NVIDIA HGX que suportam conectividade NVLink externa de quarta geração.

Escalando de Enterprise para Exascale

Conexão Completa para Desempenho Incomparável

O NVSwitch é a primeira arquitetura de switch no nó a oferecer suporte de 8 a 16 GPUs totalmente conectadas em um único nó de servidor. O NVSwitch de terceira geração interconecta todos os pares de GPUs a incríveis 900 GB/s. Suporta comunicação completa de todos para todos. As GPUs podem ser usadas como um único acelerador de alto desempenho com até 15 petaFLOPS de poder computacional de deep learning.

A Mais Poderosa Plataforma de AI e HPC

O NVLink e o NVSwitch são componentes essenciais da solução completa de data center da NVIDIA que incorpora hardware, rede, software, bibliotecas e modelos e aplicações otimizadas de AI do pacote de software NVIDIA AI Enterprise e do catálogo NVIDIA NGC. A mais poderosa plataforma de AI e HPC de ponta a ponta, permite que os pesquisadores forneçam resultados do mundo real e implantem soluções em produção, impulsionando uma aceleração sem precedentes em todas as escalas.

Especificações

  • NVLink

    NVLink

  • NVSwitch

    NVSwitch

  • Sistema de Switch NVLink

    Sistema de Switch NVLink

  Segunda Geração Terceira Geração Quarta Geração
Largura de banda NVLink por GPU 300GB/s 600GB/s 900GB/s
Número máximo de links por GPU 6 12 18
Arquiteturas NVIDIA suportadas Arquitetura NVIDIA Volta Arquitetura NVIDIA Ampere Arquitetura NVIDIA Hopper
  Primeira Geração Segunda Geração Terceira Geração
Número de GPUs com conexão/nó direto Até 8 Até 8 Até 8
Largura de banda de GPU para GPU NVSwitch 300GB/s 600GB/s 900GB/s
Largura de banda total agregada 2,4TB/s 4,8TB/s 7,2TB/s
Arquiteturas NVIDIA suportadas Arquitetura NVIDIA Volta Arquitetura NVIDIA Ampere Arquitetura NVIDIA Hopper
  Sistema de Switch NVLink
Número de GPUs com conexão direta Até 256
Largura de banda do NVSwitch de GPU para-GPU 900GB/s
Largura de banda total agregada 57,6TB/s
Reduções na rede Reduções SHARP no NVSwitch
Suporte aos principais softwares CUDA®, CUDA-X, Magnum IO
Arquiteturas NVIDIA suportadas Arquitetura NVIDIA Hopper

Aprofunde-se na Arquitetura NVIDIA Hopper