Necessidade De Interconexões Mais Rápidas E Escalonáveis

As crescentes demandas de computação em AI e na computação de alto desempenho (HPC), incluindo uma classe emergente de modelos de trilhões de parâmetros, estão impulsionando a necessidade de sistemas multi-nós e multi-GPU com comunicação contínua e de alta velocidade entre cada GPU. Para construir a plataforma de computação de ponta a ponta mais poderosa que pode atender à velocidade dos negócios, é necessária uma interconexão rápida e escalável.

Maximize a Taxa de Transferência do Sistema com NVIDIA NVlink

A quarta geração da tecnologia NVIDIA® NVLink® oferece largura de banda 1,5 vez maior e escalabilidade aprimorada para configurações de sistema multi-GPU. Uma única GPU NVIDIA H100 Tensor Core suporta até 18 conexões NVLink para uma largura de banda total de 900 gigabytes por segundo (GB/s), mais de 7 vezes a largura de banda do PCIe Gen5.

Servidores como o NVIDIA DGX™ H100 aproveitam essa tecnologia para oferecer maior escalabilidade para treinamento de deep learning ultrarrápido.

NVIDIA A100 PCIe with NVLink GPU-to-GPU connection

NVIDIA H100 PCIe com conexão NVLink GPU para GPU

NVIDIA A100 with NVLink GPU-to-GPU connections

NVIDIA H100 com conexões NVLink GPU para GPU

Desempenho NVLink

NVLink Performance

O NVLink no NVIDIA H100 aumenta a largura de banda de comunicação entre GPUs em 1,5 vezes em comparação com a geração anterior, para que os pesquisadores possam usar aplicações maiores e mais sofisticados para resolver problemas mais complexos.

Conecte GPUs o com NVIDIA NVSwitch

A terceira geração do NVIDIA NVSwitch™ se baseia no recurso avançado de comunicação do NVLink para fornecer maior largura de banda e latência reduzida para cargas de trabalho com uso intensivo de computação. Para permitir operações coletivas de alta velocidade, cada NVSwitch possui 64 portas NVLink equipadas com mecanismos para o Scalable Hierarchical Aggregation Reduction Protocol (SHARP)™ da NVIDIA para reduções na rede e aceleração multicast.  

Fully Connect GPUs with NVIDIA NVSwitch

O NVSwitch permite que oito GPUs em um sistema NVIDIA DGX H100 cooperem em um cluster com conectividade de largura de banda total.

NVLink and NVSwitch Work Together

Como o NVLink e o NVSwitch Funcionam Juntos

O NVLink é uma interconexão direta de GPU para GPU que dimensiona a entrada/saída (IO) de várias GPUs no servidor. O NVSwitch conecta vários NVLinks para fornecer comunicação de GPU completa com velocidade total do NVLink em um único nó e entre nós.

Com a combinação de NVLink e NVSwitch, a NVIDIA ganhou o MLPerf 1.1, o primeiro benchmark de IA do setor.

Veja a Tecnologia Em ação 

Ampliação para Treinar Trilhões de Modelos de Parâmetros com o Sistema de Switch NVLink

Com o NVSwitch, as conexões NVLink podem ser estendidas entre nós para criar um cluster de GPU de vários nós contínuo, de alta largura de banda, formando efetivamente uma GPU do tamanho de um data center. Ao adicionar uma segunda camada de NVSwitches externamente aos servidores, a rede NVLink pode conectar até 256 GPUs e fornecer impressionantes 57,6 terabytes por segundo (TB/s) de largura de banda total, tornando possível resolver rapidamente até mesmo os maiores empregos de AI. 

Saiba Mais Sobre a H100 
Scale-Up to Train Trillion Parameter Models
NVIDIA NVLink Switch

Switch NVIDIA NVLink

O switch de rack NVIDIA NVLink possui 128 portas NVLink com capacidade de comutação sem bloqueio de 3,2 terabytes por segundo (TB/s). O switch de rack foi projetado para fornecer alta largura de banda e baixa latência em sistemas NVIDIA DGX e NVIDIA HGX™ que suportam conectividade NVLink externa de quarta geração.

Saiba Mais Sobre a NVIDIA DGX H100 

Escalando de Enterprise para Exascale

Conexão Completa para Desempenho Incomparável

O NVSwitch é a primeira arquitetura de switch no nó a oferecer suporte de 8 a 16 GPUs totalmente conectadas em um único nó de servidor. O NVSwitch de terceira geração interconecta todos os pares de GPUs a incríveis 900 GB/s. Suporta comunicação completa de todos para todos. As GPUs podem ser usadas como um único acelerador de alto desempenho com até 15 petaFLOPS de poder computacional de deep learning.

A Mais Poderosa Plataforma de AI e HPC

O NVLink e o NVSwitch são componentes essenciais da solução completa de data center da NVIDIA que incorpora hardware, rede, software, bibliotecas e modelos e aplicações otimizadas de AI do pacote de software NVIDIA AI Enterprise e do catálogo NVIDIA NGC™. A mais poderosa plataforma de AI e HPC de ponta a ponta, permite que os pesquisadores forneçam resultados do mundo real e implantem soluções em produção, impulsionando uma aceleração sem precedentes em todas as escalas.

Especificações

  • NVLink

    NVLink

  • NVSwitch

    NVSwitch

  • Sistema de Switch NVLink

    Sistema de Switch NVLink

  Segunda Geração Terceira Geração Quarta Geração
Largura de banda NVLink por GPU 300GB/s 600GB/s 900GB/s
Número máximo de links por GPU 6 12 18
Arquiteturas NVIDIA suportadas Arquitetura NVIDIA Volta™ Arquitetura NVIDIA Ampere Arquitetura NVIDIA Hopper™
  Primeira Geração Segunda Geração Terceira Geração
Número de GPUs com conexão/nó direto Até 8 Até 8 Até 8
Largura de banda de GPU para GPU NVSwitch 300GB/s 600GB/s 900GB/s
Largura de banda total agregada 2,4TB/s 4,8TB/s 7,2TB/s
Arquiteturas NVIDIA suportadas Arquitetura NVIDIA Volta™ Arquitetura NVIDIA Ampere Arquitetura NVIDIA Hopper™
  Sistema de Switch NVLink
Número de GPUs com conexão direta Até 256
Largura de banda do NVSwitch de GPU para-GPU 900GB/s
Largura de banda total agregada 57,6TB/s
Reduções na rede Reduções SHARP no NVSwitch
Suporte aos principais softwares CUDA®, CUDA-X™, Magnum IO™
Arquiteturas NVIDIA suportadas Arquitetura NVIDIA Hopper

Especificações preliminares, podem estar sujeitas a alterações

Aprofunde-se na Arquitetura NVIDIA Hopper

Leia O Whitepaper
Produtos
Tecnologias
Software
Recursos