NVLink e Switch NVLink
As bases da comunicação multi-GPU de alta velocidade para impulsionar grandes conjuntos de dados mais rapidamente em modelos e trocar dados rapidamente entre as GPUs.
Uma Necessidade de Interconexões de Expansão Mais Rápidas
O desbloqueio de todo o potencial da computação de exaescala e dos modelos de IA de trilhões de parâmetros depende de uma comunicação rápida e perfeita entre todas as GPUs de um cluster de servidores. A quinta geração do NVIDIA NVLink™ é uma interconexão de escala crescente que turbina o raciocínio da IA e acelera o desempenho para modelos de inferência de trilhões de parâmetros.
Maximize o Desempenho do Sistema com NVIDIA NVLink
O NVLink de quinta geração melhora muito a escalabilidade para sistemas maiores de várias GPUs, permitindo que as GPUs compartilhem memória e computações para workflows de treinamento, inferência e raciocínio. Uma única GPU NVIDIA Blackwell suporta até 18 conexões NVLink 100 gigabyte por segundo (GB/s) para uma largura de banda total de 1,8 terabytes por segundo (TB/s): 2 vezes mais largura de banda do que a geração anterior e mais de 14 vezes a largura de banda da PCIe de 5ª geração. As plataformas de servidores, como a NVIDIA GB300 NVL72, aproveitam essa tecnologia para oferecer maior escalabilidade para os grandes modelos mais complexos de hoje.
Desempenho do NVLink
O NVLink na NVIDIA H100 aumenta a largura de banda de comunicação entre as GPUs em 1,5 vez em comparação com a geração anterior, para que os pesquisadores possam usar aplicações maiores e mais sofisticadas para resolver problemas mais complexos.
Aumente o Desempenho da GPU com Comunicações NVLink
Conecte totalmente as GPUs com o NVIDIA NVLink e o switch NVLink
O NVLink é uma interconexão direta bidirecional de GPU para GPU de 1,8TB/s que dimensiona a entrada e a saída (IO) de várias GPUs em um servidor. O chip NVIDIA NVLink Switch conecta vários NVLinks para fornecer comunicação de GPU completa em velocidade NVLink total dentro de um único rack e entre os racks.
Para permitir operações coletivas de alta velocidade, cada switch NVLink possui mecanismos para o Protocolo de Agregação e Redução Hierárquicas Escalonáveis (SHARP)™ da NVIDIA para reduções na rede e aceleração multicast.
Treine Modelos de Vários Trilhões de Parâmetros com Sistema de Switch NVLink
Com o NVSwitch, as conexões NVLink podem ser estendidas entre nós para criar um cluster de GPU de vários nós, contínuo e de alta largura de banda, formando efetivamente uma GPU do tamanho de um data center. O sistema de switch NVIDIA NVLink permite 130TB/s de largura de banda de GPU em um NVL72 para paralelismo de grandes modelos. Os clusters de vários servidores com NVLink dimensionam as comunicações de GPU em equilíbrio com o aumento da computação, de modo que o NVL72 pode suportar 9 vezes mais o desempenho da GPU do que um sistema único de oito GPUs.
Switch NVIDIA NVLink
O switch NVIDIA NVLink possui 144 portas NVLink com capacidade de comutação sem bloqueio de 14,4 TB/s. O switch de rack foi projetado para fornecer alta largura de banda e baixa latência em sistemas NVIDIA GB200 NVL72 com suporte externo de quinta geração, conectividade NVLink.
Dimensionamento da Empresa para Exascala
Conexão Total para Desempenho Incomparável
O switch NVLink é o primeiro chip switch em nível de rack capaz de suportar até 576 GPUs totalmente conectadas em uma malha de computação sem bloqueio. O switch NVLink interconecta todos os pares de GPU a incríveis 1.800GB/s. Ele suporta comunicação completa entre todos. As 72 GPUs do GB200 NVL72 podem ser usadas como um único acelerador de alto desempenho com até 1,4 exaFLOPS de poder de computação de IA.
A Plataforma Mais Poderosa de IA e HPC
O NVLink e o switch NVLink são componentes essenciais da solução completa de data center da NVIDIA, que incorpora hardware, rede, software, bibliotecas, modelos e aplicações de IA otimizadas do pacote de software NVIDIA AI Enterprise e do catálogo NVIDIA NGC™. A plataforma de ponta mais potente de IA e HPC permite que os pesquisadores forneçam resultados reais e implantem soluções na produção, gerando uma aceleração sem precedentes em todas as escalas.
Especificações
-
NVLink
-
Switch NVLink
| Terceira Geração | Quarta Geração | Quinta Geração | |
|---|---|---|---|
| NVLink por GPU | 600GB/s | 900GB/s | 1,800GB/s |
| Número Máximo de Links por GPU | 12 | 18 | 18 |
| Arquiteturas NVIDIA Suportadas | Arquitetura NVIDIA Ampere | Arquitetura NVIDIA Hopper™ | Arquitetura NVIDIA Blackwell |
| NVLink 3 Switch | NVLink 4 Switch | NVLink 5 Switch | |
|---|---|---|---|
| Número de GPUs com conexão direta dentro de um domínio NVLink | Até 8 | Até 8 | Até 576 |
| Largura de Banda Agregada Total | 600GB/s | 900GB/s | 1,800GB/s |
| Total aggregate bandwidth | 4.8TB/s | 7.2TB/s | 130TB/s |
| Arquiteturas NVIDIA Suportadas | Arquitetura NVIDIA Ampere | Arquitetura NVIDIA Hopper™ | Arquitetura NVIDIA Blackwell |
Especificações preliminares podem estar sujeitas a alterações.
Aprofunde-se na Arquitetura NVIDIA Blackwell