NVLink e NVSwitch

I fondamenti della comunicazione avanzata multi-GPU

Ecco come NVLink e NVSwitch lavorano insieme

NVIDIA NVLink

NVIDIA A100 PCIe with NVLink GPU-to-GPU connection
NVIDIA A100 with NVLink GPU-to-GPU connections

NVIDIA NVSwitch

The NVSwitch topology diagram

Massimizzare il throughput del sistema

NVLINK di terza generazione

La tecnologia NVIDIA NVLink affronta il problema dell'interconnessione fornendo una banda più ampia, più link e una maggiore scalabilità per le configurazioni di sistemi a più GPU. Una singola GPU NVIDIA A100 Tensor Core supporta fino a dodici connessioni NVLink di terza generazione per una larghezza di banda totale di 600 gigabyte al secondo (GB/sec), dieci volte la banda di PCIe Gen 4.

NVLink in A100 ha aumentato il numero di collegamenti da 6 a 12. Questa comunicazione diretta tra due GPU, migliora la precisione e la convergenza per HPC e IA. NVLink è disponibile anche nelle configurazioni PCIe a due GPU A100.

I server come NVIDIA DGX-1™ sfruttano questa tecnologia per offrire maggiore scalabilità per il training su deep learning ultra veloce.

Prestazioni di NVLink

NVLink in NVIDIA A100

NVIDIA NVSwitch

NVSwitch: NVLink completamente connesso

La rapida diffusione del deep learning ha generato la necessità di interconnessioni più rapide e scalabili, mentre la larghezza di banda PCIe spesso crea colli di bottiglia a livello di sistemi multi-GPU. Per la scalabilità dei carichi di lavoro di deep learning, sono necessari una larghezza di banda notevolmente maggiore e una latenza ridotta.

NVIDIA NVSwitch si basa sulla capacità di comunicazione avanzata di NVLink per risolvere questo problema. Porta le prestazioni del deep learning su un livello ancora superiore con un fabric della GPU che abilità più GPU su un singolo server con connettività a massima larghezza di banda tra loro. Ogni GPU dispone di 12 NVLinks a NVSwitch per consentire comunicazioni complesse e ad alta velocità.

 

La piattaforma end-to-end per data center IA e HPC più potente

NVLink e NVSwitch sono fondamenti essenziali della soluzione completa per data center NVIDIA che integra hardware, rete, software, librerie, modelli e applicazioni IA ottimizzati dal NGC™. Piattaforma IA e HPC completa più potente, consente ai ricercatori di fornire risultati in tempo reale e distribuire soluzioni nell'ambiente di produzione in modo scalabile, generando un'accelerazione senza precedenti su ogni ordine di grandezza.

Connessione piena per prestazioni senza pari

NVSwitch è la prima architettura switch su nodo a supportare da 8 a 16 GPU completamente connesse su un singolo nodo server. Il NVSwitch di seconda generazione favorisce la comunicazione simultanea tra tutte le otto coppie di GPU alla velocità incredibile di 600 GB/s. Supporta la comunicazione completa all-to-all con l'indirizzamento diretto della memoria peer-to-peer dalla GPU. Le 16 GPU possono essere utilizzate come singolo acceleratore su larga scala spazio di memoria unificato e fino a 5 petaFLOPS di potenza di elaborazione con deep learning.

Specifiche tecniche

  • NVIDIA NVLink

    NVIDIA NVLink

  • NVIDIA NVSwitch

    NVIDIA NVSwitch

  Seconda generazione Terza generazione
Banda NVLink totale 300 GByte/s 600 Gyte/i
Numero massimo di link per GPU 6 12
Architetture NVIDIA supportate NVIDIA Volta Architettura NVIDIA Ampere
  NVSwitch con NVLink di seconda generazione NVSwitch con NVLink di terza generazione
Numero di GPU con connessione diretta Fino a 16 Fino a 16
Banda GPU-GPU NVSwitch 300 GB/s 600 GB/s
Banda totale aggregata 4,8 TB/s 9,6 TB/s
Architetture NVIDIA supportate NVIDIA Volta Architettura NVIDIA Ampere

Inizia ora

Scopri NVIDIA DGX A100, il sistema universale per l'infrastruttura IA e il primo sistema IA basato sulla GPU NVIDIA A100 Tensor Core.