NVLink e NVSwitch

I fondamenti della comunicazione avanzata multi-GPU

Ecco come NVLink e NVSwitch lavorano insieme

NVLink

Tesla V100 with NVLink GPU-to-GPU and GPU-to-CPU Connections

NVSwitch

NVIDIA NVLink Performance Since 2014

NVLink massimizza la produttività del sistema

La tecnologia NVIDIA NVLink affronta il problema dell'interconnessione fornendo una banda più ampia, più link e una maggiore scalabilità per le configurazioni di sistemi a più GPU. Una singola GPU NVIDIA Tesla® V100 supporta fino a sei connessioni NVLink per una larghezza di banda totale di 300 gigabyte al secondo (GB/sec), dieci volte la banda di PCIe Gen 3. I server come NVIDIA DGX-1TM e DGX-2 sfruttano questa tecnologia per offrire maggiore scalabilità per il training su deep learning ultra veloce. NVLink supporta anche fino a 8 GPU in una singola macchina virtuale con NVIDIA Quadro Virtual Data Center Workstation (vDWS) o il software NVIDIA Virtual Compute Server (vComputeServer).

NVIDIA NVLink Performance Since 2014

Massimi livelli di accelerazione GPU-GPU

Introdotto per la prima volta con l'architettura NVIDIA Pascal™, NVLink su Tesla V100 ha aumentato la velocità del segnale da 20 a 25 GB/secondo in ciascuna direzione. Questa comunicazione diretta tra due GPU, migliora la precisione e la convergenza per HPC e IA e raggiunge velocità su un ordine di grandezza superiore al PCIe.

NVLink Connecting Eight Tesla V100 Accelerators in a Hybrid Cube Mesh Topology as Used in the DGX-1V Server

Nuovi livelli di prestazioni

NVLink aumenta le prestazioni fino al 70% rispetto a un server con la stessa configurazione. La banda significativamente più ampia e la latenza ridotta permettono di sostenere carichi di lavoro di deep learning ancora più intensivi con una scalabilità garantita delle prestazioni.

NVLink Delivers Up To 70% Speedup vs PCIe

NVLink Delivers Up To 70% Speedup vs PCIe

NVLink: GPU Servers: Dual Xeon Gold 6140@2.30GHz or E5-2698 v4@3.6GHz for PyTorch with 8xV100 PCIe vs 8xV100 NVLink. SW benchmarks: MILC (APEX medium). HOOMD-Blue (microsphere), LAMMPS (LJ 2.5).

NVSwitch

NVSwitch: NVLink completamente connesso

La rapida diffusione del deep learning ha generato la necessità di interconnessioni più rapide e scalabili, mentre la larghezza di banda PCIe spesso crea colli di bottiglia a livello di sistemi multi-GPU.

NVIDIA NVSwitch si basa sulla capacità di comunicazione avanzata di NVLink per risolvere questo problema. Porta le prestazioni del deep learning su un livello ancora superiore con un fabric della GPU che abilità più GPU su un singolo server con connettività a massima larghezza di banda tra loro.

Connessione piena per prestazioni senza pari

NVSwitch è la prima architettura switch su nodo a supportare 16 GPU completamente connesse su un singolo nodo server favorendo la comunicazione simultanea tra tutte le otto coppie di GPU alla velocità incredibile di 300 GB/s. Le 16 GPU possono essere utilizzate come singolo acceleratore su larga scala con 0,5 terabyte di spazio di memoria unificato e 2 petaFLOPS di potenza di elaborazione con deep learning. Un singolo sistema HGX-2 o DGX-2 con NVSwitch offre prestazioni applicative fino a 2,7 volte superiori rispetto ai 2 sistemi HGX-1 o DGX-1 connessi con InfiniBand.

NVSwitch Delivers a >2X Speedup for Deep Learning and HPC

2 server HGX-1V con processore dual-socket Xeon E5 2698v4, 8 GPU V100. Server connessi tramite 4 porte IB 100 Gb IB (eseguiti su DGX-1) | Server HGX-2 con processore dual-socket Xeon Platinum 8168, 16 GPU V100, NVSwitch (eseguito su DGX-2).

NVIDIA HGX-2

Esplora la piattaforma server accelerata più potente del mondo per deep learning, machine learning e HPC.