NVLink e NVSwitch

I fondamenti della comunicazione avanzata multi-GPU

La necessità di interconnessioni più veloci e più scalabili

Sono sempre di più gli sviluppatori nei diversi settori che si affidano al computing parallelo per applicazioni come IA, facendo nascere la necessità di utilizzare sistemi multi-GPU. Ma sebbene le configurazioni a più processori PCIe siano lo standard per risolvere problemi complessi, la banda PCIe spesso crea colli di bottiglia. Quello che serve è un'interconnessione multi-processore più veloce e più scalabile.

Ecco come NVLink e NVSwitch lavorano insieme

Presentazione di NVIDIA® NVLinkTM e NVIDIA NVSwitchTM. NVLink è un'interconnessione diretta da GPU a GPU ad alta velocità. NVSwitch potenzia l'interconnettività incorporando più NVLink per fornire comunicazioni GPU complete in un singolo nodo come NVIDIA HGX-2TM. La combinazione di NVLink e NVSwitch resa possibile da NVIDIA per vincere il MLPerf, il primo benchmark di settore per l'IA.

NVLink

Tesla V100 with NVLink GPU-to-GPU and GPU-to-CPU Connections

Tesla V100 con connessioni NVLink GPU-GPU

NVSwitch

NVIDIA NVLink Performance Since 2014

Comunicazioni complete tra 16 GPU

NVLink

NVLink massimizza la produttività del sistema

La tecnologia NVIDIA NVLink affronta il problema dell'interconnessione fornendo una banda più ampia, più link e una maggiore scalabilità per le configurazioni di sistemi a più GPU. Una singola GPU NVIDIA Tesla® V100 supporta fino a sei connessioni NVLink per una larghezza di banda totale di 300 gigabyte al secondo (GB/sec), dieci volte la banda di PCIe Gen 3. I server come NVIDIA DGX-1TM e DGX-2 sfruttano questa tecnologia per offrire maggiore scalabilità per il training su deep learning ultra veloce. NVLink supporta anche fino a 8 GPU in una singola macchina virtuale con NVIDIA Quadro Virtual Data Center Workstation (vDWS) o il software NVIDIA Virtual Compute Server (vComputeServer).

NVIDIA NVLink Performance Since 2014

Massimi livelli di accelerazione GPU-GPU

Introdotto per la prima volta con l'architettura NVIDIA Pascal™, NVLink su Tesla V100 ha aumentato la velocità del segnale da 20 a 25 GB/secondo in ciascuna direzione. Questa comunicazione diretta tra due GPU, migliora la precisione e la convergenza per HPC e IA e raggiunge velocità su un ordine di grandezza superiore al PCIe.

NVLink Connecting Eight Tesla V100 Accelerators in a Hybrid Cube Mesh Topology as Used in the DGX-1V Server

Nuovi livelli di prestazioni

NVLink aumenta le prestazioni fino al 70% rispetto a un server con la stessa configurazione. La banda significativamente più ampia e la latenza ridotta permettono di sostenere carichi di lavoro di deep learning ancora più intensivi con una scalabilità garantita delle prestazioni.

NVLink Delivers Up To 70% Speedup vs PCIe

NVLink Delivers Up To 70% Speedup vs PCIe

NVLink: GPU Servers: Dual Xeon Gold 6140@2.30GHz or E5-2698 v4@3.6GHz for PyTorch with 8xV100 PCIe vs 8xV100 NVLink. SW benchmarks: MILC (APEX medium). HOOMD-Blue (microsphere), LAMMPS (LJ 2.5).

NVSwitch

NVSwitch: NVLink completamente connesso

La rapida diffusione del deep learning ha generato la necessità di interconnessioni più rapide e scalabili, mentre la larghezza di banda PCIe spesso crea colli di bottiglia a livello di sistemi multi-GPU.

NVIDIA NVSwitch si basa sulla capacità di comunicazione avanzata di NVLink per risolvere questo problema. Porta le prestazioni del deep learning su un livello ancora superiore con un fabric della GPU che abilità più GPU su un singolo server con connettività a massima larghezza di banda tra loro.

Connessione piena per prestazioni senza pari

NVSwitch è la prima architettura switch su nodo a supportare 16 GPU completamente connesse su un singolo nodo server favorendo la comunicazione simultanea tra tutte le otto coppie di GPU alla velocità incredibile di 300 GB/s. Le 16 GPU possono essere utilizzate come singolo acceleratore su larga scala con 0,5 terabyte di spazio di memoria unificato e 2 petaFLOPS di potenza di elaborazione con deep learning. Un singolo sistema HGX-2 o DGX-2 con NVSwitch offre prestazioni applicative fino a 2,7 volte superiori rispetto ai 2 sistemi HGX-1 o DGX-1 connessi con InfiniBand.

Scarica: panoramica tecnica di NVSwitch.

NVSwitch Delivers a >2X Speedup for Deep Learning and HPC

2 server HGX-1V con processore dual-socket Xeon E5 2698v4, 8 GPU V100. Server connessi tramite 4 porte IB 100 Gb IB (eseguiti su DGX-1) | Server HGX-2 con processore dual-socket Xeon Platinum 8168, 16 GPU V100, NVSwitch (eseguito su DGX-2).

   ECWMF IFS: il sistema di previsione integrato (IFS) è un modello numerico di previsione meteo sviluppato dall'European Centre for Medium-Range Weather Forecasts (ECMWF) basato a Reading, Regno Unito. L'ECMWF è un'organizzazione intergovernativa indipendente supportata dalla maggior parte degli stati europei che gestisce uno dei più grandi centri di supercomputer in Europa per aggiornamenti frequenti delle previsioni meteo internazionali. Il benchmark mini-app IFS concentra il suo lavoro sulla trasformazione armonica sferica che rappresenta un carico computazionale molto significativo dell'intero modello. Le velocità del benchmark mostrate qui sono superiori rispetto a quelle del modello IFS completo, poiché il benchmark amplifica le fasi di trasformazione dell'algoritmo (secondo la progettazione). Tuttavia, questo benchmark dimostra che i metodi estremamente efficaci e comprovati dell'ECMWF per fornire previsioni a livello mondiale restano validi su server dotati di NVSwitch come NVIDIA DGX-2, una risposta straordinaria al problema.

   Mixture of Experts (MoE): Basato su una rete pubblicata da Google al Tensor2 Tensor github, utilizzando il modello Transformer con layer MoE. Ogni layer MoE consiste di 128 esperti, ciascuno di essi costituito da una rete neurale profonda (DNN) più piccola e alimentata. Ogni esperto è specializzato in ambiti diversi e tutti sono distribuiti su diverse GPU, creando un traffico completo e significativo grazie alla comunicazione tra i layer della rete Transformer e i layer MoE. Il dataset di training utilizzato è il "benchmark da 1 miliardo di parole per la modellazione linguistica", secondo Google. Le operazioni di training utilizzano NVIDIA Volta Tensor Core e sono eseguite in 45.000 passaggi per raggiungere un livello di perplessità pari a 34. Tale carico di lavoro usa una dimensione in batch di 8.192 per GPU.

NVIDIA HGX-2

Esplora la piattaforma server accelerata più potente del mondo per deep learning, machine learning e HPC.

SCOPRI DI PIÙ
Prodotti
Tecnologie
Risorse