NVLink Fabric

I progressi dell'elaborazione multi-GPU

NVLink Fabric

INTERCONNESSIONE PIÙ VELOCE E PIÙ SCALABILE

I sistemi con più GPU e CPU stanno diventando la norma in molti settori industriali ora gli sviluppatori si affidano a un maggiore parallelismo nelle applicazioni con il computing con intelligenza artificiale. Questi includono configurazioni di sistemi a 4 e 8 GPU con interconnessione dei sistemi PCIe per risolvere problemi molto complessi. Tuttavia, la banda PCIe è sempre più satura a livello del sistema a più GPU, il che genera la necessità di interconnessioni multiprocessore più veloci e più scalabili.

Maximizing System Throughput

MASSIMIZZARE IL THROUGHPUT DEL SISTEMA

La tecnologia NVIDIA® NVLink™ affronta il problema dell'interconnessione fornendo una banda più ampia, più link e una maggiore scalabilità per le configurazioni di sistemi a più GPU e più GPU/CPU. Una singola GPU NVIDIA Tesla® V100 supporta fino a sei link NVLink e una larghezza di banda totale di 300 GB/sec, dieci volte la banda di PCIe 3. I server come il nuovo NVIDIA DGX-1™ sfruttano queste tecnologie per offrire maggiore scalabilità per il training in deep learning ultra veloce.

NUOVI LIVELLI DI ACCELERAZIONE GPU-GPU

Introdotto per la prima volta con l'architettura NVIDIA Pascal™, NVLink su Tesla V100 ha aumentato la velocità del segnale da 20 a 25 GB/secondo in ciascuna direzione. Può essere utilizzato per comunicazioni GPU-CPU e GPU-GPU, come nel DGX-1 con Tesla V100.

Tesla V100 con connessioni NVLink GPU-GPU e GPU-CPU

Tesla V100 con connessioni NVLink GPU-GPU e GPU-CPU

NVLink per la connessione di otto acceleratori Tesla V100

NVLink per la connessione di otto acceleratori Tesla V100 in topologia Hybrid Cube Mesh utilizzato su server DGX-1V

NUOVI LIVELLI DI PRESTAZIONI

NUOVI LIVELLI DI PRESTAZIONI

NVIDIA NVLink aumenta le prestazioni fino al 31% rispetto a un server con la stessa configurazione. La banda significativamente più ampia e la latenza ridotta permettono di sostenere carichi di lavoro di deep learning ancora più intensivi con una scalabilità garantita delle prestazioni, secondo la crescita.

NVSWITCH: NVLINK COMPLETAMENTE CONNESSO

La crescita rapida dei carichi di lavoro di deep learning ha generato la necessità di interconnessioni più rapide e scalabili, mentre la larghezza di banda PCIe diventa sempre di più un collo di bottiglia a livello di sistemi multi-GPU.

NVLink ha rappresentato una grande svolta per abilitare fino a otto GPU in un singolo server e accelerare le prestazioni oltre il PCIe. Ma per portare le prestazioni del deep learning su un livello ancora superiore occorre un fabric della GPU che abilità più GPU su un singolo server con connettività a massima larghezza di banda tra loro.

NVIDIA NVSwitch è la prima architettura switch su nodo a supportare 16 GPU completamente connesse su un singolo nodo server favorendo la comunicazione simultanea tra tutte le otto coppie di GPU alla velocità incredibile di 300 GB/s ciascuna. E queste 16 GPU completamente connesse possono essere utilizzate come singolo acceleratore su larga scala con 0,5 Terabyte di spazio di memoria unificato e 2 PetaFLOPS di potenza di elaborazione.

NVSwitch Technical Overview
Panoramica tecnica di NVLink
NVSwitch Chart Speedup

* ECWMF IFS: Il sistema di previsione integrato (IFS) è un modello numerico di previsione meteo sviluppato dall'European Centre for Medium-Range Weather Forecasts (ECMWF) basato a Reading, Regno Unito. L'ECMWF è un'organizzazione intergovernativa indipendente supportata dalla maggior parte degli stati europei che gestisce uno dei più grandi centri di supercomputer in Europa per aggiornamenti frequenti delle previsioni meteo internazionali. Il benchmark mini-app IFS concentra il suo lavoro sulla trasformazione armonica sferica che rappresenta un carico computazionale molto significativo dell'intero modello. Le velocità del benchmark mostrate qui sono superiori rispetto a quelle del modello IFS completo, poiché il benchmark amplifica le fasi di trasformazione dell'algoritmo (secondo la progettazione). Tuttavia, questo benchmark dimostra che i metodi estremamente efficaci e comprovati dell'ECMWF per fornire previsioni a livello mondiale restano validi su server dotati di NVSwitch come NVIDIA DGX-2, una risposta straordinaria al problema.

* Mixture of Experts (MoE): basato su una rete pubblicata da Google al Tensor2Tensor github, utilizzando il modello Transformer con layer MoE. I layer MoE consistono ciascuno di 128 esperto, ciascuno di essi costituito da una rete neurale profonda (DNN) più piccola e alimentata. Ogni esperto è specializzato in ambiti diversi e tutti sono distribuiti su diverse GPU, creando un traffico completo e significativo grazie alla comunicazione tra i layer della rete Transformer e i layer MoE. Il dataset di training utilizzato è il "benchmark da 1 miliardo di parole per la modellazione linguistica", secondo Google. Le operazioni di training utilizzano Volta Tensor Core e sono eseguite in 45.000 passaggi per raggiungere un livello di perplessità di 34. Tale carico di lavoro usa una dimensione in batch di 8.192 per GPU.

Prodotti
Tecnologie
Risorse