I fondamenti della comunicazione avanzata multi-GPU, dentro e tra server.
L'aumento delle richieste di calcolo in ambito IA e HPC, inclusa una classe emergente di modelli con milioni di miliardi di parametri, stanno facendo nascere l'esigenza di sistemi multi-GPU e multi-nodo con una comunicazione fluida e ad alta velocità tra tutte le GPU. Per creare la piattaforma di calcolo completa più potente, in grado di soddisfare la velocità dl business, occorre un'interconnessione più veloce e scalabile.
La quarta generazione di tecnologia NVIDIA® NVLink® fornisce una banda 1,5 volte più ampia e una maggiore scalabilità per le configurazioni di sistemi a più GPU. Una singola GPU NVIDIA H100 Tensor Core supporta fino a 18 connessioni NVLink per una larghezza di banda totale di 900 gigabyte al secondo (GB/sec), dieci volte la banda di PCIe Gen5.
I server come NVIDIA DGX™ H100 sfruttano questa tecnologia per offrire maggiore scalabilità per il training su deep learning ultra veloce.
NVIDIA H100 PCIe with NVLink GPU-to-GPU connection
NVIDIA H100 with NVLink GPU-to-GPU connections
NVLink in NVIDIA H100 aumenta la banda di comunicazione tra GPU di 1,5 volte rispetto alla generazione precedente, permettendo ai ricercatori di utilizzare applicazioni più grandi e più sofisticate per risolvere problemi sempre più complessi.
La terza generazione di NVIDIA NVSwitch™ si basa sulla capacità di comunicazione avanzata di NVLink per fornire una larghezza di banda più elevata e una latenza ridotta per carichi di lavoro ad alta intensità di calcolo. Per consentire l'esecuzione operazioni collettive ad alta velocità, ogni NVSwitch dispone di 64 porte NVLink dotate di engine per NVIDIA SHARP (Scalable Hierarchical Aggregation Reduction Protocol) per riduzioni in rete e accelerazione multicast.
NVSwitch consente a otto GPU in un sistema NVIDIA DGX H100 di collaborare in un cluster con connettività a massima larghezza di banda.
NVLink è un'interconnessione diretta GPU-GPU che scala l'input/output (IO) multi-GPU all'interno del server. NVSwitch collega più NVLink per consentire la comunicazione tra tutte le GPU alla massima velocità di NVLink in un singolo nodo e tra più nodi.
Con la combinazione di NVLink e NVSwitch, NVIDIA ha vinto il MLPerf, il primo benchmark di settore per l'IA.
Con NVSwitch, le connessioni NVLink possono essere estese su più nodi per creare un cluster GPU fluido, a elevata larghezza di banda e multi-nodo, formando efficacemente una GPU di dimensioni data center. Aggiungendo un secondo livello di NVSwitch esternamente ai server, la rete NVLink è in grado di collegare fino a 256 GPU e fornire fino a 57,6 terabyte al secondo (TB/s) di larghezza di banda completa, consentendo di risolvere rapidamente anche i processi IA più voluminosi.
Lo switch NVIDIA NVLink include 128 porte NVLink con una capacità di commutazione non bloccante di 3.2 terabytes al secondo (TB/s). Lo switch rack è progettato per fornire elevata larghezza di banda e bassa latenza nei sistemi NVIDIA DGX e NVIDIA HGX™ che supportano la connettività NVLink esterna di quarta generazione.
NVSwitch è la prima architettura switch su nodo a supportare da 8 a 16 GPU completamente connesse su un singolo nodo server. NVSwitch di terza generazione interconnette ogni coppia di GPU con un'incredibile velocità di 900 GB/s. Supporta la comunicazione completa all-to-all. Le GPU possono essere utilizzate come singolo acceleratore ad alte prestazioni con fino a 15 petaFLOPS di potenza di calcolo in deep learning.
NVLink e NVSwitch sono fondamenti essenziali della soluzione completa per data center NVIDIA che integra hardware, rete, software, librerie, modelli e applicazioni IA ottimizzati dalla suite software NVIDIA AI Enterprise e dal catalogo NVIDIA NGC™. Piattaforma IA e HPC completa più potente, consente ai ricercatori di fornire risultati in tempo reale e distribuire soluzioni nell'ambiente di produzione in modo scalabile, generando un'accelerazione senza precedenti su ogni ordine di grandezza.
Specifiche preliminari, soggette a modifica
Dai uno sguardo più approfondito all'architettura NVIDIA Hopper e alla sua implementazione nella GPU NVIDIA H100 Tensor Core.