La necessità di interconnessioni più veloci e più scalabili

L'aumento delle richieste di calcolo in ambito IA e HPC, inclusa una classe emergente di modelli con milioni di miliardi di parametri, stanno facendo nascere l'esigenza di sistemi multi-GPU e multi-nodo con una comunicazione fluida e ad alta velocità tra tutte le GPU. Per creare la piattaforma di calcolo completa più potente, in grado di soddisfare la velocità dl business, occorre un'interconnessione più veloce e scalabile.

NVIDIA A100 PCIe with NVLink GPU-to-GPU connection
NVIDIA A100 with NVLink GPU-to-GPU connections

Prestazioni di NVLink

Prestazioni di NVLink

Collega completamente le GPU con NVIDIA NVSwitch

La terza generazione di NVIDIA NVSwitch si basa sulla capacità di comunicazione avanzata di NVLink per fornire una larghezza di banda più elevata e una latenza ridotta per carichi di lavoro ad alta intensità di calcolo. Per consentire l'esecuzione operazioni collettive ad alta velocità, ogni NVSwitch dispone di 64 porte NVLink dotate di engine per NVIDIA SHARP (Scalable Hierarchical Aggregation Reduction Protocol) per riduzioni in rete e accelerazione multicast.

Fully Connect GPUs with NVIDIA NVSwitch
NVLink and NVSwitch Work Together

Ecco come NVLink e NVSwitch lavorano insieme

NVLink è un'interconnessione diretta GPU-GPU che scala l'input/output (IO) multi-GPU all'interno del server. NVSwitch collega più NVLink per consentire la comunicazione tra tutte le GPU alla massima velocità di NVLink in un singolo nodo e tra più nodi.    

Con la combinazione di NVLink e NVSwitch, NVIDIA ha vinto il MLPerf, il primo benchmark di settore per l'IA.

Scalabilità per addestrare modelli con trilioni di parametri

Con NVSwitch, le connessioni NVLink possono essere estese su più nodi per creare un cluster GPU fluido, a elevata larghezza di banda e multi-nodo, formando efficacemente una GPU di dimensioni data center. Aggiungendo un secondo livello di NVSwitch esternamente ai server, la rete NVLink è in grado di collegare fino a 256 GPU e fornire fino a 57,6 terabyte al secondo (TB/s) di larghezza di banda completa, consentendo di risolvere rapidamente anche i processi IA più voluminosi. 

Scale-Up to Train Trillion Parameter Models
NVIDIA NVLink Switch

NVIDIA NVLink Switch

Lo switch NVIDIA NVLink include 128 porte NVLink con una capacità di commutazione non bloccante di 3.2 terabytes al secondo (TB/s). Lo switch rack è progettato per fornire elevata larghezza di banda e bassa latenza nei sistemi NVIDIA DGX e NVIDIA HGX che supportano la connettività NVLink esterna di quarta generazione.

Scalabilità da enterprise a exascale

Connessione piena per prestazioni senza pari

NVSwitch è la prima architettura switch su nodo a supportare da 8 a 16 GPU completamente connesse su un singolo nodo server. NVSwitch di terza generazione interconnette ogni coppia di GPU con un'incredibile velocità di 900 GB/s. Supporta la comunicazione completa all-to-all. Le GPU possono essere utilizzate come singolo acceleratore ad alte prestazioni con fino a 15 petaFLOPS di potenza di calcolo in deep learning. 

La piattaforma per IA e HPC più potente.

NVLink e NVSwitch sono fondamenti essenziali della soluzione completa per data center NVIDIA che integra hardware, rete, software, librerie, modelli e applicazioni IA ottimizzati dalla suite software NVIDIA AI Enterprise e dal catalogo NVIDIA  NGC. Piattaforma IA e HPC completa più potente, consente ai ricercatori di fornire risultati in tempo reale e distribuire soluzioni nell'ambiente di produzione in modo scalabile, generando un'accelerazione senza precedenti su ogni ordine di grandezza. 

Specifiche

  • NVLink

    NVLink

  • NVSwitch

    NVSwitch

  • NVLink e NVSwitch tra server

    NVLink e NVSwitch tra server

  Seconda generazione Terza generazione Quarta generazione
Banda NVLink per GPU 200 GB/s 600 GB/s 200 GB/s
Numero massimo di link per GPU 6 12 18
Architetture NVIDIA supportate Architettura NVIDIA Volta Architettura NVIDIA Ampere Architettura NVIDIA Hopper
  Prima generazione Seconda generazione Terza generazione
Numero di GPU con nodo/connessione diretti Fino a 8 Fino a 8 Fino a 8
Banda GPU-GPU NVSwitch 200 GB/s 600 GB/s 200 GB/s
Banda totale aggregata 2,4 TB/s 4,8 TB/s 7,2 TB/s
Architetture NVIDIA supportate Architettura NVIDIA Volta Architettura NVIDIA Ampere Architettura NVIDIA Hopper
  NVLink e NVSwitch tra server
Numero di GPU con connessione diretta Fino a 256
Banda GPU-GPU NVSwitch 200 GB/s
Banda totale aggregata 57,6 TB/s
Riduzioni in rete Riduzione SHARP in NVSwitch
Supporto software chiave CUDA®, CUDA-X, Magnum IO
Architetture NVIDIA supportate Architettura NVIDIA Hopper

Dentro l'architettura NVIDIA Hopper.

Dai uno sguardo più approfondito all'architettura NVIDIA Hopper e alla sua implementazione nella GPU NVIDIA H100 Tensor Core.