La necessità di interconnessioni più veloci e più scalabili

L'aumento delle richieste di calcolo in ambito IA e HPC, inclusa una classe emergente di modelli con milioni di miliardi di parametri, stanno facendo nascere l'esigenza di sistemi multi-GPU e multi-nodo con una comunicazione fluida e ad alta velocità tra tutte le GPU. Per creare la piattaforma di calcolo completa più potente, in grado di soddisfare la velocità dl business, occorre un'interconnessione più veloce e scalabile.

Massimizzare il throughput del sistema con NVIDIA NVLink

La quarta generazione di tecnologia NVIDIA® NVLink® fornisce una banda 1,5 volte più ampia e una maggiore scalabilità per le configurazioni di sistemi a più GPU. Una singola GPU NVIDIA H100 Tensor Core supporta fino a 18 connessioni NVLink per una larghezza di banda totale di 900 gigabyte al secondo (GB/sec), dieci volte la banda di PCIe Gen5. 

I server come NVIDIA DGX™ H100 sfruttano questa tecnologia per offrire maggiore scalabilità per il training su deep learning ultra veloce.

NVIDIA A100 PCIe con connessione GPU-GPU NVLink

NVIDIA H100 PCIe con connessione GPU-GPU NVLink

NVIDIA A100 con connessioni NVLink GPU-GPU

NVIDIA H100 con connessioni NVLink GPU-GPU

Prestazioni di NVLink

Prestazioni di NVLink

NVLink in NVIDIA H100 aumenta la banda di comunicazione tra GPU di 1,5 volte rispetto alla generazione precedente, permettendo ai ricercatori di utilizzare applicazioni più grandi e più sofisticate per risolvere problemi sempre più complessi.

Collega completamente le GPU con NVIDIA NVSwitch

La terza generazione di NVIDIA NVSwitch™ si basa sulla capacità di comunicazione avanzata di NVLink per fornire una larghezza di banda più elevata e una latenza ridotta per carichi di lavoro ad alta intensità di calcolo. Per consentire l'esecuzione operazioni collettive ad alta velocità, ogni NVSwitch dispone di 64 porte NVLink dotate di engine per NVIDIA SHARP (Scalable Hierarchical Aggregation Reduction Protocol) per riduzioni in rete e accelerazione multicast.

Collega completamente le GPU con NVIDIA NVSwitch

NVSwitch consente a otto GPU in un sistema NVIDIA DGX H100 di collaborare in un cluster con connettività a massima larghezza di banda.

NVLink e NVSwitch lavorano insieme

Ecco come NVLink e NVSwitch lavorano insieme

NVLink è un'interconnessione diretta GPU-GPU che scala l'input/output (IO) multi-GPU all'interno del server. NVSwitch collega più NVLink per consentire la comunicazione tra tutte le GPU alla massima velocità di NVLink in un singolo nodo e tra più nodi.    

Con la combinazione di NVLink e NVSwitch, NVIDIA ha vinto il MLPerf, il primo benchmark di settore per l'IA.

Guarda la tecnologia in azione 

Scalabilità per addestrare modelli con trilioni di parametri con il sistema NVLink Switch

Con NVSwitch, le connessioni NVLink possono essere estese su più nodi per creare un cluster GPU fluido, a elevata larghezza di banda e multi-nodo, formando efficacemente una GPU di dimensioni data center. Aggiungendo un secondo livello di NVLink Switch esternamente ai server, il sistema NVLink Switch è in grado di collegare fino a 256 GPU e fornire fino a 57,6 terabyte al secondo (TB/s) di larghezza di banda completa, consentendo di risolvere rapidamente anche i processi IA più voluminosi. 

Scopri di più su NVIDIA H100 
Scalabilità per addestrare modelli con trilioni di parametri
NVIDIA NVLink Switch

NVIDIA NVLink Switch

NVIDIA NVLink Switch include 128 porte NVLink con una capacità di commutazione non bloccante di 3,2 terabyte al secondo (Tb/s). Lo switch rack è progettato per fornire elevata larghezza di banda e bassa latenza nei sistemi NVIDIA DGX e NVIDIA HGX™ che supportano la connettività NVLink esterna di quarta generazione.

Scopri di più su NVIDIA DGX H100 

Scalabilità da enterprise a exascale

Connessione piena per prestazioni senza pari

NVSwitch è la prima architettura switch su nodo a supportare da 8 a 16 GPU completamente connesse su un singolo nodo server. NVSwitch di terza generazione interconnette ogni coppia di GPU con un'incredibile velocità di 900 GB/s. Supporta la comunicazione completa all-to-all. Le GPU possono essere utilizzate come singolo acceleratore ad alte prestazioni con fino a 15 petaFLOPS di potenza di calcolo in deep learning. 

La piattaforma per IA e HPC più potente.

NVLink e NVSwitch sono fondamenti essenziali della soluzione completa per data center NVIDIA che integra hardware, rete, software, librerie, modelli e applicazioni IA ottimizzati dalla suite software NVIDIA AI Enterprise e dal catalogo NVIDIA  NGC™. Piattaforma IA e HPC completa più potente, consente ai ricercatori di fornire risultati in tempo reale e distribuire soluzioni nell'ambiente di produzione in modo scalabile, generando un'accelerazione senza precedenti su ogni ordine di grandezza. 

Specifiche

  • NVLink

    NVLink

  • NVSwitch

    NVSwitch

  • Sistema NVLink Switch

    Sistema NVLink Switch

  Seconda generazione Terza generazione Quarta generazione
Banda NVLink per GPU 200 GB/s 600 GB/s 200 GB/s
Numero massimo di link per GPU 6 12 18
Architetture NVIDIA supportate Architettura NVIDIA Volta™ Architettura NVIDIA Ampere Architettura NVIDIA Hopper™
  Prima generazione Seconda generazione Terza generazione
Numero di GPU con nodo/connessione diretti Fino a 8 Fino a 8 Fino a 8
Banda GPU-GPU NVSwitch 200 GB/s 600 GB/s 200 GB/s
Banda totale aggregata 2,4 TB/s 4,8 TB/s 7,2 TB/s
Architetture NVIDIA supportate Architettura NVIDIA Volta Architettura NVIDIA Ampere Architettura NVIDIA Hopper
  Sistema NVLink Switch
Numero di GPU con connessione diretta Fino a 256
Banda GPU-GPU NVSwitch 200 GB/s
Banda totale aggregata 57,6 TB/s
Riduzioni in rete Riduzione SHARP in NVSwitch
Supporto software chiave CUDA®, CUDA-X™, Magnum IO™
Architetture NVIDIA supportate Architettura NVIDIA Hopper

Specifiche preliminari, soggette a modifica

Approfondisci l'architettura NVIDIA Hopper

Leggi il white paper
Prodotti
Tecnologie
Software
Risorse