NVIDIA NVLink e NVLink Switch
Le fondamenta della comunicazione ad alta velocità e multi-GPU per alimentare più velocemente grandi set di dati nei modelli e scambiare rapidamente dati tra GPU.
L'esigenza di interconnessioni più veloci e più scalabili
Per sfruttare appieno il potenziale del calcolo exascale e dei modelli IA da trilioni di parametri, è necessario una comunicazione rapida e fluida tra ogni GPU all'interno di un cluster di server. La quinta generazione di NVIDIA NVLink™ è un'interconnessione scalabile che potenzia il ragionamento IA e accelera le prestazioni per i modelli di inferenza di trilioni di parametri.
Massimizzare il throughput del sistema con NVIDIA NVLink
NVLink di quinta generazione migliora notevolmente la scalabilità per sistemi multi-GPU di grandi dimensioni consentendo alle GPU di condividere memoria e calcoli per i flussi di lavoro di addestramento, inferenza e ragionamento. Una singola GPU NVIDIA Blackwell supporta fino a 18 connessioni NVLink 100 gigabyte al secondo (GB/s) per una larghezza di banda totale di 1,8 terabyte al secondo (TB/s), ovvero 2 volte più di banda rispetto alla generazione precedente e oltre 14 volte la larghezza di banda di PCIe Gen5. Le piattaforme server come NVIDIA GB300 NVL72 sfruttano questa tecnologia per fornire una maggiore scalabilità per i modelli di grandi dimensioni più complessi di oggi.
Prestazioni di NVLink su larga scala
NVLink in NVIDIA GB300 aumenta la banda di comunicazione tra GPU di 1,5 volte rispetto alla generazione precedente, permettendo ai ricercatori di utilizzare applicazioni più grandi e più sofisticate per risolvere problemi sempre più complessi.
Aumenta il throughput di ragionamento con NVLink Communications
Collega le GPU con NVIDIA NVLink e NVLink Switch
NVLink è un'interconnessione bidirezionale e diretta da GPU a GPU da 1,8 TB/s che scala l'input e l'output (IO) di più GPU all'interno di un server. I chip NVIDIA NVLink Switch connettono più NVLink per fornire una comunicazione GPU da tutto a tutti alla piena velocità di NVLink all'interno di un singolo rack e tra i rack diversi.
Per consentire operazioni collettive ad alta velocità, ogni switch NVLink dispone di motori per il protocollo NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP)™ per la riduzione delle emissioni nella rete e l'accelerazione del multicast.
Accelera il ragionamento durante il test per modelli di trilioni di parametri con il sistema NVLink Switch
Con NVLink Switch, le connessioni NVLink possono essere estese su più nodi per creare un cluster GPU fluido, a elevata larghezza di banda e multi-nodo, formando efficacemente una GPU di dimensioni data center. NVIDIA NVLink Switch consente di ottenere 130 TB/s di banda della GPU in un NVL72 da GB300 per il parallelismo di modelli di grandi dimensioni. I cluster multi-server con NVLink scalano le comunicazioni delle GPU in equilibrio con la maggiore capacità di calcolo, pertanto NVL72 può supportare 9 volte il numero di GPU rispetto a un singolo sistema da otto GPU.
NVIDIA NVLink Switch
Lo switch NVIDIA NVLink 5 è dotato di 144 porte NVLink con una capacità di commutazione non bloccante di 14,4 TB/s. Lo switch rack è progettato per fornire elevata larghezza di banda e bassa latenza nei sistemi NVIDIA NVIDIA GB300 NVL72 che supportano la connettività NVLink esterna di quarta generazione.
NVIDIA NVLink Fusion
NVIDIA NVLink Fusion rende possibile una scalabilità delle prestazioni IA mai vista prima per il calcolo personalizzato, consentendo ai fornitori di servizi hyperscale di creare un'infrastruttura IA comune con la tecnologia NVIDIA NVLink e l'architettura rack-scale.
Scalabilità da enterprise a esascala
Connessione piena per prestazioni senza pari
Lo switch NVLink è il primo chip switch a livello di rack in grado di supportare fino a 576 GPU completamente connesse in un tessuto di calcolo non bloccante. Lo switch NVLink interconnette ogni coppia di GPU a incredibili 1.800 GB/s. Supporta la comunicazione completa all-to-all. Le 72 GPU nel NVIDIA GB300 NVL72 possono essere utilizzate come singolo acceleratore ad alte prestazioni con un massimo di 1,4 exaFLOPS di potenza di calcolo IA.
La piattaforma per IA e HPC più potente.
NVLink e NVLink Switch sono fondamenti essenziali della soluzione completa per data center NVIDIA che integra hardware, rete, software, librerie, modelli e applicazioni IA ottimizzati dalla suite software NVIDIA AI Enterprise e dal catalogo NVIDIA NGC™. Piattaforma IA e HPC completa più potente, consente ai ricercatori di fornire risultati in tempo reale e distribuire soluzioni nell'ambiente di produzione in modo scalabile, generando un'accelerazione senza precedenti su ogni ordine di grandezza.
Specifiche
-
NVLink
-
NVLink Switch
| Terza generazione | Quarta generazione | Quinta generazione | |
|---|---|---|---|
| Banda NVLink per GPU | 600 GB/s | 900 GB/s | 1.800 GB/s |
| Numero massimo di link per GPU | 12 | 18 | 18 |
| Architetture NVIDIA supportate | Architettura NVIDIA Ampere | architettura NVIDIA Hopper™ | dell'architettura NVIDIA Blackwell |
| NVLink 3 Switch | NVLink 4 Switch | NVLink 5 Switch | |
|---|---|---|---|
| Numero di GPU con connessione diretta al dominio NVLink | Fino a 8 | Fino a 8 | Fino a 576 |
| Banda GPU-GPU NVSwitch | 600 GB/s | 900 GB/s | 1.800 GB/s |
| Banda totale aggregata | 4,8 TB/s | 7,2 TB/s | 1 PB/s |
| Architetture NVIDIA supportate | Architettura NVIDIA Ampere | architettura NVIDIA Hopper™ | dell'architettura NVIDIA Blackwell |
Specifiche preliminari, soggette a modifica.
Approfondisci l'architettura NVIDIA Blackwell