NVLink et NVSwitch

Les fondations des communications multi-GPU avancées

Comment fonctionnent NVLink et NVSwitch ?

NVLink

Tesla V100 with NVLink GPU-to-GPU and GPU-to-CPU Connections

NVSwitch

NVIDIA NVLink Performance Since 2014

NVLink optimise le rendement système

La technologie NVIDIA® NVLink améliore les performances d’interconnexion en fournissant une bande passante plus élevée, un plus grand nombre de liens et une meilleure évolutivité pour les configurations système multi-GPU. Un seul GPU NVIDIA Tesla® V100 peut ainsi prendre en charge jusqu’à six liens NVLink pour une bande passante totale de 300 Go/s – soit 10 fois plus qu’avec le standard PCIe 3. Des serveurs comme les tout nouveaux systèmes NVIDIA DGX-1TM et DGX-2 exploitent pleinement le potentiel de cette technologie en vous offrant davantage d’évolutivité avec une accélération significative des workflows d’entraînement Deep Learning. NVLink prend également en charge jusqu’à 8 GPU au sein d’une seule machine virtuelle grâce à la Station de travail virtuelle NVIDIA Quadro pour Data Center (vDWS) et au logiciel NVIDIA Virtual Compute Server (vComputeServer).

NVIDIA NVLink Performance Since 2014

Accélération optimale des communications GPU vers GPU

Grâce à la puissance incomparable de l’architecture NVIDIA Pascal™, les configurations NVLink avec Tesla V100 ont permis d’augmenter le débit de 20 à 25 Go/s dans chaque direction. Cette liaison de communication directe entre deux GPU améliore la précision et la convergence du calcul haute performance (HPC) et de l’IA, et permet de bénéficier de vitesses largement supérieures à celles de la technologie PCIe.

NVLink Connecting Eight Tesla V100 Accelerators in a Hybrid Cube Mesh Topology as Used in the DGX-1V Server

Des performances sans précédent

NVLink peut délivrer jusqu’à 70 % de performances additionnelles par rapport aux serveurs dotés d’une configuration similaire. Sa bande passante élevée et sa latence réduite permettent de déployer des workflows Deep Learning de nouvelle génération et d’adapter les performances de calcul à l’évolution de vos besoins.

NVLink Delivers Up To 70% Speedup vs PCIe

NVLink Delivers Up To 70% Speedup vs PCIe

NVLink: GPU Servers: Dual Xeon Gold 6140@2.30GHz or E5-2698 v4@3.6GHz for PyTorch with 8xV100 PCIe vs 8xV100 NVLink. SW benchmarks: MILC (APEX medium). HOOMD-Blue (microsphere), LAMMPS (LJ 2.5).

NVSwitch

NVSwitch : optimisation de la connectivité NVLink

Les limites de bande passante du standard PCIe ne permettent plus de répondre convenablement aux évolutions récentes des systèmes multi-GPU. Un nouveau modèle d’interconnexion multiprocesseur, plus rapide et évolutif, est donc devenu nécessaire pour gérer convenablement le Deep Learning.

NVIDIA NVSwitch s’appuie sur les capacités de communication avancées de NVLink pour remédier au problème. Cette technologie fait passer les performances des workflows Deep Learning au niveau supérieur en ayant recours à une topologie GPU à même d’interconnecter un plus grand nombre de GPU avec une bande passante optimisée.

Connexion intégrale pour des performances incomparables

Première architecture de commutation sur nœud à prendre en charge un total de 16 GPU interconnectés sur un seul nœud de serveurs, NVSwitch délivre des communications simultanées entre les huit paires de GPU à une vitesse exceptionnelle de 300 Go/s. Ces 16 GPU peuvent être utilisés en tant qu’accélérateur à grande échelle avec un espace mémoire unifié de 0,5 téraoctet et une puissance de calcul pouvant atteindre 2 pétaflops. Un seul système HGX-2 ou DGX-2 avec NVSwitch délivre jusqu’à 2,7 fois plus de performances pour les applications que deux systèmes HGX-1 ou DGX-1 connectés avec InfiniBand.

NVSwitch Delivers a >2X Speedup for Deep Learning and HPC

Deux serveurs HGX-1V sont équipés d’un processeur Xeon E5 2698v4 dual-socket avec des GPU V100 8X. Les serveurs sont connectés via 4 ports IB 100 Go (exécutés sur DGX-1) | Le serveur HGX-2 est équipé d’un processeur dual-socket Xeon Platinum 8168, des GPU 16X V100 et NVSwitch (exécutés sur DGX-2).

NVIDIA HGX-2

Découvrez la plateforme de calcul accéléré la plus puissante au monde pour les workflows de Deep Learning, d'apprentissage automatique et de HPC.