NVLink et NVSwitch

Les fondations des communications multi-GPU avancées

Vers un modèle d'interconnexion plus rapide et évolutif

De nombreux développeurs de l’industrie s’appuient sur le calcul parallèle pour mettre en œuvre des applications avancées dans des domaines tels que l’IA, ce qui nécessite de recourir à des systèmes multi-GPU. Même si les configurations multi-processeurs PCIe sont devenues la norme pour résoudre des problèmes aussi spécifiques que complexes, les limitations de bande passante du standard PCIe peuvent aujourd'hui impacter votre productivité. Un nouveau modèle d’interconnexion multiprocesseur, plus rapide et évolutif, est donc devenu nécessaire.

Comment fonctionnent NVLink et NVSwitch ?

Découvrez l'association de NVIDIA® NVLinkTM et NVIDIA NVSwitchTM.
NVLink est une technologie d'interconnexion directe GPU vers GPU à haut rendement. NVSwitch fait passer l’interconnectivité au niveau supérieur en incorporant plusieurs liens NVLink pour fournir des communications GPU All-to-All sur un seul nœud via des systèmes tels que NVIDIA HGX-2TM. La combinaison de NVLink et NVSwitch a permis à NVIDIA d'être primé par MLPerf, la plateforme de benchmarking incontournable dans l’industrie de l'IA.

NVLink

Tesla V100 with NVLink GPU-to-GPU and GPU-to-CPU Connections

Tesla V100 avec connexions NVLink GPU vers GPU

NVSwitch

NVIDIA NVLink Performance Since 2014

Communication All-to-All entre 16 GPU

NVLink

NVLink optimise le rendement système

La technologie NVIDIA® NVLink améliore les performances d’interconnexion en fournissant une bande passante plus élevée, un plus grand nombre de liens et une meilleure évolutivité pour les configurations système multi-GPU. Un seul GPU NVIDIA Tesla® V100 peut ainsi prendre en charge jusqu’à six liens NVLink pour une bande passante totale de 300 Go/s – soit 10 fois plus qu’avec le standard PCIe 3. Des serveurs comme les tout nouveaux systèmes NVIDIA DGX-1TM et DGX-2 exploitent pleinement le potentiel de cette technologie en vous offrant davantage d’évolutivité avec une accélération significative des workflows d’entraînement Deep Learning. NVLink prend également en charge jusqu’à 8 GPU au sein d’une seule machine virtuelle grâce à la Station de travail virtuelle NVIDIA Quadro pour Data Center (vDWS) et au logiciel NVIDIA Virtual Compute Server (vComputeServer).

NVIDIA NVLink Performance Since 2014

Accélération optimale des communications GPU vers GPU

Grâce à la puissance incomparable de l’architecture NVIDIA Pascal™, les configurations NVLink avec Tesla V100 ont permis d’augmenter le débit de 20 à 25 Go/s dans chaque direction. Cette liaison de communication directe entre deux GPU améliore la précision et la convergence du calcul haute performance (HPC) et de l’IA, et permet de bénéficier de vitesses largement supérieures à celles de la technologie PCIe.

NVLink Connecting Eight Tesla V100 Accelerators in a Hybrid Cube Mesh Topology as Used in the DGX-1V Server

Des performances sans précédent

NVLink peut délivrer jusqu’à 70 % de performances additionnelles par rapport aux serveurs dotés d’une configuration similaire. Sa bande passante élevée et sa latence réduite permettent de déployer des workflows Deep Learning de nouvelle génération et d’adapter les performances de calcul à l’évolution de vos besoins.

NVLink Delivers Up To 70% Speedup vs PCIe

NVLink Delivers Up To 70% Speedup vs PCIe

NVLink: GPU Servers: Dual Xeon Gold 6140@2.30GHz or E5-2698 v4@3.6GHz for PyTorch with 8xV100 PCIe vs 8xV100 NVLink. SW benchmarks: MILC (APEX medium). HOOMD-Blue (microsphere), LAMMPS (LJ 2.5).

NVSwitch

NVSwitch : optimisation de la connectivité NVLink

Les limites de bande passante du standard PCIe ne permettent plus de répondre convenablement aux évolutions récentes des systèmes multi-GPU. Un nouveau modèle d’interconnexion multiprocesseur, plus rapide et évolutif, est donc devenu nécessaire pour gérer convenablement le Deep Learning.

NVIDIA NVSwitch s’appuie sur les capacités de communication avancées de NVLink pour remédier au problème. Cette technologie fait passer les performances des workflows Deep Learning au niveau supérieur en ayant recours à une topologie GPU à même d’interconnecter un plus grand nombre de GPU avec une bande passante optimisée.

Connexion intégrale pour des performances incomparables

Première architecture de commutation sur nœud à prendre en charge un total de 16 GPU interconnectés sur un seul nœud de serveurs, NVSwitch délivre des communications simultanées entre les huit paires de GPU à une vitesse exceptionnelle de 300 Go/s. Ces 16 GPU peuvent être utilisés en tant qu’accélérateur à grande échelle avec un espace mémoire unifié de 0,5 téraoctet et une puissance de calcul pouvant atteindre 2 pétaflops. Un seul système HGX-2 ou DGX-2 avec NVSwitch délivre jusqu’à 2,7 fois plus de performances pour les applications que deux systèmes HGX-1 ou DGX-1 connectés avec InfiniBand.

Téléchargement : dossier technique sur NVSwitch.

NVSwitch Delivers a >2X Speedup for Deep Learning and HPC

Deux serveurs HGX-1V sont équipés d’un processeur Xeon E5 2698v4 dual-socket avec des GPU V100 8X. Les serveurs sont connectés via 4 ports IB 100 Go (exécutés sur DGX-1) | Le serveur HGX-2 est équipé d’un processeur dual-socket Xeon Platinum 8168, des GPU 16X V100 et NVSwitch (exécutés sur DGX-2).

   Modèle IFS du CEPMMT : L’IFS (Integrated Forecasting System) est un modèle global de prévision numérique du temps développé par le Centre européen pour les prévisions météorologiques à moyen terme (CEPMMT) de Reading, au Royaume-Uni. Soutenu par la plupart des nations européennes, le CEPMMT est une organisation intergouvernementale indépendante qui exploite l’un des plus grands centres de supercalcul européens afin de fournir des mises à jour météorologiques aussi fréquentes et précises que possible. Le benchmark Mini-App de l’IFS se concentre sur un système de transformation des harmoniques sphériques qui représente une charge de calcul significative du modèle complet. Les gains de performance constatés dans ce benchmark Mini-App sont plus importants que ceux du modèle IFS complet, puisque le benchmark amplifie intentionnellement les étapes de transformation de l’algorithme. Ce benchmark démontre que les méthodes aussi efficaces que reconnues du CEPMMT en matière de prévisions météorologiques de pointe conservent tout leur intérêt sur des serveurs reposant sur la technologie NVSwitch - à l’image du serveur NVIDIA DGX-2

   Modèle MoE : Basé sur une architecture réseau fournie par Google via la plateforme github Tensor2 Tensor, ce modèle s’appuie sur des algorithmes de transformation et des couches MoE. Les couches MoE comprennent 128 experts et possèdent toutes un module Feed-Forward pour le déploiement de réseaux de neurones profonds (DNN). Chaque expert se spécialise dans un domaine de compétence spécifique et les experts sont distribués vers des GPU multiples et distincts, ce qui contribue à créer un trafic all-to-all basé sur les communications entre les couches réseau de transformation et les couches MoE. Le jeu de données utilisé pour l’entraînement est "1 billion word benchmark for language modeling" (source : Google).         Les opérations d’entraînement exploitent les cœurs Tensor de l’architecture Volta et sont exécutées sur 45 000 étapes afin d’atteindre une perplexité de niveau 34. (taille de batch : 8192 par GPU).

NVIDIA HGX-2

Découvrez la plateforme de calcul accéléré la plus puissante au monde pour les workflows de Deep Learning, d'apprentissage automatique et de HPC.

EN SAVOIR PLUS
Produits
Technologies
Ressources