NVLink Fabric

Traitement multi-GPU avancé

Technologie NVLink

MODÈLE D’INTERCONNEXION PLUS RAPIDE ET ÉVOLUTIF

Les développeurs ont de plus en plus fréquemment recours au traitement parallèle dans des champs d’application comme le calcul IA, c’est pourquoi les systèmes composés de GPU et de CPU multiples sont devenus le standard de facto dans de nombreuses industries. Les systèmes à 4 ou 8 GPU et la norme d’interconnexion PCIe permettent notamment de résoudre des problèmes aussi spécifiques que complexes. Malgré tout, les limites de bande passante du standard PCIe ne permettent plus de répondre convenablement aux évolutions récentes des systèmes multi-GPU. Un nouveau modèle d’interconnexion multiprocesseur, plus rapide et plus évolutif, est donc devenu nécessaire.

Maximizing System Throughput

OPTIMISATION DU RENDEMENT SYSTÈME

La technologie NVIDIA® NVLink™ améliore les performances d’interconnexion en fournissant une bande passante plus élevée, un plus grand nombre de liens et une meilleure évolutivité pour les configurations système multi-GPU et multi-GPU/CPU. Un seul GPU NVIDIA Tesla® V100 peut ainsi prendre en charge jusqu’à six liens NVLink pour une bande passante totale de 300 Go/s – soit 10 fois plus qu’avec le standard PCIe 3. Des serveurs comme le tout nouveau système NVIDIA DGX-1™ exploitent le plein potentiel de ces technologies en vous offrant davantage d’évolutivité avec une accélération significative des workflows d’entraînement Deep Learning.

ACCÉLÉRATION SIGNIFICATIVE DES COMMUNICATIONS GPU VERS GPU

Grâce à la puissance incomparable de l’architecture NVIDIA Pascal™, les configurations NVLink avec Tesla V100 ont permis d’augmenter le débit de 20 à 25 Go/s dans chaque direction. Les communications GPU vers CPU et GPU vers GPU s’en trouvent accélérées, notamment pour les DGX-1 avec Tesla V100.

Tesla V100 avec NVLink : connexions GPU vers GPU et GPU vers CPU

Tesla V100 avec NVLink : connexions GPU vers GPU et GPU vers CPU

Connexion de huit accélérateurs Tesla V100

Connexion de huit accélérateurs Tesla V100 avec NVLink dans une topologie Hybrid Cube Mesh (à l’image de la topologie utilisée par le serveur DGX-1V)

DES PERFORMANCES SANS PRÉCÉDENT

DES PERFORMANCES SANS PRÉCÉDENT

NVIDIA NVLink peut délivrer jusqu’à 46% de performances additionnelles par rapport aux serveurs dotés d’une configuration similaire. Sa bande passante élevée et sa latence réduite permettent de déployer des workflows Deep Learning de nouvelle génération et d’adapter les performances de calcul à l’évolution de vos besoins.

NVSWITCH: OPTIMISATION DE LA CONNECTIVITÉ NVLINK

Les limites de bande passante du standard PCIe ne permettent plus de répondre convenablement aux évolutions récentes des systèmes multi-GPU. Un nouveau modèle d’interconnexion multiprocesseur, plus rapide et plus évolutif, est donc devenu nécessaire pour gérer convenablement les workflows Deep Learning.

Même si la technologie NVLink représente une importante avancée technologique pour interconnecter jusqu’à 8 GPU et accélérer les performances de calcul, elle ne permet pas de connecter des GPU additionnels pour assurer une communication directe à vitesse maximale. Pour faire passer les performances des workflows Deep Learning au niveau supérieur, il faut recourir à une topologie GPU à même d’interconnecter un plus grand nombre de GPU avec une bande passante optimisée.

Première architecture de commutation sur nœud à prendre en charge un total de 16 GPU interconnectés sur un seul nœud de serveurs, NVIDIA NVSwitch délivre des communications simultanées entre les huit paires de GPU à une vitesse exceptionnelle de 300 Go/s. Ces 16 GPU interconnectés peuvent par ailleurs être utilisés en tant qu’accélérateur à grande échelle avec un espace mémoire unifié de 0,5 téraoctet et une puissance de calcul pouvant atteindre 2 pétaflops.

NVSwitch Technical Overview
Dossier technique NVLink
NVSwitch Chart Speedup

* Modèle IFS du CEPMMT : L’IFS (Integrated Forecasting System) est un modèle global de prévision numérique du temps développé par le Centre européen pour les prévisions météorologiques à moyen terme (CEPMMT) de Reading, au Royaume-Uni. Soutenu par la plupart des nations européennes, le CEPMMT est une organisation indépendante intergouvernementale qui exploite l’un des plus grands centres de supercalcul européens afin de fournir des mises à jour météorologiques aussi fréquentes et précises que possible. Le benchmark Mini-App de l’IFS se concentre sur un système de transformation des harmoniques sphériques qui représente une charge de calcul significative du modèle complet. Les gains de performance constatés dans ce benchmark Mini-App sont plus importants que ceux du modèle IFS complet, puisque le benchmark amplifie intentionnellement les étapes de transformation de l’algorithme. Ce benchmark démontre que les méthodes aussi efficaces que reconnues du CEPMMT en matière de prévision météorologique de pointe conservent tout leur intérêt sur des serveurs reposant sur la technologie NVSwitch - à l’image du serveur NVIDIA DGX-2.

* Modèle MoE : Basé sur une architecture réseau fournie par Google via la plateforme github Tensor2Tensor, ce modèle s’appuie sur des algorithmes de transformation et des couches MoE. Les couches MoE comprennent 128 experts et possèdent toutes un module Feed-Forward pour le déploiement de réseaux de neurones profonds (DNN). Chaque expert se spécialise dans un domaine de compétence spécifique et les experts sont distribués vers des GPU multiples et distincts, ce qui contribue à créer un trafic All-to-All basé sur les communications entre les couches réseau de transformation et les couches MoE. Le jeu de données utilisé pour l’entraînement est "1 billion word benchmark for language modeling" (source : Google). Les opérations d’entraînement exploitent les cœurs Tensor de l’architecture Volta et sont exécutées sur 45 000 étapes afin d’atteindre une perplexité de niveau 34 (taille de batch : 8192 par GPU).

Produits
Technologies
Ressources