NVLink et NVSwitch

Les fondations des communications multi-GPU avancées

Vers un modèle d'interconnexion plus rapide et évolutif

L’augmentation des exigences de calcul relatives aux applications d’intelligence artificielle (IA) et de calcul haute performance (HPC) nécessite de mettre en œuvre des systèmes multi-GPU disposant de connexions ininterrompues entre les GPU, pouvant ainsi œuvrer comme un accélérateur graphique unifié. Même si les configurations multiprocesseurs PCIe sont devenues la norme, les limitations de bande passante de ce standard peuvent aujourd'hui impacter votre productivité. Une nouveau modèle d’interconnexion multiprocesseur, plus rapide et évolutif, est donc devenu nécessaire pour déployer avec un maximum d’efficacité des plateformes de bout en bout à hautes performances.

Comment fonctionnent NVLink et NVSwitch ?

NVIDIA® NVLink® est une technologie d'interconnexion directe GPU vers GPU à haut rendement. NVIDIA NVSwitch™ fait passer l’interconnectivité au niveau supérieur en incorporant plusieurs liens NVLink pour fournir des communications GPU All-to-All à haute vitesse sur un seul nœud via des systèmes tels que NVIDIA HGX™ A100. La combinaison de NVLink et NVSwitch a permis à NVIDIA de faire évoluer les performances d’IA sur des systèmes à GPU multiples tout en enregistrant des performances record dans MLPerf 0.6, le premier benchmark à faire autorité dans toute l’industrie.

NVIDIA NVLink

NVIDIA A100 PCIe with NVLink GPU-to-GPU connection

NVIDIA A100 PCIe avec connexion NVLink GPU vers GPU

 

NVIDIA A100 with NVLink GPU-to-GPU connections

NVIDIA A100 avec connexions NVLink GPU vers GPU

NVIDIA NVSwitch

The NVSwitch topology diagram

Ce diagramme de topologie NVSwitch présente une connexion entre deux GPU pour plus de clarté. Jusqu’à huit ou seize GPU peuvent être interconnectés via NVSwitch de la même façon.

 

NVIDIA NVLink

Optimisation du rendement système

Technologie NVLINK de 3e génération

La technologie NVIDIA® NVLink améliore les performances d’interconnexion en fournissant une bande passante plus élevée, un plus grand nombre de liens et une meilleure évolutivité pour les configurations système multi-GPU. Un seul GPU NVIDIA A100 Tensor Core peut ainsi prendre en charge jusqu’à douze connexions NVLink de 3e génération pour une bande passante totale de 600 Go/s – soit 10 fois plus qu’avec le standard PCIe Gen 4.

Grâce à NVLink sur A100, le nombre total de connexions passe de 6 à 12. Cette liaison de communication directe entre deux GPU améliore la précision et la convergence des workflows HPC et IA. NVLink est également disponible avec les configurations A100 PCIe à deux GPU.

Des serveurs comme le tout nouveau système NVIDIA DGX™ exploitent le plein potentiel de ces technologies en vous offrant davantage d’évolutivité avec une accélération significative des workflows d’entraînement Deep Learning.

Performances NVLink

NVLink in NVIDIA A100

Une configuration NVLink avec NVIDIA A100 permet de doubler la bande passante des communications inter-GPU par rapport aux systèmes de génération précédente. Les chercheurs peuvent ainsi recourir à des applications plus sophistiquées et intensives pour résoudre des problèmes d’une grande complexité.

NVIDIA NVSwitch

NVSwitch : optimisation de la connectivité NVLink

Les limites de bande passante du standard PCIe ne permettent plus de répondre convenablement aux évolutions rapides des systèmes multi-GPU. Un nouveau modèle d’interconnexion multiprocesseur, plus rapide et plus évolutif, est donc devenu nécessaire pour gérer convenablement les demandes du Deep Learning. Pour mettre à niveau les workflows de Deep Learning, une bande passante élevée et une latence réduite sont donc devenues nécessaires.

NVIDIA NVSwitch s’appuie sur les capacités de communication avancées de NVLink pour remédier au problème. Cette technologie fait passer les performances des workflows Deep Learning au niveau supérieur en ayant recours à une topologie GPU à même d’interconnecter un plus grand nombre de GPU avec une bande passante optimisée. Chaque GPU est doté de 12 connexions NVLink avec NVSwitch pour mettre en œuvre des communications GPU All-to-All d’une rapidité incomparable.

 

La plateforme pour Data Center de bout en bout la plus puissante au monde pour l’IA et le HPC

NVLink et NVSwitch sont des composants essentiels de la pile de solutions NVIDIA pour Data Center, regroupant un ensemble complet de solutions matérielles et logicielles, de systèmes de mise en réseau, de bibliothèques, de modèles d’IA et d’applications optimisées par NGC™. Dédiée à l’IA et au HPC, cette plateforme de bout en bout pour Data Center est la plus puissante du marché. Les chercheurs du monde entier peuvent ainsi aboutir plus rapidement à des résultats concrets et déployer des solutions de production hautement évolutives, avec accélération incomparable du calcul informatique à tous les niveaux de précision.

Connexion intégrale pour des performances incomparables

Première architecture de commutation sur nœud à prendre en charge un total de 16 GPU interconnectés sur un seul nœud de serveurs, la technologie NVSwitch de 3e génération délivre des communications simultanées entre les huit paires de GPU à une vitesse exceptionnelle de 600 Go/s. NVSwitch prend en charge l’intégralité des communications avec un traitement direct Peer-to-Peer de la mémoire GPU. Ces 16 GPU peuvent être utilisés en tant qu’accélérateur à grande échelle avec un espace mémoire entièrement unifié et une puissance de calcul pouvant atteindre 5 pétaflops.

Spécifications

  • NVIDIA NVLink

    NVIDIA NVLink

  • NVIDIA NVSwitch

    NVIDIA NVSwitch

  Seconde génération Troisième génération
Bande passante NVLink totale 300 Go/s 600 Go/s
Nombre maximal de liens par GPU 6 12
Architectures NVIDIA compatibles NVIDIA Volta™ Architecture NVIDIA Ampere
  NVSwitch avec NVLink de 2e génération NVSwitch avec NVLink de 3e génération
Nombre de GPU en connexion directe Jusqu’à 16 Jusqu’à 16
Bande passante GPU vers GPU avec NVSwitch 300 Go/s 600 Go/s
Bande passante globale 4,8 To/s 9,6 To/s
Architectures NVIDIA compatibles NVIDIA Volta Architecture NVIDIA Ampere

Démarrage

Nous vous invitons à découvrir NVIDIA DGX A100, une solution universelle dédiée aux charges de travail d’IA qui constitue le tout premier système d’intelligence artificielle basé sur le GPU NVIDIA A100 Tensor Core à hautes performances.

EN SAVOIR PLUS
Produits
Technologies
LOGICIELS
Ressources