NVLink et NVSwitch

Les fondations des communications multi-GPU avancées

Comment fonctionnent NVLink et NVSwitch ?

NVIDIA NVLink

NVIDIA A100 PCIe with NVLink GPU-to-GPU connection
NVIDIA A100 with NVLink GPU-to-GPU connections

NVIDIA NVSwitch

The NVSwitch topology diagram

Optimisation du rendement système

Technologie NVLINK de 3e génération

La technologie NVIDIA® NVLink améliore les performances d’interconnexion en fournissant une bande passante plus élevée, un plus grand nombre de liens et une meilleure évolutivité pour les configurations système multi-GPU. Un seul GPU NVIDIA A100 Tensor Core peut ainsi prendre en charge jusqu’à douze connexions NVLink de 3e génération pour une bande passante totale de 600 Go/s – soit 10 fois plus qu’avec le standard PCIe Gen 4.

Grâce à NVLink sur A100, le nombre total de connexions passe de 6 à 12. Cette liaison de communication directe entre deux GPU améliore la précision et la convergence des workflows HPC et IA. NVLink est également disponible avec les configurations A100 PCIe à deux GPU.

Des serveurs comme le tout nouveau système NVIDIA DGX™ exploitent le plein potentiel de ces technologies en vous offrant davantage d’évolutivité avec une accélération significative des workflows d’entraînement Deep Learning.

Performances NVLink

NVLink in NVIDIA A100

NVIDIA NVSwitch

NVSwitch : optimisation de la connectivité NVLink

Les limites de bande passante du standard PCIe ne permettent plus de répondre convenablement aux évolutions rapides des systèmes multi-GPU. Un nouveau modèle d’interconnexion multiprocesseur, plus rapide et plus évolutif, est donc devenu nécessaire pour gérer convenablement les demandes du Deep Learning. Pour mettre à niveau les workflows de Deep Learning, une bande passante élevée et une latence réduite sont donc devenues nécessaires.

NVIDIA NVSwitch s’appuie sur les capacités de communication avancées de NVLink pour remédier au problème. Cette technologie fait passer les performances des workflows Deep Learning au niveau supérieur en ayant recours à une topologie GPU à même d’interconnecter un plus grand nombre de GPU avec une bande passante optimisée. Chaque GPU est doté de 12 connexions NVLink avec NVSwitch pour mettre en œuvre des communications GPU All-to-All d’une rapidité incomparable.

 

La plateforme pour Data Center de bout en bout la plus puissante au monde pour l’IA et le HPC

NVLink et NVSwitch sont des composants essentiels de la pile de solutions NVIDIA pour Data Center, regroupant un ensemble complet de solutions matérielles et logicielles, de systèmes de mise en réseau, de bibliothèques, de modèles d’IA et d’applications optimisées par NGC™. Dédiée à l’IA et au HPC, cette plateforme de bout en bout pour Data Center est la plus puissante du marché. Les chercheurs du monde entier peuvent ainsi aboutir plus rapidement à des résultats concrets et déployer des solutions de production hautement évolutives, avec accélération incomparable du calcul informatique à tous les niveaux de précision.

Connexion intégrale pour des performances incomparables

Première architecture de commutation sur nœud à prendre en charge un total de 16 GPU interconnectés sur un seul nœud de serveurs, la technologie NVSwitch de 3e génération délivre des communications simultanées entre les huit paires de GPU à une vitesse exceptionnelle de 600 Go/s. NVSwitch prend en charge l’intégralité des communications avec un traitement direct Peer-to-Peer de la mémoire GPU. Ces 16 GPU peuvent être utilisés en tant qu’accélérateur à grande échelle avec un espace mémoire entièrement unifié et une puissance de calcul pouvant atteindre 5 pétaflops.

Spécifications

  • NVIDIA NVLink

    NVIDIA NVLink

  • NVIDIA NVSwitch

    NVIDIA NVSwitch

  Seconde génération Troisième génération
Bande passante NVLink totale 300 Go/s 600 Go/s
Nombre maximal de liens par GPU 6 12
Architectures NVIDIA compatibles NVIDIA Volta Architecture NVIDIA Ampere
  NVSwitch avec NVLink de 2e génération NVSwitch avec NVLink de 3e génération
Nombre de GPU en connexion directe Jusqu’à 16 Jusqu’à 16
Bande passante GPU vers GPU avec NVSwitch 300 Go/s 600 Go/s
Bande passante globale 4,8 To/s 9,6 To/s
Architectures NVIDIA compatibles NVIDIA Volta Architecture NVIDIA Ampere

Démarrage

Nous vous invitons à découvrir NVIDIA DGX A100, une solution universelle dédiée aux charges de travail d’IA qui constitue le tout premier système d’intelligence artificielle basé sur le GPU NVIDIA A100 Tensor Core à hautes performances.