Les fondations des communications multi-GPU avancées
L’augmentation des exigences de calcul relatives aux applications d’intelligence artificielle (IA) et de calcul haute performance (HPC) nécessite de mettre en œuvre des systèmes multi-GPU disposant de connexions ininterrompues entre les GPU, pouvant ainsi œuvrer comme un accélérateur graphique unifié. Même si les configurations multiprocesseurs PCIe sont devenues la norme, les limitations de bande passante de ce standard peuvent aujourd'hui impacter votre productivité. Une nouveau modèle d’interconnexion multiprocesseur, plus rapide et évolutif, est donc devenu nécessaire pour déployer avec un maximum d’efficacité des plateformes de bout en bout à hautes performances.
NVIDIA® NVLink® est une technologie d'interconnexion directe GPU vers GPU à haut rendement. NVIDIA NVSwitch™ fait passer l’interconnectivité au niveau supérieur en incorporant plusieurs liens NVLink pour fournir des communications GPU All-to-All à haute vitesse sur un seul nœud via des systèmes tels que NVIDIA HGX™ A100. La combinaison de NVLink et NVSwitch a permis à NVIDIA de faire évoluer les performances d’IA sur des systèmes à GPU multiples tout en enregistrant des performances record dans MLPerf 0.6, le premier benchmark à faire autorité dans toute l’industrie.
NVIDIA A100 PCIe avec connexion NVLink GPU vers GPU
NVIDIA A100 avec connexions NVLink GPU vers GPU
Ce diagramme de topologie NVSwitch présente une connexion entre deux GPU pour plus de clarté. Jusqu’à huit ou seize GPU peuvent être interconnectés via NVSwitch de la même façon.
La technologie NVIDIA® NVLink améliore les performances d’interconnexion en fournissant une bande passante plus élevée, un plus grand nombre de liens et une meilleure évolutivité pour les configurations système multi-GPU. Un seul GPU NVIDIA A100 Tensor Core peut ainsi prendre en charge jusqu’à douze connexions NVLink de 3e génération pour une bande passante totale de 600 Go/s – soit 10 fois plus qu’avec le standard PCIe Gen 4.
Grâce à NVLink sur A100, le nombre total de connexions passe de 6 à 12. Cette liaison de communication directe entre deux GPU améliore la précision et la convergence des workflows HPC et IA. NVLink est également disponible avec les configurations A100 PCIe à deux GPU.
Des serveurs comme le tout nouveau système NVIDIA DGX™ exploitent le plein potentiel de ces technologies en vous offrant davantage d’évolutivité avec une accélération significative des workflows d’entraînement Deep Learning.
Une configuration NVLink avec NVIDIA A100 permet de doubler la bande passante des communications inter-GPU par rapport aux systèmes de génération précédente. Les chercheurs peuvent ainsi recourir à des applications plus sophistiquées et intensives pour résoudre des problèmes d’une grande complexité.
Les limites de bande passante du standard PCIe ne permettent plus de répondre convenablement aux évolutions rapides des systèmes multi-GPU. Un nouveau modèle d’interconnexion multiprocesseur, plus rapide et plus évolutif, est donc devenu nécessaire pour gérer convenablement les demandes du Deep Learning. Pour mettre à niveau les workflows de Deep Learning, une bande passante élevée et une latence réduite sont donc devenues nécessaires.
NVIDIA NVSwitch s’appuie sur les capacités de communication avancées de NVLink pour remédier au problème. Cette technologie fait passer les performances des workflows Deep Learning au niveau supérieur en ayant recours à une topologie GPU à même d’interconnecter un plus grand nombre de GPU avec une bande passante optimisée. Chaque GPU est doté de 12 connexions NVLink avec NVSwitch pour mettre en œuvre des communications GPU All-to-All d’une rapidité incomparable.
NVLink et NVSwitch sont des composants essentiels de la pile de solutions NVIDIA pour Data Center, regroupant un ensemble complet de solutions matérielles et logicielles, de systèmes de mise en réseau, de bibliothèques, de modèles d’IA et d’applications optimisées par NGC™. Dédiée à l’IA et au HPC, cette plateforme de bout en bout pour Data Center est la plus puissante du marché. Les chercheurs du monde entier peuvent ainsi aboutir plus rapidement à des résultats concrets et déployer des solutions de production hautement évolutives, avec accélération incomparable du calcul informatique à tous les niveaux de précision.
Première architecture de commutation sur nœud à prendre en charge un total de 16 GPU interconnectés sur un seul nœud de serveurs, la technologie NVSwitch de 3e génération délivre des communications simultanées entre les huit paires de GPU à une vitesse exceptionnelle de 600 Go/s. NVSwitch prend en charge l’intégralité des communications avec un traitement direct Peer-to-Peer de la mémoire GPU. Ces 16 GPU peuvent être utilisés en tant qu’accélérateur à grande échelle avec un espace mémoire entièrement unifié et une puissance de calcul pouvant atteindre 5 pétaflops.
Nous vous invitons à découvrir NVIDIA DGX A100, une solution universelle dédiée aux charges de travail d’IA qui constitue le tout premier système d’intelligence artificielle basé sur le GPU NVIDIA A100 Tensor Core à hautes performances.