Vers un modèle d'interconnexion plus rapide et évolutif

L’augmentation des exigences de calcul relatives aux applications d’intelligence artificielle (IA) et de calcul haute performance (HPC), qui s’appuient sur des modèles émergents pouvant inclure plusieurs billions de paramètres, nécessite de mettre en œuvre des systèmes multi-GPU et multi-nœuds avec des communications fluides à haute vitesse entre chaque GPU. Une nouveau modèle d’interconnexion, à la fois rapide et évolutif, est donc devenu nécessaire pour déployer avec un maximum d’efficacité des plateformes de bout en bout à hautes performances.

NVIDIA A100 PCIe avec connexion NVLink GPU vers GPU
NVIDIA A100 avec connexions NVLink GPU vers GPU

Performances NVLink

Performances NVLink

Connectez intégralement vos GPU avec NVIDIA NVSwitch

La technologie NVIDIA NVSwitch de troisième génération s’appuie sur les capacités de communication avancées de NVLink pour offrir une bande passante plus élevée et une latence réduite avec les charges de travail à haute intensité de calcul. Pour mettre en œuvre des opérations collectives à haute vitesse, chaque module NVSwitch dispose de 64 ports NVLink équipés de moteurs pour le protocole SHARP (Scalable Hierarchical Aggregation Reduction Protocol) de NVIDIA pour la réduction de la latence et l’accélération des multi-diffusions sur le réseau.

Connectez intégralement vos GPU avec NVIDIA NVSwitch
Comment fonctionnent NVLink et NVSwitch ?

Comment fonctionnent NVLink et NVSwitch ?

NVLink est une technologie d’interconnexion directe GPU-vers-GPU qui permet de faire évoluer les entrées/sorties multi-GPU au sein du serveur. NVSwitch peut connecter plusieurs liaisons NVLink pour mettre en œuvre des communications GPU All-to-All à une vitesse maximale au sein d’un seul nœud et entre les nœuds.    

La combinaison de NVLink et NVSwitch a permis à NVIDIA d'être primé dans MLPerf 1.1, l’outil de benchmarking incontournable dans l’industrie de l'IA.

Mise à l’échelle pour entraîner des modèles avec plusieurs billions de paramètres avec le système de commutation NVLink

Grâce à NVSwitch, les connexions NVLink peuvent être étendues sur plusieurs nœuds afin de créer un cluster de GPU multi-nœuds à bande passante fluide et efficace, ce qui permet de former efficacement un cluster de la taille d’un Data Center. Grâce à l’ajout d’un second niveau de modules NVSwitch connectés en externe aux serveurs, le réseau NVLink peut connecter jusqu’à 256 GPU et fournir une bande passante All-to-All maximale de 57,6 téraoctets par seconde (To/s), permettant ainsi de traiter rapidement les tâches d’IA les plus complexes. 

Mise à l’échelle pour entraîner des modèles avec plusieurs billions de paramètres
Commutateur NVIDIA NVLink

Commutateur NVIDIA NVLink

Le commutateur NVIDIA NVLink comporte 128 ports NVLink dotés d’une capacité de commutation non bloquante de 3,2 téraoctets par seconde (To/s). Le commutateur rack a été conçu pour fournir une bande passante élevée et une faible latence sur les systèmes NVIDIA DGX et NVIDIA HGX, qui peuvent ainsi prendre en charge une connectivité NVLink externe de quatrième génération.

Entrez dans l’ère du calcul Exascale

Connexion intégrale pour des performances incomparables

Première architecture de commutation sur nœud à prendre en charge un total de 16 GPU interconnectés sur un seul nœud de serveurs, la technologie NVSwitch de 3e génération délivre des communications simultanées entre chaque paire de GPU à une vitesse exceptionnelle de 900 Go/s. NVSwitch prend en charge les communications All-to-All. Les GPU NVIDIA peuvent être utilisés en tant qu’accélérateurs à hautes performances offrant une puissance de calcul pouvant atteindre 15 pétaflops. 

La plateforme d’IA et de HPC la plus puissante au monde

Les cœurs Tensor sont des composants essentiels de la pile de solutions NVIDIA pour Data Center, regroupant un ensemble complet de solutions matérielles et logicielles, de systèmes de mise en réseau, de bibliothèques, de modèles d’IA et d’applications optimisées par le catalogue  NVIDIA NGC. Dédiée à l’IA et au HPC, cette plateforme de bout en bout pour Data Center est la plus puissante du marché. Les chercheurs du monde entier peuvent ainsi aboutir plus rapidement à des résultats concrets et déployer des solutions de production hautement évolutives, avec une accélération incomparable du calcul informatique à tous les niveaux de précision. 

Spécifications

  • NVLink

    NVLink

  • NVSwitch

    NVSwitch

  Seconde génération Troisième génération Quatrième génération
Bande passante NVLink par GPU 300 Go/s 600 Go/s 900 Go/s
Nombre maximal de liens par GPU 6 12 18
Architectures NVIDIA compatibles Architecture NVIDIA Volta Architecture NVIDIA Ampere Architecture NVIDIA Hopper
  Première génération Seconde génération Troisième génération
Nombre de GPU en connexion directe/nœud Jusqu’à 8 Jusqu’à 8 Jusqu’à 8
Bande passante GPU vers GPU avec NVSwitch 300 Go/s 600 Go/s 900 Go/s
Bande passante globale 2,4 To/s 4,8 To/s 7,2 To/s
Architectures NVIDIA compatibles Architecture NVIDIA Volta Architecture NVIDIA Ampere Architecture NVIDIA Hopper

Plongez au cœur de l’architecture NVIDIA Hopper