Vers un modèle d'interconnexion plus rapide et évolutif

L’augmentation des exigences de calcul relatives aux applications d’intelligence artificielle (IA) et de calcul haute performance (HPC), qui s’appuient sur des modèles émergents pouvant inclure plusieurs billions de paramètres, nécessite de mettre en œuvre des systèmes multi-GPU et multi-nœuds avec des communications fluides à haute vitesse entre chaque GPU. Une nouveau modèle d’interconnexion, à la fois rapide et évolutif, est donc devenu nécessaire pour déployer avec un maximum d’efficacité des plateformes de bout en bout à hautes performances.

NVIDIA A100 PCIe with NVLink GPU-to-GPU connection
NVIDIA A100 with NVLink GPU-to-GPU connections

Performances NVLink

Performances NVLink

Connectez intégralement vos GPU avec NVIDIA NVSwitch

La technologie NVIDIA NVSwitch de troisième génération s’appuie sur les capacités de communication avancées de NVLink pour offrir une bande passante plus élevée et une latence réduite avec les charges de travail à haute intensité de calcul. Pour mettre en œuvre des opérations collectives à haute vitesse, chaque module NVSwitch dispose de 64 ports NVLink équipés de moteurs pour le protocole SHARP (Scalable Hierarchical Aggregation Reduction Protocol) de NVIDIA pour la réduction de la latence et l’accélération des multi-diffusions sur le réseau.

Fully Connect GPUs with NVIDIA NVSwitch
NVLink and NVSwitch Work Together

Comment fonctionnent NVLink et NVSwitch ?

NVLink est une technologie d’interconnexion directe GPU-vers-GPU qui permet de faire évoluer les entrées/sorties multi-GPU au sein du serveur. NVSwitch peut connecter plusieurs liaisons NVLink pour mettre en œuvre des communications GPU All-to-All à une vitesse maximale au sein d’un seul nœud et entre les nœuds.    

La combinaison de NVLink et NVSwitch a permis à NVIDIA d'être primé dans MLPerf 1.1, l’outil de benchmarking incontournable dans l’industrie de l'IA.

Mise à l’échelle pour entraîner des modèles avec plusieurs billions de paramètres

Grâce à NVSwitch, les connexions NVLink peuvent être étendues sur plusieurs nœuds afin de créer un cluster de GPU multi-nœuds à bande passante fluide et efficace, ce qui permet de former efficacement un cluster de la taille d’un Data Center. Grâce à l’ajout d’un second niveau de modules NVSwitch connectés en externe aux serveurs, le réseau NVLink peut connecter jusqu’à 256 GPU et fournir une bande passante All-to-All maximale de 57,6 téraoctets par seconde (To/s), ce qui permet de traiter rapidement les tâches d’IA les plus complexes. 

Scale-Up to Train Trillion Parameter Models
NVIDIA NVLink Switch

Commutateur NVIDIA NVLink

Le commutateur NVIDIA NVLink comporte 128 ports NVLink dotés d’une capacité de commutation non bloquante de 3.2 térabytes par seconde (TB/s). Le commutateur rack a été conçu pour fournir une bande passante élevée et une faible latence sur les systèmes NVIDIA DGX et NVIDIA HGX, qui peuvent ainsi prendre en charge une connectivité NVLink externe de quatrième génération.

Entrez dans l’ère du calcul Exascale

Connexion intégrale pour des performances incomparables

Première architecture de commutation sur nœud à prendre en charge un total de 16 GPU interconnectés sur un seul nœud de serveurs, la technologie NVSwitch de 3e génération délivre des communications simultanées entre chaque paire de GPU à une vitesse exceptionnelle de 900 Go/s. NVSwitch prend en charge les communications All-to-All. Les GPU NVIDIA peuvent être utilisés en tant qu’accélérateurs à hautes performances offrant une puissance de calcul pouvant atteindre 15 pétaflops. 

La plateforme d’IA et de HPC la plus puissante au monde

Les cœurs Tensor sont des composants essentiels de la pile de solutions NVIDIA pour Data Center, regroupant un ensemble complet de solutions matérielles et logicielles, de systèmes de mise en réseau, de bibliothèques, de modèles d’IA et d’applications optimisées par le catalogue  NVIDIA NGC. Dédiée à l’IA et au HPC, cette plateforme de bout en bout pour Data Center est la plus puissante du marché. Les chercheurs du monde entier peuvent ainsi aboutir plus rapidement à des résultats concrets et déployer des solutions de production hautement évolutives, avec une accélération incomparable du calcul informatique à tous les niveaux de précision. 

Spécifications

  • NVLink

    NVLink

  • NVSwitch

    NVSwitch

  • NVLink et NVSwitch entre serveurs

    NVLink et NVSwitch entre serveurs

  Seconde génération Troisième génération Quatrième génération
Bande passante NVLink par GPU 300 Go/s 600 Go/s 900 Go/s
Nombre maximal de liens par GPU 6 12 18
Architectures NVIDIA compatibles Architecture NVIDIA Volta Architecture NVIDIA Ampere Architecture NVIDIA Hopper
  Première génération Seconde génération Troisième génération
Nombre de GPU en connexion directe/nœud Jusqu’à 8 Jusqu’à 8 Jusqu’à 8
Bande passante GPU vers GPU avec NVSwitch 300 Go/s 600 Go/s 900 Go/s
Bande passante globale 2,4 To/s 4,8 To/s 7,2 To/s
Architectures NVIDIA compatibles Architecture NVIDIA Volta Architecture NVIDIA Ampere Architecture NVIDIA Hopper
  NVLink et NVSwitch entre serveurs
Nombre de GPU en connexion directe Jusqu’à 256
Bande passante GPU vers GPU avec NVSwitch 900 Go/s
Bande passante globale 57,6 To/s
Réductions du réseau Réductions SHARP via NVSwitch
Assistance logicielle CUDA®, CUDA-X, Magnum IO
Architectures NVIDIA compatibles Architecture NVIDIA Hopper

Présentation de l’architecture NVIDIA Hopper

Découvrez de plus près l’architecture NVIDIA Hopper et son intégration au GPU NVIDIA H100 Tensor Core.