Vers un modèle d'interconnexion plus rapide et évolutif

L’augmentation des exigences de calcul relatives aux applications d’intelligence artificielle (IA) et de calcul haute performance (HPC), qui s’appuient sur des modèles émergents pouvant inclure plusieurs billions de paramètres, nécessite de mettre en œuvre des systèmes multi-GPU et multi-nœuds avec des communications fluides à haute vitesse entre chaque GPU. Une nouveau modèle d’interconnexion, à la fois rapide et évolutif, est donc devenu nécessaire pour déployer avec un maximum d’efficacité des plateformes de bout en bout à hautes performances.

Maximisez le rendement de votre système avec NVIDIA NVlink

La technologie NVIDIA® NVLink® de quatrième génération offre une bande passante 1,5 fois plus élevée avec une meilleure évolutivité pour les configurations système multi-GPU. Un seul GPU NVIDIA H100 Tensor Core peut ainsi prendre en charge jusqu’à 18 liens NVLink pour une bande passante totale de 900 Go/s – soit 7 fois plus qu’avec le standard PCIe 5.

Des serveurs basés sur NVIDIA DGX™ H100 exploitent le plein potentiel de cette technologie en vous offrant davantage d’évolutivité avec une accélération significative des workflows d’entraînement Deep Learning.

NVIDIA A100 PCIe with NVLink GPU-to-GPU connection

NVIDIA H100 PCIe avec connexion NVLink GPU vers GPU

NVIDIA A100 with NVLink GPU-to-GPU connections

NVIDIA H100 avec connexions NVLink GPU vers GPU

Performances NVLink

Performances NVLink

Une configuration NVLink avec NVIDIA H100 permet de fournir une bande passante 1,5 fois plus élevée pour les communications inter-GPU par rapport aux systèmes de génération précédente. Les chercheurs peuvent ainsi recourir à des applications plus sophistiquées et intensives pour résoudre des problèmes d’une grande complexité.

Connectez intégralement vos GPU avec NVIDIA NVSwitch

La technologie NVIDIA NVSwitch™ de troisième génération s’appuie sur les capacités de communication avancées de NVLink pour offrir une bande passante plus élevée et une latence réduite avec les charges de travail à haute intensité de calcul. Pour mettre en œuvre des opérations collectives à haute vitesse, chaque module NVSwitch dispose de 64 ports NVLink équipés de moteurs pour le protocole SHARP™ (Scalable Hierarchical Aggregation Reduction Protocol) de NVIDIA pour la réduction de la latence et l’accélération des multi-diffusions sur le réseau.

Fully Connect GPUs with NVIDIA NVSwitch

NVSwitch permet à huit GPU d’un système NVIDIA DGX H100 de coopérer au sein d’un cluster doté d’une bande passante optimisée.

NVLink and NVSwitch Work Together

Comment fonctionnent NVLink et NVSwitch ?

NVLink est une technologie d’interconnexion directe GPU-vers-GPU qui permet de faire évoluer les entrées/sorties multi-GPU au sein du serveur. NVSwitch peut connecter plusieurs liaisons NVLink pour mettre en œuvre des communications GPU All-to-All à une vitesse maximale au sein d’un seul nœud et entre les nœuds.    

La combinaison de NVLink et NVSwitch a permis à NVIDIA d'être primé dans MLPerf 1.1, l’outil de benchmarking incontournable dans l’industrie de l'IA.

FONCTIONNEMENT DE LA TECHNOLOGIE 

Mise à l’échelle pour entraîner des modèles avec plusieurs billions de paramètres

Grâce à NVSwitch, les connexions NVLink peuvent être étendues sur plusieurs nœuds afin de créer un cluster de GPU multi-nœuds à bande passante fluide et efficace, ce qui permet de former efficacement un cluster de la taille d’un Data Center. Grâce à l’ajout d’un second niveau de modules NVSwitch connectés en externe aux serveurs, le réseau NVLink peut connecter jusqu’à 256 GPU et fournir une bande passante All-to-All maximale de 57,6 téraoctets par seconde (To/s), ce qui permet de traiter rapidement les tâches d’IA les plus complexes. 

EN SAVOIR PLUS SUR NVIDIA H100 
Scale-Up to Train Trillion Parameter Models
NVIDIA NVLink Switch

Commutateur NVIDIA NVLink

Le commutateur NVIDIA NVLink comporte 128 ports NVLink dotés d’une capacité de commutation non bloquante de 3.2 térabytes par seconde (TB/s). Le commutateur rack a été conçu pour fournir une bande passante élevée et une faible latence sur les systèmes NVIDIA DGX et NVIDIA HGX™, qui peuvent ainsi prendre en charge une connectivité NVLink externe de quatrième génération.

EN SAVOIR PLUS SUR NVIDIA DGX H100 

Entrez dans l’ère du calcul Exascale

Connexion intégrale pour des performances incomparables

Première architecture de commutation sur nœud à prendre en charge un total de 16 GPU interconnectés sur un seul nœud de serveurs, la technologie NVSwitch de 3e génération délivre des communications simultanées entre chaque paire de GPU à une vitesse exceptionnelle de 900 Go/s. NVSwitch prend en charge les communications All-to-All. Les GPU NVIDIA peuvent être utilisés en tant qu’accélérateurs à hautes performances offrant une puissance de calcul pouvant atteindre 15 pétaflops. 

La plateforme d’IA et de HPC la plus puissante au monde

Les cœurs Tensor sont des composants essentiels de la pile de solutions NVIDIA pour Data Center, regroupant un ensemble complet de solutions matérielles et logicielles, de systèmes de mise en réseau, de bibliothèques, de modèles d’IA et d’applications optimisées par le catalogue  NVIDIA NGC™. Dédiée à l’IA et au HPC, cette plateforme de bout en bout pour Data Center est la plus puissante du marché. Les chercheurs du monde entier peuvent ainsi aboutir plus rapidement à des résultats concrets et déployer des solutions de production hautement évolutives, avec une accélération incomparable du calcul informatique à tous les niveaux de précision. 

Spécifications

  • NVLink

    NVLink

  • NVSwitch

    NVSwitch

  • NVLink et NVSwitch entre serveurs

    NVLink et NVSwitch entre serveurs

  Seconde génération Troisième génération Quatrième génération
Bande passante NVLink par GPU 300 Go/s 600 Go/s 900 Go/s
Nombre maximal de liens par GPU 6 12 18
Architectures NVIDIA compatibles Architecture NVIDIA Volta™ Architecture NVIDIA Ampere Architecture NVIDIA Hopper™
  Première génération Seconde génération Troisième génération
Nombre de GPU en connexion directe/nœud Jusqu’à 8 Jusqu’à 8 Jusqu’à 8
Bande passante GPU vers GPU avec NVSwitch 300 Go/s 600 Go/s 900 Go/s
Bande passante globale 2,4 To/s 4,8 To/s 7,2 To/s
Architectures NVIDIA compatibles Architecture NVIDIA Volta Architecture NVIDIA Ampere Architecture NVIDIA Hopper
  NVLink et NVSwitch entre serveurs
Nombre de GPU en connexion directe Jusqu’à 256
Bande passante GPU vers GPU avec NVSwitch 900 Go/s
Bande passante globale 57,6 To/s
Réductions du réseau Réductions SHARP via NVSwitch
Assistance logicielle CUDA®, CUDA-X™, Magnum IO™
Architectures NVIDIA compatibles Architecture NVIDIA Hopper

Spécifications préliminaires susceptibles d’être modifiées.

Présentation de l’architecture NVIDIA Hopper

Découvrez de plus près l’architecture NVIDIA Hopper et son intégration au GPU NVIDIA H100 Tensor Core.

LIRE LE LIVRE BLANC

Produits

Technologies

Logiciels

Ressources