Supercalculateur NVIDIA HGX pour l’IA

Plateforme de bout en bout la plus puissante au monde pour le calcul intensif basé sur l’IA

Plateforme spécifiquement conçue pour la convergence de la simulation, l’analyse de données et l’IA

Pour traiter des jeux de données massifs, des modèles d’IA sans cesse plus lourds et des simulations complexes, les entreprises doivent disposer d’une importante mémoire dédiée, de GPU multiples, d’un modèle d’interconnexion rapide et d’une pile logicielle entièrement accélérée. La plateforme de calcul intensif NVIDIA HGX™, qui exploite toute la puissance des GPU NVIDIA, combine des technologies de pointe comme NVIDIA® NVLink® et NVIDIA InfiniBand à la pile logicielle du catalogue NVIDIA NGC™ spécialement optimisée pour l’IA et le HPC afin de mettre en œuvre des performances d’application sans précédent. Grâce à d’importantes performances de calcul de bout en bout et à une polyvalence incomparable, la plateforme NVIDIA HGX permet aux chercheurs et aux scientifiques de combiner des techniques avancées de simulation, d’analyse de données et d’intelligence artificielle pour faire avancer la science.

Accélération sans précédent du calcul informatique

La plateforme NVIDIA HGX, qui associe des GPU NVIDIA A100 Tensor Core à des interconnexions à haute vitesse, permet de mettre en œuvre les serveurs les plus puissants au monde. Doté de 16 GPU A100, un seul système HGX est capable de fournir une mémoire dédiée pouvant atteindre 1,3 téraoctets (To) et une bande passante globale de 2 To/s, ce qui représente un gain de performance incomparable. 

Par rapport aux produits de génération précédente, un système HGX peut délivrer des performances de calcul TF32 jusqu’à 20 fois plus élevées dans les applications d’IA et des performances de calcul FP64 jusqu’à 2,5 fois plus élevées pour le HPC. NVIDIA HGX est en mesure de fournir une puissance brute de 10 pétaflops, constituant ainsi la plateforme de serveur Scale-Up accélérée par GPU la plus puissante au monde pour les workflows d’IA et de HPC.

Fiche technique NVIDIA HGX A100 (PDF ; 418 Ko)
Pile HGX

NVIDIA HGX A100 à huit GPU

NVIDIA HGX A100 avec huit GPU A100

NVIDIA HGX A100 à quatre GPU

NVIDIA HGX A100 avec quatre GPU A100

Performances pour le Deep Learning

Entraînement jusqu’à 3 fois plus rapide avec les modèles les plus complexes

Entraînement DLRM

Entraînement jusqu’à 3 fois plus rapide avec les modèles les plus complexes

DLRM on HugeCTR framework, precision = FP16 | ​NVIDIA A100 80GB batch size = 48 | NVIDIA A100 40GB batch size = 32 | NVIDIA V100 32GB batch size = 32. ​

Les modèles de Deep Learning ne cessent de gagner en taille et en complexité. Cela signifie que le traitement de vos modèles d’IA requiert désormais un système doté d’une grande quantité de mémoire, d’une puissance de calcul massive et d’interconnexions à haute vitesse afin d’offrir une évolutivité optimale. Basée sur la technologie NVIDIA NVSwitch™ qui fournit des communications GPU All-to-All à haute vitesse, la plateforme HGX A100 délivre une puissance suffisante pour gérer les modèles d’IA les plus avancés. Recourir à des GPU A100 à 80 Go permet de doubler la mémoire disponible, délivrant ainsi un total de 1,3 To de mémoire dédiée avec un seul système HGX. Les charges de travail émergentes, qui comportent des tables de données de taille massive et nécessitent par conséquent de mettre en œuvre des modèles très complexes dans des champs d’application tels que les modèles de recommandation pour le Deep Learning (DLRM), sont quant à elles accélérées jusqu’à trois fois sur un système HGX incorporant des GPU A100 à 40 Go.

Performances pour l’apprentissage automatique

Performances jusqu’à 2 fois plus rapides (système A100 40 Go) sur les benchmarks d’analyse Big Data

Performances jusqu’à 2 fois plus rapides (système A100 40 Go) sur les benchmarks d’analyse Big Data

Benchmark d’analyse Big Data |  30 requêtes d’analyse commerciale avec des jeux de données ETL, ML et NLP à 10 To | V100 32 Go, RAPIDS/Dask | A100 40 Go et A100 80 Go, RAPIDS/Dask/BlazingSQL​

Les nouveaux modèles d’apprentissage automatique nécessitent de charger, de transformer et de traiter des jeux de données extrêmement volumineux afin de collecter des ressources exploitables. Grâce à plus de 1,3 To de mémoire unifiée et à des communications GPU All-to-All via NVSwitch, un système HGX avec des GPU A100 à 80 Go vous permet de charger et de réaliser des calculs sur d’énormes jeux de données afin d’obtenir plus rapidement des ressources exploitables.

Sur un benchmark d’analyse Big Data, un GPU A100 à 80 Go est en mesure de fournir un rendement jusqu’à 2 fois plus élevé qu’avec un GPU A100 à 40 Go, ce qui permet de traiter les charges de travail émergentes avec des volumes de données sans cesse plus conséquents.

Performances pour les applications HPC

Les applications HPC requièrent une puissance de calcul suffisamment élevée pour exécuter un grand nombre d'opérations par seconde. L’augmentation de la densité de calcul sur chaque nœud de serveur permet de réduire le nombre de serveurs afin de réaliser des économies significatives en termes d’espace et de coût énergétique. Les simulations HPC avancées s’appuient sur des multiplications matricielles à haute dimension qui nécessitent de collecter des données sur des voisins multiples afin de faciliter les calculs ; c’est pourquoi les GPU connectés par la technologie NVLink constituent la plateforme idéale. Les applications HPC peuvent désormais profiter des capacités de calcul TF32 des GPU A100 pour accélérer de manière significative les opérations de multiplication matricielle en simple précision, avec un rendement onze fois plus élevé qu’il y a seulement quatre ans.

Dans Quantum Espresso, un outil avancé de simulation des matériaux, un seul système HGX équipé de GPU A100 à 80 Go offre un rendement deux fois plus important par rapport aux GPU A100 à 40 Go, ce qui représente un gain de temps considérable.

Performances HPC accélérées par 11 fois en quatre ans

Rendement dans les principales applications HPC​

Performances HPC accélérées par 11 fois en quatre ans

Moyenne géométrique de l’accélération des applications par rapport à P100 - Applications pour benchmark : Amber [PME-Cellulose_NVE], Chroma [szscl21_24_128], GROMACS [ADH Dodec], MILC [Apex Medium], NAMD [stmv_nve_cuda], PyTorch (BERT-Large Fine Tuner], Quantum Espresso [AUSURF112-jR]; Random Forest FP32 [make_blobs (160000 x 64 : 10)], TensorFlow [ResNet-50], VASP 6 [Si Huge] | Nœud GPU avec CPU dual-socket et quatre GPU NVIDIA P100, V100 ou A100.​

Performances jusqu’à 1,8 fois plus élevées dans les applications HPC

Quantum Espresso​

Performances jusqu’à 1,8 fois plus élevées dans les applications HPC

Quantum Espresso measured using CNT10POR8 dataset, precision = FP64.

NVIDIA HGX - Spécifications

NVIDIA HGX est disponible via des cartes de référence uniques dotées de quatre ou de huit GPU H100 avec 80 Go de mémoire dédiée, ou bien de GPU A100, chacun avec 40 Go ou 80 Go de mémoire dédiée. La configuration à quatre GPU est entièrement interconnectée avec NVIDIA NVLink, et la configuration à huit GPU est interconnectée avec NVIDIA NVSwitch. Deux cartes de référence HGX A100 à huit GPU peuvent également être combinées à l’aide d’une interface d’interconnexion NVSwitch pour créer un nœud unique à 16 GPU.

HGX est par ailleurs proposé avec des configurations PCIe pour une option de déploiement modulaire simplifiée qui apporte des performances de calcul élevées aux serveurs grand public.

Cette puissante combinaison de solutions matérielles et logicielles pose les fondations de la plateforme de calcul ultime pour l’IA.

  HGX H100
  H100 PCIe 4 GPU 8 GPU
GPU 1x NVIDIA H100 PCIe 1x HGX H100 à 4 GPU 1x HGX H100 à 8 GPU
Configuration PCIe 4x NVIDIA H100 SXM 8x NVIDIA H100 SXM
Puissance de calcul IA/HPC (FP64/TF32/FP16/FP8/INT8) 48 TF/800 TF/1,6 PF/3,2 PF/3,2 POPS 240 TF/4 PF/8 PF/16 PF/16 POPS 480 TF/8 PF/16 PF/32 PF/32 POPS
Mémoire 80 Go par GPU Jusqu’à 320 Go Jusqu’à 640 Go
NVLink Quatrième génération Quatrième génération Quatrième génération
NVSwitch N/A N/A Troisième génération
Commutateur NVLink N/A N/A N/A
Bande passante GPU vers GPU avec NVSwitch N/A N/A 900 Go/s
Bande passante globale 900 Go/s 3,6 To/s 7,2 To/s
  HGX A100
  A100 PCIe 4 GPU 8 GPU 16 GPU
GPU 1x NVIDIA A100 PCIe HGX A100 4 GPU HGX A100 8 GPU 2x HGX A100 8 GPU
Configuration PCIe 4x NVIDIA A100 SXM 8x NVIDIA A100 SXM 16x NVIDIA A100 SXM
Puissance de calcul IA/HPC (FP64/TF32/FP16/INT8) 19,5 TF/312 TF/624 TF/1,2 POPS 78 TF/1,25 PF/2,5 PF/5 POPS 156 TF/2,5 PF/5 PF/10 POPS 312 TF/5 PF/10 PF/20 POPS
Mémoire 80 Go par GPU Jusqu’à 320 Go Jusqu’à 640 Go Jusqu’à 1280 Go
NVLink Troisième génération Troisième génération Troisième génération Troisième génération
NVSwitch N/A N/A Seconde génération Seconde génération
Bande passante GPU vers GPU avec NVSwitch N/A N/A 600 Go/s 600 Go/s
Bande passante globale 600 Go/s 2,4 To/s 4,8 To/s 9,6 To/s

Solutions de mise en réseau pour l’accélération de NVIDIA HGX

Les solutions de mise en réseau de NVIDIA peuvent être intégrées à la plateforme HGX pour accélérer et décharger les transferts de données, assurant ainsi une utilisation optimale des ressources de calcul. Les adaptateurs et les commutateurs intelligents contribuent à réduire la latence, à renforcer l’efficacité énergétique, à accroître la sécurité et à simplifier l’automatisation des Data Centers pour accélérer les performances d’application de bout en bout.

Alors que les Data Centers constituent la nouvelle référence du calcul informatique, la mise en réseau du HPC joue un rôle essentiel dans la mise à l’échelle des performances d’application sur l’ensemble de l’infrastructure. Véritable moteur d’innovation, la technologie NVIDIA InfiniBand fournit une mise en réseau définie par logiciel, des moteurs d’accélération pour le calcul en réseau, un accès direct à la mémoire distante (RDMA) et des flux de données d’une vitesse incomparable.

Architectures de référence HGX-1 et HGX-2

Avec GPU NVIDIA et technologie NVLink

Les architectures de référence NVIDIA HGX-1 et HGX-2 permettent de standardiser la conception des Data Centers et d’accélérer les workflows IA et HPC. Basées sur des cartes graphiques NVIDIA SXM2 V100 à hautes performances et équipées des technologies d’interconnexion NVIDIA NVLink et NVSwitch, les architectures de référence HGX se distinguent par une conception modulaire spécifiquement adaptée aux centres de données Hyperscale et Hybrides. Dotées d’une puissance de calcul pouvant atteindre 2 pétaflops, elles accélèrent l’avènement des technologies d’intelligence artificielle et de calcul haute performance.

Avec GPU NVIDIA et technologie NVLink

Spécifications

8 GPU
HGX-1  		16 GPU
HGX-2 
GPU 8x NVIDIA V100 16x NVIDIA V100
Puissance de calcul pour l’IA 1 pétaflop (FP16) 2 pétaflops (FP16)
Mémoire 256 Go 512 Go
NVLink 2e génération 2e génération
NVSwitch N/A Oui
Bande passante GPU vers GPU avec NVSwitch N/A 300 Go/s
Bande passante globale 2,4 To/s 4,8 To/s

Obtenez plus d’informations sur le GPU NVIDIA A100

En savoir plus
Produits
Technologies
Logiciels
Ressources