NVIDIA HGX A100

Avec GPU NVIDIA A100 Tensor Core et technologie NVSwitch

La plateforme de serveur accélérée par GPU la plus puissante au monde pour les applications d’IA et de calcul haute performance

Les jeux de données massifs des workflows d’apprentissage automatique, le poids considérable des modèles de Deep Learning et les simulations complexes du calcul haute performance (HPC) requièrent une importante mémoire dédiée et des GPU multiples avec un modèle d’interconnexion rapide. NVIDIA HGX A100, qui associe de multiples GPU NVIDIA A100 Tensor Core aux technologies d’interconnexion NVIDIA® NVLink® et NVSwitch à haute vitesse, permet de mettre en œuvre les serveurs les plus puissants au monde. Les cartes de référence HGX A100, d’une grande simplicité de déploiement, rationalisent le processus d’intégration aux serveurs de nos partenaires avec des performances garanties.

Accélération sans précédent à tous les niveaux

Grâce à la puissance phénoménale des cœurs Tensor de troisième génération, la plateforme HGX A100 offre des performances de calcul TF32 jusqu’à 10 fois élevées dans les applications d’IA et des performances de calcul FP64 jusqu’à 2,5 fois plus élevées. Un système NVIDIA HGX A100 doté de quatre GPU peut fournir une puissance brute de 80 téraflops pour les calculs FP64 dans les applications HPC les plus exigeantes. Un système NVIDIA HGX A100 doté de huit GPU est quant à lui en mesure de fournir une puissance de 5 pétaflops pour les calculs FP16 de Deep Learning, tandis qu’un système à seize GPU peut délivrer jusqu’à 10 pétaflops, ce qui constitue la plateforme de serveur Scale-Up accélérée par GPU la plus puissante au monde pour les applications d’IA et de HPC.

NVIDIA HGX A100 (avec huit GPU A100)

NVIDIA HGX A100 (avec huit GPU A100)

NVIDIA HGX A100 (avec quatre GPU A100)

NVIDIA HGX A100 (avec quatre GPU A100)

Performances TF32 immédiates jusqu’à 6 fois plus élevées ​pour l’entraînement IA

Entraînement BERT

Performances pour le Deep Learning

Les modèles de Deep Learning ne cessent de gagner en taille et en complexité. Cela signifie que le traitement de vos modèles d’IA requiert désormais un système doté d’une grande quantité de mémoire, d’une puissance de calcul massive et d’interconnexions à haute vitesse afin d’offrir une évolutivité optimale. Basée sur la technologie NVIDIA NVSwitch qui fournit des communications GPU All-to-All à haute vitesse, la plateforme HGX A100 délivre une puissance suffisante pour gérer les modèles d’IA les plus avancés. Un seul système NVIDIA HGX A100 avec huit GPU peut remplacer jusqu’à XXX serveurs à base CPU, ce qui optimise votre Data Center de manière significative avec une importante réduction des coûts d’exploitation, de l’encombrement et de la consommation. 

Performances pour l’apprentissage automatique

Les nouveaux modèles d’apprentissage automatique nécessitent de charger, de transformer et de traiter des jeux de données extrêmement volumineux afin de collecter des ressources exploitables. Grâce à plus de 0,5 To de mémoire unifiée et à des communications GPU All-to-All via NVSwitch, la plateforme HGX A100 vous permet de charger et de réaliser des calculs sur d’énormes jeux de données afin d’obtenir plus rapidement des ressources exploitables.

Performances pour l’apprentissage automatique

Performances HPC accélérées par 9 fois en 4 ans

Rendement dans les principales applications HPC​

Performances pour les applications HPC

Les applications HPC requièrent une puissance de calcul suffisamment élevée pour exécuter un grand nombre d'opérations par seconde. L’augmentation de la densité de calcul sur chaque nœud de serveur permet de réduire le nombre de serveurs afin de réaliser des économies significatives en termes d’espace et de coût énergétique. Les simulations HPC avancées s’appuient sur des multiplications matricielles à haute dimension qui nécessitent de collecter des données sur des voisins multiples afin de faciliter les calculs ; c’est pourquoi les GPU connectés par la technologie NVSwitch constituent la plateforme idéale. Un seul système NVIDIA HGX A100 à 8 GPU délivre des performances d'entraînement IA jusqu’à 6 fois plus rapides et des performances d’inférence IA jusqu'à 7 fois plus rapides par rapport aux systèmes HGX de génération précédente basés sur l'architecture NVIDIA Volta™.

La plateforme pour Data Center de bout en bout la plus puissante au monde pour l’IA et le HPC

La pile de solutions NVIDIA pour Data Center regroupe un ensemble complet de solutions matérielles et logicielles essentielles, de systèmes de mise en réseau, de bibliothèques, de modèles d’IA et d’applications optimisées par NGC. Dédiée à l’IA et au HPC, cette plateforme de bout en bout pour Data Center est la plus puissante du marché. Les chercheurs du monde entier peuvent ainsi aboutir plus rapidement à des résultats concrets et déployer des solutions de production hautement évolutives.

Spécifications HGX A100

La plateforme HGX A100 est disponible via des cartes de référence pour serveur dotées de quatre ou de huit GPU A100. La configuration à quatre GPU est entièrement interconnectée avec NVLink, et la configuration à huit GPU est interconnectée avec NVSwitch. Deux cartes de référence HGX A100 à huit GPU peuvent également être combinées à l’aide d’une interface d’interconnexion NVSwitch pour créer un nœud unique à 16 GPU.

4 GPU 8 GPU 16 GPU
GPU 4x NVIDIA A100 8x NVIDIA A100 16x NVIDIA A100
Puissance de calcul IA/HPC FP64/TF32*/FP16*/INT8* 78TF/1.25PF*/2.5PF*/5POPS* 156TF/2.5PF*/5PF*/10POPS* 312TF/5PF*/10PF*/20POPS*
Mémoire 160 GO 320 GO 640 GO
NVIDIA NVLink 3e génération 3e génération 3e génération
NVIDIA NVSwitch N/A 2e génération 2e génération
NVIDIA Bande passante GPU vers GPU avec NVSwitch N/A 600 Go/s 600 Go/s
Bande passante globale 2,4 To/s 4,8 To/s 9,6 To/s

Architectures de référence HGX-1 et HGX-2

Avec GPU NVIDIA et technologie NVLink

Les architectures de référence NVIDIA HGX-1 et HGX-2 permettent de standardiser la conception des Data Centers et d’accélérer les workflows IA et HPC. Basées sur des cartes graphiques NVIDIA SXM2 V100 à hautes performances et équipées des technologies d’interconnexion NVIDIA NVLink et NVSwitch, les architectures de référence HGX se distinguent par une conception modulaire spécifiquement adaptée aux centres de données Hyperscale et Hybrides. Dotées d’une puissance de calcul pouvant atteindre 2 pétaflops, elles accélèrent l’avènement des technologies d’intelligence artificielle et de calcul haute performance.

Avec GPU NVIDIA et technologie NVLink

Spécifications

8 GPU
HGX-1 
16 GPU
HGX-2 
GPU 8x NVIDIA V100 16x NVIDIA V100
Puissance de calcul pour l’IA 1 pétaflop (FP16) 2 pétaflops (FP16)
Mémoire 256 Go 512 Go
NVLink 2e génération 2e génération
NVSwitch N/A Oui
NVSwitch GPU-to-GPU Bandwidth N/A 300 Go/s
Total Aggregate Bandwidth 2,4 to/s 4,8 To/s

Aperçu de l’architecture NVIDIA Ampere

Consultez cette présentation technique pour découvrir les nouveautés de l’architecture NVIDIA Ampere ainsi que son intégration dans le GPU NVIDIA A100.