GPU NVIDIA A100 Tensor Core

Accélération sans précédent à tous les niveaux

Accélérez les plus importants projets de
notre époque

Le GPU NVIDIA A100 Tensor Core offre des capacités d’accélération sans précédent pour les workflows d’intelligence artificielle (IA), d’analyse de données et de calcul haute performance (HPC) afin répondre aux défis informatiques les plus complexes au monde. Véritable moteur des Data Centers modernes, NVIDIA A100 peut vous aider à interconnecter plusieurs milliers de GPU pour mettre en œuvre une puissance de calcul phénoménale ou - grâce à la technologie de GPU multi-instances (MIG) - vous pouvez le partitionner en sept instances de GPU pour accélérer tous les types de charges de travail. Les cœurs NVIDIA Tensor de troisième génération accélèrent vos charges de travail à tous les niveaux de précision, ce qui améliore votre productivité avec un meilleur temps d'accès aux données et une importante réduction des délais de mise sur le marché.

Fiche technique NVIDIA A100 (PDF 640 KB)
Fiche produit A100 PCIe(PDF 332 KB)

La plateforme pour Data Center de bout en bout la plus puissante au monde pour l’IA et le HPC

Les GPU A100 sont des composants essentiels de la pile de solutions NVIDIA pour Data Center, regroupant un ensemble complet de solutions matérielles et logicielles, de systèmes de mise en réseau, de bibliothèques, de modèles d’IA et d’applications optimisées par NGC™. Dédiée à l’IA et au HPC, cette plateforme de bout en bout pour Data Center est la plus puissante du marché. Les chercheurs du monde entier peuvent ainsi aboutir plus rapidement à des résultats concrets et déployer des solutions de production hautement évolutives.

 

Making-of de l’architecture Ampere

VOIR LA VIDÉO

Performances TF32 immédiates jusqu’à 6 fois plus élevées ​pour l’entraînement IA

Entraînement BERT

Performances TF32 immédiates jusqu’à 6 fois plus élevées ​pour l’entraînement IA

Rendement de pré-entraînement BERT avec Pytorch incluant (2/3) Phase 1 et (1/3) Phase 2 | Phase 1 séquence Len = 128, phase 2 séquence Len = 512 ; V100 : serveur NVIDIA DGX-1™ avec 8 GPU V100 à précision FP32 ; A100 : serveur DGX A100 avec 8 GPU A100 à précision TF32.

Entraînement Deep Learning

Les modèles d’IA gagnent en complexité alors que surgissent de nouveaux défis tels que la conception d’applications d’IA conversationnelle plus précises ou le développement de systèmes de recommandation plus évolués. Leur entraînement requiert une puissance de calcul massive ainsi qu’une importante évolutivité.

Les cœurs Tensor de troisième génération des GPU A100 ainsi que leurs capacités de calcul de niveau TF32 (Tensor Float 32) vous offrent, sans changement du code-source, des performances jusqu’à 10 fois plus rapides par rapport aux GPU de génération précédente et un rendement doublé grâce à la technologie NVIDIA de précision mixte automatique. Mais ce n’est pas tout : l’association de la technologie NVIDIA® NVLink® de troisième génération, de NVIDIA NVSwitch™, de la norme PCI Gen4, de Mellanox InfiniBand et du kit de développement logiciel NVIDIA Magnum IO™ vous permet d’interconnecter plusieurs milliers de GPU A100 pour bénéficier d’une puissance de calcul phénoménale. Cela signifie que de grands modèles d’IA comme BERT peuvent être entraînés en seulement xx minutes sur un cluster composé de xx GPU A100, vous offrant ainsi des performances et une évolutivité sans précédent.

NVIDIA a démontré son leadership en enregistrant des performances record dans MLPerf 0.6, , le premier benchmark d’IA pour l’entraînement à faire autorité dans toute l’industrie.

EN SAVOIR PLUS SUR A100 POUR L’ENTRAÎNEMENT

Inférence Deep Learning

Le GPU A100 comporte des fonctionnalités révolutionnaires qui optimisent les workflows d’inférence. Il délivre par ailleurs une polyvalence sans précédent qui permet d’améliorer les performances de calcul à tous les niveaux de précision (FP32, FP16, INT8 et INT4). La technologie de GPU multi-instances (MIG), qui permet à plusieurs réseaux de fonctionner en simultané sur un seul GPU A100, offre une utilisation optimale des ressources de calcul. La technologie de dispersion structurelle fournit près de 2 fois plus de performances de calcul ainsi que de nombreux gains de performance pour l'inférence.

NVIDIA fournit déjà des performances d’inférence à la pointe de l’industrie, comme l’illustrent les scores enregistrés dans MLPerf Inference 0.5, le premier benchmark d’IA pour l’inférence à faire autorité dans toute l’industrie. Aujourd'hui, le GPU A100 contribue à consolider ce leadership en offrant près de 10 fois plus de performances.

EN SAVOIR PLUS SUR A100 POUR L’INFÉRENCE

Performances jusqu'à 7 fois plus rapides avec MIG (GPU multi-instances) pour l'entraînement IA

Inférence à grande échelle avec BERT

Performances jusqu'à 7 fois plus rapides avec MIG (GPU multi-instances) pour l'entraînement IA

Inférence à grande échelle avec BERT | GPU NVIDIA T4 Tensor Core : NVIDIA TensorRT™ (TRT) 7.1, précision = INT8, taille de batch = 256 | V100 : TRT 7.1, précision = FP16, taille de batch = 256 | A100 avec 7 instances MIG (1g.5gb) pour pré-production TRT : taille de batch = 94, précision = INT8 avec dispersion.

Performances HPC accélérées par 9 fois en 4 ans

Rendement dans les principales applications HPC

Performances HPC accélérées par 9 fois en 4 ans

Moyenne géométrique de l'accélération des applications par rapport à P100 - Applications pour benchmark : Amber [PME-Cellulose_NVE], Chroma [szscl21_24_128], GROMACS [ADH Dodec], MILC [Apex Medium], NAMD [stmv_nve_cuda], PyTorch (BERT Large Fine Tuner],  Quantum Espresso [AUSURF112-jR], Random Forest FP32 [make_blobs (160000 x 64 : 10)], TensorFlow [ResNet-50], VASP 6  [Si Huge] | Nœud GPU avec CPU dual-socket et quatre GPU NVIDIA P100, V100 ou A100.

Calcul haute performance

Pour réaliser de nouvelles découvertes scientifiques, les chercheurs ont aujourd’hui recours à des simulations avancées afin d'étudier des systèmes moléculaires complexes à des fins de recherche pharmaceutique, d'utiliser de nouveaux modèles physiques pour identifier de nouvelles sources d'énergie ou d'analyser de grands volumes de données atmosphériques pour mieux anticiper les phénomènes climatiques extrêmes.

A100 apporte toute la puissance des cœurs Tensor , aux workflows HPC, fournissant ainsi l’avancée technologique la plus importante depuis l’introduction du calcul sur GPU en double précision. Les chercheurs peuvent ainsi faire passer la durée d’un projet de simulation en double précision de 10 heures sur un GPU NVIDIA V100 Tensor Core à quatre heures sur un GPU A100. Les applications HPC peuvent également exploiter la puissance des cœurs Tensor du GPU A100 afin de bénéficier d’un rendement jusqu’à 10 fois plus important avec les opérations de multiplication matricielle en simple précision.

EN SAVOIR PLUS SUR A100 POUR LE CALCUL HAUTE PERFORMANCE

Analyse de données à hautes performances

Les utilisateurs doivent pouvoir analyser, visualiser et transformer leurs jeux de données en ressources exploitables avec un maximum d’efficacité. Les solutions Scale-Out existantes tendent malheureusement à ralentir votre rendement car les jeux de données sont hébergés sur plusieurs serveurs.

Avec une bande passante mémoire ultraperformante qui s’élève à 1,6 téraoctets par seconde (To/s), sans oublier des capacités d’évolutivité incomparables grâce aux technologies NVSwitch et NVLink de troisième génération, les serveurs accélérés par les GPU A100 fournissent la puissance de calcul requise pour traiter les charges de travail les plus intenses. Associée à la technologie Mellanox InfiniBand, au SDK Magnum IO, à la solution Spark 3.0 accélérée par GPU et à la suite logicielle NVIDIA RAPIDS™ pour l’analyse de données à accélération GPU, la nouvelle plateforme pour Data Center de NVIDIA a été spécialement conçue pour accélérer vos workflows de manière significative avec des performances et une efficacité sans précédent.

EN SAVOIR PLUS SUR L’ANALYSE DE DONNÉES
Analyse de données à hautes performances

Rendement d’inférence 7 fois plus élevé avec MIG (GPU multi-instances)

Inférence à grande échelle avec BERT

Rendement d’inférence 7 fois plus élevé avec MIG (GPU multi-instances)

Inférence à grande échelle avec BERT | NVIDIA TensorRT™ (TRT) 7.1 | GPU NVIDIA T4 Tensor Core : TRT 7.1, précision = INT8, taille de batch = 256 | V100 : TRT 7.1, précision = FP16, taille de batch = 256 | A100 avec 1 ou 7 instances MIG (1g.5gb) : taille de batch = 94, précision = INT8 avec dispersion.

Conçu pour une utilisation en entreprise

A100 et la technologie de GPU multi-instances (MIG) maximisent comme jamais l’utilisation des infrastructures accélérées par GPU. MIG permet de partitionner un GPU A100 en sept instances distinctes de manière entièrement sécurisée, permettant ainsi à de multiples utilisateurs d'accéder à tous les avantages de l’accélération GPU avec leurs applications et projets de développement. Les administrateurs de Data Centers peuvent par ailleurs bénéficier de fonctionnalités de gestion avancées et d’avantages opérationnels majeurs grâce à notre système de virtualisation de serveur basé sur des hyperviseurs et mis en œuvre avec des instances MIG tournant sur NVIDIA Virtual Compute Server (vCS). MIG permet aux gestionnaires d’infrastructure de procéder à une allocation des ressources GPU avec une granularité accrue pour offrir aux développeurs des capacités de calcul adéquates et garantir une utilisation optimale de toutes leurs ressources GPU.

EN SAVOIR PLUS SUR MIG

GPU pour Data Center

NVIDIA A100 pour HGX

NVIDIA A100 pour HGX

Performances ultimes pour toutes les charges de travail.

NVIDIA A100 pour PCIe

NVIDIA A100 pour PCIe

Polyvalence maximale pour toutes les charges de travail.

Spécifications

  NVIDIA A100 avec HGX NVIDIA A100 pour PCIe
Performances maximales FP64 9,7 TF 9,7 TF
Performances maximales FP64 Tensor Core 19,5 TF 19,5 TF
Performances maximales FP32 19,5 TF 19,5 TF
Performances maximales TF32 Tensor Core 156 TF | 312 TF* 156 TF | 312 TF*
Performances maximales bfloat16 Tensor Core 312 TF | 624 TF* 312 TF | 624 TF*
Performances maximales FP16 Tensor Core 312 TF | 624 TF* 312 TF | 624 TF*
Performances maximales INT8 Tensor Core 624 TOPS | 1,248 TOPS* 624 TOPS | 1,248 TOPS*
Performances maximales INT4 Tensor Core 1,248 TOPS | 2,496 TOPS* 1,248 TOPS | 2,496 TOPS*
Mémoire GPU 40 Go 40 Go
Bande passante GPU 1,555 Go/s 1,555 Go/s
Interface d'interconnexion NVIDIA NVLink 600 Go/s**
PCIe Gen4 64 Go/s 		NVIDIA NVLink 600 Go/s**
PCIe Gen4 64 Go/s
GPU multi-instances Différentes tailles d'instance avec jusqu'à 7MIG @ 5 Go Différentes tailles d'instance avec jusqu'à 7MIG @ 5 Go
Configuration 4/8 SXM sur NVIDIA HGX™ A100 PCIe
Consommation TDP max. 400W 250W
Niveau de performance pour applications majeures 100% 90%

* Avec dispersion
** GPU SXM via cartes de serveur HGX A100, GPU PCIe via pont NVLink avec jusqu’à 2 GPU

 

Aperçu de l’architecture NVIDIA Ampere

Découvrez les nouveautés de l'architecture NVIDIA Ampere ainsi que son intégration dans le GPU NVIDIA A100.

LIRE LE LIVRE BLANC
Produits
Technologies
LOGICIELS
Ressources