This site requires Javascript in order to view all its content. Please enable Javascript in order to access all the functionality of this web site. Here are the instructions how to enable JavaScript in your web browser.

GPU NVIDIA H100 Tensor Core

Des performances, une évolutivité et une sécurité sans précédent pour chaque Data Center.

Une avancée significative pour le calcul accéléré

Profitez de performances, d’une évolutivité et d’une sécurité sans précédent avec toutes vos charges de travail grâce au GPU NVIDIA H100 Tensor Core. Le système de commutation NVIDIA^® NVLink^® vous permet de connecter jusqu’à 256 GPU H100 pour accélérer les calculs Exascale, tandis qu’un moteur de transformation dédié vous aide à traiter des modèles complexes dotés de plusieurs billions de paramètres. Les innovations technologiques sur lesquelles repose le GPU H100 contribuent à accélérer jusqu’à 30 fois les modèles de langage les plus complexes par rapport aux produits de génération précédente, vous offrant ainsi des capacités d’IA conversationnelle à la pointe de l’industrie.

Lire la fiche technique du NVIDIA H100 PCIe

Lire la fiche produit du NVIDIA H100 PCIe

Vous voulez déployer l’IA dans votre entreprise ?

Les entreprises du monde entier, qui ont plébiscité l’adoption de l’IA, requièrent une infrastructure de bout en bout prête pour l’IA afin de les accompagner dans cette nouvelle ère.

Le GPU H100 pour les serveurs grand public est fourni avec un abonnement de cinq ans à la suite logicielle NVIDIA AI Enterprise et à ses services d’assistance dédiés, simplifiant ainsi l’adoption de l’IA avec des performances maximales. Cette solution avantageuse permet aux entreprises d’accéder aux frameworks et aux outils d’IA dont elles ont besoin pour mettre en œuvre des workflows d’IA accélérés par le GPU H100 dans des champs d’application comme les chatbots, les moteurs de recommandation ou bien encore la vision basée sur l’IA.

Activez NVIDIA AI Enterprise

Accélération sécurisée de vos charges de travail, des applications d’entreprise à l’Exascale

Entraînement jusqu’à 3 fois plus rapide avec les modèles les plus complexes

Modèles MoE (395 milliards de paramètres)

Projections de performance susceptibles d’être modifiées. Entraînement d’une variante MoE (Mixture of Experts) de transformateur Switch-XXL avec des paramètres 395B sur un jeu de données de jetons 1T | Cluster A100 : réseau HDR IB | Cluster H100 : système de commutation NVLINK, NDR IB

Mise en œuvre d’une IA transformationnelle

Les GPU NVIDIA H100 intègrent des cœurs Tensor de quatrième génération et un moteur de transformation à précision FP8 permettant un entraînement jusqu’à 9 fois plus rapide qu’avec les modèles MoE (Mixture of Experts) de génération précédente. Des petites infrastructures d’entreprise aux grands clusters de GPU unifiés, vous pouvez bénéficier d’un maximum de performance et d’évolutivité grâce à la combinaison de la technologie NVlink de quatrième génération (offrant une interconnexion GPU-vers-GPU à 900 Go/s), du système de commutation NVLink (qui accélère les communications entre chaque GPU sur tous les nœuds), de la norme PCIe Gen5 et du logiciel NVIDIA Magnum IO™.

Le déploiement des GPU H100 à l’échelle des Data Centers offre des performances de calcul exceptionnelles et fait entrer les chercheurs dans la nouvelle ère du HPC Exascale, avec des modèles d’IA incluant des billions de paramètres.

Accédez à NVIDIA AI et NVIDIA H100 sur NVIDIA LaunchPad

Inférences Deep Learning en temps réel

L’IA permet de relever une multitude de défis commerciaux en mettant à profit un grand nombre de réseaux de neurones. Un bon accélérateur d’inférences IA doit permettre d’améliorer les performances de calcul tout en s’avérant suffisamment polyvalent pour accélérer l’ensemble de ces réseaux de neurones.

Le GPU H100, qui s’appuie sur le leadership de NVIDIA, met en œuvre plusieurs avancées technologiques qui accélèrent jusqu’à 30 fois les workflows d’inférence tout en réduisant la latence. Les cœurs Tensor de quatrième génération accélèrent les calculs à tous les niveaux de précision (FP64, TF32, FP32, FP16 et INT8), tandis que le moteur de transformation utilise des opérations FP8 et FP16 pour réduire l’utilisation de la mémoire et augmenter les performances tout en maximisant la précision relative aux modèles de langage les plus complexes.

Performances d’inférence IA jusqu’à 30 fois plus élevées pour les modèles les plus complexes

Inférences chatbot Megatron (530 milliards de paramètres)

Projected performance subject to change. Inference on Megatron 530B parameter model chatbot for input sequence length=128, output sequence length=20 | Cluster A100 : réseau HDR IB | Cluster H100 : réseau NDR IB pour 16 configurations H100 | 32 A100 vs 16 H100 pour 1 et 1,5 s | 16 A100 vs 8 H100 pour 2 s

Performances jusqu’à 7 fois plus élevées pour les applications HPC

Calcul haute performance Exascale

La plateforme de NVIDIA pour Data Center offre des gains constants de performance qui vont bien au-delà de la loi de Moore. Les nouvelles capacités du GPU H100 amplifient les capacités de l’IA et du HPC pour accélérer les projets des scientifiques et des chercheurs qui cherchent à relever les défis les plus importants au monde.

H100 triple le nombre d’opérations en virgule flottante par seconde (FLOPs) avec les cœurs Tensor en double précision, fournissant ainsi une puissance totale de 60 téraflops pour les calculs FP64 dans les applications HPC. Les applications HPC avec IA intégrée peuvent également tirer parti du niveau de précision TF32 du GPU H100 pour atteindre un pétaflop de rendement afin d’accélérer les opérations de multiplication matricielle en simple précision, sans le moindre changement de code.

H100 intègre en outre des instructions DPX qui contribuent à fournir des performances 7 fois plus élevées qu’avec les GPU NVIDIA A100 Tensor Core et 40 fois plus rapides qu’avec les serveurs CPU Dual-Socket pour les algorithmes de programmation dynamique tels que Smith-Waterman, servant à l’alignement des séquences ADN.

Accélération de l’analyse de données

L’analyse de données peut prendre beaucoup de temps lors du développement de nouvelles applications d’IA. Étant donné que des jeux de données volumineux sont hébergés sur de multiples serveurs, les solutions Scale-Out des serveurs CPU génériques sont aujourd’hui impactées par un manque de performance et d’évolutivité.

Les serveurs accélérés par les GPU H100 fournissent une puissance de calcul exceptionnelle ainsi qu’une bande passante de 3 To/s par GPU, sans oublier une évolutivité incomparable grâce aux technologies NVLink et NVSwitch. Vous pouvez ainsi traiter les tâches d’analyse de données avec des performances et une évolutivité sans précédent, mais aussi prendre en charge des jeux de données d’une grande complexité. Associée à la technologie NVIDIA Quantum-2 Infiniband, au SDK Magnum IO, à la solution Spark 3.0 accélérée par GPU et aux bibliothèques logicielles NVIDIA RAPIDS^™, la plateforme de NVIDIA pour Data Center a été spécialement conçue pour accélérer vos workflows de manière significative avec des performances et une efficacité incomparables.

Technologie de GPU multi-instances de NVIDIA

Conçu pour une utilisation en entreprise

Les responsables informatiques cherchent à optimiser l’utilisation maximale et moyenne des ressources de calcul sur les Data Centers. Pour ce faire, ils ont le plus souvent recours à une technique de reconfiguration dynamique pour adapter les ressources de calcul aux charges de travail en cours d’utilisation.

La technologie de GPU multi-instances (MIG) de seconde génération intégrée au H100 maximise l’utilisation de chaque GPU en le partitionnant en sept instances distinctes, de manière entièrement sécurisée. Grâce au support de la technologie Confidential Computing, le H100 permet une utilisation multi-utilisateurs de bout en bout totalement sécurisée, ce qui en fait la solution idéale pour les environnements des fournisseurs de services Cloud.

H100 avec MIG permet aux gestionnaires informatiques de standardiser leur infrastructure accélérée par GPU tout en disposant de suffisamment de polyvalence pour procéder à une allocation des ressources GPU avec une granularité accrue, de manière à offrir aux développeurs des capacités de calcul adéquates et à garantir une utilisation optimale de toutes les ressources GPU.

En savoir plus sur MIG

Calcul confidentiel intégré

Aujourd’hui, les solutions de calcul confidentiel reposent encore sur le traitement CPU, ce qui met un frein à leur adoption pour les workflows de calcul intensif en matière d’IA et de HPC. NVIDIA Confidential Computing est une fonctionnalité de sécurité intégrée de l’architecture NVIDIA Hopper™, qui fait du GPU NVIDIA H100 le tout premier accélérateur au monde doté de capacités de calcul confidentiel. Les utilisateurs peuvent ainsi protéger la confidentialité et renforcer l’intégrité de leurs données et de leurs modèles d’IA en cours d’utilisation, tout en bénéficiant des capacités d’accélération sans précédent des GPU H100. Cette technologie crée un environnement d’exécution de confiance (TEE) basé sur le matériel, qui permet de sécuriser et d’isoler l’intégralité de la charge de travail exécutée sur un seul GPU H100, sur plusieurs GPU H100 au sein d’un nœud ou sur des instances MIG individuelles. Les applications accélérées par GPU peuvent fonctionner sans modification dans le TEE et n’ont pas besoin d’être partitionnées. Les utilisateurs peuvent ainsi combiner toute la puissance des logiciels de NVIDIA pour l’IA et le HPC avec la sécurité renforcée de la racine de confiance matérielle mise en œuvre par la technologie NVIDIA Confidential Computing.

En savoir plus sur NVIDIA Confidential Computing

The convergence of GPU and SmartNIC.

NVIDIA H100 CNX combines the power of H100 with the advanced networking capabilities of the NVIDIA ConnectX^®-7 smart network interface card (SmartNIC) in a single, unique platform. This convergence delivers unparalleled performance for GPU-powered input/output (IO)-intensive workloads, such as distributed AI training in the enterprise data center and 5G processing at the edge.

Learn More About NVIDIA H100 CNX

Performances incomparables pour les workflows IA et HPC à grande échelle

Le GPU Hopper Tensor Core va équiper l’architecture NVIDIA Grace Hopper CPU+GPU, spécifiquement conçue pour accélérer les calculs informatiques mobilisant plusieurs téraoctets de données, mais aussi fournir des performances 10 fois plus élevées avec les workflows d’IA et de HPC reposant sur des modèles complexes. Le CPU NVIDIA Grace tire parti de la grande polyvalence de l’architecture Arm^® pour proposer une architecture de processeur et de serveur visant à accélérer les calculs informatiques. Le GPU Hopper est associé à Grace via la technologie d’interconnexion chip-to-chip de NVIDIA qui fournit une bande passante totale de 900 Go/s, soit sept fois plus que la norme PCIe Gen5. Cette conception novatrice fournit au GPU une bande passante globale jusqu’à 30 fois plus élevée par rapport aux serveurs généralistes les plus rapides de l’industrie ainsi que des performances de calcul jusqu’à 10 fois plus élevées pour les applications faisant appel à plusieurs téraoctets de données.

En savoir plus sur NVIDIA Grace

Caractéristiques du produit

Configuration	H100 SXM	H100 PCIe
FP64	34 TFlops	26 TFlops
FP64 Tensor Core	67 TFlops	51 TFlops
FP32	67 TFlops	51 TFlops
TF32 Tensor Core	989 TFlops*	756 TFlops*
BFLOAT16 Tensor Core	1979 TFlops*	1513 TFlops*
FP16 Tensor Core	1979 TFlops*	1513 TFlops*
FP8 Tensor Core	3958 TFlops*	3026 TFlops*
INT8 Tensor Core	3958 TOPs*	3026 TOPs*
Mémoire GPU	80 Go	80 Go
Bande passante GPU	3,35 Tbit/s	2 Tbit/s
Décodeurs	7 NVDEC 7 JPEG	7 NVDEC 7 JPEG
Enveloppe thermique (TDP)	Jusqu’à 700 W (configurable)	300 W–350 W (configurable)
GPU multi-instances	Jusqu’à 7 instances MIG à 10 Go
Configuration	SXM	PCIe Refroidissement par air Dual-Slot
Interconnexion	NVLink : 900 Go/s ; PCIe Gen5 : 128 Go/s	NVLink : 600 Go/s ; PCIe Gen5 : 128 Go/s
Options de serveur	Systèmes partenaires NVIDIA HGX^™ H100, systèmes NVIDIA certifiés^™ avec 4 ou 8 GPU et NVIDIA DGX^™ H100 avec 8 GPU	Systèmes partenaires et systèmes NVIDIA certifiés™ avec de 1 à 8 GPU
NVIDIA AI Enterprise	Extension	Inclus

* Avec dispersion structurelle. Sans dispersion, les spécifications sont deux fois moins élevées.

Spécifications préliminaires. Peut faire l’objet de modifications.

Plongez au cœur de l’architecture NVIDIA Hopper

Lire le livre blanc