Accélérateur convergé NVIDIA H100 CNX

Performances sans précédent pour les workflows d’E/S accélérés par GPU.

Unification du calcul accéléré et du réseau

Bénéficiez de performances de calcul sans précédent avec des capacités d’accélération convergée. NVIDIA H100 CNX combine la puissance du GPU NVIDIA H100 Tensor Core aux capacités avancées pour la mise en réseau de l’adaptateur intelligent NVIDIA® ConnectX-7® (SmartNIC) pour optimiser les workflows d’entrée/sortie accélérés par GPU dans des champs d’application comme l’entraînement distribué des modèles d’IA sur des Data Centers d’entreprise ou le traitement à l’Edge des communications 5G.

Performances E/S optimales

Performances E/S optimales

NVIDIA H100 et ConnectX-7 sont connectés via un commutateur PCIe Gen5 intégré, qui constitue une solution dédiée à haute vitesse pour les transferts de données entre le GPU et le réseau. Cela permet d’éliminer la congestion des données qui passent par l’hôte et de fournir une latence faible et prévisible, ce qui est particulièrement important pour les applications sensibles au temps dans des domaines comme le traitement des signaux 5G.

Conception équilibrée et optimisée

Conception équilibrée et optimisée

L’intégration d’un GPU et d’un SmartNIC dans le même appareil facilite la mise en œuvre d’une architecture soigneusement équilibrée. Sur les systèmes pour lesquels plusieurs GPU sont requis, une carte d’accélération convergée permet d’appliquer un ratio One-to-One optimal du GPU à la carte réseau.  Cette conception soignée réduit également les problèmes de contention du bus PCIe du serveur, de sorte que les performances évoluent de manière linéaire dès que vous y connectez des appareils supplémentaires.

Réduction des coûts

Réduction des coûts

Étant donné que le GPU et le SmartNIC sont connectés directement, les clients peuvent tirer parti des serveurs PCIe grand public Gen4 ou Gen3 pour atteindre un niveau de performance jusqu’alors uniquement envisageable sur des systèmes haut de gamme ou spécifiquement conçus.  L’utilisation d’une seule carte permet par ailleurs de réaliser des économies significatives en matière de consommation, d’encombrement ou de périphériques PCIe, ce qui réduit les coûts en autorisant un plus grand nombre d’accélérateurs par serveur.

Plateforme parée aux applications

Plateforme parée aux applications

Les bibliothèques logicielles d’accélération de base, telles que NVIDIA Collective Communications Library (NCCL) et Unified Communication X (UCX®), permettent d’utiliser automatiquement l’approche la plus performante pour les transferts de données vers les GPU. Par conséquent, les applications multi-nœuds existantes peuvent tirer parti du CNX H100 sans aucune modification, vous offrant ainsi des avantages immédiats.

Systèmes d’IA plus rapides et plus efficaces

Entraînement IA distribué et multi-nœuds

Entraînement IA distribué et multi-nœuds

Lors de l’exécution de charges de travail distribuées pour l’entraînement des modèles d’IA, pouvant impliquer des transferts de données entre les GPU sur différents hôtes, les serveurs sont souvent confrontés à des limitations de performance, d’évolutivité et de densité. Les serveurs d’entreprise n’incluent généralement pas de commutateur PCIe, c’est pourquoi le CPU peut devenir un goulot d’étranglement de ce trafic, en particulier avec les machines virtuelles. Les transferts de données sont liés à la vitesse de l’hôte PCIe. Une contention peut parfois être causée par un déséquilibre entre le nombre de GPU et de cartes d’interface réseau. Même si un ratio One-to-One est évidemment idéal, le nombre de canaux et de connecteurs PCIe au sein du serveur peut limiter le nombre total d’appareils.

Le H100 CNX remédie à ce problème. Grâce à un chemin dédié allant du réseau au GPU, il permet à la technologie GPUDirect® RDMA de fonctionner à des vitesses proches du maximum. Les transferts de données ont également lieu à des vitesses PCIe Gen5, quelle que soit la capacité de l’hôte PCIe. La mise à l’échelle de la puissance GPU d’un hôte peut être effectuée de manière totalement équilibrée, étant donné que la distribution idéale GPU-vers-NIC est atteinte. Chaque serveur peut également bénéficier d’une puissance d’accélération accrue, car les accélérateurs convergés nécessitent moins de canaux et de connecteurs PCIe que les cartes dédiées.

Accélération de l’IA à l’Edge sur les réseaux 5G

La solution NVIDIA AI-on-5G se compose de la plateforme d’entreprise NVIDIA EGX, du kit de développement NVIDIA Aerial pour les environnements virtuels 5G de réseau d’accès radio (vRAN) définis par logiciel, et d’applications d’IA professionnelles comprenant des kits de développement tels que NVIDIA Isaac et NVIDIA Metropolis. Cette plateforme permet aux appareils connectés en périphérie des réseaux - tels que les caméras vidéo, les capteurs industriels et les robots - de mieux utiliser l’IA et de communiquer efficacement avec les serveurs via la 5G.

Les accélérateurs convergés de NVIDIA fournissent la plateforme la plus performante de l’industrie pour l’exécution des applications 5G. Étant donné que les données n’ont pas besoin de passer par le système PCIe hôte, la latence de traitement est réduite de manière considérable. La même carte utilisée pour accélérer le traitement des signaux 5G peut également être utilisée pour traiter les applications d’IA à l’Edge avec la technologie de GPU multi-instances (MIG) de NVIDIA, qui permet de partager les ressources GPU entre plusieurs applications. Le H100 CNX permet en outre de mettre en œuvre l’ensemble de ces fonctionnalités sur un seul serveur d’entreprise, sans devoir déployer de nouveaux systèmes spécifiques et plus coûteux.

NVIDIA AI-on-5G

Spécifications du H100 CNX

  Spécifications
Mémoire GPU 80 Go HBM2e
Bande passante mémoire > 2 To/s
Instances MIG 7 instances @ 10 Go chacune
3 instances @ 20 Go chacune
2 instances @ 40 Go chacune
Interconnexion PCIe Gen5 128 Go/s
Pont NVLink Bidirectionnelle
Mise en réseau 1x 400 Gbit/s, 2x à 200 Gbit/s, Ethernet ou InfiniBand
Configuration Dual-slot FHFL (Full-Height, Full-Length)
Consommation maximale 350 W

Plongez au cœur de l’architecture NVIDIA Hopper