NVIDIA Blackwell Architecture

Le moteur de transformation de seconde génération fait appel à une version personnalisée de la technologie Blackwell Tensor Core combinée aux innovations de la bibliothèque logicielle NVIDIA® TensorRT™-LLM et du framework NeMo™ pour accélérer l'inférence et l’entraînement avec les grands modèles de langage (LLM) et les modèles MoE (Mixture of Experts).

Pour accélérer l'exécution des procédures d'inférence avec les modèles MoE, les cœurs Tensor de l'architecture Blackwell prennent en charge de nouveaux niveaux de précision, notamment avec les formats MX (microscaling) définis par la communauté, offrant ainsi une exactitude et une facilité de remplacement accrues pour garantir une précision encore plus élevée. Le moteur de transformation de l'architecture Blackwell utilise des techniques de mise à l’échelle à granularité fine par micro-tenseurs, de manière à optimiser les performances et la précision des modèles d'IA grâce à une compatibilité avec les calculs FP4 (virgule flottante à 4bits). Cette avancée technologique permet de doubler les performances et la taille des modèles de nouvelle génération tout en maintenant le plus haut niveau de précision.

Pour exploiter le plein potentiel du calcul Exascale et de nouveaux modèles d’IA pouvant inclure plusieurs billions de paramètres, il convient de mettre en œuvre des communications fluides et rapides entre chaque GPU au sein d’un cluster de serveurs. La technologie NVIDIA® NVLink® de 5e génération repose sur un modèle évolutif qui permet d'interconnecter jusqu'à 576 GPU pour accélérer  les performances des modèles d’IA incluant des billions de paramètres (voire beaucoup plus).

La puce de commutation NVIDIA NVLink, qui fournit une bande passante de 130 To/s au sein d'un domaine NVLink à 72 GPU (NVL72), apporte une efficacité de bande passante 4 fois plus importante grâce à la prise en charge du protocole SHARP™ (NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol) avec le format FP8. La puce de commutation NVIDIA NVLink peut prendre en charge des clusters allant au-delà d’un seul serveur, tout en maintenant un impressionnant débit d’interconnexion s'élevant à 1,8 To/s. Les clusters multiserveurs avec NVLink permettent de mettre à niveau les communications GPU en les équilibrant avec l'augmentation de la puissance de calcul. Chaque domaine NVL72 peut ainsi fournir un rendement 9 fois plus élevé qu’avec un seul système à huit GPU.

Blackwell se distingue par une résilience intelligente avec un moteur RAS dédié de fiabilité, de disponibilité et de maintenance qui permet d’identifier plus rapidement les défaillances potentielles afin de minimiser les temps d'arrêt. Les capacités de gestion prédictive basées sur l’IA fournies par NVIDIA assurent une surveillance en continu de milliers de points de données sur l'infrastructure matérielle et logicielle afin de prévoir et de neutraliser les sources d'indisponibilité et d'inefficacité. Cette approche est la clé d'une résilience intelligente permettant de réaliser des économies substantielles en termes de temps, d’énergie et de coûts de calcul.

Le moteur RAS de NVIDIA fournit des informations de diagnostic approfondies permettant d’identifier tout aspect potentiellement préoccupant et de planifier les opérations de maintenance. Le moteur RAS réduit les délais de traitement en localisant rapidement la source des problèmes, de manière à minimiser les temps d’arrêt en permettant une résolution efficace.