Plateforme NVIDIA HGX

L'inférence et le raisonnement à grande échelle des modèles d'IA agentique nécessite un débit d'inférence extrême. Grâce à des innovations architecturales majeures, qui incluent 400 PFLOPS de puissance pour les calculs NVFP4, une bande passante mémoire trois fois plus élevée de 176 To/s ainsi qu'une bande passante NVLink Switch deux fois plus élevée de 28,8 To/s pour les communications inter-GPU à haut débit, HGX Rubin NVL8 fournit un débit de génération de jetons 10 fois plus important que HGX B200. Ce gain de performances significatif permet aux usines d'IA de répondre aux besoins d'un plus grand nombre d'utilisateurs, de maximiser les revenus des jetons et de réduire le coût par jeton.

HGX Rubin NVL8 intègre une configuration de pré-entraînement MoE (mixture-of-experts) pour les serveurs disposant d'une configuration adaptée à 8 GPU, ce qui permet d'entraîner des modèles d'IA agentique de nouvelle génération avec 4 fois moins de GPU grâce à des innovations architecturales incluant 4 fois plus de FLOPS d'entraînement NVFP4, 1,6 fois plus de capacité de mémoire HBM à haute vitesse et 2 fois plus de bande passante NVLink par rapport à HGX B200. Ce gain de performances significatif en matière d'efficacité d'entraînement permet aux entreprises d'entraîner plus de modèles avec la même empreinte d'infrastructure, de réduire le coût du développement des modèles et de maximiser le retour sur investissement des infrastructures d'IA.