Nscale optimise l'efficacité de l'IA et la flexibilité du réseau électrique

Nscale construit et exploite une infrastructure GPU pour les charges de travail d'IA dans toute l'Europe, où l'alimentation des Data Centers est une ressource limitée et coûteuse. Dans son usine d'IA d'Islande, Nscale a exécuté des inférences à grande échelle sur une flotte de racks NVIDIA Blackwell Ultra NVL72, mais comme la plupart des opérateurs, elle a provisionné l'énergie de manière traditionnelle : en réservant suffisamment d'énergie pour que chaque nœud atteigne simultanément son pic nominal.

L'inférence d'IA ne fonctionne pas de cette façon. Entre les phases de pré-remplissage et de décodage, les opérations liées à la mémoire, l'activité réseau et les intervalles d'inactivité, l'utilisation réelle du GPU fluctue constamment. À tout moment donné, des portions importantes de l'énergie provisionnée restaient inutilisées, bloquées dans des réservations de nœuds individuels, et indisponibles pour les nœuds qui auraient pu l'utiliser. L'installation complète est restée en dessous de sa limite de puissance alors que la capacité GPU était inactive.

Les alternatives statiques ont offert un soulagement limité. L'abaissement des limites par nœud avec un plafond fixe conservateur a permis de maintenir l'installation dans les limites du budget, mais a contraint les nœuds lorsque la demande a augmenté. Nscale avait besoin d'un moyen de mettre une marge de manœuvre provisionnée à la disposition des nœuds qui en avaient besoin, en temps réel, dans le cadre de limites de politiques strictes, sans ajouter d'infrastructure.

Nscale a déployé NVIDIA DSX MaxLPS, une suite de technologies de puces, de systèmes, de thermique et de logiciels, conçues pour maximiser le rendement de l'usine d'IA dans les limites des contraintes existantes en matière de terrain, d'alimentation et de refroidissement. Dynamic Power Software, la couche de contrôle logiciel de DSX MaxLPS, gère l'allocation de l'alimentation sur un groupe défini de nœuds, en transférant la marge de puissance disponible là où elle est nécessaire tout en appliquant les limites fixées par l'opérateur à chaque niveau de la hiérarchie de l'infrastructure.

L'exploitation d'une usine d'IA en Islande a également introduit une deuxième dimension : les obligations de réseau électrique. En tant que consommateur d'énergie majeur, Nscale devait pouvoir répondre aux événements de réponse à la demande du réseau électrique, en réduisant la consommation du GPU au sein du cluster de test participant.

NVIDIA DSX Flex résout le problème de gestion de l'alimentation du côté du réseau électrique. Il s'agit d'une couche d'orchestration de l'alimentation sensible au réseau électrique qui traduit les signaux de réponse à la demande du fournisseur en réductions coordonnées de la consommation GPU dans l'ensemble de l'installation, automatiquement et dans le cadre de politiques définies par l'opérateur. Lorsqu'un événement de réponse à la demande est appelé, DSX Flex interprète les signaux du réseau et se coordonne avec DSX MaxLPS afin de réduire les limites de puissance pour les GPU participants sur l'ensemble de la flotte. Ces limites restent en place pendant la durée de l'événement, puis reviennent à la normale à sa fin, le tout sans intervention de l'opérateur ou interruption des charges de travail en cours.

Nscale a exécuté Kimi K2.5 avec une précision FP4 sur des racks NVIDIA GB300 NVL72 sur des instances d'inférence à haut débit et à faible latence, fournissant ainsi une combinaison de charges de travail avec des profils de puissance et de service distincts, ce qui constitue le type de charge complémentaire qui expose une marge de travail utilisable. NVIDIA Dynamo et NVIDIA TensorRT™ LLM ont géré l'optimisation de la mise en service et de l'inférence sur l'ensemble de la flotte gérée. Les politiques définies par l'opérateur définissent les limites de nœuds, les budgets de groupe, les exigences de réserve et le comportement d'escalade, ce qui garantit que le système reste à tout moment dans les limites d'infrastructure approuvées par Nscale.

L'évaluation a comparé une base de référence statique de 140 GPU, deux instances à haut débit à 52 GPU et une instance à faible latence à 36 GPU, à une configuration DSX MaxLPS qui a ajouté une troisième instance à haut débit, portant ainsi le parc géré à 192 GPU.

Dans un test de réponse à la demande chez Nscale, NVIDIA DSX Flex s'est coordonné avec DSX MaxLPS pour fournir une réduction d'environ 25 % de la consommation du GPU, maintenue pendant 30 minutes, la puissance du GPU ayant récupéré après l'événement.

Les résultats ont séparé les gains au niveau du parc du comportement au niveau des applications :

• Le débit d'inférence agrégé a augmenté de 49,2 % avec la mise en ligne de la troisième instance à haut débit.
• Le débit par watt provisionné a augmenté de 49,2 %.
• Le débit élevé par instance est resté stable avec DSX MaxLPS, ce qui confirme que la nouvelle instance a ajouté une capacité sans dégrader les charges de travail existantes.
• La puissance GPU moyenne mesurée est passée de 97,0 kW à 131,8 kW et la puissance totale mesurée est passée de 166,2 kW à 198,9 kW à mesure que l'instance supplémentaire était exécutée, la méthode ayant récupéré une marge de puissance provisionnée bloquée.
• DSX Flex a permis de réduire la consommation énergétique de 25 % à la demande, pendant 30 minutes dans des fenêtres de notification et un taux de rampe prédéfinis.

DSX MaxLPS et DSX Flex ont permis à Nscale de maximiser la capacité d'inférence et de fournir une flexibilité de niveau réseau au sein de l'empreinte de son installation existante, sans compromettre les performances des charges de travail existantes ni la qualité du service. 

S'appuyer sur une base validée

• Les travaux de validation de Nscale ont établi un framework reproductible pour l'expansion des déploiements de DSX MaxLPS : définir la limite gérée, établir une base de référence statique, introduire des politiques de manière prudente, ajouter de la capacité de manière incrémentielle et tester les queues de latence et les scénarios de défaillance avant d'approuver les limites d'exploitation de la production.
• Nscale prévoit d'étendre l'évaluation de MaxLPS à l'infrastructure NVIDIA de nouvelle génération à mesure qu'elle étend son empreinte d'usines d'IA en Europe.
• Nscale explore les possibilités de déployer DSX Flex sur l'ensemble de son empreinte d'usine d'IA européenne, ce qui permet d'accéder plus rapidement à une capacité de puissance supplémentaire pour compléter les gains de densité de calcul fournis par DSX MaxLPS.