Nscale optimiert KI-Effizienz und Netzflexibilität

Nscale entwickelt und betreibt GPU-Infrastruktur für KI-Workloads in ganz Europa, wo die Stromversorgung von Rechenzentren eine begrenzte und kostspielige Ressource ist. In seiner KI-Fabrik in Island führte Nscale großangelegte Inferenz über eine Flotte von NVIDIA Blackwell Ultra NVL72-Racks aus, stellte jedoch wie die meisten Betreiber Strom auf herkömmliche Weise bereit: Reservierung von ausreichender Energie, damit jeder Knoten seinen vorgesehenen Spitzenwert gleichzeitig erreicht.

KI-Inferenz funktioniert nicht auf diese Weise. Zwischen Prefill- und Decode-Phasen, speichergebundenen Vorgängen, Netzwerkaktivität und Leerlaufintervallen schwankt die tatsächliche GPU-Auslastung ständig. Zu jedem bestimmten Zeitpunkt wurden erhebliche Teile der bereitgestellten Leistung ungenutzt, die in einzelnen Knotenreservierungen eingeschlossen waren und für Knoten, die sie hätten nutzen können, nicht verfügbar waren. Die Gesamtanlage blieb unter ihrer Leistungsgrenze, während die GPU-Kapazität im Leerlauf lag.

Statische Alternativen boten begrenzte Erleichterung. Durch die Senkung der Grenzwerte pro Knoten mit einer konservativen festen Obergrenze blieb die Anlage innerhalb des Budgets, schränkte die Knoten jedoch ein, als die Nachfrage anstieg. Nscale benötigte eine Möglichkeit, bereitgestellte Kapazitätsreserven für Knoten verfügbar zu machen, die diese benötigten – in Echtzeit, innerhalb strenger Richtliniengrenzen, ohne Infrastruktur hinzuzufügen.

Nscale setzte NVIDIA DSX MaxLPS ein, eine Suite von Chip-, System-, Kühlungs- und Softwaretechnologien, die entwickelt wurde, um die Leistung von KI-Fabriken innerhalb der bestehenden Einschränkungen in Bezug auf Land, Energie und Kühlung zu maximieren. Die Dynamic Power Software, die Softwaresteuerungsebene innerhalb von DSX MaxLPS, verwaltet die Energieverteilung über eine definierte Gruppe von Knoten, verlagert den verfügbaren Spielraum dorthin, wo er benötigt wird, während die vom Betreiber festgelegten Grenzwerte auf jeder Ebene der Infrastruktur-Hierarchie durchgesetzt werden.

Der Betrieb einer KI-Fabrik in Island führte außerdem eine zweite Dimension ein: Netzverpflichtungen. Als großer Energieverbraucher benötigte Nscale die Fähigkeit, auf Demand-Response-Ereignisse der Versorger zu reagieren – und so die GPU-Leistung innerhalb des teilnehmenden Testclusters zu reduzieren.

NVIDIA DSX Flex adressiert die Netzseite des Energiemanagement-Problems. Es handelt sich um eine netzbewusste Energieorchestrierungsebene, die Demand-Response-Signale der Versorger in koordinierte GPU-Energiereduktionen in der gesamten Anlage umsetzt, automatisch und innerhalb der vom Betreiber definierten Richtliniengrenzen. Wenn ein Demand-Response-Ereignis aufgerufen wird, interpretiert DSX Flex die Netzsignale und koordiniert mit DSX MaxLPS, um die Leistungsgrenzen für teilnehmende GPUs in der gesamten Flotte zu reduzieren. Diese Grenzen bleiben für die Dauer des Ereignisses bestehen und kehren dann zur Normalität zurück, wenn es endet – und das alles ohne Bedienereingriff oder Unterbrechung der laufenden Workloads.

Nscale führte Kimi K2.5 mit FP4-Präzision auf NVIDIA GB300 NVL72-Racks sowohl über Inferenz-Instanzen mit hohem Durchsatz als auch über Inferenz-Instanzen mit geringer Latenz aus und bot einen Workload-Mix mit unterschiedlichen Leistungs- und Dienstprofilen, was die Art von komplementärer Last ist, die den nutzbaren Spielraum freilegt. NVIDIA Dynamo und NVIDIA TensorRT™ LLM haben die Serving- und Inferenzoptimierung in der gesamten verwalteten Flotte gehandhabt. Betreiberdefinierte Richtlinien legen Knotengrenzen, Gruppenbudgets, Reserveanforderungen und Eskalationsverhalten fest – und stellen sicher, dass das System jederzeit innerhalb der genehmigten Infrastrukturgrenzen von Nscale blieb.

Die Bewertung verglich eine statische 140-GPU-Baseline, zwei 52-GPU-Instanzen mit hohem Durchsatz und eine 36-GPU-Instanz mit geringer Latenz mit einer DSX MaxLPS-Konfiguration, die eine dritte Instanz mit hohem Durchsatz hinzufügte und die verwaltete Flotte auf 192 GPUs brachte.

In einem Demand-Response-Test bei Nscale koordinierte NVIDIA DSX Flex mit DSX MaxLPS, um eine Reduzierung der GPU-Leistung von etwa 25 % zu erreichen, die 30 Minuten lang anhielt, wobei sich die GPU-Leistung nach dem Ereignis erholte.

Die Ergebnisse trennten Vorteile auf Flottenebene vom Verhalten auf Anwendungsebene:

• Der aggregierte Inferenz-Durchsatz stieg um 49,2 %, als die dritte Instanz mit hohem Durchsatz online ging.
• Der Durchsatz pro bereitgestelltes Watt stieg um 49,2 %.
• Die Ausgabe mit hohem Durchsatz pro Instanz bleibt mit DSX MaxLPS konstant und bestätigt die zusätzliche Kapazität der neuen Instanz, ohne die etablierten Workloads zu beeinträchtigen.
• Die gemessene GPU-Leistung stieg von 97,0 kW auf 131,8 kW, und die gemessene Gesamtleistung stieg von 166,2 kW auf 198,9 kW, während die zusätzliche Instanz lief – die Methode konnte den gestrandeten bereitgestellten Headroom wiedergewinnen.
• DSX Flex ermöglichte eine Energiereduktion von 25 % bei Abruf, die für 30 Minuten innerhalb vordefinierter Vorankündigungsfenster und der Ramp-Rate aufrechterhalten wurde.

DSX MaxLPS und DSX Flex ermöglichten es Nscale, die Inferenzkapazität zu maximieren und innerhalb der bestehenden Anlagenfläche Flexibilität auf Netzniveau zu bieten, ohne die etablierte Workload-Leistung oder Servicequalität zu beeinträchtigen. 

Aufbauen auf einer validierten Grundlage

• Die Validierungsarbeit von Nscale schuf ein wiederholbares Framework für die Erweiterung von DSX MaxLPS-Bereitstellungen: Definieren Sie die verwaltete Grenze, richten Sie eine statische Baseline ein, führen Sie Richtlinien konservativ ein, fügen Sie Kapazität schrittweise hinzu und testen Sie Latenz-Tails und Fehlerszenarien, bevor Sie die Grenzen des Produktionsbetriebs genehmigen.
• Nscale plant, die MaxLPS-Bewertung auf die NVIDIA-Infrastruktur der nächsten Generation zu erweitern, während das Unternehmen seine europäische KI-Fabrik-Präsenz ausbaut.
• Nscale prüft Möglichkeiten, DSX Flex in seiner gesamten europäischen KI-Fabrik-Präsenz bereitzustellen, um einen schnelleren Zugriff auf zusätzliche Leistungskapazität zu ermöglichen, um die durch DSX MaxLPS erzielten Gewinne bei der Rechendichte zu ergänzen.