Nscale ottimizza l'efficienza dell'IA e la flessibilità della rete

Nscale crea e gestisce l'infrastruttura GPU per i carichi di lavoro IA in tutta Europa, dove la potenza dei data center è una risorsa limitata e costosa. Nella propria fabbrica IA islandese, Nscale ha eseguito l'inferenza su larga scala su una flotta di rack NVIDIA Blackwell Ultra NVL72, ma, come la maggior parte degli operatori, ha allocato l'energia nel modo tradizionale: riservandone abbastanza affinché ogni nodo raggiungesse il picco nominale simultaneamente.

L'inferenza IA non funziona in questo modo. Tra le fasi di pre-riempimento e decodifica, le operazioni vincolate alla memoria, l'attività di rete e gli intervalli di inattività, l'assorbimento energetico effettivo delle GPU fluttua costantemente. In un dato momento, porzioni significative dell'energia allocata sono rimaste inutilizzate e bloccate all'interno delle singole prenotazioni dei nodi, non disponibili per i nodi che avrebbero potuto utilizzarla. La struttura aggregata è rimasta al di sotto del limite energetico, mentre la capacità della GPU è rimasta inattiva.

Le alternative statiche hanno offerto un sollievo limitato. Ridurre i limiti per nodo con un massimale fisso prudente ha permesso di mantenere la struttura nei limiti del budget, ma ha limitato i nodi quando la domanda è aumentata. Nscale aveva bisogno di un modo per rendere lo spazio di provisioning disponibile ai nodi che ne avevano bisogno, in tempo reale, entro rigorosi confini delle policy, senza aggiungere infrastruttura.

Nscale ha distribuito NVIDIA DSX MaxLPS, una suite di tecnologie per chip, sistema, termiche e software progettate per massimizzare l'output delle fabbriche IA entro i vincoli esistenti di terreno, energia e raffreddamento. Dynamic Power Software, il livello di controllo software all'interno di DSX MaxLPS, gestisce l'allocazione dell'energia su un gruppo definito di nodi, spostando il margine di potenza disponibile dove è necessario, applicando al contempo i limiti impostati dall'operatore a ogni livello della gerarchia dell'infrastruttura.

Gestire una fabbrica IA in Islanda ha anche introdotto una seconda dimensione: gli obblighi di rete. Essendo uno dei principali consumatori di energia, Nscale aveva bisogno della capacità di rispondere agli eventi di risposta alla domanda del gestore di rete, riducendo la potenza delle GPU all'interno del cluster di test partecipante.

NVIDIA DSX Flex affronta il lato della rete del problema della gestione dell'energia. È un livello di orchestrazione energetica basato sulla rete che traduce i segnali di risposta alla domanda di energia elettrica in riduzioni coordinate della potenza delle GPU in tutta la struttura, automaticamente ed entro i confini delle policy definiti dall'operatore. Quando viene chiamato un evento di risposta alla domanda, DSX Flex interpreta i segnali della rete e si coordina con DSX MaxLPS per ridurre i limiti di potenza per le GPU partecipanti nella flotta. Questi limiti rimangono in vigore per la durata dell'evento, quindi tornano alla normalità al termine, il tutto senza l'intervento dell'operatore o l'interruzione dei carichi di lavoro in esecuzione.

Nscale ha eseguito Kimi K2.5 con precisione FP4 su rack NVIDIA GB300 NVL72 su istanze di inferenza sia ad alto throughput che a bassa latenza, fornendo un mix di carico di lavoro con distinti profili energetici e di servizio, che è il tipo di carico complementare che espone lo spazio utilizzabile. NVIDIA Dynamo e NVIDIA TensorRT™ LLM hanno gestito l'ottimizzazione del serving e dell'inferenza sulla flotta gestita. Le policy definite dall'operatore impostano i limiti dei nodi, i budget di gruppo, i requisiti di riserva e il comportamento di escalation, garantendo che il sistema rimanga sempre all'interno dei confini dell'infrastruttura approvati di Nscale.

La valutazione ha confrontato una baseline statica da 140 GPU, due istanze ad alto throughput da 52 GPU e un'istanza a bassa latenza da 36 GPU con una configurazione DSX MaxLPS che ha aggiunto una terza istanza ad alto throughput, portando la flotta gestita a 192 GPU. 

In un test domanda-risposta su Nscale, NVIDIA DSX Flex si è coordinato con DSX MaxLPS per offrire una riduzione della potenza delle GPU di circa il 25%, sostenuta per 30 minuti, con il recupero della potenza delle GPU dopo l'evento.

I risultati hanno separato i guadagni a livello di flotta dal comportamento a livello di applicazione:

• Il throughput di inferenza aggregato è aumentato del 49,2% quando la terza istanza ad alto throughput è entrata online.
• Il throughput per watt provisionato è aumentato del 49,2%.
• L'output ad alto throughput per istanza è stato mantenuto invariato con DSX MaxLPS, confermando che la nuova istanza ha aggiunto capacità senza degradare i carichi di lavoro esistenti.
• La potenza media della GPU misurata è aumentata da 97,0 kW a 131,8 kW e la potenza totale misurata è aumentata da 166,2 kW a 198,9 kW durante l'esecuzione dell'istanza aggiuntiva; il metodo ha recuperato il margine di provisioning inutilizzato.
• DSX Flex ha consentito una riduzione della potenza del 25% su richiesta, sostenuta per 30 minuti entro finestre di preavviso e velocità di rampa predefinite.

DSX MaxLPS e DSX Flex hanno permesso a Nscale di massimizzare la capacità di inferenza e offrire flessibilità a livello di rete all'interno dell'ingombro della struttura esistente senza compromettere le prestazioni del carico di lavoro esistente o la qualità del servizio. 

Costruire su fondamenta convalidate

• Il lavoro di convalida di Nscale ha stabilito un framework ripetibile per l'espansione delle distribuzioni DSX MaxLPS: definire il confine gestito, stabilire una baseline statica, introdurre policy in modo prudente, aggiungere capacità in modo incrementale e testare le code di latenza e gli scenari di guasto prima di approvare i limiti operativi di produzione.
• Nscale prevede di estendere la valutazione di MaxLPS all'infrastruttura NVIDIA di nuova generazione, espandendo la propria presenza delle fabbriche IA in Europa.
• Nscale sta esplorando le opportunità per distribuire DSX Flex in tutta la sua rete di fabbriche IA europee, consentendo un accesso più rapido a capacità energetica aggiuntiva per integrare i guadagni in densità di calcolo offerti da DSX MaxLPS.