Nscale optimiza la eficiencia de la IA y la flexibilidad de la red

Nscale construye y opera una infraestructura de GPU para cargas de trabajo de IA en toda Europa, donde la energía de los centros de datos es un recurso limitado y costoso. En su fábrica de IA de Islandia, Nscale ejecutó la inferencia a gran escala en una flota de racks NVIDIA Blackwell Ultra NVL72, pero como la mayoría de los operadores, aprovisionó la energía de la forma tradicional: reservando suficiente para que cada nodo alcanzara su pico nominal simultáneamente.

La inferencia de IA no funciona de esa manera. Entre las fases de precarga y decodificación, las operaciones limitadas a la memoria, la actividad de red y los intervalos de inactividad, el consumo real de la GPU fluctúa constantemente. En cualquier momento dado, porciones significativas de la energía aprovisionada quedaron sin utilizar, encerradas dentro de las reservas de nodos individuales, y no disponibles para los nodos que podrían haberlas utilizado. La instalación agregada se mantuvo por debajo de su límite de potencia mientras la capacidad de las GPU permanecía inactiva.

Las alternativas estáticas ofrecieron un alivio limitado. La reducción de los límites por nodo con un techo fijo conservador mantuvo la instalación dentro del presupuesto, pero limitó los nodos cuando la demanda aumentó. Nscale necesitaba una forma de poner el margen aprovisionado a disposición de los nodos que lo necesitaban, en tiempo real, dentro de límites estrictos de políticas, sin añadir infraestructura.

Nscale implementó NVIDIA DSX MaxLPS, un conjunto de tecnologías —que abarcan chips, sistemas, térmica y software— diseñado para maximizar la producción de las fábricas de IA dentro de las limitaciones existentes de espacio energía y refrigeración. Dynamic Power Software, la capa de control de software dentro de DSX MaxLPS, gestiona la asignación de energía en un grupo definido de nodos, desplazando el margen disponible hasta donde se necesite, al tiempo que aplica los límites establecidos por el operador en todos los niveles de la jerarquía de la infraestructura.

Operar una fábrica de IA en Islandia además introdujo una segunda dimensión: las obligaciones de la red. Como gran consumidor de energía, Nscale necesitaba la capacidad de responder a eventos de respuesta a la demanda de la red eléctrica, reduciendo el consumo de energía de la GPU dentro del cluster de pruebas participante. 

NVIDIA DSX Flex aborda el lado de la red en el problema de la gestión de la energía. Es una capa de orquestación de energía consciente de la red que traduce las señales de respuesta a la demanda de la red eléctrica en reducciones de consumo de energía de la GPU coordinadas en toda la instalación, de forma automática y dentro de los límites de políticas definidos por el operador. Cuando se llama a un evento de respuesta a la demanda, DSX Flex interpreta las señales de la red y las coordina con DSX MaxLPS para reducir los límites de energía para las GPU participantes en toda la flota. Estos límites permanecen vigentes mientras dura el evento y, al finalizar este, vuelven a la normalidad; todo ello sin necesidad de intervención del operador ni interrupción de las cargas de trabajo en ejecución.

Nscale ejecutó Kimi K2.5 con precisión FP4 en racks NVIDIA GB300 NVL72 en instancias de inferencia de alto rendimiento y baja latencia, proporcionando una combinación de carga de trabajo con perfiles de energía y servicio distintos, que es el tipo de carga complementaria que expone el margen disponible. NVIDIA Dynamo y NVIDIA TensorRT™ LLM gestionaron la optimización de la prestación de servicios y la inferencia en toda la flota gestionada. Las políticas definidas por el operador establecieron los límites de nodo, los presupuestos de grupo, los requisitos de reserva y el comportamiento de la escalada, garantizando que el sistema permaneciera dentro de los límites de la infraestructura aprobados por Nscale en todo momento.

La evaluación comparó una línea de referencia estática de 140 GPU (compuesta por dos instancias de alto rendimiento de 52 GPU y una instancia de baja latencia de 36 GPU) con una configuración de DSX MaxLPS que añadió una tercera instancia de alto rendimiento, llevando la flota gestionada a 192 GPU.

En una prueba de demanda-respuesta en Nscale, NVIDIA DSX Flex se coordinó con DSX MaxLPS para proporcionar una reducción de consumo de energía de la GPU de aproximadamente un 25 %, sostenida durante 30 minutos, con recuperación de energía de la GPU después del evento.

Los resultados separaron las ganancias a nivel de flota del comportamiento a nivel de aplicación:

• El rendimiento de la inferencia agregada aumentó un 49,2 % cuando la tercera instancia de alto rendimiento entró en línea.
• El rendimiento por vatio aprovisionado aumentó en un 49,2 %.
• La producción de alto rendimiento por instancia se mantuvo estable con DSX MaxLPS, confirmando que la nueva instancia añadió capacidad sin degradar las cargas de trabajo existentes.
• La potencia media medida de la GPU aumentó de 97,0 kW a 131,8 kW y la potencia total medida aumentó de 166,2 kW a 198,9 kW mientras la instancia adicional estaba en funcionamiento; el método recuperó el margen de capacidad provisionado que estaba desaprovechado.
• DSX Flex permitió una reducción de energía bajo demanda del 25 %, sostenida durante 30 minutos dentro de las ventanas de notificación y la velocidad de rampa predefinidas.

DSX MaxLPS y DSX Flex permitieron a Nscale maximizar la capacidad de inferencia y ofrecer una flexibilidad de nivel de red dentro de su espacio de instalaciones existente sin comprometer el rendimiento de las cargas de trabajo existentes ni la calidad del servicio. 

Construir sobre una base validada

• El trabajo de validación de Nscale estableció un marco de trabajo repetible para ampliar las implementaciones de DSX MaxLPS: definir el límite gestionado, establecer una línea de referencia estática, introducir políticas de forma conservadora, agregar capacidad de manera incremental y probar colas de latencia y escenarios de fallo antes de aprobar los límites operativos de producción.
• Nscale tiene previsto ampliar la evaluación de MaxLPS a la infraestructura de próxima generación de NVIDIA a medida que amplía la huella de su fábrica de IA en Europa.
• Nscale está explorando oportunidades para implementar DSX Flex en toda su huella de fábrica de IA europea, permitiendo un acceso más rápido a una capacidad de energía adicional para complementar las mejoras en la densidad de cómputo que proporciona DSX MaxLPS.