GPU de instancias múltiples de NVIDIA

Una GPU se puede dividir en instancias de MIG de diferentes tamaños. Por ejemplo, en NVIDIA GB200, un administrador podría crear dos instancias con 93 GB de memoria cada una, cuatro instancias con 46 GB cada una o siete instancias con 23 GB cada una.

Las instancias de MIG también se pueden reconfigurar dinámicamente, lo que les permite a los administradores cambiar los recursos de GPU en respuesta a las cambiantes demandas comerciales y de los usuarios. Por ejemplo, siete instancias de MIG se pueden usar durante el día para la inferencia de bajo rendimiento y reconfigurarse en una instancia de MIG grande por la noche para el entrenamiento de deep learning.

Con un conjunto dedicado de recursos de hardware para la computación, la memoria y la memoria caché, cada instancia de MIG ofrece QoS garantizado y aislamiento de errores. Eso significa que una falla en una aplicación que se ejecuta en una instancia no afecta las aplicaciones que se ejecutan en otras instancias.

También significa que las diferentes instancias pueden ejecutar diferentes tipos de cargas de trabajo: desarrollo de modelos interactivos, entrenamiento de aprendizaje profundo, inferencia de IA o aplicaciones de HPC. Dado que las instancias se ejecutan en paralelo, las cargas de trabajo también se ejecutan en paralelo (pero separadas y aisladas) en la misma GPU física.