Technologie de GPU multi-instances NVIDIA

Vous pouvez partitionner un processeur graphique en plusieurs instances MIG de tailles différentes. Par exemple, sur un système NVIDIA GB200, un administrateur peut créer deux instances avec 93 Go de mémoire chacune, quatre instances avec 46 Go chacune ou sept instances avec 23 Go chacune.

Les instances MIG peuvent être reconfigurées de manière dynamique, ce qui permet aux administrateurs de modifier l’allocation des ressources GPU selon les besoins évolutifs des utilisateurs et de l’entreprise. Il est ainsi possible d’utiliser sept instances MIG pendant la journée pour des tâches d’inférence à faible rendement, puis de les reconfigurer en une seule instance MIG durant la nuit pour exécuter des tâches d’entraînement basées sur le Deep Learning.

Avec un ensemble dédié de ressources matérielles pour le calcul, la mémoire et le cache, chaque instance MIG offre une qualité de service garantie et une fonction d'isolation des pannes. Cela signifie que tout échec sur une application qui est en cours d’exécution sur une instance donnée n’impactera pas les applications qui sont exécutées sur d’autres instances.

Cela signifie également que différentes instances peuvent traiter différents types de charge de travail : développement interactif de modèles, entraînement basé sur le Deep Learning, inférences d’IA ou applications HPC. Étant donné que les instances sont exécutées en parallèle, les charges de travail s’exécutent elles aussi en parallèle, mais de manière séparée et isolée sur un même processeur graphique physique.