GPU multi-instances de NVIDIA

Vous pouvez partitionner un processeur graphique en plusieurs instances MIG de tailles différentes. Par exemple, sur un processeur graphique NVIDIA H100, un administrateur peut créer deux instances avec 40 gigaoctets (Go) de mémoire chacune, quatre instances de 20 Go chacune ou sept instances de 10 Go chacune, voire envisager de procéder à une allocation personnalisée.

Les instances MIG peuvent être reconfigurées de manière dynamique, ce qui permet aux administrateurs de modifier l’allocation des ressources GPU selon les besoins évolutifs des utilisateurs et de l’entreprise. Il est ainsi possible d’utiliser sept instances MIG pendant la journée pour des tâches d’inférence à faible rendement, puis de les reconfigurer en une seule instance MIG durant la nuit pour exécuter des tâches d’entraînement basées sur le Deep Learning.

Avec un ensemble dédié de ressources matérielles pour le calcul, la mémoire et le cache, chaque instance MIG offre une qualité de service garantie et une fonction de localisation des incidents. Cela signifie que tout échec sur une application qui est en cours d’exécution sur une instance donnée n’impactera pas les applications qui sont exécutées sur d’autres instances.

Cela signifie également que différentes instances peuvent traiter différents types de charge de travail : développement interactif de modèles, entraînement basé sur le Deep Learning, inférences d’IA ou applications HPC. Étant donné que les instances sont exécutées en parallèle, les charges de travail s’exécutent elles aussi en parallèle, mais de manière séparée et isolée sur un même processeur graphique physique.