Mehr-Instanzen-GPU von NVIDIA

Eine GPU kann in unterschiedlich große MIG-Instanzen aufgeteilt werden. Auf NVIDIA GB200 könnte ein Administrator beispielsweise zwei Instanzen mit jeweils 93 GB Speicher, vier Instanzen mit jeweils 46 GB oder sieben Instanzen mit jeweils 23 GB einrichten.

MIG-Instanzen können auch dynamisch neu konfiguriert werden, sodass Administratoren die GPU-Ressourcen an wechselnde Nutzer- und Geschäftsanforderungen anpassen können. Sieben MIG-Instanzen können z. B. tagsüber zur Inferenz mit geringem Durchsatz verwendet werden und für das Deep-Learning-Training in der Nacht zu einer großen MIG-Instanz umkonfiguriert werden.

Mit einem dedizierten Satz von Hardwareressourcen für Rechenleistung, Speicher und Cache bietet jede MIG-Instanz garantierte QoS- und Fehlerisolierung. Das bedeutet, dass sich ein Fehler in einer Anwendung, die auf einer Instanz ausgeführt wird, nicht auf Anwendungen auf anderen Instanzen auswirkt.

Unterschiedliche Instanzen können auch verschiedene Arten von Workloads ausführen: interaktive Modellentwicklung, Deep-Learning-Training, KI-Inferenz oder HPC-Anwendungen. Da die Instanzen parallel ausgeführt werden, laufen die Workloads ebenfalls parallel – jedoch getrennt und isoliert – auf demselben physischen Grafikprozessor.