Multi-Instance-GPU (MIG) erhöht die Leistung und den Wert jedes NVIDIA A100 Grafikprozessors mit Tensor-Recheneinheiten. MIG kann den A100-Grafikprozessor in bis zu sieben Instanzen aufteilen, die vollständig isoliert ausgeführt werden und über eigene Speicher-, Cache- und Recheneinheiten mit hoher Bandbreite verfügen. Jetzt können Administratoren jeden Workload unterstützen, egal wie groß oder klein, und eine GPU mit der richtigen Größe und garantierter Servicequalität (QoS) für jede Aufgabe anbieten. So wird die Auslastung optimiert und die Verfügbarkeit beschleunigter Computing-Ressourcen auf alle Nutzer erweitert.
Mit MIG können Sie bis zu 7-mal mehr GPU-Ressourcen auf einem einzelnen A100-Grafikprozessor nutzen. MIG bietet Forschern und Entwicklern mehr Ressourcen und Flexibilität als je zuvor.
MIG bietet die Flexibilität, zwischen vielen verschiedenen Instanzgrößen auszuwählen, wodurch für jeden Workload ein Grafikprozessor der richtigen Größe bereitgestellt werden kann, um die Auslastung zu optimieren und die Rentabilität des Rechenzentrums zu erhöhen.
MIG ermöglicht die gleichzeitige Ausführung von Inferenz-, Trainings-und HPC-Workloads (High-Performance-Computing) auf einem einzelnen Grafikprozessor mit deterministischer Latenz und deterministischem Durchsatz.
Ohne MIG konkurrieren verschiedene Aufgaben, die auf demselben Grafikprozessor ausgeführt werden, wie unterschiedliche KI-Inferenzanforderungen, um dieselben Ressourcen wie beispielsweise die Speicherbandbreite. Durch eine Aufgabe, die mehr Speicherbandbreite beansprucht, steht für andere Aufgaben weniger zur Verfügung, sodass mehrere Aufgaben ihre Latenz-Zielwerte verfehlen. Mit MIG werden Aufgaben gleichzeitig in verschiedenen Instanzen ausgeführt, jeweils mit dedizierten Ressourcen für Rechenleistung, Arbeitsspeicher und Speicherbandbreite, was zu einer vorhersehbaren Leistung mit hoher Servicequalität und maximaler GPU-Auslastung führt.
Ein NVIDIA A100-Grafikprozessor kann in verschiedene MIG-Instanzen aufgeteilt werden. Ein Administrator könnte beispielsweise zwei Instanzen mit je 20 GB Speicher oder drei Instanzen mit 10 GB oder sieben Instanzen mit 5 GB erstellen. Oder eine beliebige Kombination davon. Auf diese Weise können Systemadministratoren für unterschiedliche Arten von Workloads Grafikprozessoren mit der richtigen Größe bereitstellen.
MIG-Instanzen können auch dynamisch neu konfiguriert werden, sodass Administratoren die GPU-Ressourcen an wechselnde Nutzer- und Geschäftsanforderungen anpassen können. Sieben MIG-Instanzen können z. B. tagsüber zur Inferenz mit geringem Durchsatz verwendet werden und für das Deep-Learning-Training in der Nacht zu einer großen MIG-Instanz umkonfiguriert werden.
Jede MIG-Instanz verfügt über einen dedizierten Satz an Hardwareressourcen für Rechenleistung, Speicher und Cache, wodurch effektive Servicequalität und Fehlerisolierung für Workloads sichergestellt werden. Das bedeutet, dass Fehler in einer Anwendung, die auf einer Instanz ausgeführt wird, sich nicht auf Anwendungen auf anderen Instanzen auswirken. Unterschiedliche Instanzen können verschiedene Arten von Workloads ausführen: interaktive Modellentwicklung, Deep-Learning-Training, KI-Inferenz oder HPC-Anwendungen. Da die Instanzen parallel ausgeführt werden, laufen die Workloads ebenfalls parallel – jedoch getrennt und sicher – auf demselben physischen A100-Grafikprozessor.
MIG eignet sich hervorragend für Workloads wie KI-Modellentwicklung und Inferenz mit geringer Latenz. Diese Workloads können die Funktionen des A100 in vollem Umfang nutzen und entsprechen dem reservierten Speicher jeder Instanz.
Bei dieser Demo laufen KI- und High-Performance-Computing-Workloads (HPC) gleichzeitig auf der selben A100-GPU.
Diese Demo zeigt die Inferenzleistung einer einzelnen MIG-Instanz und skaliert anschließend linear über die gesamte A100.
MIG ist auf die einfache Bereitstellung durch IT- und DevOps-Teams ausgelegt.
Jede MIG-Instanz verhält sich gegenüber Anwendungen wie ein eigenständiger Grafikprozessor, sodass es nicht zu Änderungen an der CUDA®-Plattform kommt. KI-Modelle und HPC-Anwendungen, z. B von NGC™, können direkt auf einer MIG-Instanz mit der NVIDIA-Containerlaufzeit ausgeführt werden. Für Container-Orchestrierungssysteme wie Kubernetes, die Container-Workloads für die Ausführung auf bestimmten GPU-Instanzen planen, können MIG-Instanzen als zusätzliche GPU-Ressourcen bereitgestellt werden. Diese Funktion wird bald über das NVIDIA-Geräte-Plug-in für Kubernetes verfügbar sein.
Unternehmen profitieren von den Verwaltungs-, Überwachungs- und Betriebsvorteilen der Hypervisor-basierten Servervirtualisierung, einschließlich Live-Migration und Mehrmandantenfähigkeit, bei MIG-GPU-Instanzen mit dem Virtual Compute Server (vCS) von NVIDIA.
Tiefer Einblick in die NVIDIA Ampere-Architektur