Mehr-Instanzen-Grafikprozessor von NVIDIA

Sieben unabhängige Instanzen in einem einzelnen Grafikprozessor.

Multi-Instance-GPU (MIG) erhöht die Leistung und den Wert von NVIDIA Blackwell- und Hopper-Grafikprozessoren der TM-Generation. MIG kann den Grafikprozessor in bis zu sieben Instanzen aufteilen, die vollständig isoliert ausgeführt werden und über eigene Speicher-, Cache- und Recheneinheiten mit hoher Bandbreite verfügen. So können Administratoren jeden Workload unterstützen, egal wie groß oder klein, mit garantierter Servicequalität (QoS). Die Verfügbarkeit beschleunigter Computing-Ressourcen auf alle Nutzer wird dadurch erweitert.

Vorteile Übersicht

Grafikprozessorzugriff erweitern

Mit MIG können Sie bis zu 7-mal mehr GPU-Ressourcen auf einem einzelnen Grafikprozessor nutzen. MIG bietet Forschern und Entwicklern mehr Ressourcen und Flexibilität als je zuvor.

GPU-Auslastung optimieren

MIG bietet die Flexibilität, zwischen vielen verschiedenen Instanzgrößen auszuwählen, wodurch für jeden Workload ein Grafikprozessor der richtigen Größe bereitgestellt werden kann, um die Auslastung zu optimieren und die Rentabilität des Rechenzentrums zu erhöhen.

Workloads gleichzeitig ausführen

MIG ermöglicht die gleichzeitige Ausführung von Inferenz-, Trainings- und HPC-Workloads (High-Performance-Computing) auf einem einzelnen Grafikprozessor mit deterministischer Latenz und deterministischem Durchsatz. Im Gegensatz zum Time-Slicing läuft jeder Workload parallel und bietet eine höhere Leistung.

Funktionsweise der Technologie

Ohne MIG konkurrieren verschiedene Aufgaben, die auf demselben Grafikprozessor ausgeführt werden, wie unterschiedliche KI-Inferenzanforderungen, um dieselben Ressourcen. Durch eine Aufgabe, die mehr Speicherbandbreite beansprucht, steht für andere Aufgaben weniger zur Verfügung, sodass mehrere Aufgaben ihre Latenzzielwerte verfehlen. Mit MIG werden Aufgaben gleichzeitig in verschiedenen Instanzen ausgeführt, jeweils mit dedizierten Ressourcen für Rechenleistung, Arbeitsspeicher und Speicherbandbreite, was zu einer vorhersehbaren Leistung mit hoher QoS und maximaler GPU-Auslastung führt.

Bereitstellung und Konfiguration von Instanzen nach Bedarf

Ein Grafikprozessor kann in verschiedene MIG-Instanzen aufgeteilt werden. Ein Administrator könnte beispielsweise mit einem NVIDIA H100 zwei Instanzen mit je 40 GB Speicher oder vier Instanzen mit je 20 GB oder sieben Instanzen mit je 10 GB erstellen oder eine Kombination.

MIG-Instanzen können auch dynamisch neu konfiguriert werden, sodass Administratoren die GPU-Ressourcen an wechselnde Nutzer- und Geschäftsanforderungen anpassen können. Sieben MIG-Instanzen können z. B. tagsüber zur Inferenz mit geringem Durchsatz verwendet werden und für das Deep-Learning-Training in der Nacht zu einer großen MIG-Instanz umkonfiguriert werden.

Sichere parallele Ausführung von Workloads

Mit einem dedizierten Satz von Hardwareressourcen für Rechenleistung, Speicher und Cache bietet jede MIG-Instanz garantierte QoS- und Fehlerisolierung. Das bedeutet, dass sich ein Fehler in einer Anwendung, die auf einer Instanz ausgeführt wird, nicht auf Anwendungen auf anderen Instanzen auswirkt.

Unterschiedliche Instanzen können auch verschiedene Arten von Workloads ausführen: interaktive Modellentwicklung, Deep-Learning-Training, KI-Inferenz oder HPC-Anwendungen. Da die Instanzen parallel ausgeführt werden, laufen die Workloads ebenfalls parallel – jedoch getrennt und isoliert – auf demselben physischen Grafikprozessor.

MIG in Blackwell-Grafikprozessoren

Blackwell- und Hopper-Grafikprozessoren unterstützen MIG mit mandantenfähigen Multi-User-Konfigurationen in virtualisierten Umgebungen für bis zu sieben Grafikprozessorinstanzen, wobei jede Instanz durch Confidential Computing sicher auf Hardware- und Hypervisorebene isoliert ist. Dedizierte Videodecoder für jede MIG-Instanz erlauben intelligente Videoanalysen (IVA) mit hohem Durchsatz auf gemeinsam genutzter Infrastruktur. Mit dem gleichzeitigen MIG-Profiling können Administratoren die korrekt dimensionierte Grafikprozessorbeschleunigung überwachen und Ressourcen für mehrere Benutzer zuweisen.

Forscher mit kleineren Workloads können MIG anstelle einer vollständigen Cloud-Instanz verwenden, um einen Teil eines Grafikprozessors sicher zu isolieren, und sich dabei darauf verlassen, dass ihre Daten bei Lagerung, Übertragung und Nutzung geschützt sind. Dadurch wird die Flexibilität für Cloud-Service-Anbieter erhöht, kleinere Kundenpotenziale zu bedienen und preiswerter zu sein.

MIG in Aktion

Mehrere Workloads auf einer einzigen A100 GPU ausführen

Bei dieser Demo laufen KI- und High-Performance-Computing-Workloads (HPC) gleichzeitig auf der selben A100-GPU.

Leistung und Auslastung durch Mehr-Instanzen-Grafikprozessor verbessern

Diese Demo zeigt die Inferenzleistung einer einzelnen MIG-Instanz und skaliert anschließend linear über die gesamte A100.

Speziell für IT und DevOps entwickelt

MIG ermöglicht die gezielte und effiziente Bereitstellung von Grafikprozessorleistung durch IT- und DevOps-Teams. Jede MIG-Instanz verhält sich gegenüber Anwendungen wie ein eigenständiger Grafikprozessor, sodass es nicht zu Änderungen an der CUDA®-Plattform kommt. MIG kann in allen bedeutenden Computing-Umgebungen von Unternehmen verwendet werden.​

MIG-Spezifikationen

  GB200/B200/B100 H100 H200
Confidential computing Ja Ja Ja
Instanztypen Up to 7x 23GB
Up to 4x 45GB
Up to 2x 95GB
Up to 1x 192GB
7x 10GB
4x 20GB
2x 40GB
1x 80GB
Up to 7x 18GB
Up to 4x 35GB
Up to 2x 71GB
Up to 1x 141GB
GPU-Profiling und -Überwachung Gleichzeitig auf allen Instanzen Gleichzeitig auf allen Instanzen Gleichzeitig auf allen Instanzen
Sichere Mandanten 7x 7x 7x
Mediendekodierer Dediziertes NVJPEG und NVDEC pro Instanz Dediziertes NVJPEG und NVDEC pro Instanz Dediziertes NVJPEG und NVDEC pro Instanz

Vorläufige Spezifikationen, Änderungen möglich

Weitere Informationen über NVIDIA Blackwell