NVIDIA Multi-Instance GPU

Sette istanze indipendenti su una singola GPU.

La GPU Multi-Instance (MIG) espande le prestazioni e il valore delle GPU NVIDIA Rubin, NVIDIA Blackwell e NVIDIA Hopper. La tecnologia MIG è in grado di partizionare la GPU in un numero massimo di sette istanze, ciascuna completamente isolata con la memoria a banda elevata, cache e core di elaborazione distinti. Gli amministratori possono ora supportare qualsiasi carico di lavoro, dal più piccolo al più grande, qualità del servizio (QoS) garantita per ogni processo estendendo la portata delle risorse di elaborazione accelerate a tutti gli utenti.

Vantaggi
NVIDIA Blackwell e Hopper
Carichi di lavoro
Specifiche

Vantaggi
NVIDIA Blackwell e Hopper
Carichi di lavoro
Specifiche

Panoramica dei benefici

Espandi l'accesso alla GPU

Con MIG, si ottengono risorse GPU fino a 7 volte superiori su una singola GPU. MIG offre ai ricercatori e agli sviluppatori più risorse e flessibilità che mai.

Ottimizza l'utilizzo della GPU

MIG offre la flessibilità di scegliere diverse dimensioni per l'istanza, il che consente un provisioning dimensionato dell'istanza GPU in base alle esigenze di ogni carico di lavoro, per un utilizzo razionalizzato, massimizzando l'investimento nel data center.

Esegui carichi di lavoro simultanei

MIG consente l'esecuzione di carichi di lavoro di inferenza, training e calcolo ad alte prestazioni (HPC) simultanei su una singola GPU con latenza e throughput calibrati secondo le necessità di ciascun carico. A differenza del time slicing, ogni carico di lavoro viene eseguito in parallelo, garantendo prestazioni più elevate.

Come funziona la tecnologia

Senza MIG, l'esecuzione di più processi sulla stessa GPU, come diverse richieste di inferenza IA, competono per l'uso delle stesse risorse. Un processo che consuma molta banda di memoria lascia carenza di banda per gli altri, determinando problemi di latenza per diversi processi. Con MIG, i processi vengono eseguiti simultaneamente su diverse istanza, ognuna con risorse dedicate per elaborazione, memoria e banda, generando prestazioni prevedibili con QoS e utilizzo massimo della GPU.

Esegui il provisioning e configura le istanze in base alle esigenze

Una GPU può essere partizionata in istanze MIG di dimensioni diverse. Ad esempio, su NVIDIA GB200, un amministratore potrebbe creare due istanze con 93GB di memoria ciascuna, quattro istanze con 46GB ciascuna o sette istanze con 23GB ciascuna.

Le istanze MIG possono anche essere riconfigurate dinamicamente, consentendo agli amministratori di spostare le risorse della GPU in risposta alle mutevoli esigenze di utenti e aziende. Ad esempio, sette istanze MIG possono essere utilizzate durante il giorno per l'inferenza a bassa velocità e riconfigurate in un'istanza MIG di grandi dimensioni di notte per il training su deep learning.

Esegui carichi di lavoro in parallelo e in modo sicuro

Con un set dedicato di risorse hardware per calcolo, la memoria e la cache, ogni istanza MIG offre isolamento dei guasti e QoS garantita. Ciò significa che un errore in un'applicazione in esecuzione su un'istanza non influisce sulle applicazioni in esecuzione su altre istanze.

Inoltre, istanze diverse possono eseguire diversi tipi di carichi di lavoro: sviluppo di modelli interattivi, training su deep learning, inferenza con IA o applicazioni HPC. Poiché le istanze vengono eseguite in parallelo, anche i carichi di lavoro procedono in parallelo, ma separati e isolati, sulla stessa GPU fisica.

MIG nelle GPU NVIDIA Blackwell e Hopper

Le GPU NVIDIA Blackwell e Hopper supportano la MIG con configurazioni multi-tenant e multi-utente in ambienti virtualizzati su un massimo di sette istanze GPU, isolando in modo sicuro ogni istanza con il confidential computing a livello di hardware e hypervisor. I decoder video dedicati per ogni istanza MIG offrono analisi video intelligenti sicure e ad alta produttività (IVA) su infrastruttura condivisa. Con la profilazione MIG simultanea di Hopper, gli amministratori possono monitorare che l'accelerazione con GPU sia correttamente dimensionata e allocare le risorse a più utenti.

Per i ricercatori con carichi di lavoro più piccoli, invece di noleggiare un'istanza cloud completa, è possibile utilizzare MIG per isolare in modo sicuro una parte della GPU, garantendo al contempo che i dati siano al sicuro a riposo, in transito e in uso. Questa maggiore flessibilità permette ai fornitori di servizi cloud di stabilire i prezzi e gestire le opportunità per i clienti più piccoli.

Guarda MIG in azione

Eseguire più carichi di lavoro su una singola GPU A100

In questa demo vengono eseguiti carichi di lavoro HPC e IA contemporaneamente sulla stessa GPU A100.

Guarda il video

Aumentare prestazioni e utilizzo con Multi-Instance GPU

Questa demo mostra le prestazioni in inferenza su una singola istanza di MIG con conseguente scalabilità lineare sull'intera A100.

Guarda il video

Progettato per IT e DevOps

MIG consente il provisioning granulare della GPU ai team IT e DevOps. Ogni istanza MIG si comporta come una GPU standalone per le applicazioni, quindi non c'è alcuna modifica alla piattaforma CUDA®. MIG può essere utilizzata in tutti i principali ambienti di calcolo aziendali.

Distribuzione dal data center all'edge

Usa MIG in ufficio, nel cloud e sui sistemi edge.

Scopri di più

Container

Esegui applicazioni centralizzate su istanze MIG.

Scopri di più

Supporto per Kubernetes

Pianifica pod Kubernetes su istanze MIG.

Scopri di più

Virtualizzazione delle applicazioni

Esegui applicazioni su istanze MIG su una macchina virtuale.

Scopri di più

Specifiche MIG

	GPU NVIDIA Blackwell Ultra*		GPU NVIDIA Blackwell*
	NVIDIA GB300 NVL72	NVIDIA HGX B300	NVIDIA GB200 NVL72	NVIDIA HGX B200
Sicurezza IA	Sì	Sì	Sì	Sì
Tipi di istanze	7 x 34GB 4 x 69GB 2 x 139GB 1 x 279GB	7 x 32GB 4 x 67GB 2 x 135GB 1 x 270GB	7 x 23GB 4 x 46GB 2 x 93GB 1 x 186GB	7 x 21 GB 4 x 45 GB 2 x 90 GB 1 x 180 GB
Profilazione e monitoraggio delle GPU	Simultanei su tutte le istanze	Simultanei su tutte le istanze	Simultanei su tutte le istanze	Simultanei su tutte le istanze
Tenant sicuri	7x	7x	7x	7x
Decoder multimediali	NVJPEG dedicato e NVDEC per istanza	NVJPEG dedicato e NVDEC per istanza	NVJPEG dedicato e NVDEC per istanza	NVJPEG dedicato e NVDEC per istanza

Specifiche preliminari. Tutti i valori sono indicativi e possono essere soggetti a modifiche.
* Le dimensioni mostrate sono per le specifiche della GPU per ogni sistema. Per ulteriori informazioni, consulta la documentazione tecnica.

Scopri di più su MIG.

Scopri di più