GPU NVIDIA Multi-Instância

Sete instâncias independentes em uma única GPU.

A GPU Multi-Instância (MIG) expande o desempenho e o valor das GPUs NVIDIA Rubin, NVIDIA Blackwell e NVIDIA Hopper. A MIG pode particionar a GPU em até sete instâncias, cada uma totalmente isolada com sua própria memória de alta largura de banda, cache e núcleos de computação. com Isso oferece aos administradores a capacidade de suportar todas as workloads, da menor à maior, com qualidade de serviço (QoS) garantida e estendendo o alcance dos recursos de computação acelerada para todos os usuários.

Visão Geral das Vantagens

Expanda o Acesso à GPU

Com a MIG, você pode obter até 7 vezes mais recursos de processamento em uma única GPU. A MIG oferece a pesquisadores e desenvolvedores mais recursos e flexibilidades do que nunca.

Otimize o Uso da GPU

A MIG oferece a flexibilidade para escolher tamanhos diferentes de instâncias, permitindo a implementação da instância de GPU do tamanho certo para cada carga de trabalho, otimizando o uso e maximizando o investimento em data center.

Execute Cargas de Trabalho Simultâneas

A MIG possibilita que cargas de trabalho de inferência, treinamento e computação de alto desempenho (HPC - High Performance Computing) sejam executadas ao mesmo tempo em uma única GPU com latência e taxa de processamento determinísticas. Ao contrário do fatiamento de tempo, cada workload é executada em paralelo, oferecendo maior desempenho.

Como Funciona a Tecnologia

Sem a MIG, diferentes trabalhos executados na mesma GPU, como diferentes solicitações de inferência de IA, competem pelos mesmos recursos. Um trabalho que consome maior largura de banda de memória afeta os outros, resultando em vários trabalhos perdendo suas metas de latência. Com a MIG, os trabalhos são executados simultaneamente em diferentes instâncias, cada uma com recursos dedicados para computação, memória e largura de banda de memória, resultando em desempenho previsível com qualidade de serviço (QoS) e aproveitamento máximo da GPU.

Provisione e Configure Instâncias Conforme Necessário

Uma GPU pode ser particionada em instâncias MIG de diferentes tamanhos. Por exemplo, no NVIDIA GB200, um administrador pode criar duas instâncias com 93 GB de memória cada, quatro instâncias com 46 GB cada ou sete instâncias com 23 GB cada.

As instâncias de MIG também podem ser reconfiguradas dinamicamente, possibilitando que os administradores mudem os recursos da GPU seguindo as mudanças nas demandas dos usuários e empresas. Por exemplo, sete instâncias de MIG podem ser usadas durante o dia para inferência de baixa taxa de processamento e reconfiguradas para uma grande instância de MIG à noite para treinamento de deep learning.

Execute Cargas de Trabalho em Paralelo com Segurança

Com um conjunto dedicado de recursos de hardware para computação, memória e cache, cada instância da MIG oferece garantia de qualidade de serviço (QoS) e de isolamento de falhas. Isso significa que uma falha em uma aplicação em execução em uma instância não impacta as aplicações em execução em outras instâncias.

Isso também significa que diferentes instâncias podem executar cargas de trabalho variadas: desenvolvimento de modelo interativo, treinamento de deep learning, inferência de AI ou aplicações de HPC. Como as instâncias são executadas em paralelo, as cargas de trabalho também são, porém separadas e isoladas, na mesma GPU física.

MIG em GPUs NVIDIA Blackwell e Hopper

As GPUs NVIDIA Blackwell e Hopper oferecem suporte à MIG com configurações multilocatárias e para vários usuários em ambientes virtualizados em até sete instâncias de GPU, isolando cada instância com segurança com computação confidencial no nível de hardware e hipervisor. Os decodificadores de vídeo dedicados para cada instância da MIG oferecem análise inteligente de vídeo (IVA - Intelligent Video Analytics) segura e de alto rendimento na infraestrutura compartilhada. Com a criação de perfis MIG simultâneos, os administradores podem monitorar a aceleração de GPU dimensionada corretamente e alocar recursos para vários usuários.

Para pesquisadores com cargas de trabalho menores, em vez de alugar uma instância completa de Cloud, eles podem usar o MIG para isolar uma parte de uma GPU com segurança, tendo a garantia de que seus dados estão seguros em repouso, em trânsito e em uso. Isso melhora a flexibilidade para que os provedores de serviço em cloud possam fixar preços e abordar oportunidades menores para os clientes.

Veja a MIG em Ação

Executando Várias Cargas de Trabalho em uma Única GPU A100

Esta demonstração executa cargas de trabalho de AI e computação de alto desempenho (HPC) simultaneamente na mesma GPU A100.

Aumentando o Desempenho e o Uso com uma GPU Multi-Instâncias

Esta demonstração mostra o desempenho de inferência em uma divisão de tempo de MIG e que em seguida é dimensionado linearmente em toda a A100.

Desenvolvida para IT e DevOps

A MIG permite provisionamento de GPU fino por equipes de TI e DevOps. Cada instância de MIG se comporta como uma GPU autônoma para aplicações, por isso não há alteração na plataforma CUDA. O MIG pode ser usado em todos os principais ambientes de computação empresarial.

Implemente de Data Centers ao Edge

Use a MIG on premise, no cloud e no edge.  

Use Contêineres

Execute aplicações conteinerizadas em instâncias MIG.

Suporte para Kubernetes

Programe pods de Kubernetes em instâncias MIG.

Virtualize Aplicações

Execute aplicações em instâncias MIG em uma máquina virtual.

Especificações da MIG

  GPU: NVIDIA Blackwell Ultra* para NVIDIA Blackwell GPU NVIDIA Blackwell* para NVIDIA Blackwell
  NVIDIA GB300 NVL72 NVIDIA HGX B300 NVIDIA GB200 NVL72 NVIDIA HGX B200
Segurança com IA Sim Sim Sim Sim
Tipos de Instância 7x 34 GB
4x 69 GB
2x 139 GB
1x 279 GB
7x 32 GB
4x 67 GB
2x 135 GB
1x 270 GB
7x 23 GB
4x 46 GB
2x 93 GB
1x 186 GB
7x 21 GB
4x 45 GB
2x 90 GB
1x 180 GB
Criação e Monitoramento de Perfis de GPU Simultaneamente em todas as instâncias Simultaneamente em todas as instâncias Simultaneamente em todas as instâncias Simultaneamente em todas as instâncias
Locatários Seguros 7 7 7 7
Decodificadores de Mídia NVJPEG e NVDEC dedicados por instância NVJPEG e NVDEC dedicados por instância NVJPEG e NVDEC dedicados por instância NVJPEG e NVDEC dedicados por instância

Especificações preliminares. Todos os valores estão até e podem estar sujeitos a alterações.
* Os tamanhos mostrados estão de acordo com as especificações de GPU para cada sistema. Para mais informações, consulte a documentação técnica.

Saiba Mais Sobre a MIG.