GPU NVIDIA de Múltiples Instancias

Siete instancias independientes en una sola GPU.

La GPU de instancias múltiples (MIG) amplía el rendimiento y el valor de las GPU de generación NVIDIA Blackwell y Hopper™. MIG puede dividir la GPU en hasta siete instancias, cada una completamente aislada con su propia memoria de gran ancho de banda, caché y núcleos de computación. Esto brinda a los administradores la capacidad de soportar cada carga de trabajo, desde la más pequeña hasta la más grande, con calidad de servicio (QoS) garantizada y ampliando el alcance de los recursos de computación acelerados a cada usuario.

Beneficios
Blackwell
Ver MIG
Workloads
Especificaciones

Beneficios
Blackwell
Ver MIG
Workloads
Especificaciones

Resumen de Beneficios

Ampliar el Acceso a la GPU

Con MIG, puede lograr hasta 7 veces más recursos de GPU en una sola GPU. MIG ofrece a investigadores y desarrolladores más recursos y flexibilidad que nunca.

Optimice la Utilización de la GPU

MIG brinda la flexibilidad de elegir muchos tamaños de instancia diferentes, lo que permite el aprovisionamiento de la instancia de GPU del tamaño adecuado para cada carga de trabajo, lo que en última instancia optimiza la utilización y maximiza la inversión en el data center.

Ejecute Cargas de Trabajo Simultáneas

MIG permite que cargas de trabajo de inferencia, capacitación y computación de alto rendimiento (HPC) se ejecuten al mismo tiempo en una única GPU con latencia y rendimiento deterministas. A diferencia de la división del tiempo, cada carga de trabajo se ejecuta en paralelo, lo que ofrece un mayor rendimiento.

Cómo Funciona la Tecnología

Sin MIG, los diferentes trabajos que se ejecutan en la misma GPU, como diferentes solicitudes de inferencia de IA, compiten por los mismos recursos. Un trabajo que consume un ancho de banda de memoria más grande impide que los otros trabajos se completen, lo que hace que no puedan cumplir con sus objetivos de latencia. Con MIG, los trabajos se ejecutan simultáneamente en diferentes instancias, cada una con recursos dedicados para la computación, la memoria y el ancho de banda de memoria, lo que da como resultado un rendimiento predecible con QoS y la máxima utilización de la GPU.

Aprovisionar y Configurar Instancias Según Sea Necesario

Una GPU se puede dividir en instancias MIG de diferentes tamaños. Por ejemplo, en una NVIDIA H100, un administrador podría crear dos instancias con 40GB de memoria cada una, cuatro instancias con 20GB cada una o siete instancias con 10GB cada una, o una combinación.

Las instancias MIG también se pueden reconfigurar dinámicamente, lo que permite a los administradores cambiar los recursos de GPU en respuesta a las demandas cambiantes de los usuarios y las empresas. Por ejemplo, se pueden usar siete instancias MIG durante el día para inferencias de bajo rendimiento y reconfigurarse en una instancia MIG grande por la noche para capacitación en deep learning.

Ejecute Cargas de Trabajo en Paralelo y de Forma Segura

Con un conjunto dedicado de recursos de hardware para computación, memoria y caché, cada instancia MIG ofrece QoS y aislamiento de fallas garantizados. Eso significa que una falla en una aplicación que se ejecuta en una instancia no afecta a las aplicaciones que se ejecutan en otras instancias.

También significa que diferentes instancias pueden ejecutar diferentes tipos de cargas de trabajo: desarrollo de modelos interactivos, entrenamiento de deep learning, inferencia de IA o aplicaciones HPC. Dado que las instancias se ejecutan en paralelo, las cargas de trabajo también se ejecutan en paralelo (pero separadas y aisladas) en la misma GPU física.

MIG en GPU Blackwell

Las GPU Blackwell y Hopper admiten MIG con configuraciones multiinquilino y multiusuario en entornos virtualizados en hasta siete instancias de GPU, aislando de forma segura cada instancia con computación confidencial a nivel de hardware e hipervisor. Los decodificadores de video dedicados para cada instancia MIG brindan análisis de video inteligente (IVA) seguros y de alto rendimiento en infraestructura compartida. Con perfiles MIG simultáneos, los administradores pueden monitorear la aceleración de GPU del tamaño adecuado y asignar recursos para múltiples usuarios.

Para los investigadores con cargas de trabajo más pequeñas, en lugar de alquilar una instancia completa en la nube, pueden usar MIG para aislar una parte de una GPU de forma segura y, al mismo tiempo, tener la seguridad de que sus datos están seguros en reposo, en tránsito y en uso. Esto mejora la flexibilidad para que los proveedores de servicios en la nube fijen precios y aborden oportunidades para clientes más pequeños.

Ver MIG en Acción

Ejecuta Varias Cargas de Trabajo en una sola GPU A100

Esta demostración ejecuta cargas de trabajo de IA y de computación de alto rendimiento (HPC) de forma simultánea en la misma GPU A100.

Ver Video

Aumento del Rendimiento y la Utilización con la GPU de Múltiples Instancias

Esta demostración muestra el rendimiento de la inferencia en una sola porción de MIG y, luego, se escala linealmente en toda la A100.

Ver Video

Diseñado para TI y DevOps

MIG permite el aprovisionamiento detallado de la GPU por parte de los equipos de TI y DevOps. Cada instancia de MIG se comporta como una GPU independiente para las aplicaciones, por lo que no hay cambio en la plataforma CUDA®. MIG se puede usar en los principales entornos de computación empresarial.

Se Implementa desde el Data Center hasta el Edge

Usa MIG en las instalaciones, en el cloud y en el edge.

Aprovecha los Contenedores

Ejecuta aplicaciones en contenedores en instancias de MIG.

Compatible con Kubernetes

Programa pods de Kubernetes en instancias de MIG.

Virtualiza Aplicaciones

Ejecuta aplicaciones en instancias de MIG dentro de una máquina virtual.

Especificaciones de MIG

	GPU Blackwell Ultra	GPU Blackwell*	GPU H100
Computación Confidencial	Sí	Sí	Sí
Tipos de Instancias	Hasta 7 de 34GB Hasta 4 de 70GB Hasta 2 de 140GB Hasta 1 de 288GB	Hasta 7 de 23GB Hasta 4 de 45GB Hasta 2 de 95GB Hasta 1 de 192GB	7 de 10GB 4 de 20GB 2 de 40GB 1 de 80GB
Generación de Perfiles y Monitoreo de GPU	Al mismo tiempo en todas las instancias	Al mismo tiempo en todas las instancias	Al mismo tiempo en todas las instancias
Clientes Seguros	7	7	7
Decodificadores de Medios	NVJPEG y NVDEC dedicados por instancia	NVJPEG y NVDEC dedicados por instancia	NVJPEG y NVDEC dedicados por instancia

Las especificaciones preliminares pueden cambiar.. *Tamaños mostrados para las GPU Blackwell en GB200 NVL72. Los tamaños de MIG para las GPU Blackwell en HGX B200 son menores, consulte la documentación técnica.

Más Información sobre MIG.

Más Información