This site requires Javascript in order to view all its content. Please enable Javascript in order to access all the functionality of this web site. Here are the instructions how to enable JavaScript in your web browser.

NVIDIA Multi-Instance GPU

Siete instancias independientes en una sola GPU

La GPU multiinstancia (MIG) aumenta el rendimiento y el valor de cada GPU NVIDIA H100, A100 y A30 Tensor Core. MIG puede dividir la GPU en hasta siete instancias totalmente aisladas con su propia memoria de ancho de banda alta, su caché y sus núcleos de procesamiento. Esto permite a los administradores admitir todas las cargas de trabajo, desde las más pequeñas hasta las más grandes, con calidad de servicio (QoS) garantizada y extendiendo el alcance de los recursos informáticos acelerados a cada usuario.

Información general de ventajas

Ampliar el acceso a la GPU

Con MIG, puedes lograr hasta 7 veces más recursos en una sola GPU. MIG ofrece a los investigadores y desarrolladores más recursos y flexibilidad que nunca.

Optimizar la utilización de GPU

MIG proporciona la flexibilidad de elegir muchos tamaños de instancia diferentes, lo que permite el aprovisionamiento de la instancia de GPU del tamaño correcto para cada carga de trabajo y, en definitiva, ofrece una utilización óptima y maximiza la inversión en centros de datos.

Ejecutar cargas de trabajo mixtas simultáneas

Ejecutar cargas de trabajo simultáneas

MIG permite que las cargas de trabajo de inferencia, entrenamiento y alta computación (HPC) se ejecuten al mismo tiempo en una sola GPU con latencia y rendimiento deterministas. A diferencia del time-slicing, cada carga de trabajo se ejecuta en paralelo, lo que ofrece un alto rendimiento.

Cómo funciona la tecnología

Sin MIG, los distintos trabajos que se ejecutan en la misma GPU, como diferentes solicitudes de inferencia de IA, compiten por los mismos recursos. Un trabajo que consume un ancho de banda de memoria más grande priva a otros de este, lo que provoca que varios trabajos pierdan sus objetivos de latencia. Con MIG, los trabajos se ejecutan simultáneamente en diferentes instancias, cada una con recursos dedicados para el uso de proceso, memoria y ancho de banda de memoria, lo que resulta en un rendimiento predecible con QoS y la máxima utilización de la GPU.

Aprovisiona y configura instancias según sea necesario

Una GPU se puede dividir en particiones de instancias MIG de diferentes tamaños. Por ejemplo, en una NVIDIA A100 de 40 GB, un administrador podría crear dos instancias con 20 gigabytes (GB) de memoria cada una, tres instancias con 10 GB o siete instancias con 5 GB. O una combinación.

Las instancias de MIG también se pueden reconfigurar de forma dinámica, lo que permite a los administradores cambiar los recursos de GPU en respuesta a las cambiantes demandas de usuarios y empresas. Por ejemplo, se pueden utilizar siete instancias de MIG durante el día para la inferencia de bajo rendimiento y volver a configurarlas en una instancia de MIG grande por la noche para entrenamiento de aprendizaje profundo.

Ejecuta cargas de trabajo en paralelo de forma segura

Con un conjunto dedicado de recursos de hardware para computación, memoria y memoria caché, cada instancia de MIG ofrece una calidad de servicio (QoS) garantizada y aislamiento de errores. Esto significa que el error en una aplicación que se ejecuta en una instancia no afecta a las aplicaciones que se ejecutan en otras instancias.

También indica que diferentes instancias pueden ejecutar diferentes tipos de cargas de trabajo: desarrollo de modelos interactivos, entrenamiento de aprendizaje profundo, inferencia de IA o aplicaciones HPC. Dado que las instancias se ejecutan en paralelo, las cargas de trabajo también lo hacen, pero independientes y aisladas, en la misma GPU física.

MIG en NVIDIA H100

Con arquitectura de NVIDIA Hopper™, H100 mejora aún más la MIG al admitir configuraciones multiinquilino y multiusuario en entornos virtualizados en hasta siete instancias de GPU, lo que permite aislar cada instancia de forma segura con computación confidencial en el nivel de hardware y de hipervisor. Los descodificadores de vídeo dedicados para cada instancia de MIG ofrecen un análisis inteligente de vídeo seguro y de alto rendimiento en una infraestructura compartida. Gracias a la generación simultánea de perfiles de MIG de Hopper, los administradores pueden supervisar la aceleración de GPU de un tamaño adecuado y optimizar la asignación de recursos para los usuarios.

Por su parte, los investigadores con cargas de trabajo más pequeñas, en vez de tener que alquilar una instancia de nube entera, pueden utilizar MIG para aislar sin riesgo alguno una parte de una GPU mientras tienen la seguridad de que sus datos están protegidos en reposo, en tránsito y en uso. Esto mejora la flexibilidad para que los proveedores de servicios en la nube puedan establecer precios que capten a clientes más pequeños.

Ver MIG en acción

Ejecución de varias cargas de trabajo en una sola GPU A100

En esta demo se ejecutan cargas de trabajo de computación de alto rendimiento (HPC) y de IA simultáneamente en la misma GPU A100.

VER VÍDEO

GPU de varias instancias en la GPU NVIDIA A100 Tensor Core

Mejora del rendimiento y la utilización con la GPU multiinstancia

En esta demostración se muestra el rendimiento de la inferencia en un solo segmento de MIG y luego se ajusta linealmente en toda la A100.

VER VÍDEO

Diseñado para TI y DevOps

MIG permite a los equipos de TI y DevOps realizar un aprovisionamiento muy específico de GPU. Cada instancia de MIG se comporta como una GPU independiente para las aplicaciones, por lo que no hay ningún cambio en la plataforma CUDA®. MIG se puede utilizar en los principales entornos informáticos empresariales.

Lograr la máxima flexibilidad del centro de datos

Una GPU NVIDIA A100 se puede dividir en particiones de instancias de MIG de diferentes tamaños. Por ejemplo, un administrador podría crear dos instancias con 20 gigabytes (GB) de memoria cada una, tres instancias con 10 GB o siete instancias con 5 GB. O una combinación de las opciones anteriores. El administrador del sistema puede proporcionar GPU de tamaño correcto a los usuarios para diferentes tipos de cargas de trabajo.

Ofrecer una calidad de servicio excepcional

Cada instancia de MIG tiene un conjunto dedicado de recursos de hardware para computación, memoria y caché, lo que proporciona una calidad de servicio (QoS) garantizada y aislamiento de errores para la carga de trabajo. Esto significa que el error en una aplicación que se ejecuta en una instancia no afecta a las aplicaciones que se ejecutan en otras instancias. Además, diferentes instancias pueden ejecutar diferentes tipos de cargas de trabajo: desarrollo de modelos interactivos, entrenamiento de aprendizaje profundo, inferencia de IA o aplicaciones HPC. Dado que las instancias se ejecutan en paralelo, las cargas de trabajo también lo hacen, pero independientes y aisladas, en la misma GPU A100 física.

MIG es ideal para cargas de trabajo como el desarrollo de modelos de IA y la inferencia de baja latencia. Estas cargas de trabajo pueden aprovechar al máximo las características de A100 y encajar en la memoria asignada de cada instancia.

Especificaciones de MIG

	H100	A100
Informática confidencial	Sí	-
Tipos de instancias	7 x 10 GB 4 x 10 GbE 2 x 40 GB (más capacidad de computación) 1x 80 GB	7 x 10 GB 4 x 20 GB 2 x 40 GB 1 x 80 GB
Generación de perfiles y supervisión de GPU	Simultáneamente en todos las instancias	Solo una instancia a la vez
Inquilinos seguros	7x	1x
Descodificadores de contenido	NVJPEG y NVDEC dedicados por instancia	Opciones limitadas

Las especificaciones preliminares pueden estar sujetas a cambios

Sumérgete en la arquitectura NVIDIA Hopper

LEER EL INFORME TÉCNICO

Sumérgete en la arquitectura NVIDIA Ampere