La GPU de varias instancias (MIG) amplía el rendimiento y el valor de cada GPU NVIDIA A100 Tensor Core. MIG puede particionar la GPU A100 en hasta siete instancias, cada una completamente aislada con su propia memoria de gran ancho de banda, caché y núcleos de cómputo. Ahora los administradores pueden soportar cada carga de trabajo, desde la más pequeña hasta la más grande, ofreciendo una GPU del tamaño adecuado con calidad de servicio (QoS) garantizada para cada trabajo, optimizando la utilización y extendiendo el alcance de los recursos informáticos acelerados a cada usuario.
Con MIG, puede lograr hasta 7 veces más recursos de GPU en una sola GPU A100. MIG ofrece a los investigadores y desarrolladores más recursos y flexibilidad que nunca.
MIG proporciona la flexibilidad para elegir muchos tamaños de instancia diferentes, lo que permite el aprovisionamiento de la instancia de GPU del tamaño correcto para cada carga de trabajo, en última instancia, ofrece una utilización óptima y maximiza la inversión en el data center.
MIG permite que las cargas de trabajo de inferencia, capacitación y computación de alto rendimiento (HPC) se ejecuten al mismo tiempo en una sola GPU con latencia y rendimiento deterministas.
Sin MIG, diferentes trabajos que se ejecutan en la misma GPU, como diferentes solicitudes de inferencia de IA, compiten por los mismos recursos, como el ancho de banda de la memoria. Un trabajo que consume más ancho de banda de memoria termina dejando a otros con menos memoria, lo que resulta en varios trabajos que pierden sus destinos de latencia. Con MIG, los trabajos se ejecutan simultáneamente en diferentes instancias, cada una con recursos dedicados para computación, memoria y ancho de banda de memoria, lo que resulta en un rendimiento predecible con calidad de servicio y máxima utilización de GPU.
Una GPU NVIDIA A100 se puede dividir en instancias MIG de diferentes tamaños. Por ejemplo, un administrador podría crear dos instancias con 20 gigabytes (GB) de memoria cada una o tres instancias con 10GB o siete instancias con 5GB. O una mezcla de ellos. Por lo tanto, lo administrador de sistema puede proporcionar GPU del tamaño adecuado a los usuarios para diferentes tipos de cargas de trabajo.
Las instancias MIG también se pueden reconfigurar dinámicamente, lo que permite a los administradores cambiar los recursos de la GPU en respuesta a las demandas cambiantes de los usuarios y las empresas. Por ejemplo, se pueden usar siete instancias MIG durante el día para inferencia de bajo rendimiento y reconfigurarse en una instancia MIG grande por la noche para capacitación de deep learning.
Cada instancia de MIG tiene un conjunto dedicado de recursos de hardware para computación, memoria y caché, que ofrece calidad de servicio garantizada (QoS) y aislamiento de fallas para la carga de trabajo. Eso significa que la falla en una aplicación que se ejecuta en una instancia no afecta las aplicaciones que se ejecutan en otras instancias. Y diferentes instancias pueden ejecutar diferentes tipos de cargas de trabajo: desarrollo de modelos interactivos, capacitación de deep learning, inferencia de IA o aplicaciones HPC. Dado que las instancias se ejecutan en paralelo, las cargas de trabajo también se ejecutan en paralelo, pero separadas y aisladas, en la misma GPU física A100.
MIG es ideal para cargas de trabajo como el desarrollo de modelos de IA y la inferencia de baja latencia. Estas cargas de trabajo pueden aprovechar al máximo las características de A100 y encajar en la memoria asignada de cada instancia.
Con la GPU NVIDIA A100 Tensor Core, los investigadores y desarrolladores pueden usar una GPU dedicada para ejecutar su carga de trabajo, incluso si la carga de trabajo solo usa una fracción de la potencia de cómputo de la GPU. La A100 incluye una característica innovadora llamada GPU Multi-Instancias (MIG), que divide la GPU en hasta siete instancias, cada una con procesamiento, memoria y ancho de banda dedicados. Esto permite que varios usuarios ejecuten sus cargas de trabajo en la misma GPU, maximizando la utilización y la productividad del usuario. Esta demostración ejecuta IA y cargas de trabajo de computación de alto rendimiento (HPC) simultáneamente en la misma GPU A100.
MIG en la GPU NVIDIA A100 Tensor Core puede garantizar el rendimiento de hasta siete trabajos que se ejecutan simultáneamente en la misma GPU, y cada instancia está completamente aislada con su propio cómputo, memoria y ancho de banda. Esta capacidad única de la A100 ofrece la GPU del tamaño adecuado para cada trabajo y maximiza la utilización del data center. Esta demostración muestra el rendimiento de la inferencia en un solo segmento de MIG y luego escala linealmente en todo el A100.
MIG permite el aprovisionamiento detallado de GPU por parte de los equipos de TI y DevOps. Cada instancia de MIG se comporta como una GPU independiente para las aplicaciones, por lo que no hay cambios en la plataforma CUDA®. MIG se puede utilizar en todos los principales entornos informáticos empresariales.
Utilice MIG en instancias locales y en el cloud de bare metal A100.
Ejecute aplicaciones en contenedores en instancias MIG.
Programe pods de Kubernets em instancias MIG.
Ejecute aplicaciones en instancias MIG dentro de una máquina virtual.
Sumérgete en la Arquitectura NVIDIA Ampere.