GPU NVIDIA de Múltiples Instancias

Siete Instancias Independientes en una Sola GPU

La GPU de varias instancias (MIG) amplía el rendimiento y el valor de cada GPU NVIDIA A100 Tensor Core. MIG puede particionar la GPU A100 en hasta siete instancias, cada una completamente aislada con su propia memoria de gran ancho de banda, caché y núcleos de cómputo. Ahora los administradores pueden soportar cada carga de trabajo, desde la más pequeña hasta la más grande, ofreciendo una GPU del tamaño adecuado con calidad de servicio (QoS) garantizada para cada trabajo, optimizando la utilización y extendiendo el alcance de los recursos informáticos acelerados a cada usuario.

Resumen de Beneficios

Amplíe el Acceso de GPU a Más Usuarios

Con MIG, puede lograr hasta 7 veces más recursos de GPU en una sola GPU A100. MIG ofrece a los investigadores y desarrolladores más recursos y flexibilidad que nunca.

Optimizar la Utilización de GPU

MIG proporciona la flexibilidad para elegir muchos tamaños de instancia diferentes, lo que permite el aprovisionamiento de la instancia de GPU del tamaño correcto para cada carga de trabajo, en última instancia, ofrece una utilización óptima y maximiza la inversión en el data center.

Ejecute Cargas de Trabajo Mixtas Simultáneas

MIG permite que las cargas de trabajo de inferencia, capacitación y computación de alto rendimiento (HPC) se ejecuten al mismo tiempo en una sola GPU con latencia y rendimiento deterministas.

Cómo Funciona la Tecnología

Sin MIG, diferentes trabajos que se ejecutan en la misma GPU, como diferentes solicitudes de inferencia de IA, compiten por los mismos recursos, como el ancho de banda de la memoria. Un trabajo que consume más ancho de banda de memoria termina dejando a otros con menos memoria, lo que resulta en varios trabajos que pierden sus destinos de latencia. Con MIG, los trabajos se ejecutan simultáneamente en diferentes instancias, cada una con recursos dedicados para computación, memoria y ancho de banda de memoria, lo que resulta en un rendimiento predecible con calidad de servicio y máxima utilización de GPU.

Ganancias Significativas en Rendimiento y Utilización con GPU Multi-Instancias

VER VIDEO

Logre la Máxima Flexibilidad del Data Center

Una GPU NVIDIA A100 se puede dividir en instancias MIG de diferentes tamaños. Por ejemplo, un administrador podría crear dos instancias con 20 gigabytes (GB) de memoria cada una o tres instancias con 10GB o siete instancias con 5GB. O una mezcla de ellos. Por lo tanto, lo administrador de sistema puede proporcionar GPU del tamaño adecuado a los usuarios para diferentes tipos de cargas de trabajo.

Las instancias MIG también se pueden reconfigurar dinámicamente, lo que permite a los administradores cambiar los recursos de la GPU en respuesta a las demandas cambiantes de los usuarios y las empresas. Por ejemplo, se pueden usar siete instancias MIG durante el día para inferencia de bajo rendimiento y reconfigurarse en una instancia MIG grande por la noche para capacitación de deep learning.

Brinde una Calidad de Servicio Excepcional

Cada instancia de MIG tiene un conjunto dedicado de recursos de hardware para computación, memoria y caché, que ofrece calidad de servicio garantizada (QoS) y aislamiento de fallas para la carga de trabajo. Eso significa que la falla en una aplicación que se ejecuta en una instancia no afecta las aplicaciones que se ejecutan en otras instancias. Y diferentes instancias pueden ejecutar diferentes tipos de cargas de trabajo: desarrollo de modelos interactivos, capacitación de deep learning, inferencia de IA o aplicaciones HPC. Dado que las instancias se ejecutan en paralelo, las cargas de trabajo también se ejecutan en paralelo, pero separadas y aisladas, en la misma GPU física A100.

MIG es ideal para cargas de trabajo como el desarrollo de modelos de IA y la inferencia de baja latencia. Estas cargas de trabajo pueden aprovechar al máximo las características de A100 y encajar en la memoria asignada de cada instancia.

Creado para TI y Desarrolladores

MIG se desarrolló para facilitar la implementación por parte de los equipos de TI y los Desarrolladores.

Cada instancia de MIG se comporta como una GPU independiente para las aplicaciones, por lo que no hay cambios en la plataforma CUDA®. Los modelos AI y las aplicaciones en contenedores HPC, como los de NGC^™, pueden ejecutarse directamente en una instancia MIG con NVIDIA Container Runtime. Las instancias MIG se presentan como recursos de GPU adicionales en orquestadores de contenedores como Kubernetes, que pueden programar cargas de trabajo en contenedores para que se ejecuten dentro de instancias específicas de GPU. Esta característica estará disponible pronto a través del complemento de dispositivo NVIDIA para Kubernetes.

Las empresas pueden aprovechar los beneficios de administración, monitoreo y operación de la virtualización de servidores basada en hipervisor, incluida la migración en vivo y la tenencia múltiple, en instancias de GPU MIG con NVIDIA Virtual Compute Server (vCS).

Sumérgete en la Arquitectura NVIDIA Ampere.

VER WEBINAR