GPU NVIDIA A100 Tensor Core

La complejidad de los modelos de IA se dispara a medida que estos se enfrentan a desafíos de nivel superior, como una IA conversacional. Entrenarlos requiere una enorme potencia de computación y escalabilidad.

Los Tensor Cores de NVIDIA A100 con Tensor Float (TF32) ofrecen un rendimiento hasta 20 veces mayor que el de NVIDIA Volta, sin cambios de código, y un impulso adicional duplicado con precisión mixta automática y FP16. Cuando se combina con NVIDIA^® NVLink^®, NVIDIA NVSwitch^™, PCI Gen4, NVIDIA^® Mellanox^® InfiniBand^® y el SDK de NVIDIA Magnum IO^™ es posible escalar a miles de GPU A100.

Una carga de trabajo de entrenamiento como BERT puede resolverse a escala en menos de un minuto en 2048 GPU A100, lo cual constituye un récord mundial.

Para los modelos más grandes con tablas de datos masivas, como modelos de recomendación de aprendizaje profundo (DLRM), A100 de 80 GB alcanza hasta 1,3 TB de memoria unificada por nodo y triplica el rendimiento con respecto a A100 de 40 GB.

NVIDIA es líder en MLPerf y ha batido varios récords de rendimiento en el índice de referencia del sector para el entrenamiento de IA.

Quantum Espresso​

Los científicos de datos deben poder analizar, visualizar y convertir conjuntos de datos masivos en información. Sin embargo, con frecuencia las soluciones de escalado horizontal se detienen a medida que estos conjuntos de datos se dispersan en varios servidores. 

Los servidores acelerados con A100 ofrecen la potencia de computación necesaria, junto con una memoria masiva, 2 TB/s de ancho de banda de memoria y escalabilidad con NVIDIA^® NVLink^® y NVSwitch^™ para hacer frente a estas cargas de trabajo masivas. En combinación con InfiniBand, NVIDIA Magnum IO^™ y las bibliotecas de código abierto del paquete RAPIDS^™ como el acelerador de RAPIDS para Apache Spark para el análisis de datos acelerado por GPU, la plataforma de centro de datos de NVIDIA acelera estas enormes cargas de trabajo a niveles de rendimiento y eficacia sin precedentes.

En una referencia de análisis de macrodatos, A100 de 80 GB ofreció información con un rendimiento 83 veces mayor que las CPU y el doble de rendimiento que A100 de 40 GB, lo que lo convierte en una solución idónea para cargas de trabajo emergentes con tamaños de conjuntos de datos cada vez mayores.

A100 con MIG maximiza la utilización de infraestructura acelerada por GPU. Con MIG, una GPU A100 se puede dividir en hasta siete instancias independientes, lo que hace posible que varios usuarios accedan a la aceleración de la GPU. Con A100 de 40 GB, a cada instancia de MIG se le puede asignar hasta 5 GB. Con la mayor capacidad de memoria de A100 de 80 GB, ese tamaño se duplica hasta los 10 GB.

MIG funciona con Kubernetes, contenedores y virtualización de servidores basada en hipervisor. MIG permite a los administradores de infraestructuras ofrecer una GPU con el tamaño adecuado y calidad de servicio (QoS) garantizada para cada tarea, lo que amplía el alcance de los recursos de computación acelerados a todos los usuarios.