Aceleración sin precedentes a todas las escalas
NVIDIA A100 Tensor Core GPU ofrece aceleración sin precedentes a todas las escalas para proveer a los centros de datos elásticos de mayor rendimiento del mundo con IA, análisis de datos y HPC. A100, con la tecnología de la arquitectura Ampere de NVIDIA, es el motor de la plataforma de centro de datos de NVIDIA. A100 ofrece un rendimiento hasta 20 veces mayor que la generación anterior y puede dividirse en siete instancias de GPU para ajustarse dinámicamente a las demandas de cambio. Disponible en versiones de 40 GB y 80 GB de memoria, A100 ofrece por primera vez el ancho de banda de memoria más rápido del mundo, a más de 2 terabytes por segundo (TB/s), para ejecutar los modelos y los conjuntos de valores de mayor tamaño.
A100 es parte de la completa pila de soluciones del centro de datos de NVIDIA que incorpora elementos esenciales en hardware, redes, software, bibliotecas y modelos y aplicaciones de IA optimizados desde NGC™. Representa la plataforma de IA y HPC integral más potente para centros de datos, y permite a los investigadores ofrecer resultados en el mundo real e implementar soluciones en producción a escala.
Entrenamiento de DLRM
DLRM en HugeCTR Framework, precisión = FP16 | Tamaño del lote NVIDIA A100 de 80 GB = 48 | Tamaño del lote NVIDIA A100 de 40 GB = 32 | Tamaño del lote de NVIDIA V100 de 32 GB = 32.
La complejidad de los modelos de IA se dispara a medida que estos se enfrentan a desafíos de nivel superior, como una IA conversacional. Entrenarlos requiere una enorme potencia de computación y escalabilidad.
Los Tensor Cores de NVIDIA A100 con Tensor Float (TF32) ofrecen un rendimiento hasta 20 veces mayor que el de NVIDIA Volta, sin cambios de código, y un impulso adicional duplicado con precisión mixta automática y FP16. Cuando se combina con NVIDIA® NVLink®, NVIDIA NVSwitch™, PCI Gen4, NVIDIA® Mellanox® InfiniBand® y el SDK de NVIDIA Magnum IO™ es posible escalar a miles de GPU A100.
Una carga de trabajo de entrenamiento como BERT puede resolverse a escala en menos de un minuto en 2048 GPU A100, lo cual constituye un récord mundial.
Para los modelos más grandes con tablas de datos masivas, como modelos de recomendación de aprendizaje profundo (DLRM), A100 de 80 GB alcanza hasta 1,3 TB de memoria unificada por nodo y triplica el rendimiento con respecto a A100 de 40 GB.
NVIDIA es líder en MLPerf y ha batido varios récords de rendimiento en el índice de referencia del sector para el entrenamiento de IA.
A100 presenta innovadoras características para optimizar las cargas de trabajo de inferencia. Acelera una gama completa de precisión, desde FP32 hasta INT4. La tecnología GPU multiinstancia (MIG) permite que varias redes funcionen simultáneamente en un único A100 para optimizar los recursos de computación. Además, el soporte de dispersión estructural ofrece hasta el doble de rendimiento, junto con las otras mejoras de rendimiento de inferencia de A100.
En modelos de IA conversacional de última generación como BERT, A100 acelera el rendimiento de la inferencia hasta 249 veces en comparación con las CPU.
En los modelos más complejos con tamaño de lote restringido como RNN-T para el reconocimiento de voz automático, la mayor capacidad de memoria de A100 de 80 GB duplica el tamaño de cada MIG y ofrece un rendimiento hasta 1,25 veces superior en comparación con A100 de 40 GB.
El rendimiento de la Inferencia de MLPerf demostró que NVIDIA es líder en el mercado. A100 aporta 20 veces más rendimiento para ampliar aún más ese liderazgo.
Inferencia GRANDE de BERT
Inferencia grande de BERT | Solo CPU: Dual Xeon Gold 6240 a 2,60 GHz, precisión = FP32, tamaño del lote = 128 | V100: NVIDIA TensorRT™ (TRT) 7.2, precisión = INT8, tamaño del lote = 256 | A100 de 40 GB y 80 GB, tamaño del lote = 256, precisión = INT8 con dispersión.
Inferencia RNN-T: flujo único
MLPerf 0.7 RNN-T medido con (1/7) segmentos MIG. Entorno de trabajo: TensorRT 7.2, conjunto de datos = LibriSpeech, precisión = FP16.
A fin de poder hacer los descubrimientos de la próxima generación, los científicos buscan simulaciones para comprender mejor el mundo que nos rodea.
NVIDIA A100 presenta Tensor Cores de doble precisión para ofrecer el mayor salto en el rendimiento de HPC desde la introducción de las GPU. En combinación con los 80 GB de la memoria de GPU más rápida, los investigadores pueden reducir una simulación de doble precisión de 10 horas a menos de 4 con A100. Las aplicaciones HPC también pueden aprovechar TF32 para lograr hasta 11 veces más rendimiento para operaciones de multiplicación de matrices densas de precisión sencilla.
Para las aplicaciones HPC con los conjuntos de datos más grandes, la memoria adicional de A100 de 80 GB duplica el rendimiento con Quantum ESPRESSO, una simulación de materiales. Esta memoria masiva y este ancho de banda de memoria sin precedentes hace de A100 de 80 GB la plataforma ideal para las cargas de trabajo de la próxima generación.
Las mejores aplicaciones de HPC
Media geométrica de aceleraciones de aplicaciones frente a P100: aplicación de referencia; Amber [PME-Cellulose_NVE], Chroma [szscl21_24_128], GROMACS [ADH Dodec], MILC [Apex Medium], NAMD [stmv_nve_cuda], PyTorch (BERT Large Fine Tuner], Quantum ESPRESSO [AUSURF112-jR]; Bosque aleatorio FP32 [make_blobs (160000 x 64 : 10)], TensorFlow [ResNet-50], VASP 6 [Si Huge], nodo GPU con CPU de doble zócalo con 4 GPU NVIDIA P100, V100 o A100.
Quantum Espresso
Quantum Espresso medido con el conjunto de datos CNT10POR8, precisión = FP64.
Referencia de análisis de macrodatos | 30 consultas de análisis del sector minorista, ETL, ML, NLP en un conjunto de datos de 10 TB | CPU: Intel Xeon Gold 6252 a 2,10 GHz, Hadoop | V100 de 32 GB, RAPIDS/Dask | A100 de 40 GB y A100 de 80 GB, RAPIDS/Dask/BlazingSQL
Los científicos de datos deben poder analizar, visualizar y convertir conjuntos de datos masivos en información. Sin embargo, con frecuencia las soluciones de escalado horizontal se detienen a medida que estos conjuntos de datos se dispersan en varios servidores.
Los servidores acelerados con A100 ofrecen la potencia de computación necesaria, junto con una memoria masiva, 2 TB/s de ancho de banda de memoria y escalabilidad con NVIDIA® NVLink® y NVSwitch™ para hacer frente a estas cargas de trabajo masivas. En combinación con InfiniBand, NVIDIA Magnum IO™ y las bibliotecas de código abierto del paquete RAPIDS™ como el acelerador de RAPIDS para Apache Spark para el análisis de datos acelerado por GPU, la plataforma de centro de datos de NVIDIA acelera estas enormes cargas de trabajo a niveles de rendimiento y eficacia sin precedentes.
En una referencia de análisis de macrodatos, A100 de 80 GB ofreció información con un rendimiento 83 veces mayor que las CPU y el doble de rendimiento que A100 de 40 GB, lo que lo convierte en una solución idónea para cargas de trabajo emergentes con tamaños de conjuntos de datos cada vez mayores.
Inferencia grande de BERT
Inferencia grande de BERT | NVIDIA TensorRT™ (TRT) 7.1 | NVIDIA T4 Tensor Core GPU: TRT 7.1, precisión = INT8, tamaño de lote = 256 | V100: TRT 7.1, precisión = FP16, tamaño de lote = 256 | A100 con 1 o 7 instancias MIG de 1g.5gb: tamaño de lote = 94, precisión = INT8 con dispersión.
A100 con MIG maximiza la utilización de infraestructura acelerada por GPU. Con MIG, una GPU A100 se puede dividir en hasta siete instancias independientes, lo que hace posible que varios usuarios accedan a la aceleración de la GPU. Con A100 de 40 GB, a cada instancia de MIG se le puede asignar hasta 5 GB. Con la mayor capacidad de memoria de A100 de 80 GB, ese tamaño se duplica hasta los 10 GB.
MIG funciona con Kubernetes, contenedores y virtualización de servidores basada en hipervisor. MIG permite a los administradores de infraestructuras ofrecer una GPU con el tamaño adecuado y calidad de servicio (QoS) garantizada para cada tarea, lo que amplía el alcance de los recursos de computación acelerados a todos los usuarios.
Un sistema certificado por NVIDIA, formado por A100 y NVIDIA Mellanox SmartNIC y DPU, está validado por su rendimiento, funcionalidad, escalabilidad y seguridad, lo que permite a las empresas implementar fácilmente soluciones completas para las cargas de trabajo de la inteligencia artificial desde el catálogo de NVIDIA NGC.
Rendimiento definitivo para todas las cargas de trabajo.
Máxima versatilidad para todas las cargas de trabajo.
* With sparsity ** GPU SXM a través de placas de servidores HGX A100, GPU PCIe a través de NVLink Bridge para hasta 2 GPU
Conoce las novedades de la arquitectura NVIDIA Ampere y su implementación en la GPU NVIDIA A100