GPU Tensor Core NVIDIA A100

Aceleración Sin Precedentes en Todas las Escalas

Acelerando el Trabajo Más Importante de Nuestro Tiempo

La GPU NVIDIA A100 Tensor Core ofrece una aceleración sin precedentes en todas las escalas para IA, análisis de datos y computación de alto rendimiento (HPC) para enfrentar los desafíos informáticos más difíciles del mundo. Como motor de la plataforma de el datacenter NVIDIA, A100 puede escalar eficientemente a miles de GPU o, con la tecnología NVIDIA Multi-Instance GPU (MIG), dividirse en siete instancias de GPU para acelerar cargas de trabajo de todos los tamaños. Y los Tensor Cores de tercera generación aceleran cada precisión para diversas cargas de trabajo, acelerando el tiempo de comprensión y el tiempo de comercialización.

La Plataforma de Data Center de IA y HPC de Extremo a Extremo Más Potente

A100 es parte de la solución completa del centro de datos de NVIDIA que incorpora bloques de construcción en hardware, redes, software, bibliotecas y aplicaciones y modelos de IA optimizados de NGC™. Representando la plataforma de IA y HPC de extremo a extremo más potente para data centers, permite a los investigadores entregar resultados del mundo real e implementar soluciones en la producción a escala.

Making of Ampere Video

WATCH VIDEO

Hasta 6 Veces Más Rendimiento Listo para Usar con TF32 para Entrenamiento de IA

Entrenamiento BERT

Rendimiento de pre-entrenamiento BERT usando Pytorch, incluyendo (2/3) Fase 1 y (1/3) Fase 2 | Fase 1 Seq Len = 128, Fase 2 Seq Len = 512; V100: servidor NVIDIA DGX-1™ con 8x V100 con precisión FP32; A100: Servidor DGX A100 con 8x A100 con precisión TF32.

Entrenamiento de Deep Learning

Los modelos de IA están explotando en complejidad a medida que se enfrentan a desafíos del siguiente nivel, como la IA de conversación precisa y los sistemas de recomendación profunda. Entrenarlos requiere una gran capacidad de cálculo y escalabilidad.

Los Tensor Cores de tercera generación de NVIDIA A100 con precisión Tensor Float (TF32) proporcionan un rendimiento hasta 20 veces mayor que la generación anterior con cero cambios de código y un aumento adicional de 2 veces con precisión mixta automática y FP16. Cuando se combina con NVIDIA® NVLink® de tercera generación, NVIDIA NVSwitch™, PCI Gen4, NVIDIA Mellanox InfiniBand y el SDK de software NVIDIA Magnum IO™, es posible escalar a miles de GPU A100. Esto significa que los modelos de IA grandes como BERT pueden entrenarse en solo 37 minutos en un clúster de 1.024 A100s, ofreciendo un rendimiento y escalabilidad sin precedentes.

El liderazgo en capacitación de NVIDIA se demostró en MLPerf 0.6, el primer punto de referencia de toda la industria para la capacitación en inteligencia artificial.

VER MÁS BENCHMARKS

Inferencia de Deep Learning

A100 presenta nuevas características innovadoras para optimizar las cargas de trabajo de inferencia. Ofrece una versatilidad sin precedentes al acelerar una gama completa de precisiones, desde FP32 a FP16 a INT8 y hasta INT4. La tecnología de GPU de varias instancias (MIG) permite que varias redes funcionen simultáneamente en una sola GPU A100 para una utilización óptima de los recursos informáticos. Y el soporte de dispersión estructural ofrece hasta 2 veces más rendimiento además de las otras ganancias de rendimiento de inferencia de A100.

NVIDIA ya ofrece un rendimiento de inferencia líder en el mercado, como se demostró en un barrido general de MLPerf Inference 0.5, el primer punto de referencia de inferencia en toda la industria. A100 ofrece 20 veces más rendimiento para extender aún más ese liderazgo.

VER MÁS BENCHMARKS

Hasta 7 Veces Mayor Rendimiento con GPU de Varias Instancias (MIG) para Inferencia de IA

Gran Inferencia BERT

Gran Inferencia BERT | GPU NVIDIA T4 Tensor Core: NVIDIA TensorRT™ (TRT) 7.1, precisión = INT8, tamaño de lote = 256 | V100: TRT 7.1, precisión = FP16, tamaño de lote = 256 | A100 con 7 instancias MIG de 1g.5gb: TRT de preproducción, tamaño de lote = 94, precisión = INT8 con escasez.

9 Veces Más Rendimiento de HPC en 4 Años

Rendimiento para las Principales Aplicaciones de HPC

Media geométrica de aceleraciones de la aplicación frente a P100: aplicación de referencia: ámbar [PME-Cellulose_NVE], Chroma [szscl21_24_128], GROMACS [ADH Dodec], MILC [Apex Medium], NAMD [stmv_nve_cuda], PyTorch (BERT Large Fine Tuner], Quantum Espresso [AUSURF112-jR]; Random Forest FP32 [make_blobs (160000 x 64: 10)], TensorFlow [ResNet-50], VASP 6 [Si Huge], | GPU con CPU de doble socket con 4x NVIDIA P100, V100, o GPU A100.

High-Performance Computing

Para desbloquear los descubrimientos de la próxima generación, los científicos buscan simulaciones para comprender mejor las moléculas complejas para el descubrimiento de fármacos, la física para nuevas fuentes potenciales de energía y los datos atmosféricos para predecir y prepararse mejor para los patrones climáticos extremos.

A100 presenta Tensor Cores de doble precisión, proporcionando el mayor hito desde la introducción de la computación de doble precisión en las GPU para HPC. Esto permite a los investigadores reducir una simulación de doble precisión de 10 horas que se ejecuta en GPU NVIDIA V100 Tensor Core a solo cuatro horas en A100. Las aplicaciones HPC también pueden aprovechar la precisión TF32 en los núcleos tensoriales de A100 para lograr hasta 10 veces más rendimiento para operaciones de multiplicación de matriz densa de precisión simple.

VER MÁS BENCHMARKS

Análisis de Datos de Alto Rendimiento

Los clientes deben poder analizar, visualizar y convertir conjuntos de datos masivos en ideas. Pero las soluciones de escalamiento a menudo se estancan debido a que estos conjuntos de datos están dispersos en múltiples servidores.

Los servidores acelerados con A100 ofrecen la potencia de procesamiento necesaria, junto con 1,6 terabytes por segundo (TB/seg) de ancho de banda de memoria y escalabilidad con NVLink y NVSwitch de tercera generación, para hacer frente a estas cargas de trabajo masivas. En combinación con NVIDIA Mellanox InfiniBand, Magnum IO SDK, Spark 3.0 acelerado por GPU y RAPIDS™, un paquete de software para análisis de datos acelerados por GPU, la plataforma del data center NVIDIA es capaz de acelerar estas enormes cargas de trabajo a niveles de rendimiento y eficiencia sin precedentes.

MÁS INFORMACIÓN SOBRE DATA ANALYTIC
High-Performance Data Analytics

7 Veces Mayor Rendimiento de Inferencia con GPU de Varias Instancias (MIG)

Gran Inferencia BERT

Gran Inferencia BERT | NVIDIA TensorRT™ (TRT) 7.1 | GPU NVIDIA T4 Tensor Core: TRT 7.1, precisión = INT8, tamaño de lote = 256 | V100: TRT 7.1, precisión = FP16, tamaño de lote = 256 | A100 con 1 o 7 instancias MIG de 1g.5gb: tamaño de lote = 94, precisión = INT8 con escasez.

Utilización Lista para la Empresa

A100 con MIG maximiza la utilización de la infraestructura acelerada por GPU como nunca. MIG permite que una GPU A100 se particione de forma segura en hasta siete instancias separadas, lo que brinda a múltiples usuarios acceso a la aceleración de GPU para sus aplicaciones y proyectos de desarrollo. Además, los administradores del data center pueden obtener los beneficios de administración y operación de la virtualización de servidores basada en hipervisor en instancias MIG con NVIDIA Virtual Compute Server (vComputeServer). MIG permite a los administradores de infraestructura suministrar recursos de GPU con mayor granularidad para proporcionar a los desarrolladores la cantidad adecuada de capacidad de cómputo y garantizar el uso óptimo de todos sus recursos de GPU.

MÁS INFORMACIÓN SOBRE MIG

Especificaciones

  NVIDIA A100 para NVLink
Peak FP64 9,7 TF
Peak FP64 Tensor Core 19,5 TF
Peak FP32 19,5 TF
Peak TF32 Tensor Core 156 TF | 312 TF*
Peak BFLOAT16 Tensor Core 312 TF | 624 TF*
Peak FP16 Tensor Core 312 TF | 624 TF*
Peak INT8 Tensor Core 624 TOPS | 1.248 TOPS*
Peak INT4 Tensor Core 1,248 TOPS | 2,496 TOPS*
Memoria GPU 40 GB
Banda Ancha de Memoria GPU 1,555 GB/s
Interconectar NVIDIA NVLink 600 GB/s
PCIe Gen4 64 GB/s
GPUs de Varias Instancias Varios tamaños de instancia con hasta 7MIGs @5GB
Tamaño 4/8 SXM en NVIDIA HGX™ A100
Máximo Poder TDP 400W

* Con escasez

 

Dentro de la Arquitectura NVIDIA Ampere

Únase a este webinar para conocer las novedades de Arquitectura NVIDIA Ampere y su implementación en la GPU NVIDIA A100.

REGÍSTRESE EN EL WEBINAR
Productos
Tecnologías
Resources