GPU NVIDIA A100 Tensor Core

Aceleración sin precedentes a todas las escalas

Acelerar el trabajo más importante de nuestra época

La GPU NVIDIA A100 Tensor Core ofrece una aceleración sin precedentes a todas las escalas para la IA, el análisis de datos y la computación de alto rendimiento (HPC) para hacer frente a los desafíos informáticos más difíciles del mundo. Como motor de la plataforma de centro de datos NVIDIA, A100 puede escalarse eficientemente a miles de GPU o, con la tecnología NVIDIA Multi-Instance GPU (MIG), dividirse en siete instancias de GPU para acelerar las cargas de trabajo de todos los tamaños. Además, los Tensor Cores de tercera generación aceleran todas las precisiones para diversas cargas de trabajo, acelerando el tiempo para obtener información y el tiempo de comercialización.

Hoja de datos de NVIDIA A100 (PDF 640 KB)
A100 PCIE descripción producto(PDF 332 KB)

La plataforma de centro de datos de IA y HPC integral más potente

A100 es parte de la completa pila de soluciones del centro de datos de NVIDIA que incorpora elementos esenciales en hardware, redes, software, bibliotecas y modelos y aplicaciones de IA optimizados desde NGC™. Representa la plataforma de IA y HPC integral más potente para centros de datos, y permite a los investigadores ofrecer resultados en el mundo real e implementar soluciones en producción a escala.

 

Vídeo de creación de Ampere

VER EL VÍDEO

Hasta 6 veces mayor rendimiento listo para usar con TF32 para entrenamiento de IA

Entrenamiento BERT

Hasta 6 veces mayor rendimiento listo para usar con TF32 para entrenamiento de IA

BERT pre-entrenamiento de rendimiento con Pytorch, incluidas (2/3) Fase 1 y (1/3) Fase 2 | Fase 1 Seq Len = 128, Fase 2 Seq Len = 512; V100: Servidor NVIDIA DGX-1™ con 8 V100 con precisión FP32; A100: Servidor DGX A100 con 8 A100 con precisión TF32.

Entrenamiento de aprendizaje profundo

La complejidad de los modelos de IA se dispara a medida que estos se enfrentan a desafíos de nivel superior, como una IA conversacional precisa y sistemas de recomendación profundos. Entrenarlos requiere una enorme potencia de computación y escalabilidad.

La tercera generación de Tensor Cores de NVIDIA A100 con la precisión Tensor Float (TF32) proporciona un rendimiento hasta 10 veces mayor que el de la generación anterior, sin cambios de código, y un impulso adicional duplicado con precisión mixta automática. Cuando se combina con NVIDIA® NVLink® de tercera generación, NVIDIA NVSwitch™, PCI Gen4, Mellanox InfiniBand y el SDK de software NVIDIA Magnum IO™, es posible escalar a miles de GPU A100. Esto significa que los grandes modelos de IA como BERT pueden entrenarse en solo xx minutos en un clúster de xx A100, lo que ofrece rendimiento y escalabilidad sin precedentes.

El liderazgo en el entrenamiento de NVIDIA se demostró en MLPerf 0.6, el primer banco de pruebas de todo el sector para el entrenamiento de IA.

OBTÉN MÁS INFORMACIÓN SOBRE A100 PARA EL ENTRENAMIENTO

Inferencia de aprendizaje profundo

A100 presenta nuevas e innovadoras características para optimizar las cargas de trabajo de inferencia. Aporta una versatilidad sin precedentes al acelerar una gama completa de precisiones, que incluye FP32, FP16, INT8 y INT4. La tecnología GPU multiinstancia (MIG) permite que varias redes funcionen simultáneamente en una sola GPU A100 para una utilización óptima de los recursos de computación. Además, el soporte de dispersión estructural ofrece hasta el doble de rendimiento, junto con las otras mejoras de rendimiento de inferencia de A100..

NVIDIA ya ofrece un rendimiento de inferencia líder en el mercado, como se demuestra en el análisis general de MLPerf Inference 0.5, el primer banco de pruebas para la inferencia de todo el sector. A100 aporta 10 veces más rendimiento para ampliar aún más ese liderazgo.

OBTÉN MÁS INFORMACIÓN SOBRE A100 PARA INFERENCIA

Rendimiento hasta 7 veces mayor con GPU multiinstancia (MIG) para inferencia de IA

Inferencia grande de BERT

Rendimiento hasta 7 veces mayor con GPU multiinstancia (MIG) para inferencia de IA

Inferencia grande de BERT | NVIDIA T4 Tensor Core GPU: NVIDIA TensorRT™ (TRT) 7.1, precisión = INT8, tamaño de lote = 256 | V100: TRT 7.1, precisión = FP16, tamaño de lote = 256 | A100 con 7 instancias MIG de 1g.5gb: preproducción TRT, tamaño de lote = 94, precisión = INT8 con dispersión.

9 veces más rendimiento de HPC en 4 años

Rendimiento de las mejores aplicaciones HPC

9 veces más rendimiento de HPC en 4 años

Media geométrica de aceleraciones de aplicaciones frente a P100: aplicación de referencia: Amber [PME-Cellulose_NVE], Chroma [szscl21_24_128], GROMACS [ADH Dodec], MILC [Apex Medium], NAMD [stmv_nve_cuda], PyTorch (BERT Large Fine Tuner], Quantum Espresso [AUSURF112-jR]; Bosque aleatorio FP32 [make_blobs (160000 x 64 : 10)], TensorFlow [ResNet-50], VASP 6 [Si Huge], Nodo GPU con CPU de doble zócalo con 4 GPU NVIDIA P100, V100 o A100.

Computación de alto rendimiento

Para desbloquear descubrimientos de próxima generación, los científicos utilizan simulaciones para comprender mejor las moléculas complejas para el descubrimiento de fármacos, la física para potenciales fuentes de energía y los datos atmosféricos para predecir y prepararse mejor para patrones climáticos extremos.

A100 introduce Tensor Cores de doble precisión, lo que proporciona el mayor hito desde la introducción de la computación mediante GPU de doble precisión para HPC. Esto permite a los investigadores reducir una simulación de doble precisión de 10 horas que se ejecuta en GPU NVIDIA V100 Tensor Core a solo cuatro horas en el A100. Las aplicaciones HPC también pueden aprovechar los Tensor Cores de A100 para lograr hasta 10 veces más rendimiento para operaciones de multiplicación de matriz de precisión única.

CONSULTA MÁS SOBRE A100 PARA HPC

Análisis de datos de alto rendimiento

Los clientes deben poder analizar, visualizar y convertir conjuntos de datos masivos en información. Sin embargo, con demasiada frecuencia las soluciones de escalado horizontal se detienen a medida que estos conjuntos de datos se dispersan en varios servidores.

Los servidores acelerados con A100 ofrecen la potencia de computación necesaria, junto con 1,6 terabytes por segundo (TB/s) de ancho de banda de memoria y escalabilidad con NVLink y NVSwitch de tercera generación, para hacer frente a estas cargas de trabajo masivas. En combinación con Mellanox InfiniBand, el SDK de Magnum IO, Spark 3.0 acelerado por GPU y RAPIDS™, un conjunto de software para análisis de datos acelerado por GPU, la plataforma de centro de datos NVIDIA tiene una capacidad única para acelerar estas enormes cargas de trabajo con niveles de rendimiento y eficiencia sin precedentes.

OBTÉN MÁS INFORMACIÓN SOBRE EL ANÁLISIS DE DATOS
High-Performance Data Analytics

7 veces mayor rendimiento de inferencia con GPU multiinstancia (MIG)

Inferencia grande de BERT

7 veces mayor rendimiento de inferencia con GPU multiinstancia (MIG)

Inferencia grande de BERT | NVIDIA TensorRT™ (TRT) 7.1 | NVIDIA T4 Tensor Core GPU: TRT 7.1, precisión = INT8, tamaño de lote = 256 | V100: TRT 7.1, precisión = FP16, tamaño de lote = 256 | A100 con 1 o 7 instancias MIG de 1g.5gb: tamaño de lote = 94, precisión = INT8 con dispersión.

Utilización preparada para la empresa

A100 con GPU multiinstancia (MIG) maximiza la utilización de la infraestructura acelerada por GPU como nunca. MIG permite que se creen particiones de una GPU A100 de forma segura en hasta siete instancias separadas, lo que proporciona a varios usuarios acceso a la aceleración de GPU para sus aplicaciones y proyectos de desarrollo. Además, los administradores de centros de datos pueden obtener las ventajas operativas y de administración de la virtualización de servidores basada en hipervisores en instancias MIG con NVIDIA Virtual Compute Server (vCS). MIG permite a los administradores de infraestructura aprovisionar recursos de GPU con mayor granularidad para proporcionar a los desarrolladores la cantidad correcta de capacidad de proceso y garantizar un uso óptimo de todos sus recursos de GPU.

MÁS INFORMACIÓN SOBRE MIG

GPU para el centro de datos

NVIDIA A100 para HGX

NVIDIA A100 para HGX

Rendimiento definitivo para todas las cargas de trabajo.

NVIDIA A100 para PCIe

NVIDIA A100 para PCIe

Máxima versatilidad para todas las cargas de trabajo.

Especificaciones

  NVIDIA A100 para HGX NVIDIA A100 para PCIe
Pico FP64 9,7 TF 9,7 TF
Pico de Tensor Core de FP64 19,5 TF 19,5 TF
Pico FP32 19,5 TF 19,5 TF
Pico de Tensor Core de TF32 156 TF | 312 TF* 156 TF | 312 TF*
Pico de Tensor Core de BFLOAT16 312 TF | 624 TF* 312 TF | 624 TF*
Pico de Tensor Core de FP16e 312 TF | 624 TF* 312 TF | 624 TF*
Pico de Tensor Core de INT8 624 TOPS | 1,248 TOPS* 624 TOPS | 1,248 TOPS*
Pico de Tensor Core de INT4 1,248 TOPS | 2,496 TOPS* 1,248 TOPS | 2,496 TOPS*
Memoria de la GPU 40 GB 40 GB
Ancho de banda de memoria de la GPU 1,555 GB/s 1,555 GB/s
Interconexión NVIDIA NVLink 600 GB/s**
PCIe Gen4 64 GB/s 		NVIDIA NVLink 600 GB/s**
PCIe Gen4 64 GB/s
GPU de varias instancias Varios tamaños de iInstance con hasta 7MIGs @5GB Varios tamaños de iInstance con hasta 7MIGs @5GB
Formato 4/8 SXM en NVIDIA HGX™ A100 PCIe
Potencia máxima de TDP 400W 250W
Rendimiento de las aplicaciones principales 100% 90%

* With sparsity
** GPU SXM a través de placas de servidores HGX A100, GPU PCIe a través de NVLink Bridge para hasta 2 GPU

 

El interior de la arquitectura NVIDIA Ampere

Aprende las novedades de la arquitectura NVIDIA Ampere y su implementación en la GPU NVIDIA A100.

LEER EL INFORME TÉCNICO
PRODUCTOS
TECNOLOGÍAS
Software
RECURSOS