GPU NVIDIA A100 Tensor Core

Aceleración sin precedentes a todas las escalas

Acelerar el trabajo más importante de nuestra época

La GPU NVIDIA A100 Tensor Core ofrece una aceleración sin precedentes a todas las escalas para la IA, el análisis de datos y la computación de alto rendimiento (HPC) para hacer frente a los desafíos informáticos más difíciles del mundo. Como motor de la plataforma de centro de datos NVIDIA, A100 puede escalarse eficientemente a miles de GPU o, con la tecnología NVIDIA Multi-Instance GPU (MIG), dividirse en siete instancias de GPU para acelerar las cargas de trabajo de todos los tamaños. Además, los Tensor Cores de tercera generación aceleran todas las precisiones para diversas cargas de trabajo, acelerando el tiempo para obtener información y el tiempo de comercialización.

La plataforma de centro de datos de IA y HPC integral más potente

A100 es parte de la completa pila de soluciones del centro de datos de NVIDIA que incorpora elementos esenciales en hardware, redes, software, bibliotecas y modelos y aplicaciones de IA optimizados desde NGC™. Representa la plataforma de IA y HPC integral más potente para centros de datos, y permite a los investigadores ofrecer resultados en el mundo real e implementar soluciones en producción a escala.

Vídeo de creación de Ampere

VER EL VÍDEO
Deep Learning Training

Entrenamiento de aprendizaje profundo

La complejidad de los modelos de IA se dispara a medida que estos se enfrentan a desafíos de nivel superior, como una IA conversacional precisa y sistemas de recomendación profundos. Entrenarlos requiere una enorme potencia de computación y escalabilidad.

La tercera generación de Tensor Cores de NVIDIA A100 con la precisión Tensor Float (TF32) proporciona un rendimiento hasta 10 veces mayor que el de la generación anterior, sin cambios de código, y un impulso adicional duplicado con precisión mixta automática. Cuando se combina con NVIDIA® NVLink® de tercera generación, NVIDIA NVSwitch™, PCI Gen4, Mellanox InfiniBand y el SDK de software NVIDIA Magnum IO™, es posible escalar a miles de GPU A100. Esto significa que los grandes modelos de IA como BERT pueden entrenarse en solo xx minutos en un clúster de xx A100, lo que ofrece rendimiento y escalabilidad sin precedentes.

El liderazgo en el entrenamiento de NVIDIA se demostró en MLPerf 0.6, el primer banco de pruebas de todo el sector para el entrenamiento de IA.

VER MÁS BANCOS DE PRUEBAS

Inferencia de aprendizaje profundo

A100 presenta nuevas e innovadoras características para optimizar las cargas de trabajo de inferencia. Aporta una versatilidad sin precedentes al acelerar una gama completa de precisiones, que incluye FP32, FP16, INT8 y INT4. La tecnología GPU multiinstancia (MIG) permite que varias redes funcionen simultáneamente en una sola GPU A100 para una utilización óptima de los recursos de computación. Además, el soporte de dispersión estructural ofrece hasta el doble de rendimiento, junto con las otras mejoras de rendimiento de inferencia de A100..

NVIDIA ya ofrece un rendimiento de inferencia líder en el mercado, como se demuestra en el análisis general de MLPerf Inference 0.5, el primer banco de pruebas para la inferencia de todo el sector. A100 aporta 10 veces más rendimiento para ampliar aún más ese liderazgo.

VER MÁS BANCOS DE PRUEBAS
Deep Learning Inference
High-Performance Computing

Computación de alto rendimiento

Para desbloquear descubrimientos de próxima generación, los científicos utilizan simulaciones para comprender mejor las moléculas complejas para el descubrimiento de fármacos, la física para potenciales fuentes de energía y los datos atmosféricos para predecir y prepararse mejor para patrones climáticos extremos.

A100 introduce Tensor Cores de doble precisión, lo que proporciona el mayor hito desde la introducción de la computación mediante GPU de doble precisión para HPC. Esto permite a los investigadores reducir una simulación de doble precisión de 10 horas que se ejecuta en GPU NVIDIA V100 Tensor Core a solo cuatro horas en el A100. Las aplicaciones HPC también pueden aprovechar los Tensor Cores de A100 para lograr hasta 10 veces más rendimiento para operaciones de multiplicación de matriz de precisión única.

VER MÁS BANCOS DE PRUEBAS

Análisis de datos de alto rendimiento

Los clientes deben poder analizar, visualizar y convertir conjuntos de datos masivos en información. Sin embargo, con demasiada frecuencia las soluciones de escalado horizontal se detienen a medida que estos conjuntos de datos se dispersan en varios servidores.

Los servidores acelerados con A100 ofrecen la potencia de computación necesaria, junto con 1,6 terabytes por segundo (TB/s) de ancho de banda de memoria y escalabilidad con NVLink y NVSwitch de tercera generación, para hacer frente a estas cargas de trabajo masivas. En combinación con Mellanox InfiniBand, el SDK de Magnum IO, Spark 3.0 acelerado por GPU y RAPIDS™, un conjunto de software para análisis de datos acelerado por GPU, la plataforma de centro de datos NVIDIA tiene una capacidad única para acelerar estas enormes cargas de trabajo con niveles de rendimiento y eficiencia sin precedentes.

OBTÉN MÁS INFORMACIÓN SOBRE EL ANÁLISIS DE DATOS
High-Performance Data Analytics
Enterprise-Ready Utilization

Utilización preparada para la empresa

A100 con GPU multiinstancia (MIG) maximiza la utilización de la infraestructura acelerada por GPU como nunca. MIG permite que se creen particiones de una GPU A100 de forma segura en hasta siete instancias separadas, lo que proporciona a varios usuarios acceso a la aceleración de GPU para sus aplicaciones y proyectos de desarrollo. Además, los administradores de centros de datos pueden obtener las ventajas operativas y de administración de la virtualización de servidores basada en hipervisores en instancias MIG con NVIDIA Virtual Compute Server (vComputeServer). MIG permite a los administradores de infraestructura aprovisionar recursos de GPU con mayor granularidad para proporcionar a los desarrolladores la cantidad correcta de capacidad de proceso y garantizar un uso óptimo de todos sus recursos de GPU.

MÁS INFORMACIÓN SOBRE MIG

Especificaciones

  A100 para NVLink
Pico FP64 9,7 TF
Pico de Tensor Core de FP64 19,5 TF
Pico FP32 19,5 TF
Pico de Tensor Core de TF32 156 TF | 312 TF*
Pico de Tensor Core de BFLOAT16 312 TF | 624 TF*
Pico de Tensor Core de FP16e 312 TF | 624 TF*
Pico de Tensor Core de INT8 624 TOPS | 1,248 TOPS*
Pico de Tensor Core de INT4 1,248 TOPS | 2,496 TOPS*
Memoria de la GPU 40 GB
Ancho de banda de memoria de la GPU 1,555 GB/s
Interconexión NVIDIA NVLink 600 GB/s
PCIe Gen4 64 GB/s
GPU de varias instancias 3MIG a 10GB
5MIG a 8GB
7MIG a 5GB
Formato 4/8 SXM en NVIDIA HGX™ A100
Potencia máxima de TDP 400W

* With sparsity

 

El interior de la arquitectura NVIDIA Ampere

Participa en este seminario web para aprender las novedades de la arquitectura NVIDIA Ampere y su implementación en la GPU NVIDIA A100.

REGISTRARSE PARA EL SEMINARIO WEB
Productos
Tecnologías
Recursos