Arquitectura NVIDIA Ampere

El Corazón de los Data Centers Flexibles de Mejor Rendimiento del Mundo

El Núcleo de IA y HPC en el Data Center Moderno

Científicos, investigadores e ingenieros (los actuales Da Vincis y Einsteins) están trabajando para resolver los desafíos científicos, industriales y de grandes datos más importantes del mundo con inteligencia artificial y computación de alto rendimiento (HPC). La arquitectura NVIDIA Ampere, diseñada para la era de la informática flexible, ofrece el próximo salto gigante, proporcionando una aceleración inigualable en todas las escalas, permitiendo a estos innovadores hacer su trabajo.

Innovaciones Innovadoras

Creado con 54 mil millones de transistores, el Ampere NVIDIA es el chip más grande de 7 nanómetros (nm) jamás construido y presenta seis innovaciones importantes.

Tensor Cores de Tercera Generación

Tensor Cores de Tercera Generación

Introducida por primera vez a la arquitectura NVIDIA Volta™, la tecnología NVIDIA Tensor Core trajo grandes aceleraciones a la IA, acortando el tiempo de entrenamiento de semanas a horas y proporcionando una aceleración masiva a la inferencia. La arquitectura NVIDIA Ampere se basa en estas innovaciones, brindando nueva precisión - Tensor Float (TF32) y coma flotante 64 (FP64) - para acelerar y simplificar la adopción de IA y extender el poder de los núcleos de tensores a HPC.

TF32 funciona igual que el FP32, ofreciendo aceleraciones de hasta 10 veces para IA sin requerir ningún cambio de código. Usando la precisión mixta automática de NVIDIA (NVIDIA Automatic Mixed Precision), los investigadores pueden lograr un rendimiento adicional de 2 veces con solo una línea de código adicional. Y con soporte para bfloat16, INT8 e INT4, los Tensor Cores en las GPU NVIDIA A100 Tensor Core crean un acelerador increíblemente versátil para el entrenamiento y la inferencia de IA. Al llevar la potencia de los núcleos tensoriales al HPC, el A100 también permite operaciones matriciales con total precisión FP64, certificado por IEEE.

Multi-Instance GPU (MIG)

Todas las aplicaciones de IA y HPC pueden beneficiarse de la aceleración, pero no todas las aplicaciones necesitan el rendimiento completo de una GPU A100. Con MIG, cada A100 se puede dividir en hasta siete instancias de GPU, completamente aislado y protegido a nivel de hardware con sus propios núcleos de memoria, caché y computación de gran ancho de banda. Ahora, los desarrolladores pueden acceder a la aceleración avanzada para todas sus aplicaciones, grandes y pequeñas, y obtener una calidad de servicio garantizada. Y los administradores de TI pueden ofrecer una aceleración de GPU del tamaño adecuado para un uso óptimo y ampliar el acceso a todos los usuarios y aplicaciones en entornos virtualizados y de metal desnudo.

Multi-Instance GPU (MIG)

Estructura Sparsity

Las redes modernas de inteligencia artificial son cada vez más grandes, con millones y, en algunos casos, miles de millones de parámetros. No todos estos parámetros son necesarios para realizar predicciones e inferencias precisas, y algunos pueden convertirse a ceros para hacer que los modelos sean "escasos" sin comprometer la precisión. Los tensores de color en el A100 pueden ofrecer el doble de rendimiento para modelos dispersos. Aunque es más probable que la característica de dispersión se beneficie de la inferencia de IA, también puede usarse para mejorar el rendimiento del entrenamiento del modelo.

Estructura  Sparsity
Memoria Más Inteligente y Rápida

Memoria Más Inteligente y Rápida

El A100 está trayendo grandes cantidades de procesamiento a los data center. Para mantener estos mecanismos informáticos totalmente utilizados, tiene 1,5 terabytes por segundo (TB/s) de ancho de banda de memoria, un aumento del 67% con respecto a la generación anterior. Además, el A100 tiene más memoria en el chip, incluido un caché de nivel 2 de 40 megabytes (MB), 7 veces más grande que la generación anterior, para maximizar el rendimiento del procesamiento.

Aceleración Convergente en el Edge

La combinación de la arquitectura NVIDIA Ampere y el ConnectX-6 Dx SmartNIC de Mellanox en el NVIDIA EGX™ A100 ofrece capacidades de aceleración de red y computación sin precedentes para procesar grandes cantidades de datos que se generan en el edge. Mellanox SmartNIC incluye descargas de seguridad para descifrar a velocidades de línea de hasta 200 gigabits por segundo (Gb/s) y GPUDirect™ transfiere los cuadros de video directamente a la memoria de la GPU para el procesamiento de IA. Con el EGX A100, las compañías pueden acelerar el despliegue de IA en el edge de manera más segura y eficiente.

Aceleración Convergente en el Edge

Dentro de la Arquitectura NVIDIA Ampere

Únase a este webinar para conocer las novedades de la arquitectura NVIDIA Ampere y su implementación en la GPU NVIDIA A100.