NVIDIA HGX A100

Con tecnología de GPU NVIDIA A100 Tensor Core, NVLink y NVSwitch

La plataforma de servidor acelerada más potente del mundo para inteligencia artificial y alta computación

Los conjuntos de datos masivos de aprendizaje automático, la explosión de modelos de aprendizaje profundo y las simulaciones complejas en alta computación (HPC) requieren varias GPU con interconexiones extremadamente rápidas. NVIDIA HGX A100 combina las GPU NVIDIA A100 Tensor Core con las nuevas interconexiones de alta velocidad NVIDIA® NVLink® y NVSwitch™ para formar los servidores más potentes del mundo. HGX A100, una placa base completamente probada y fácil de implementar, se integra en los servidores asociados para proporcionar un rendimiento garantizado.

Computación acelerada incomparable

Aprovechando la tecnología Tensor Cores de tercera generación, HGX A100 ofrece una aceleración 10 veces mayor en la IA de fábrica con Tensor Float 32 (TF32) y una aceleración 2,5 veces mayor en HPC con FP64. NVIDIA HGX A100 4-GPU ofrece casi 80 teraFLOPS de FP64 para las cargas de trabajo HPC más exigentes. NVIDIA HGX A100 8-GPU proporciona 5 petaFLOPS de computación de aprendizaje profundo FP16, mientras que el HGX A100 de 16 vías ofrece unos asombrosos 10 petaFLOPS, lo que forma la plataforma de servidor de escalado acelerado más potente del mundo para IA y HPC.

NVIDIA HGX A100 (con 8 GPU A100)

NVIDIA HGX A100 (con 8 GPU A100)

NVIDIA HGX A100 (con 4 GPU A100)

NVIDIA HGX A100 (con 4 GPU A100)

Hasta 6 veces mayor rendimiento listo para usar con TF32 para entrenamiento de IA

Formación BERT

nvidia-a100-6x-tf32-ai-training-2c50-d

Bert pre-entrenamiento de rendimiento con Pytorch, incluidas (2/3) Fase 1 y (1/3) Fase 2 | Fase 1 Seq Len = 128, Fase 2 Seq Len = 512; V100: Servidor NVIDIA DGX-1™ con 8x V100 con precisión FP32; A100: Servidor DGX A100 con 8x A100 utilizando precisión TF32.

Rendimiento del aprendizaje profundo

Los modelos de aprendizaje profundo están explotando en tamaño y complejidad. Esto significa que los modelos de IA requieren un sistema con grandes cantidades de memoria, potencia de computación masiva e interconexiones de alta velocidad para ofrecer una escalabilidad eficiente. Con NVIDIA NVSwitch que proporciona comunicaciones GPU de alta velocidad y entre todos los componentes, HGX A100 ofrece la potencia para manejar los modelos de IA más avanzados. Una sola NVIDIA HGX A100 8-GPU ofrece hasta 6 veces más rendimiento de entrenamiento de IA y un rendimiento de inferencia de IA 7 veces mayor en el BERT de modelo de IA avanzado en comparación con los sistemas HGX basados en NVIDIA Volta™ de la generación anterior.

Rendimiento del aprendizaje automático

Los modelos de aprendizaje automático requieren la carga, la transformación y el procesamiento de conjuntos de datos de enorme tamaño para poder extraer conclusiones. Con más de medio terabyte de memoria unificada y las comunicaciones de GPU entre todos los componentes con NVSwitch, HGX A100 cuenta con la potencia necesaria para cargar y realizar cálculos en vastos conjuntos de datos con el fin de obtener conclusiones prácticas rápidamente.

Rendimiento del aprendizaje automático

9 veces más rendimiento de HPC en 4 años

Rendimiento de las mejores aplicaciones HPC

nvidia-a100-9x-hpc-2c50-d

Media geométrica de aceleraciones de aplicaciones frente a P100: aplicación de referencia: Amber [PME-Cellulose_NVE], Chroma [szscl21_24_128], GROMACS [ADH Dodec], MILC [Apex Medium], NAMD [stmv_nve_cuda], PyTorch (BERT Large Fine Tuner], Quantum Espresso [AUSURF112-jR]; Bosque aleatorio FP32 [make_blobs (160000 x 64 : 10)], TensorFlow [ResNet-50], VASP 6 [Si Huge], Nodo GPU con CPU de doble zócalo con 4 GPU NVIDIA P100, V100 o A100.

Rendimiento de HPC

Las aplicaciones HPC requieren una potencia de computación capaz de realizar una gran cantidad de cálculos por segundo. Aumentar la densidad de cálculo de cada nodo de servidor reduce drásticamente la cantidad de servidores necesarios, lo que implica un gran ahorro de dinero, energía y espacio en el centro de datos. Para las simulaciones HPC, la multiplicación matriz de alta dimensión necesita un procesador que obtenga datos de varios procesadores próximos para los cálculos, lo que hace que la conexión de GPU de  NVLink sea ideal. Una sola NVIDIA HGX A100 8-GPU ofrece hasta 6 veces más rendimiento de entrenamiento de IA y un rendimiento de inferencia de IA 7 veces mayor en comparación con los sistemas HGX basados en NVIDIA Volta™ de la generación anterior.

La plataforma de centro de datos de IA y HPC integral más potente

La completa pila de soluciones del centro de datos de NVIDIA incorpora elementos esenciales en hardware, redes, software, bibliotecas y modelos y aplicaciones de IA optimizados en NGC™. Representing the most powerful end-to-end AI and HPC platform for data centers, it allows researchers to deliver real-world results and deploy solutions into soluciones en producción a escala.

Especificaciones de HGX A100

HGX A100 está disponible en placas base individuales con cuatro u ocho GPU A100. La configuración de cuatro GPU está totalmente interconectada con NVLink y la configuración de ocho GPU, con NVSwitch. También se pueden combinar dos placas base NVIDIA HGX™ A100 8-GPU usando una interconexión NVSwitch para crear un potente nodo único de 16-GPU.

4-GPU 8-GPU 16-GPU
GPUs 4x NVIDIA A100 8x NVIDIA A100 16x NVIDIA A100
Cálculo de IA/HPC FP64/TF32*/FP16*/INT8* 78TF/1.25PF*/2.5PF*/5POPS* 156TF/2.5PF*/5PF*/10POPS* 312TF/5PF*/10PF*/20POPS*
Memoria 160 GB 320 GB 640 GB
NVIDIA NVLink 3ª generación 3ª generación 3ª generación
NVIDIA NVSwitch N/A 2ª generación 2ª generación
NVIDIA Ancho de banda de GPU a GPU de NVSwitch N/A 600 GB/s 600 GB/s
Ancho de banda agregado total 2,4 TB/s 4,8 TB/s 9,6 TB/s

* With sparsity

Arquitecturas de referencia HGX-1 y HGX-2

Impulsado por GPU NVIDIA y NVLINK

NVIDIA HGX-1 y HGX-2 son arquitecturas de referencia que estandarizan el diseño de centros de datos con aceleración de IA y HPC. Construidas con placas NVIDIA SXM2 V100 y tecnologías de interconexión NVIDIA NVLink y NVSwitch, las arquitecturas de referencia HGX tienen un diseño modular que funciona perfectamente en centros de datos híbridos y a hiperescala para ofrecer hasta 2 petaFLOPS de potencia de cálculo como camino rápido y sencillo a IA y HPC.

Impulsado por GPU NVIDIA y NVLINK

Especificaciones

8-GPU
HGX-1  		16-GPU
HGX-2 
GPUs 8 NVIDIA V100 16 NVIDIA V100
AI Compute 1 petaFLOPS (FP16) 2 petaFLOPS (FP16)
Memoria 256 GB 512 GB
NVLink 2ª generación 2ª generación
NVSwitch N/A Sí
Ancho de banda de GPU a GPU de NVSwitch N/A 300 GB/s
Ancho de banda agregado total 2,4 TB/s 4,8 TB/s

El interior de la arquitectura NVIDIA Ampere

Lee esta información técnica detallada para aprender las novedades de la arquitectura NVIDIA Ampere y su implementación en la GPU NVIDIA A100.

Más información
Productos
Tecnologías
Recursos