NVIDIA HGX A100

Equipado con GPU NVIDIA A100 Tensor Core, NVLink y NVSwitch

La plataforma de Servidor Acelerado Más Potente para Inteligencia Artificial y Computación de Alto Rendimento

Los conjuntos de datos masivos en el machine learning, los tamaños de modelos explosivos en el deep learning y las simulaciones complejas en la informática de alto rendimiento (HPC) requieren múltiples GPU con interconexiones extremadamente rápidas. NVIDIA HGX™ A100 combina las GPU NVIDIA A100 Tensor Core con las nuevas interconexiones NVIDIA® NVLink® y NVSwitch™ de alta velocidad para crear los servidores más potentes del mundo. Una placa base completamente probada y fácil de implementar, HGX A100 se integra en servidores asociados para proporcionar un rendimiento garantizado.

NVIDIA HGX A100 Datasheet (PDF 181 KB)

Computación Acelerada Sin Igual

Aprovechando la potencia de los núcleos Tensor de tercera generación, HGX A100 ofrece hasta 20 veces de aceleración a AI desde el primer momento con Tensor Float 32 (TF32) y una aceleración de 2,5 veces a HPC con FP64. La GPU NVIDIA HGX ™ A100 4- ofrece casi 80 teraFLOPS de FP64 para las cargas de trabajo de HPC más exigentes. NVIDIA HGX ™ A100 8-GPU proporciona 5 petaFLOPS de cómputo de deep learning FP16, mientras que la 16 GPU HGX A100 ofrece la asombrosa cantidad de 10 petaFLOPS, creando la plataforma de servidor de escala acelerada más potente del mundo para IA y HPC.

8 GPU NVIDIA HGX A100

8 GPU NVIDIA HGX A100

4 GPU NVIDIA HGX A100

4 GPU NVIDIA HGX A100

Hasta 6 veces más rendimiento listo para usar con TF32 para entrenamiento de IA

Entrenamiento BERT

nvidia-a100-6x-tf32-ai-training-2c50-d

Rendimiento de pre-entrenamiento BERT usando Pytorch, incluyendo (2/3) Fase 1 y (1/3) Fase 2 | Fase 1 Seq Len = 128, Fase 2 Seq Len = 512; V100: servidor NVIDIA DGX-1 ™ con 8x V100 con precisión FP32; A100: Servidor DGX A100 con 8x A100 con precisión TF32.

Rendimiento de Deep Learning

Los modelos de deep learning están explotando en tamaño y complejidad. Eso significa que los modelos de IA requieren un sistema con grandes cantidades de memoria, poder de cómputo masivo e interconexiones de alta velocidad para ofrecer una escalabilidad eficiente. Con NVIDIA NVSwitch que proporciona comunicaciones GPU de alta velocidad, todo en uno, HGX A100 ofrece la potencia para manejar los modelos de inteligencia artificial más avanzados. Una sola GPU NVIDIA HGX A100 8 ofrece hasta 6 veces más rendimiento de entrenamiento de IA y rendimiento de inferencia de 7 veces AI en el modelo BERT de AI en comparación con los sistemas HGX basados en NVIDIA Volta™ de la generación anterior.

Rendimiento de Machine Learning

Los modelos de machine learning requieren cargar, transformar y procesar conjuntos de datos extremadamente grandes para obtener información. Con más de medio terabyte de memoria unificada y comunicaciones GPU con NVSwitch, el HGX A100 tiene el poder de cargar y realizar cálculos en grandes conjuntos de datos para obtener información procesable rápidamente.

Rendimiento de Machine Learning

9 Veces Más Rendimiento de HPC en 4 Años

Rendimiento Para las Principales Aplicaciones de HPC

nvidia-a100-9x-hpc-2c50-d

BERT Gran inferencia | NVIDIA TensorRT™ (TRT) 7.1 | GPU NVIDIA T4 Tensor Core: TRT 7.1, precisión = INT8, tamaño de lote = 256 | V100: TRT 7.1, precisión = FP16, tamaño de lote = 256 | A100 con 1 o 7 instancias MIG de 1g.5gb: tamaño de lote = 94, precisión = INT8 con escasez.

Rendimiento HPC

Las aplicaciones HPC requieren potencia informática que puede realizar una enorme cantidad de cálculos por segundo. El aumento de la densidad de cómputo de cada nodo del servidor reduce significativamente la cantidad de servidores necesarios, lo que resulta en un gran ahorro en costos, energía y espacio consumido en el centro de datos. Para las simulaciones de HPC, la multiplicación de matrices de alta dimensión requiere un procesador para utilizar los recursos de otros procesadores para la informática, lo que hace que las GPU conectadas por NVLink sean ideales. Un solo servidor de 4 GPU NVIDIA HGX™ A100 reemplaza a más de 100 servidores basados en CPU que ejecutan las mismas aplicaciones científicas.

La Plataforma de Data Center de IA y HPC de Extremo a Extremo Más Potente

La solución completa del data center de NVIDIA incorpora bloques de construcción en hardware, redes, software, bibliotecas y aplicaciones y modelos de IA optimizados de NGC™. Representando la plataforma de IA y HPC de extremo a extremo más potente para data centers, permite a los investigadores entregar resultados del mundo real e implementar soluciones en la producción a escala.

Especificaciones Técnicas HGX A100

El HGX A100 está disponible en una sola base con 4 u 8 GPU A100. La configuración de 4 GPU está completamente interconectada a NVLink y la configuración de 8 GPU está interconectada a NVSwitch. También se pueden combinar dos bases NVIDIA HGX ™ A100 de 8 GPU utilizando una interconexión NVSwitch para crear un potente nodo único de 16 GPU.

4 GPUs 8 GPUs 16 GPUs
GPU 4x NVIDIA A100 8x NVIDIA A100 16x NVIDIA A100
Computación HPC e IA FP64/TF32*/FP16*/INT8* 78TF/1.25PF*/2.5PF*/5POPS* 156TF/2.5PF*/5PF*/10POPS* 312TF/5PF*/10PF*/20POPS*
Memoria 160 GB 320 GB 640 GB
NVIDIA NVLink 3ra generación 3ra generación 3ra generación
NVIDIA NVSwitch N/A 2da generación 2da generación
Ancho de banda de GPU para NVIDIA NVSwitch GPU N/A 600 GB/s 600 GB/s
Ancho de Banda Agregado Total 2,4 TB/s 4,8 TB/s 9,6 TB/s

*con escasez

Arquitecturas de Referencia HGX-1 y HGX-2

Equipado con GPU y NVLINK NVIDIA

NVIDIA HGX-1 y HGX-2 son arquitecturas de referencia que estandarizan el diseño del data center al acelerar IA y HPC. Construidas con tarjetas NVIDIA SXM2 V100 con tecnologías de interconexión NVIDIA NVLink y NVSwitch, las arquitecturas de referencia HGX tienen un diseño modular que funciona a la perfección en los data center de hiperespacio y escala híbrida para proporcionar hasta 2 petaFLOPS de potencia de procesamiento para una ruta rápida y simple para IA y HPC.

Equipado con GPU y NVLINK NVIDIA

Especificaciones Técnicas

8 GPUs
HGX-1  		16 GPUs
HGX-2 
GPUs 8x NVIDIA V100 16x NVIDIA V100
Computación AI 1 petaFLOPS (FP16) 2 petaFLOPS (FP16)
Memoria 256 GB 512 GB
NVLink 2nd generation 2nd generation
NVSwitch N/A Yes
Ancho deBanda de GPU a GPU NVSwitch N/A 300 GB/s
Ancho de Banda Agregado Total 2.4 TB/s 4.8 TB/s

Dentro de la Arquitectura NVIDIA Ampere

ea esta inmersión técnica profunda para conocer las novedades de la arquitectura NVIDIA Ampere y su implementación en la GPU NVIDIA A100.

Aprenda Más
Productos
Tecnologías
Software
Recursos