Superordenador NVIDIA HGX AI

La plataforma de IA de supercomputación de extremo a extremo más potente.

Diseñada específicamente para la convergencia de simulación, análisis de datos e IA

Los conjuntos de datos masivos, los grandes tamaños de modelos y las simulaciones complejas requieren múltiples GPU con interconexiones extremadamente rápidas y una pila de software totalmente acelerada. La plataforma de IA de supercomputación NVIDIA HGX™ reúne toda la potencia de las GPU NVIDIA, NVIDIA® NVLink®, NVIDIA InfiniBand de conexión de red y una pila de software de NVIDIA IA y HPC totalmente optimizada desde el catálogo NGC™ de NVIDIA para ofrecer el máximo rendimiento de las aplicaciones. Gracias a su rendimiento y flexibilidad de extremo a extremo, NVIDIA HGX permite a los investigadores y científicos combinar simulaciones, análisis de datos e IA para impulsar el progreso científico.

Plataforma de computación acelerada de extremo a extremo sin igual

NVIDIA HGX combina varias GPU NVIDIA A100 Tensor Core con interconexiones de alta velocidad para formar los servidores más potentes del mundo. Con las 16 GPU A100, un HGX tiene hasta 1,3 terabytes (TB) de memoria GPU y más de 2 terabytes por segundo (TB/s) de ancho de banda de memoria para lograr una aceleración sin precedentes.

HGX ofrece una velocidad de IA hasta 20 veces mayor en comparación con las generaciones anteriores con tensor Float 32 (TF32) y una velocidad de HPC 2,5 veces mayor con FP64. NVIDIA HGX ofrece 10 petaFLOPS escalonados, por lo que se trata de la plataforma de servidor de escalado vertical acelerada más potente del mundo para IA y HPC.

 HGX, completamente probada y fácil de implementar, se integra en los servidores asociados para proporcionar un rendimiento garantizado. La plataforma HGX está disponible como placas base HGX de 4 y 8 GPU SXM, o bien como GPU PCIe para lograr una implementación modular que brinde el mayor rendimiento de computación a los servidores convencionales.

NVIDIA HGX A100 Datasheet (PDF 418 KB)
HGX Stack

NVIDIA HGX A100 (con 8 GPU A100)

NVIDIA HGX A100 (con 8 GPU A100)

NVIDIA HGX A100 (con 4 GPU A100)

NVIDIA HGX A100 (con 4 GPU A100)

Rendimiento del aprendizaje profundo

Los modelos más grandes ofrecen hasta el triple de formación de IA

Formación de DLRM

Los modelos más grandes ofrecen hasta el triple de formación de IA

DLRM en HugeCTR Framework, Precision = FP16 | Tamaño del lote NVIDIA A100 de 80 GB = 48 | Tamaño del lote NVIDIA A100 de 40 GB = 32 | Tamaño del lote de NVIDIA V100 de 32 GB = 32.

Los modelos de aprendizaje profundo son cada vez más complejos y su tamaño cada vez mayor, lo que requiere un sistema con gran cantidad de memoria, una potencia informática masiva e interconexiones rápidas para la escalabilidad. Con las comunicaciones GPU de alta velocidad y entre todos los componentes de NVIDIA® NVSwitch™, HGX A100 puede manejar los modelos de IA más avanzados. Con las GPU A100 de 80 GB, la memoria de la GPU se duplica, lo que ofrece hasta 1,3 TB de memoria en una sola HGX A100. Las nuevas cargas de trabajo de los modelos más grandes, como los modelos de recomendación de aprendizaje profundo (DLRM), que emplean tablas de datos masivas, se aceleran hasta el triple con HGX gracias a las GPU A100 de 40 GB.

Rendimiento del aprendizaje automático

El doble de rápida que A100 de 40 GB en referencias de análisis de macrodatos

2X Faster than A100 40GB on Big Data Analytics Benchmark

Referencia de análisis de macrodatos | 30 consultas de análisis del sector minorista, ETL, ML, NLP en un conjunto de datos de 10 TB | V100 de 32 GB, RAPIDS/Dask | A100 de 40 GB y A100 de 80 GB, RAPIDS/Dask/BlazingSQL

Los modelos de aprendizaje automático requieren la carga, transformación y procesamiento de conjuntos de datos extremadamente grandes poder extraer conclusiones importantes. Con hasta 1,3 TB de memoria unificada y las comunicaciones de GPU entre todos los componentes con NVSwitch, HGX con tecnología de GPU A100 de 80 GB cuenta con la capacidad necesaria para cargar y realizar cálculos en enormes conjuntos de datos con el fin de obtener conclusiones prácticas rápidamente.

En una referencia de análisis de macrodatos, A100 de 80 GB ofreció información con un rendimiento dos veces mayor que A100 de 40 GB, lo que lo convierte en una solución idónea para cargas de trabajo emergentes con tamaños de conjuntos de datos cada vez mayores.

Rendimiento de HPC

Las aplicaciones HPC deben realizar una cantidad enorme de cálculos por segundo. Aumentar la densidad de cálculo de cada nodo de servidor reduce drásticamente la cantidad de servidores necesarios, lo que implica un gran ahorro de dinero, energía y espacio en el centro de datos. Para las simulaciones, la multiplicación de matrices de muchas dimensiones necesita un procesador que obtenga datos de varios procesadores próximos para los cálculos, lo que hace ideal la conexión de GPU de NVIDIA NVLink. Las aplicaciones HPC también pueden aprovechar los A100 de TF32 para lograr hasta 11 veces más rendimiento para operaciones de multiplicación de matrices densas de precisión sencilla.

Una HGX A100 con tecnología de GPU A100 de 80 GB ofrece el doble de aumento del rendimiento con respecto a las GPU A100 de 40 GB de Quantum Espresso, una simulación de materiales, lo que mejora el tiempo de obtención de información.

Rendimiento de HPC 11 veces mayor en cuatro años

Las mejores aplicaciones de HPC

Rendimiento de HPC 11 veces mayor en cuatro años

Media geométrica de aceleraciones de aplicaciones frente a P100: aplicación de referencia; Amber [PME-Cellulose_NVE], Chroma [szscl21_24_128], GROMACS [ADH Dodec], MILC [Apex Medium], NAMD [stmv_nve_cuda], PyTorch (BERT Large Fine Tuner], Quantum Espresso [AUSURF112-jR]; Bosque aleatorio FP32 [make_blobs (160000 x 64 : 10)], TensorFlow [ResNet-50], VASP 6 [Si Huge], nodo GPU con CPU de doble zócalo con 4 GPU NVIDIA P100, V100 o A100.

Rendimiento hasta 1,8 veces mayor para aplicaciones HPC

Quantum Espresso​

Rendimiento hasta 1,8 veces mayor para aplicaciones HPC

Quantum Espresso medido con el conjunto de datos CNT10POR8, precisión = FP64.

Especificaciones de NVIDIA HGX

NVIDIA HGX está disponible en placas base individuales con cuatro u ocho GPU H100 y 80 GB de memoria de GPU, o  GPU A100, cada una con 40 GB u 80 GB de memoria de GPU. La configuración de cuatro GPU está totalmente interconectada con NVIDIA NVLink y la configuración de ocho GPU, con NVIDIA NVSwitch. Se pueden combinar hasta 32 sistemas HGX H100 de 8 GPU en clústeres de hasta 256 GPU de tamaño gracias al sistema de conmutadores NVIDIA NVLink. Se pueden combinar dos placas base HGX A100 8 GPU usando una interconexión NVSwitch para crear un potente nodo único de 16-GPU.

HGX también está disponible en formato PCIe, una opción modular y fácil de implementar que brinda el mayor rendimiento de cálculo a los servidores convencionales.

Esta poderosa combinación de hardware y software sienta las bases para la plataforma de supercomputación de IA definitiva.

  HGX H100
  H100 PCIe 4 GPU 8 GPU 256 GPU
GPU 1x NVIDIA H100 PCIe HGX H100 4 GPU HGX H100 8 GPU 32x HGX H100 8 GPU
Formato PCIe 4x NVIDIA H100 SXM 8x NVIDIA H100 SXM 16x NVIDIA H100 SXM
HPC y computación de IA (FP64/TF32/FP16/FP8/INT8) 48 TF/800 TF/1,6 PF/3,2 PF/3,2 POPS 240 TF/4 PF/8 PF/16 PF/16 POPS 480 TF/8 PF/16 PF/32 PF/32 POPS 15 PF/256 PF/512 PF/1 EF/1 EOPS
Memoria 80 GB por GPU Hasta 320 GB Hasta 640 GB Hasta 20 TB
NVLink Cuarta generación Cuarta generación Cuarta generación Cuarta generación
NVSwitch N/D N/D Tercera generación Tercera generación
NVLink Switch N/D N/D N/D Primera generación
Ancho de banda de GPU a GPU de NVSwitch N/D N/D 900 GB/s 900 GB/s
Ancho de banda agregado total 900 GB/s 3,6 TB/s 7,2 TB/s 57,6 TB/s
  HGX A100
  A100 PCIe 4 GPU 8 GPU 16 GPU
GPU 1x NVIDIA A100 PCIe HGX A100 4 GPU HGX A100 8 GPU 2x HGX A100 8 GPU
Formato PCIe 4x NVIDIA A100 SXM 8x NVIDIA A100 SXM 16x NVIDIA A100 SXM
HPC y computación de IA (FP64/TF32/FP16/INT8) 19,5 TF/312 TF/624 TF/1,2 POPS 78 TF/1,25 PF/2,5 PF/5 POPS 156 TF/2,5 PF/5 PF/10 POPS 312 TF/5 PF/10 PF/20 POPS
Memoria 80 GB por GPU Hasta 320 GB Hasta 640 GB Hasta 1280 GB
NVLink Tercera generación Tercera generación Tercera generación Tercera generación
NVSwitch N/D N/D Segunda generación Segunda generación
Ancho de banda de GPU a GPU de NVSwitch N/D N/D 600 GB/s 600 GB/s
Ancho de banda agregado total 600 GB/s 2,4 TB/s 4,8 TB/s 9,6 TB/s

Aceleración HGX con NVIDIA Networking

Con HGX, también es posible incluir redes NVIDIA para acelerar y descargar las transferencias de datos y garantizar la plena utilización de los recursos informáticos. Los adaptadores y conmutadores inteligentes reducen la latencia, aumentan la eficiencia, mejoran la seguridad y simplifican la automatización del centro de datos para acelerar el rendimiento de las aplicaciones de extremo a extremo.

El centro de datos es la nueva unidad de computación y las redes HPC desempeñan un papel integral en el escalado del rendimiento de las aplicaciones en todo el centro de datos. NVIDIA InfiniBand está allanando el camino con redes definidas por software, aceleración de computación en red, acceso remoto a memoria directa (RDMA) y las velocidades y fuentes más rápidas.

Arquitecturas de referencia HGX-1 y HGX-2

Impulsado por GPU NVIDIA y NVLINK

NVIDIA HGX-1 y HGX-2 son arquitecturas de referencia que estandarizan el diseño de centros de datos con aceleración de IA y HPC. Construidas con placas NVIDIA SXM2 V100 y tecnologías de interconexión NVIDIA NVLink y NVSwitch, las arquitecturas de referencia HGX tienen un diseño modular que funciona perfectamente en centros de datos híbridos y a hiperescala para ofrecer hasta 2 petaFLOPS de potencia de cálculo como camino rápido y sencillo a IA y HPC.

Impulsado por GPU NVIDIA y NVLINK

Especificaciones

8-GPU
HGX-1  		16-GPU
HGX-2 
GPUs 8 NVIDIA V100 16 NVIDIA V100
AI Compute 1 petaFLOPS (FP16) 2 petaFLOPS (FP16)
Memoria 256 GB 512 GB
NVLink 2ª generación 2ª generación
NVSwitch N/A Sí
Ancho de banda de GPU a GPU de NVSwitch N/A 300 GB/s
Ancho de banda agregado total 2,4 TB/s 4,8 TB/s

Obtén más información sobre la GPU NVIDIA A100

MÁS INFORMACIÓN

Productos

Tecnologías

Software

Recursos