Supercomputadora de IA NVIDIA HGX

La plataforma de supercomputación de IA de extremo a extremo más potente

Diseñado Específicamente para la Convergencia de Simulación, Análisis de Datos e IA

Los conjuntos de datos masivos, los tamaños de modelos en expansión y las simulaciones complejas requieren múltiples GPU con interconexiones extremadamente rápidas. La plataforma NVIDIA HGX™ reúne toda la potencia de las GPU NVIDIA, las redes NVIDIA® NVLink®, NVIDIA Mellanox® InfiniBand® y una pila de software NVIDIA AI y HPC totalmente optimizada de NGC™ para proporcionar el mayor rendimiento de las aplicaciones. Con su rendimiento y flexibilidad de extremo a extremo, NVIDIA HGX permite a los investigadores y científicos combinar simulación, análisis de datos e inteligencia artificial para avanzar en el progreso científico.

Plataforma de Computación Acelerada Inigualable

NVIDIA HGX A100 combina las GPU NVIDIA A100 Tensor Core con interconexiones de alta velocidad para formar los servidores más potentes del mundo. Con las GPU A100 de 80GB, un solo HGX A100 tiene hasta 1,3 terabytes (TB) de memoria GPU y más de 2 terabytes por segundo (TB/s) de ancho de banda de memoria, lo que brinda una aceleración sin precedentes.

HGX A100 ofrece una aceleración de IA de hasta 20 veces desde el primer momento en comparación con las generaciones anteriores con Tensor Float 32 (TF32) y una aceleración de HPC de 2.5 veces con FP64. Completamente probado y fácil de implementar, HGX A100 se integra en servidores asociados para proporcionar un rendimiento garantizado. NVIDIA HGX A100 con 16 GPU ofrece la asombrosa cantidad de 10 petaFLOPS, lo que forma la plataforma de servidor de escalado acelerado más potente del mundo para IA y HPC.

Ficha de datos NVIDIA HGX A100(PDF 418 KB)
HGX Stack

NVIDIA HGX A100 con 8 GPU

NVIDIA HGX A100 with 8x A100 GPUs

NVIDIA HGX A100 con 4 GPU

NVIDIA HGX A100 with 4x A100 GPUs

Rendimiento del Deep Learning

Entrenamiento de IA Hasta 3 Veces Superior en los Modelos Más Grandes

Entrenamiento DLRM

Up to 3X Higher AI Training on Largest Models

DLRM en el framework HugeCTR, precisión = FP16 | Tamaño de lote de NVIDIA A100 de 80GB = 48 | NVIDIA A100 40GB tamaño de lote = 32 | Tamaño de lote de NVIDIA V100 de 32GB = 32.

Los modelos de deep learning están aumentando en tamaño y complejidad, lo que requiere un sistema con grandes cantidades de memoria, una potencia de computación masiva e interconexiones rápidas para la escalabilidad. Con NVIDIA® NVSwitch™ que proporciona comunicaciones GPU integrales de alta velocidad, la HGX A100 puede manejar los modelos de IA más avanzados. Con las GPU A100 de 80GB, la memoria de la GPU se duplica y ofrece hasta 1,3 TB de memoria en un solo HGX A100. Las cargas de trabajo emergentes en los modelos más grandes, como los modelos de recomendación de deep learning (DLRM), que tienen tablas de datos masivas, se aceleran hasta 3 veces más que HGX con tecnología de GPU A100 de 40GB.

Rendimiento del Machine Learning

Hasta 83 Veces Más Rápido que la CPU, 2 Veces Más Rápido que el A100 40GB en Benchmark de Análisis de Big Data

2X Faster than A100 40GB on Big Data Analytics Benchmark

Benchmark de análisis de Big Data | 30 consultas minoristas analíticas, ETL, ML, NLP en un conjunto de datos de 10TB | CPU: Intel Xeon Gold 6252 2,10 GHz, Hadoop | V100 de 32GB, RAPIDS / Dask | A100 de 40GB y A100 de 80GB, RAPIDS / Dask / BlazingSQL

Los modelos de machine learning requieren cargar, transformar y procesar conjuntos de datos extremadamente grandes para obtener información crítica. Con hasta 1.3TB de memoria unificada y comunicaciones GPU integrales con NVSwitch, HGX A100 con tecnología de GPU A100 de 80GB tiene la capacidad de cargar y realizar cálculos en enormes conjuntos de datos para obtener información procesable rápidamente.

En un benchmark de análisis de big data, el A100 de 80GB entregó información con un rendimiento 83 veces mayor que las CPU y el doble de rendimiento que el A100 de 40GB, lo que lo hace ideal para cargas de trabajo emergentes con tamaños de conjuntos de datos en expansión.

Rendimiento del HPC

Las aplicaciones HPC necesitan realizar una enorme cantidad de cálculos por segundo. El aumento de la densidad de cómputo de cada nodo de servidor reduce significativamente la cantidad de servidores necesarios, lo que se traduce en enormes ahorros en costos, energía y espacio consumidos en el data center. Para las simulaciones, la multiplicación de matrices de alta dimensión requiere un procesador para obtener datos de muchos vecinos para el cálculo, lo que hace que las GPU conectadas por NVIDIA NVLink sean ideales. Las aplicaciones HPC también pueden aprovechar TF32 en A100 para lograr un rendimiento hasta 11 veces mayor en cuatro años para operaciones de multiplicación de matriz densa de precisión simple.

Una HGX A100 con tecnología de GPU A100 de 80GB ofrece un aumento de rendimiento 2 veces mayor que las GPU A100 de 40GB en Quantum Espresso, una simulación de materiales, que aumenta el tiempo de comprensión.

11 Veces Más Rendimiento de HPC en Cuatro Años

Principales Aplicaciones de HPC​

11X More HPC Performance in Four Years

Media geométrica de aceleraciones de la aplicación frente a P100: Aplicación de referencia: Ámbar [PME-Cellulose_NVE], Chroma [szscl21_24_128], GROMACS [ADH Dodec], MILC [Apex Medium], NAMD [stmv_nve_cuda], PyTorch (BERT-Large Fine Tuner], Quantum Espresso [AUSURF112-jR]; Random Forest FP32 [make_blobs (160000 x 64: 10)], TensorFlow [ResNet-50], VASP 6 [Si Huge] | Nodo de GPU con CPU de dos sockets con 4x NVIDIA P100, V100, o GPU A100.​

Rendimiento Hasta 1.8 Veces Superior para Aplicaciones HPC

Quantum Espresso​

Up to 1.8X Higher Performance for HPC Applications

Quantum Espresso medido con el conjunto de datos CNT10POR8, precisión = FP64.

ESPECIFICACIONES DE NVIDIA HGX

NVIDIA HGX está disponible en zócalos individuales con cuatro u ocho GPU A100, cada una con 40 GB u 80 GB de memoria GPU. La configuración de 4 GPU está completamente interconectada con NVIDIA NVLink®, y la configuración de 8 GPU está interconectada con NVSwitch. Se pueden combinar dos zócalos NVIDIA HGX A100 de 8 GPU mediante una interconexión NVSwitch para crear un potente nodo único de 16 GPU.

HGX también está disponible en un formato PCIe para una opción modular y fácil de implementar, que brinda el mayor rendimiento de computación a los servidores convencionales, cada uno con 40 GB u 80 GB de memoria GPU.

Esta poderosa combinación de hardware y software sienta las bases para la última plataforma de supercomputación de IA.

  A100 PCIe 4 GPU 8 GPU 16 GPU
GPUs 1 NVIDIA A100 PCIe HGX A100 4 GPU HGX A100 8 GPU 2 HGX A100 8 GPU
Formato PCIe 4 NVIDIA A100 SXM 8 NVIDIA A100 SXM 16 NVIDIA A100 SXM
HPC y computación de IA (FP64/TF32*/FP16*/INT8*) 19.5TF/312TF*/624TF*/1.2POPS* 78TF/1.25PF*/2.5PF*/5POPS* 156TF/2.5PF*/5PF*/10POPS* 312TF/5PF*/10PF*/20POPS*
Memoria 40 or 80 GB por GPU Hasta 320 GB Hasta 640GB Hasta 1,280GB
NVLink Tercera generación Tercera generación Tercera generación Tercera generación
NVSwitch N/A N/A Segunda generación Segunda generación
Ancho de banda de NVSwitch GPU a GPU N/A N/A 600GB/s 600GB/s
Ancho de banda agregado total 600GB/s 2.4TB/s 4.8TB/s 9.6TB/s

* Con escasez

Acelerando HGX con Red NVIDIA

Con HGX, también es posible incluir redes NVIDIA para acelerar y descargar transferencias de datos y garantizar la plena utilización de los recursos de computación. Los adaptadores y conmutadores inteligentes reducen la latencia, aumentan la eficiencia, mejoran la seguridad y simplifican la automatización del data center para acelerar el rendimiento de las aplicaciones de un extremo a otro.

El data center es la nueva unidad de computación y las redes HPC desempeñan un papel integral en la ampliación del rendimiento de las aplicaciones en todo el data center. NVIDIA InfiniBand está allanando el camino con redes definidas por software, aceleración de computación en red, acceso remoto directo a memoria (RDMA) y las velocidades y alimentaciones más rápidas.

HGX-1 and HGX-2 Reference Architectures

Powered by NVIDIA GPUs and NVLINK

NVIDIA HGX-1 and HGX-2 are reference architectures that standardize the design of data centers accelerating AI and HPC. Built with NVIDIA SXM2 V100 boards, with NVIDIA NVLink and NVSwitch interconnect technologies, HGX reference architectures have a modular design that works seamlessly in hyperscale and hybrid data centers to deliver up to 2 petaFLOPS of compute power for a quick, simple path to AI and HPC.

Powered by NVIDIA GPUs and NVLINK

Specifications

8-GPU
HGX-1  		16-GPU
HGX-2 
GPUs 8x NVIDIA V100 16x NVIDIA V100
AI Compute 1 petaFLOPS (FP16) 2 petaFLOPS (FP16)
Memory 256 GB 512 GB
NVLink 2nd generation 2nd generation
NVSwitch N/A Yes
NVSwitch GPU-to-GPU Bandwidth N/A 300 GB/s
Total Aggregate Bandwidth 2.4 TB/s 4.8 TB/s

Dentro de la Arquitectura NVIDIA Ampere

Lea este análisis técnico en profundidad para conocer las novedades de la arquitectura NVIDIA Ampere y su implementación en la GPU NVIDIA A100.

Leer Blog

Productos

Tecnologías

Software

Recursos