Plataforma NVIDIA HGX
Acelerando la IA Avanzada en cada Data Center.
Diseñada Específicamente para la IA y la Computación de Alto Rendimiento
La IA, las simulaciones complejas y los conjuntos de datos masivos requieren múltiples GPU con interconexiones extremadamente rápidas y una pila de software totalmente acelerada. La plataforma NVIDIA HGX™ reúne todo la potencia de las GPU de NVIDIA, NVIDIA NVLink™, las redes de NVIDIA y las pilas de software de IA y computación de alto rendimiento (HPC) totalmente optimizadas para proporcionar el más alto rendimiento de las aplicaciones e impulsar el tiempo más rápido de obtención de la información para todos los data centers.
Plataforma de Computación Acelerada Integral Incomparable
NVIDIA HGX B300 integra las GPU NVIDIA Blackwell Ultra con interconexiones de alta velocidad para impulsar al data center hacia una nueva era de computación acelerada e IA generativa. Los sistemas HGX con tecnología Blackwell, en su calidad de plataforma de escalabilidad acelerada con hasta 11 veces más rendimiento de inferencia que la generación anterior, están diseñados para las cargas de trabajo más exigentes de IA generativa, análisis de datos y HPC.
NVIDIA HGX incluye opciones de red avanzadas a velocidades de hasta 800 gigabits por segundo [Gb/s] mediante NVIDIA Quantum-X800 InfiniBand y Spectrum™-X Ethernet, para el más alto rendimiento de IA. HGX también incluye unidades de procesamiento de datos (DPU) NVIDIA® BlueField®-3 para habilitar redes en la nube, almacenamiento componible, seguridad de confianza cero y elasticidad de computación de GPU en nubes de IA a hiperescala.
Inferencia de Razonamiento de IA: Desempeño y Versatilidad
El desempeño proyectado puede cambiar. Latencia de token a token (TTL) = 20 ms en tiempo real; latencia del primer token (FTL) = 5 s; longitud de secuencia de entrada = 32,768; longitud de secuencia de salida = 1,028; 8 GPU HGX H100 de ocho vías con refrigeración por aire en comparación con 1 HGX B300 con refrigeración por aire, según la comparación de desempeño por GPU; se proporciona mediante inferencia disgregada.
Inferencia de Grande Modelo de Lenguaje en Tiempo Real
HGX B300 logra un desempeño de inferencia hasta 11 veces más alto que la generación anterior de NVIDIA Hopper™ en modelos como Llama 3.1 405B. El motor Transformer de segunda generación usa la tecnología Blackwell Tensor Core personalizada combinada con las innovaciones de TensorRT™-LLM para acelerar la inferencia de grandes modelos de lenguaje (LLM).
Capacitación en IA: Rendimiento y Escalabilidad
El rendimiento proyectado está sujeto a cambios. Comparación del rendimiento por GPU: 8 HGX H100 de ocho vías vs. 1 HGX B300.
Rendimiento de Entrenamiento de Vanguardia
El motor Transformer de segunda generación, con coma flotante de 8 bits (FP8) y nuevas precisiones, permite un entrenamiento notablemente 4 veces más rápido para grandes modelos de lenguaje como Llama 3.1 405B. Este avance se complementa con NVLink de quinta generación con 1,8TB/s de interconexión de GPU a GPU, redes InfiniBand y el software NVIDIA Magnum IO™. En conjunto, garantizan una escalabilidad eficiente para empresas y clústeres de computación GPU de gran tamaño.
Aceleración de HGX con Redes NVIDIA
El data center es la nueva unidad de computación y las redes juegan un papel fundamental para escalar el desempeño de las aplicaciones a través de él. En combinación con NVIDIA Quantum InfiniBand, HGX ofrece un desempeño y una eficacia de primera categoría, lo que garantiza la utilización plena de los recursos de computación.
Para los data centers de nube de IA que implementan Ethernet, HGX se utiliza mejor con la plataforma de redes NVIDIA Spectrum-X™, que impulsa el más alto desempeño de IA a través de Ethernet. Cuenta con switches Spectrum-X y NVIDIA SuperNIC™ para una utilización óptima de los recursos y el aislamiento del desempeño, lo que genera resultados consistentes y predecibles para miles de trabajos de IA simultáneos en todas las escalas. Spectrum-X posibilita un nivel avanzado de uso compartido de la nube y seguridad de confianza cero. Como diseño de referencia, NVIDIA ha diseñado Israel-1, una supercomputadora de IA generativa a hiperescala desarrollada con servidores Dell PowerEdge XE9680 que utilizan la plataforma de NVIDIA HGX de 8 GPU, SuperNIC BlueField-3 y switches Spectrum-4.
Especificaciones de NVIDIA HGX
NVIDIA HGX está disponible en placas base individuales con cuatro u ocho Hopper SXMs u ocho NVIDIA Blackwell o NVIDIA Blackwell Ultra SXMs. Estas potentes combinaciones de hardware y software sientan las bases para un desempeño de supercomputación de IA sin precedentes.
-
Blackwell
-
Hopper
| HGX B300 | HGX B200 | |
|---|---|---|
| Formato | 8x NVIDIA Blackwell Ultra SXM | 8x NVIDIA Blackwell SXM |
| Núcleo Tensor FP4** | 144 PFLOPS | 105 PFLOPS | 144 PFLOPS | 72 PFLOPS |
| Núcleo Tensor FP8/FP6* | 72 PFLOPS | 72 PFLOPS |
| Núcleo Tensor INT8* | 2 POPS | 72 POPS |
| Núcleo Tensor FP16/BF16* | 36 PFLOPS | 36 PFLOPS |
| Núcleo Tensor TF32* | 18 PFLOPS | 18 PFLOPS |
| FP32 | 600 TFLOPS | 600 TFLOPS |
| Núcleo Tensor FP64/FP64 | 10 TFLOPS | 296 TFLOPS |
| Memoria Total | Hasta 2.3TB | 1.4TB |
| NVLink | Quinta generación | Quinta generación |
| NVIDIA NVSwitch™ | Switch NVLink 5 | Switch NVLink 5 |
| Ancho de Banda de GPU a GPU NSwitch | 1.8TB/s | 1.8TB/s |
| Ancho de Banda Total de NVLink | 14.4TB/s | 14.4TB/s |
* Con baja densidad
** Con baja densidad | sin baja densidad
| HGX H200 | ||||
|---|---|---|---|---|
| 4 GPU | 8 GPU | |||
| Formato | 4 SXM NVIDIA H200 | 8 SXM NVIDIA H200 | ||
| Núcleo Tensor FP8* | 16 PFLOPS | 32 PFLOPS | ||
| Núcleo Tensor INT8* | 16 POPS | 32 POPS | ||
| Núcleo Tensor FP16/BF16* | 8 PFLOPS | 16 PFLOPS | ||
| Núcleo Tensor TF32* | 4 PFLOPS | 8 PFLOPS | ||
| FP32 | 270 TFLOPS | 540 TFLOPS | ||
| FP64 | 140 TFLOPS | 270 TFLOPS | ||
| Núcleo Tensor FP64 | 270 TFLOPS | 540 TFLOPS | ||
| Memoria Total | HBM3 de 564GB | HBM3 de 1.1TB | ||
| Ancho de Banda Agregado de GPU | 19GB/s | 38GB/s | ||
| NVLink | Cuarta generación | Cuarta generación | ||
| NVSwitch | N/A | Switch NVLink 4 | ||
| Ancho de Banda de GPU a GPU NSwitch | N/A | 900GB/s | ||
| Ancho de Banda Total Agregado | 3.6TB/s | 7.2TB/s | ||
| HGX H100 | ||||
|---|---|---|---|---|
| 4 GPU | 8 GPU | |||
| Formato | 4 SXM NVIDIA H100 | 8 SXM NVIDIA H100 | ||
| Núcleo Tensor FP8* | 16 PFLOPS | 32 PFLOPS | ||
| Núcleo Tensor INT8* | 16 POPS | 32 POPS | ||
| Núcleo Tensor FP16/BF16* | 8 PFLOPS | 16 PFLOPS | ||
| Núcleo Tensor TF32* | 4 PFLOPS | 8 PFLOPS | ||
| FP32 | 270 TFLOPS | 540 TFLOPS | ||
| FP64 | 140 TFLOPS | 270 TFLOPS | ||
| Núcleo Tensor FP64 | 270 TFLOPS | 540 TFLOPS | ||
| Memoria Total | HBM3 de 320GB | HBM3 de 640GB | ||
| Ancho de Banda Agregado de GPU | 13GB/s | 27GB/s | ||
| NVLink | Cuarta generación | Cuarta generación | ||
| NVSwitch | N/A | Switch NVLink 4 | ||
| Ancho de Banda de GPU a GPU NSwitch | N/A | 900GB/s | ||
| Ancho de Banda Total Agregado | 3.6TB/s | 7.2TB/s | ||
* Con baja densidad
Más información sobre la arquitectura NVIDIA Blackwell.