Plataforma NVIDIA HGX
IA potenciada y computación de alto rendimiento para todos los data centers.
Descripción general
Potenciar la IA y el HPC para Cada Data Center
La plataforma NVIDIA HGX reúne toda la potencia de las GPU NVIDIA, las CPU NVIDIA Vera, NVIDIA NVLink, las redes de NVIDIA y pilas de software de IA y computación de alto desempeño (HPC) completamente optimizadas para proporcionar el más alto desempeño de aplicaciones e impulsar el tiempo más rápido para la obtención de información para cada centro de datos.
NVIDIA HGX Rubin NVL8 integra ocho GPU NVIDIA Rubin con interconexiones NVLink de alta velocidad de sexta generación, lo que ofrece un rendimiento de fábrica de tokens hasta 10 veces mayor en comparación con HGX B200 y equipara su desempeño de entrenamiento con 4 veces menos GPU. Los sistemas HGX basados en NVIDIA Rubin están diseñados para las cargas de trabajo de IA agéntica, análisis de datos y HPC más exigentes. NVIDIA HGX Rubin NVL8 se puede combinar con las CPU NVIDIA Vera (configuradas como HGX Vera Rubin NVL8) o con placas base de CPU basadas en x86.
Aceleración de la próxima generación de IA agéntica
Impulse el rendimiento de las fábricas de tokens con HGX Rubin NVL8
Servir a modelos de IA agéntica y razonamiento a escala exige un rendimiento de inferencia extremo. Con innovaciones arquitectónicas que incluyen 400 PFLOPS de computación NVFP4, 3 veces más ancho de banda de memoria a 176 TB/s y 2 veces más ancho de banda de NVLink Switch a 28.8 TB/s para la comunicación entre GPU de alto rendimiento, HGX Rubin NVL8 ofrece un rendimiento de fábrica de tokens 10 veces mayor en comparación con HGX B200. Este salto en el desempeño permite a las fábricas de IA servir a más usuarios, maximizar los ingresos por token y reducir el costo por token.
El desempeño proyectado puede cambiar. Modelo de Kimi K2 Thinking con FTL<=500 ms, ISL=4K, OSL=4K. HGX Rubin NVL8 con Sparse NVFP4, HGX B200 con Dense NVFP4
El desempeño proyectado puede cambiar. Cantidad de GPU basadas en DeepSeek-R1 preentrenadas en 15 billones de tokens con una longitud de secuencia de 4K.
Entrene Modelos de IA de Última Generación con 4 Veces Menos GPU
HGX Rubin NVL8 lleva el preentrenamiento de mezcla de expertos innovador al formato de servidor de 8 GPU, entrenando modelos de IA agéntica de próxima generación con 4 veces menos GPU, habilitados por innovaciones arquitectónicas que incluyen 4 veces más FLOPS de entrenamiento de NVFP4, 1.6 veces más capacidad de memoria HBM de alta velocidad y dos veces más ancho de banda de NVLink en comparación con HGX B200. Este salto en la eficiencia del entrenamiento permite a las organizaciones entrenar más modelos dentro de la misma huella de infraestructura, reducir el costo de desarrollo de modelos y maximizar el retorno de la inversión en infraestructura de IA.
CPU NVIDIA Vera
NVIDIA Vera es la CPU para la era de la IA, diseñada específicamente para la IA agéntica, el aprendizaje por refuerzo y el procesamiento de datos a escala. Los núcleos NVIDIA Olympus, la memoria LPDDR5X de alto ancho de banda y NVIDIA Scalable Coherency Fabric ofrecen una ejecución rápida y eficiente de CPU junto con una computación acelerada, lo que ayuda a las fábricas de IA a ejecutar más agentes, evaluaciones y pipelines de datos.
Aceleración de HGX con Redes NVIDIA
Las fábricas de IA y los centros de supercomputación abarcan miles de GPU como un solo motor de computación distribuida Para mantener los aceleradores completamente utilizados, las cargas de trabajo de IA y científicas exigen una latencia determinista, un rendimiento sin pérdidas, tiempos de iteración estables y la capacidad de escalar no solo dentro de un data center, sino también en varios sitios.
Las redes de NVIDIA ofrecen la estructura de pila completa que lo hace posible, ya que combina la escalabilidad de NVLink de NVIDIA, la escalabilidad de NVIDIA Quantum InfiniBand y Spectrum-X™ Ethernet, la escalabilidad de múltiples centros de datos Spectrum-XGS Ethernet, la DPU NVIDIA® BlueField® y DOCA™ para servicios de infraestructura, y plataformas de fotónica de silicio de última generación, lo que permite los data centers de IA más exigentes del mundo.
Especificaciones de NVIDIA HGX
NVIDIA HGX está disponible en una sola placa base con ocho NVIDIA Rubin, NVIDIA Blackwell o NVIDIA Blackwell Ultra SXMs. Las GPU Rubin se pueden combinar con una CPU NVIDIA Vera o una placa base basada en x86. Estas potentes combinaciones de hardware y software sientan las bases para un desempeño de IA y supercomputadora sin precedentes.
-
NVIDIA Rubin NVL8
-
NVIDIA Blackwell
| System Specifications | NVIDIA HGX Vera Rubin NVL8<sup>1</sup> | NVIDIA HGX Rubin NVL8<sup>1</sup> |
|---|---|---|
| Configuration | 8x NVIDIA Rubin SXM with Single Socket Vera CPU | 8x NVIDIA Rubin SXM |
| CPU | Core Count | NVIDIA Vera CPU | 88 Custom NVIDIA Olympus Cores (Arm® compatible) with Spatial Multithreading (SMT) | x86 CPU<sup>4</sup> |
| CPU Memory | Bandwidth | 1.5TB LPDDR5X | 1.2 TB/s | x86 CPU<sup>4</sup> |
| NVFP4 Inference | 400 PFLOPS | |
| NVFP4 Training<sup>2</sup> | 280 PFLOPS | |
| FP8/FP6 Training<sup>2</sup> | 140 PFLOPS | |
| INT8<sup>2</sup> | 2 POPS | |
| FP16/BF16<sup>2</sup> | 32 PFLOPS | |
| TF32<sup>2</sup> | 16 PFLOPS | |
| FP32 | 1,040 TFLOPS | |
| FP64 | 265 TFLOPS | |
| FP32 SGEMM<sup>3</sup> | 3,200 TFLOPS | |
| FP64 DGEMM<sup>3</sup> | 1,600 TFLOPS | |
| GPU Memory | Bandwidth | 2.3 TB HBM4 | 176 TB/s | |
| NVLink Switch Bandwidth | 28.8 TB/s | |
| NVIDIA NVLink | Sixth Generation | |
| Networking Bandwidth | 1.6 TB/s | |
| Individual GPU Specifications | NVIDIA Rubin GPU<sup>1</sup> |
|---|---|
| NVFP4 Inference | 50 PFLOPS |
| NVFP4 Training<sup>2</sup> | 35 PFLOPS |
| FP8/FP6 Training<sup>2</sup> | 17.5 PFLOPS |
| INT8<sup>2</sup> | 250 TOPS |
| FP16/BF16<sup>2</sup> | 4 PFLOPS |
| TF32<sup>2</sup> | 2 PFLOPS |
| FP32 | 130 TFLOPS |
| FP64 | 33 TFLOPS |
| FP32 SGEMM<sup>2</sup> | 400 TFLOPS |
| FP64 DGEMM<sup>2</sup> | 200 TFLOPS |
| NVLink Bandwidth | 3.6 TB/s |
| NVIDIA NVLink | Sixth Generation |
| GPU Memory | Bandwidth | 288 GB HBM4 | 22 TB/s |
1. Información preliminar. Todos los valores están sujetos a cambios. La especificación de inferencia de NVFP4 es dispersa.
2. Especificación densa.
3. Desempeño máximo mediante los algoritmos de emulación basados en Tensor Core.
4. Las especificaciones de CPU y memoria están definidas por las ofertas del OEM.
| HGX B300<sup>4</sup> | HGX B200<sup>4</sup> | |
|---|---|---|
| Form Factor | 8x NVIDIA Blackwell Ultra SXM | 8x NVIDIA Blackwell SXM |
| FP4 Tensor Core<sup>1</sup> | 144 PFLOPS | 108 PFLOPS | 144 PFLOPS | 72 PFLOPS |
| FP8/FP6 Tensor Core<sup>2</sup> | 72 PFLOPS | 72 PFLOPS |
| INT8 Tensor Core<sup>2</sup> | 3 POPS | 72 POPS |
| FP16/BF16 Tensor Core<sup>2</sup> | 36 PFLOPS | 36 PFLOPS |
| TF32 Tensor Core<sup>2</sup> | 18 PFLOPS | 18 PFLOPS |
| FP32 | 600 TFLOPS | 600 TFLOPS |
| FP64/FP64 Tensor Core | 10 TFLOPS | 296 TFLOPS |
| Total Memory | 2.1 TB | 1.4 TB |
| NVIDIA NVLink | Fifth generation | Fifth generation |
| NVIDIA NVLink Switch™ | NVLink 5 Switch | NVLink 5 Switch |
| NVLink GPU-to-GPU Bandwidth | 1.8 TB/s | 1.8 TB/s |
| Total NVLink Bandwidth | 14.4 TB/s | 14.4 TB/s |
| Networking Bandwidth | 1.6 TB/s | 0.8 TB/s |
| Attention Performance<sup>3</sup> | 2x | 1x |
1. Especificación en Dispersa | Densa
2. Especificación en Dispersa. Densa es la ½ de la especificación dispersa que se muestra.
3. En comparación con NVIDIA Blackwell.
4. HGX B300 y HGX B200 se están enviando ahora.
Más Información Sobre la Plataforma NVIDIA Vera Rubin.