NVIDIA Vera Rubin NVL72
Construyendo la próxima frontera de la IA de agentes.
Descripción
Siete nuevos chips, un superordenador de IA
NVIDIA Vera Rubin NVL72 unifica las tecnologías de vanguardia de NVIDIA: 72 GPU Rubin, 36 CPU Vera, SuperNICs NVIDIA ConnectX™-9 y DPU BlueField-4. Aumente la inteligencia en una plataforma a escala de bastidor con el conmutador NVIDIA NVLink 6 y se escala con NVIDIA Quantum-X800 InfiniBand y Spectrum-X Ethernet para impulsar la revolución industrial de la IA a escala. Cuando se implementa con los bastidores NVIDIA Groq 3 LPX, Vera Rubin NVL72 proporciona un nuevo nivel de rendimiento en inferencia para modelos con un billón de parámetros y contextos con millones de tókenes.
Vera Rubin NVL72 se basa en el diseño de bastidor NVIDIA MGX™ NVL72 de tercera generación, lo que ofrece una transición fluida desde las generaciones anteriores. Proporciona entrenamiento de IA con una cuarta parte de las GPU e inferencia de IA a una décima parte del coste por millón de tókenes en comparación con NVIDIA Blackwell. Con diseños de bandejas modulares sin cables y soporte de más de 80 partners del ecosistema MGX, el superordenador de IA a escala de bastidor proporciona un rendimiento de clase mundial con una implementación rápida.
Rendimiento
Aumento enorme de eficiencia en el entrenamiento y la inferencia de IA
El rendimiento de inferencia de LLM está sujeto a cambios. Coste por 1 millón de tokens basado en el modelo Kimi-K2-Thinking que utiliza 32K/8K ISL/OSL y compara NVIDIA GB200 NVL72 y NVIDIA Vera Rubin NVL72.
Reducción de costes de inferencia
El coste de NVIDIA Vera Rubin NVL72 por millón de tokens es la décima parte del de NVIDIA GB200 NVL72 para la IA de agentes de razonamiento profundo altamente interactiva.
Maximización del rendimiento de la fábrica de IA
NVIDIA Vera Rubin NVL72 proporciona hasta 10 veces más tokens por megavatio que NVIDIA GB200 NVL72, lo que permite ampliar la inteligencia con la misma huella energética.
El rendimiento de inferencia de LLM está sujeto a cambios. Tokens por segundo por MW basados en el modelo Kimi-K2 Thinking que utiliza 32K/8K ISL/OSL en comparación con NVIDIA GB200 NVL72 y NVIDIA Vera Rubin NVL72.
El rendimiento proyectado está sujeto a cambios. Número de GPU basado en un modelo de mezcla de expertos (MoE) de 10 billones entrenado en 100 billones de tokens en un periodo de tiempo fijo de 1 mes en comparación con NVIDIA GB200 NVL72 y NVIDIA Vera Rubin NVL72.
Aumentar la eficiencia del entrenamiento
NVIDIA Vera Rubin NVL72 entrena modelos de mezcla de expertos (MoE) con la cuarta parte de GPU que NVIDIA GB200 NVL72.
Rendimiento 35 veces superior en modelos con billones de parámetros
Los sistemas de agentes consumen hasta 15 veces más tókenes que las aplicaciones de IA tradicionales. Las fábricas de IA deben ofrecer un gran volumen de tókenes y ventanas de contexto masivas con baja latencia y una economía eficiente. Cuando se combina con LPX, Vera Rubin NVL72 proporciona un rendimiento por megavatio hasta 35 veces superior en modelos con un billones de parámetros.
El rendimiento proyectado está sujeto a cambios. Nivel gratuito (0 $): modelo Qwen-3 de 235 000 millones de parámetros con 32 000 tókenes de valor clave almacenados en caché. Nivel medio (3 $): modelo Kimi K2.5 de 1 billón de parámetros con 128 000 tókenes de valor clave almacenados en caché. Nivel superior (6 $): modelo GPT-MoE de 2 billones de parámetros con 128 000 tókenes de valor clave almacenados en caché. Niveles Prémium (45 $) y Ultra (150 $): modelo GPT-MoE de 2 billones de parámetros con 400 000 tókenes de valor clave almacenados en caché.
Potenciar la era de los agentes de IA
La plataforma Vera Rubin
La plataforma Vera Rubin abre la puerta a la próxima frontera de la IA de agentes con cinco bastidores para escalar las fábricas de IA del mundo: NVIDIA Vera Rubin NVL72, CPU NVIDIA Vera, NVIDIA Groq 3 LPX, NVIDIA Vera BlueField-4 STX y NVIDIA Spectrum-6 SPX Ethernet. Los bastidores, diseñados para funcionar conjuntamente como un increíble superordenador de IA, impulsan cada fase de la IA, desde el preentrenamiento a escala masiva, el posentrenamiento y el escalado en tiempo de pruebas hasta la inferencia de agentes en tiempo real.
NVIDIA Vera Rubin NVL4
NVIDIA Vera Rubin NVL4 proporciona un rendimiento revolucionario a través de cuatro GPU NVIDIA Rubin interconectadas por un puente NVLink de segunda generación que ejecuta NVIDIA NVLink de sexta generación, junto con dos CPU NVIDIA Vera a través de NVLink-C2C. Es compatible con los servidores modulares NVIDIA MGX™ con refrigeración por líquido y proporciona un rendimiento hasta 4 veces superior para la simulación de computación científica, 6 veces para el entrenamiento de IA para la ciencia y 8 veces para la inferencia de IA para la ciencia en comparación con Grace Hopper.
Especificaciones¹
Especificaciones de NVIDIA Vera Rubin NVL72
| NVIDIA Vera Rubin NVL72 | Superchip NVIDIA Vera Rubin | GPU NVIDIA Rubin | |
|---|---|---|---|
| Configuración | 72 GPU NVIDIA Rubin | 36 CPU NVIDIA Vera | 2 GPU Rubin | 1 CPU Vera | 1 GPU Rubin |
| Inferencia NVFP4 | 3600 PFLOPS | 100 PFLOPS | 50 PFLOPS |
| Entrenamiento NVFP4² | 2520 PFLOPS | 70 PFLOPS | 35 PFLOPS |
| Entrenamiento FP8/FP6² | 1260 PFLOPS | 35 PFLOPS | 17,5 PFLOPS |
| INT8² denso | 18 POPS | 500 TOPS | 250 TOPS |
| FP16/BF16² denso | 288 PFLOPS | 8 PETAFLOPS | 4 PETAFLOPS |
| TF32² denso | 144 PFLOPS | 4 PETAFLOPS | 2 PFLOPS |
| FP32 | 9360 TERAFLOPS | 260 TERAFLOPS | 130 TERAFLOPS |
| FP64 | 2400 TERAFLOPS | 67 TFLOPS | 33 TERAFLOPS |
| FP32 SGEMM³ | 28 800 TERAFLOPS | 800 teraFLOPS | 400 TERAFLOPS |
| FP64 DGEMM³ | 14 400 TERAFLOPS | 400 TERAFLOPS | 200 TERAFLOPS |
| Memoria de la GPU | Ancho de banda | 20,7 TB HBM4 | 1580 TB/s | 576 GB HBM4 | 44 TB/s | 288 GB HBM4 | 22 TB/s |
| NVIDIA NVLink | Sexta generación | ||
| Ancho de banda de NVLink | 260 TB/s (ancho de banda de NVLink 6 Switch) |
7,2 TB/s | 3,6 TB/s |
| Ancho de banda de NVLink-C2C | 65 TB/s | 1,8 TB/s | - |
| Cantidad de núcleos de CPU | 3168 núcleos NVIDIA Olympus personalizados (compatibles con Arm®) | 88 núcleos NVIDIA Olympus personalizados (compatibles con Arm®) | - |
| Memoria de la CPU | 54 TB LPDDR5X | 1,5 TB LPDDR5X | - |
| Ancho de banda de red (escalado horizontal) | 28,8 TB/s | 0,8 TB/s | 0,4 TB/s |
| Total de chips NVIDIA + HBM4 | 1296 | 30 | 12 |
1. Información preliminar, todos los valores están actualizados y sujetos a cambios
2. Especificación densa
3. Rendimiento máximo utilizando algoritmos de emulación basados en Tensor Core
Empezar
Manténgase al día sobre las noticias de NVIDIA
Suscríbase para obtener las últimas noticias, actualizaciones y mucho más de NVIDIA.