NVIDIA Vera Rubin NVL72
Construyendo la próxima frontera de la IA basada en agentes, ahora en plena producción.
Descripción General
Siete Chips Nuevos, Una Supercomputadora de IA
NVIDIA Vera Rubin NVL72 unifica tecnologías de vanguardia de NVIDIA: 72 GPU Rubin, 36 CPU Vera, SuperNIC NVIDIA ConnectX™-9 y DPU BlueField™-4. Escala la inteligencia en una plataforma a escala de bastidor con el switch NVIDIA NVLink 6 y se escala con NVIDIA Quantum-X800 InfiniBand y Spectrum-X Ethernet para impulsar la revolución industrial de la IA a escala. Cuando se implementa con los bastidores NVIDIA Groq 3 LPX, Vera Rubin NVL72 ofrece una nueva clase de desempeño de inferencia para modelos de billones de parámetros y contextos de millones de tokens.
Vera Rubin NVL72 se basa en el diseño de bastidor NVIDIA MGX™ NVL72 de tercera generación, lo que ofrece una transición fluida con respecto a las generaciones anteriores. Ofrece entrenamiento de IA con una cuarta parte de las GPU e inferencia de IA a una décima parte del costo por millón de tokens en comparación con NVIDIA Blackwell. Al contar con diseños de bandejas modulares sin cables y ser compatible con más de 80 socios del ecosistema MGX, la supercomputadora de IA a escala de bastidor ofrece un desempeño de clase mundial con una implementación rápida.
Desempeño
Aumento Masivo de la Eficiencia en la Inferencia y el Entrenamiento de IA
El desempeño de inferencia del LLM está sujeto a cambios. El costo por 1 millón de tokens se basa en un modelo de pensamiento Kimi-K2 que usa 32K/8K ISL/OSL y compara NVIDIA GB200 NVL72 y NVIDIA Vera Rubin NVL72.
Reducción de los Costos de Inferencia
NVIDIA Vera Rubin NVL72 ofrece una décima parte del costo por millón de tokens en comparación con NVIDIA GB200 NVL72 para una IA agéntica de razonamiento altamente interactiva y profunda.
Maximización del Rendimiento de la Fábrica de IA
NVIDIA Vera Rubin NVL72 ofrece hasta diez veces más tokens por megavatio que NVIDIA GB200 NVL72, lo que escala la inteligencia dentro de la misma huella de energía.
El desempeño de inferencia del LLM está sujeto a cambios. Tokens por segundo por MW sobre la base del modelo de pensamiento Kimi-K2 que usa 32K/8K ISL/OSL comparando NVIDIA GB200 NVL72 y NVIDIA Vera Rubin NVL72.
El desempeño proyectado puede cambiar. Cantidad de GPU basadas en un modelo MoE 10T entrenado con 100 billones de tokens en un período fijo de 1 mes comparando NVIDIA GB200 NVL72 y NVIDIA Vera Rubin NVL72.
Impulsar la Eficiencia en el Entrenamiento
NVIDIA Vera Rubin NVL72 entrena modelos de combinación de expertos (MoE) con una cuarta parte del número de GPU en comparación con NVIDIA GB200 NVL72.
Rendimiento 35 Veces Mayor para Modelos con Billones de Parámetros
Los sistemas de agentes consumen hasta 15 veces más tokens que las aplicaciones de IA tradicionales. Las fábricas de IA deben ofrecer un volumen de tokens y ventanas contextuales masivas con baja latencia y economía eficiente. Cuando se combina con LPX, Vera Rubin NVL72 ofrece un rendimiento por megavatio hasta 35 veces mayor para modelos de billones de parámetros.
El desempeño proyectado puede cambiar. Nivel gratuito ($0): Modelo Qwen-3 de 235 mil millones de parámetros con 32 mil tokens en caché de KV. Nivel medio ($3): Modelo Kimi K2.5 de 1 billón de parámetros con 128 mil tokens en caché de KV. Nivel alto ($6): Modelo GPT-MoE de 2 billones de parámetros con 128 mil tokens en caché de KV. Niveles Premium ($45) y Ultra ($150): Modelo GPT-MoE de 2 billones de parámetros con 400 mil tokens en caché KV.
Impulsar la Era de los Agentes de IA
La Plataforma Vera Rubin
La plataforma Vera Rubin abre la próxima frontera de la IA basada en agentes con cinco bastidores para escalar las fábricas de IA del mundo: NVIDIA Vera Rubin NVL72, CPU NVIDIA Vera, NVIDIA Groq 3 LPX, NVIDIA Vera BlueField-4 STX y NVIDIA Spectrum-6 SPX Ethernet. Los bastidores, diseñados para operar juntos como una supercomputadora de IA increíble, impulsan cada fase de la IA, desde el preentrenamiento a escala masiva, el posentrenamiento y el escalado en tiempo de prueba hasta la inferencia de agentes en tiempo real.
NVIDIA Vera Rubin NVL4
NVIDIA Vera Rubin NVL4 ofrece un desempeño revolucionario a través de cuatro GPU NVIDIA Rubin interconectadas por un puente NVLink de segunda generación que ejecuta NVLink de NVIDIA de sexta generación, junto con dos CPU NVIDIA Vera sobre NVLink-C2C. Es compatible con los servidores modulares NVIDIA MGX™ refrigerados por líquido, ofrece un desempeño hasta 4 veces mayor para la simulación de computación científica, 6 veces para el entrenamiento de IA para ciencia y 8 veces para la inferencia de IA para la ciencia en comparación con Grace Hopper.
Especificaciones
Especificaciones de la Fábrica de IA de 100 MW
| Fábrica de IA Basada en NVIDIA Vera Rubin NVL72¹ | |
|---|---|
| Configuración del Tamaño de la Fábrica de IA | 40K GPU NVIDIA Rubin con MaxLPS |
| Inferencia de NVFP4² | 2 ZFLOPS |
| Entrenamiento de NVFP4³ | 1.4 ZFLOPS |
| Entrenamiento en FP8/FP6³ | 700 EFLOPS |
| FP16/BF16³ | 160 EFLOPS |
| TF32³ | 80 EFLOPS |
| Memoria de GPU | Ancho de Banda | 12 PB HBM4 | 800 PB/s |
| Memoria de la CPU | Hasta 30 PB LPDDR5X |
| Memoria Rápida | Hasta 42 PB |
Especificaciones de NVIDIA Vera Rubin NVL72
| NVIDIA Vera Rubin NVL72 | Superchip NVIDIA Vera Rubin | GPU NVIDIA Rubin | |
|---|---|---|---|
| Configuración | 72 GPU NVIDIA Rubin | 36 CPU NVIDIA Vera | 2 GPU NVIDIA Rubin | 1 CPU NVIDIA Vera | 1 GPU NVIDIA Rubin |
| Inferencia de NVFP4² | 3,600 PFLOPS | 100 PFLOPS | 50 PFLOPS |
| Entrenamiento de NVFP4³ | 2,520 PFLOPS | 70 PFLOPS | 35 PFLOPS |
| Entrenamiento en FP8/FP6³ | 1,260 PFLOPS | 35 PFLOPS | 17.5 PFLOPS |
| FP16/BF16³ | 288 PFLOPS | 8 PFLOPS | 4 PFLOPS |
| TF32³ | 144 PFLOPS | 4 PFLOPS | 2 PFLOPS |
| FP32 | 9,360 TFLOPS | 260 TFLOPS | 130 TFLOPS |
| FP64 | 2,400 TFLOPS | 67 TFLOPS | 33 TFLOPS |
| Memoria de GPU | Ancho de Banda | HBM4 de 20.7 TB | 1,400 TB/s | HBM4 de 576 GB | 38.5 TB/s | HBM4 de 288 GB | 19.2 TB/s |
| NVLink de NVIDIA | Sexta generación | ||
| Ancho de Banda de NVLink | 216 TB/s
|
6 TB/s | 3 TB/s |
| Ancho de banda NVLink-C2C | 65 TB/s | 1.8 TB/s | - |
| Recuento de Núcleos de CPU | 3,168 núcleos NVIDIA Olympus personalizados | 6,336 subprocesos | 88 núcleos NVIDIA Olympus personalizados | 176 subprocesos | - |
| Memoria de la CPU | LPDDR5X de hasta 54 TB | LPDDR5X de hasta 1.5 TB | - |
| Ancho de Banda de Redes (Escalado Horizontal)⁴ | 32.4 TB/s | 0.9 TB/s | 0.45 TB/s |
| Total de Chips NVIDIA + HBM4 | 1,296 | 30 | 12 |
| GPU en 100 MW¹ | 40K GPU | ||
| Temperatura de Entrada | 45 °C | ||
1. Especificaciones basadas en una fábrica de IA a escala que utiliza NVIDIA DSX con MaxLPS.
2. Especificación dispersa.
3. Especificación densa.
4. Ancho de banda bidireccional.
Comenzar
Manténgase al Día con las Noticias de NVIDIA
Regístrese para recibir las últimas noticias, actualizaciones y más información de NVIDIA.