Bastidor de CPU NVIDIA Vera
CPU para la era de los agentes a escala de fábrica.
Descripción
Infraestructura a escala de bastidor para fábricas de IA
El bastidor de CPU NVIDIA Vera, basado en NVIDIA MGX™, ofrece una infraestructura de CPU densa y refrigerada por líquido para fábricas de IA modernas. A medida que los sistemas de aprendizaje de refuerzo y de IA agenética escalan, las CPU ejecutan entornos sandbox que ejecutan código, utilizan herramientas, evalúan resultados y analizan datos que impulsan resultados. El bastidor de CPU NVIDIA Vera cuenta con hasta 256 CPU Vera interconectadas. Además, ofrece una ruta rápida para implementar capacidad de CPU de alta densidad junto con sistemas NVIDIA Vera Rubin NVL72, lo que permite completar cargas de trabajo hasta un 80 % más rápido que con la infraestructura de CPU tradicional y ayudar a fábricas de IA a generar más tokens por dólar.
Avances
Sandboxes de CPU
Entornos para la IA de agentes a escala
El aprendizaje por refuerzo y la IA de agentes se ejecutan en bucles de retroalimentación continuos entre modelos y entornos de ejecución. Los modelos generan tokens, código y consultas, mientras que los sandboxes basados en CPU ejecutan acciones, evalúan los resultados y devuelven datos para el siguiente paso. A escala, se ejecutan en paralelo de miles a millones de entornos, a menudo asignados a núcleos de CPU exclusivos. Un rendimiento por núcleo más rápido acorta los ciclos de evaluación, reduce el tiempo de espera de los agentes y ayuda a las fábricas de IA a generar más tokens por dólar.
El bastidor de CPU NVIDIA Vera está diseñado específicamente para escalar estos entornos en todas las fábricas de IA. Un solo bastidor con refrigeración líquida integra hasta 256 CPU Vera y admite más de 22 500 entornos de CPU simultáneos. Con una infraestructura a escala de bastidor densa e implementable, el bastidor de CPU Vera ayuda a las fábricas de IA a añadir capacidad de CPU junto con los sistemas NVIDIA Vera Rubin NVL72, lo que mantiene los bucles de evaluación cortos y las fábricas de IA funcionando al máximo rendimiento.
Rendimiento
Rendimiento de CPU agéntica líder del sector
La IA agéntica se ve obstaculizada por las CPU tradicionales. En todo el bucle de razonamiento de un agente, la CPU comprime el contexto, consulta la memoria SQLite, compila el código generado, ejecuta cadenas de herramientas de Python y analiza los resultados con regex. NVIDIA Vera acelera las cinco cargas de trabajo hasta 1,8 veces en comparación con las principales CPU x86, potenciando el bucle interno de agentes para maximizar el rendimiento de la fábrica de IA.
Rendimiento relativo basado en datos medidos y sujeto a cambios. Rendimiento de la CPU NVIDIA Vera con LPDDR5X basado en la CPU x86 de última generación.
Características
Explore las innovaciones a escala de bastidor
El bastidor de CPU NVIDIA Vera, basado en NVIDIA MGX, lleva el rendimiento de IA de agentes de Vera a escala de centro de datos en un sistema denso y refrigerado por líquido. Con hasta 256 CPU Vera, un enorme ancho de banda de memoria LPDDR5X, DPU NVIDIA® BlueField®-4 y redes Ethernet NVIDIA Spectrum-X™, el bastidor de CPU Vera proporciona a las fábricas de IA una vía rápida para implementar capacidad de CPU de alta densidad junto con los sistemas NVIDIA Vera Rubin NVL72. Esto se traduce en más entornos concurrentes, ciclos de evaluación más cortos y más tokens por dólar.
Tecnologías
Dentro del bastidor de CPU Vera
Especificaciones1
NVIDIA Vera
| CPU NVIDIA Vera | Bastidor de CPU NVIDIA Vera | |
|---|---|---|
| Configuración | 1 CPU NVIDIA Vera | 256 CPU NVIDIA Vera |
| Núcleos | Subprocesos | 88 núcleos NVIDIA Olympus personalizados 176 subprocesos |
22 528 núcleos personalizados de NVIDIA Olympus (88 por CPU) | 45 056 subprocesos (176 por CPU) |
| Caché L2 (por núcleo) | 2 MB | 2 MB |
| Caché L3 unificada | 164 MB | 42 GB (164 MB por CPU) |
| SIMD (por núcleo) | 6x 128bSVE2 FP8 |
6x 128bSVE2 FP8 |
| Capacidad de memoria | Hasta 1,5 TB SOCAMM LPDDR5X |
Hasta 400 TB2 SOCAMM LPDDR5X |
| Ancho de banda de memoria máximo | Hasta 1,2 TB/s | Hasta 300 TB/s agregados |
| Ancho de banda de NVIDIA NVLINK™-C2C | 1,8 TB/s | 1,8 TB/s por CPU |
| PCIe CXL | 88 PCIe Gen 6 (solo CPU) 96 PCIe Gen 6 (Vera Rubin) x16, x8, x4, bifurcación x2 CXL 3.1 |
Hasta 22 528 carriles PCIe Gen 6 en total; CXL 3.1 |
| NIC | BlueField-4 CX9 Cualquier NIC PCIe compatible |
64 PCIe gen Xx con compatibilidad con las DPU NVIDIA BlueField-4 |
| Informática confidencial | Sí | Sí |
| Factor de forma y refrigeración | Servidores 1S y 2S Refrigeración por aire o líquido TDP configurable de 250 W a 450 W |
Bastidor MGX de 48U con el 100 % de refrigeración por líquido |
1. Información preliminar. Todos los valores son aproximados y están sujetos a cambios.
2. Configuración recomendada de 200 TB.
Partners
Conozca a nuestros partners
Primeros pasos
Manténgase al día sobre las noticias de NVIDIA
Suscríbase para obtener las últimas noticias, actualizaciones y mucho más de NVIDIA.