Bastidor de CPU NVIDIA Vera
Diseñado específicamente para la IA agéntica a escala de fábrica.
Descripción General
Infraestructura a Escala de Bastidor para Fábricas de IA
El bastidor de CPU NVIDIA Vera, que se basa en NVIDIA MGX™, ofrece una infraestructura de CPU densa y refrigerada por líquido para las fábricas de IA modernas. A medida que escalan los sistemas de aprendizaje por refuerzo y de IA agéntica, las CPU se encargan de la ejecución de código, el uso de herramientas, los entornos sandbox, las evaluaciones y los workflows de datos que impulsan resultados. El Bastidor de CPU NVIDIA Vera cuenta con hasta 256 CPU Vera interconectadas y proporciona una vía rápida para implementar una capacidad de CPU de alta densidad junto con los sistemas NVIDIA Vera Rubin NVL72, lo que completa las cargas de trabajo hasta un 80 % más rápido con una eficiencia dos veces mayor que la infraestructura de CPU tradicional y ayuda a las fábricas de IA a generar más tokens por dólar.
Avances
Sandboxes de CPU
Entornos para la IA Agéntica a Escala
El aprendizaje por refuerzo y la IA agéntica se ejecutan en bucles de retroalimentación continuos entre modelos y entornos de ejecución. Los modelos generan tokens, código y consultas, mientras que los sandboxes basados en CPU ejecutan acciones, evalúan resultados y devuelven datos para el siguiente paso. A escala, entre miles y millones de entornos se ejecutan en paralelo, a menudo asignados a núcleos de CPU dedicados. Un desempeño más rápido por núcleo acorta los ciclos de evaluación, reduce el tiempo de espera de los agentes y ayuda a las fábricas de IA a generar más tokens por dólar.
El Bastidor de CPU NVIDIA Vera está diseñado específicamente para escalar estos entornos en todas las fábricas de IA. Un solo bastidor refrigerado por líquido integra hasta 256 CPU Vera, lo que admite más de 22,500 entornos de CPU simultáneamente. Con una infraestructura densa e implementable a escala de bastidor, el Bastidor de CPU Vera ayuda a las fábricas de IA a agregar capacidad de CPU junto con los sistemas NVIDIA Vera Rubin NVL72, lo que mantiene la brevedad de los bucles de evaluación y una operación con rendimiento máximo de las fábricas de IA.
Desempeño
Desempeño de CPU Basada en Agentes Líder en la Industria
La IA agéntica se ve obstaculizada por las CPU tradicionales. En todo el bucle de razonamiento de un agente, la CPU comprime el contexto, consulta la memoria SQLite, compila código generado, ejecuta cadenas de herramientas de Python y analiza los resultados con regex. NVIDIA Vera acelera las cinco cargas de trabajo hasta en 1.8 veces en comparación con las CPU x86 líderes, lo que potencia el bucle interno agéntico para maximizar la producción de las fábricas de IA.
Desempeño relativo basado en datos medidos, sujeto a cambios. El desempeño de la CPU NVIDIA Vera se basó en la CPU x86 (AMD EPYC Turin) en una variedad de cargas de trabajo, como la compilación de código, los intérpretes, la creación de scripts, los motores en tiempo de ejecución, ETL, el análisis de datos y los gráficos.
Funciones
Explore los Avances a Escala de Bastidor
El Bastidor de CPU NVIDIA Vera, que se basa en NVIDIA MGX, lleva el desempeño de la IA agéntica de Vera a una escala de data centers en un sistema denso y refrigerado por líquido. Con hasta 256 CPU Vera, un ancho de banda de memoria LPDDR5X masivo, las DPU NVIDIA BlueField-4 y las redes NVIDIA Spectrum-X Ethernet, el Bastidor de CPU Vera brinda a las fábricas de IA una vía rápida para implementar una capacidad de CPU de alta densidad junto con los sistemas NVIDIA Vera Rubin NVL72. El resultado son entornos más simultáneos, ciclos de evaluación más cortos y más tokens por dólar.
Tecnologías
Dentro del Bastidor de CPU Vera
Especificaciones1
NVIDIA Vera
| CPU NVIDIA Vera | Bastidor de CPU NVIDIA Vera | |
|---|---|---|
| Configuración | 1 CPU NVIDIA Vera | 256 CPU NVIDIA Vera |
| Núcleos | Subprocesos | 88 núcleos NVIDIA Olympus personalizados 176 subprocesos |
22,528 núcleos NVIDIA Olympus personalizados (88 por CPU) | 45,056 subprocesos (176 por CPU) |
| Caché L2 (por núcleo) | 2 MB | 2 MB |
| Caché L3 Unificada | 164 MB | 42 GB (164 MB por CPU) |
| SIMD (por núcleo) | 6x 128bSVE2 FP8 |
6x 128bSVE2 FP8 |
| Capacidad de Memoria | Hasta 1.5 TB SOCAMM LPDDR5X |
Hasta 400 TB2 SOCAMM LPDDR5X |
| Ancho de banda de memoria pico | Hasta 1.2 TB/s | Hasta 300 TB/s agregados |
| Ancho de Banda de NVIDIA NVLINK™-C2C | 1.8 TB/s | 1,8 TB/s por CPU |
| PCIe CXL | 88 PCIe Gen 6 (solo CPU) 96 PCIe Gen 6 (Vera Rubin) bifuración x16, x8, x4, x2 CXL 3.1 |
Hasta 22.528 carriles PCIe Gen 6 en total; CXL 3.1 |
| NIC | BlueField-4 CX9 Cualquier NIC PCIe compatible |
64 PCIe gen Xx con compatibilidad con las DPU NVIDIA BlueField-4 |
| Computación Confidencial | Sí | Sí |
| Formato y Refrigeración | Servidor 1S y 2S con refrigeración por aire o líquida, de 250 W a 450 W de TDP configurable |
Bastidor MGX de 48 U con refrigeración líquida 100 % |
1. Información preliminar. Todos los valores están sujetos a cambios.
2. Configuración recomendada de 200 TB.
Socios
Conocer a Nuestros Socios
Empiece Ahora
Manténgase al Día con las Noticias de NVIDIA
Regístrese para recibir las últimas noticias, actualizaciones y más información de NVIDIA.