Rack NVIDIA Vera CPU
Criado especificamente para IA baseada em agentes em escala de fábrica.
Visão geral
Infraestrutura em escala de rack para fábricas de IA
Criado no NVIDIA MGX™, o Rack NVIDIA Vera CPU oferece infraestrutura de CPU densa e com resfriamento líquido para fábricas de IA modernas. À medida que os sistemas de aprendizagem por reforço e IA baseada em agentes escalam, as CPUs realizam a execução de código, o uso de ferramentas, os ambientes de sandbox, as avaliações e os workflows de dados que impulsionam os resultados. O Rack NVIDIA Vera CPU conta com até 256 CPUs Vera interconectadas e fornece um caminho rápido para implantar capacidade de CPU de alta densidade juntamente com sistemas NVIDIA Vera Rubin NVL72, concluindo cargas de trabalho até 80% mais rápido com o dobro da eficiência da infraestrutura de CPU tradicional e ajudando as fábricas de IA a gerar mais tokens por dólar.
Avanços
Sandboxes de CPU
Ambientes para IA Baseada em Agentes em Escala
A aprendizagem por reforço e a IA baseada em agentes são executadas em loops de feedback contínuos entre modelos e ambientes de execução. Os modelos geram tokens, código e consultas, enquanto os sandboxes baseados em CPU executam ações, avaliam resultados e retornam dados para a próxima etapa. Em escala, milhares a milhões de ambientes são executados em paralelo, geralmente mapeados para núcleos de CPU dedicados. O desempenho mais rápido por núcleo encurta os ciclos de avaliação, reduz o tempo de espera de agentes e ajuda as fábricas de IA a gerar mais tokens por dólar.
O Rack NVIDIA Vera CPU foi criado especificamente para escalar esses ambientes em fábricas de IA. Um único rack com resfriamento líquido integra até 256 CPUs Vera, suportando mais de 22.500 ambientes de CPU simultâneos. Com infraestrutura densa e implantável em escala de rack, o Rack Vera CPU ajuda as fábricas de IA a adicionar capacidade de CPU juntamente com os sistemas NVIDIA Vera Rubin NVL72, mantendo os loops de avaliação curtos e as fábricas de IA operando com taxa de processamento de pico.
Desempenho
Desempenho de CPU baseada em agentes líder do setor
A IA baseada em agentes é congestionada por CPUs tradicionais. Ao longo do loop de raciocínio de um agente, a CPU comprime o contexto, consulta a memória SQLite, compila o código gerado, executa cadeias de ferramentas Python e analisa os resultados com regex. O NVIDIA Vera acelera todas as cinco cargas de trabalho em até 1,8x em relação às principais CPUs x86, acelerando o loop interno baseado em agentes para maximizar a produção da fábrica de IA.
Desempenho relativo com base em dados medidos, sujeito a alterações. Desempenho da CPU NVIDIA Vera baseado em CPU x86 (AMD EPYC Turin) em uma variedade de cargas de trabalho, incluindo compilação de código, intérpretes, scripts, mecanismos de execução, ETL, análise de dados e gráficos.
Recursos
Explore os avanços em escala de rack
Criado no NVIDIA MGX, o Rack NVIDIA Vera CPU traz o desempenho de IA baseada em agentes da Vera para a escala de data center em um sistema denso e com resfriamento líquido. Com até 256 CPUs Vera, largura de banda de memória LPDDR5X enorme, DPUs NVIDIA BlueField-4 e redes NVIDIA Spectrum-X Ethernet, o Rack Vera CPU oferece às fábricas de IA um caminho rápido para implantar capacidade de CPU de alta densidade juntamente com os sistemas NVIDIA Vera Rubin NVL72. O resultado são mais ambientes simultâneos, ciclos de avaliação mais curtos e mais tokens por dólar.
Tecnologias
Dentro do Rack Vera CPU
Especificações1
NVIDIA Vera
| CPU NVIDIA Vera | Rack NVIDIA Vera CPU | |
|---|---|---|
| Configuração | 1 CPU NVIDIA Vera | 256 CPUs NVIDIA Vera |
| Núcleos | Threads | 88 núcleos NVIDIA Olympus personalizados 176 threads com |
22.528 núcleos NVIDIA Olympus personalizados (88 por CPU) | 45.056 threads (176 por CPU) |
| Cache L2 (por núcleo) | 2 MB | 2 MB |
| Cache L3 Unificado | 164 MB | 42 GB (164 MB por CPU) |
| SIMD (por núcleo) | 6x 128bSVE2 FP8 |
6x 128bSVE2 FP8 |
| Capacidade de Memória | Até 1,5 TB SOCAMM LPDDR5X |
Até 400 TB2 SOCAMM LPDDR5X |
| Largura de banda de memória máxima | Até 1,2 TB/s | Até 300 TB/s agregado |
| Largura de banda do NVIDIA NVLINK™-C2C | 1,8 TB/s | 1,8 TB/s por CPU |
| PCIe CXL | 88 PCIe Gen 6 (apenas CPU) 96 PCIe Gen 6 (Vera Rubin) x16, x8, x4, x2 bifurcação CXL 3.1 |
Até 22.528 pistas PCIe Gen 6 no total; CXL 3.1 |
| NIC | BlueField-4 CX9 Qualquer NIC PCIe compatível |
64x PCIe gen Xx com suporte para DPUs NVIDIA BlueField-4 |
| Computação Confidencial | Sim | Sim |
| Formato e Resfriamento | Servidores 1S e 2S com resfriamento por ar ou líquido 250 W a 450 W TDP configurável |
Rack MGX de 48U com 100% de resfriamento líquido |
1. Informações preliminares. Todos os valores estão sujeitos a alterações.
2. 200 TB de configuração recomendada.
Parceiros
Conheça Nossos Parceiros
Comece Agora
Mantenha-se em Dia com as Notícias da NVIDIA
Inscreva-se para receber as últimas notícias, atualizações e novidades da NVIDIA.