NVIDIA Vera CPU Rack
팩토리 규모의 에이전트 시대를 위한 CPU.
개요
AI 팩토리를 위한 랙 스케일 인프라
NVIDIA MGX™를 기반으로 설계된 NVIDIA Vera CPU 랙은 현대적인 AI 팩토리를 위해 고밀도의 액체 냉각 CPU 인프라를 제공합니다. 강화학습과 에이전틱 AI 시스템의 규모가 커질수록, CPU는 코드를 실행하고 도구를 사용하며 결과를 평가하고 데이터를 분석하는 샌드박스 환경을 구동하는 역할을 담당합니다. NVIDIA Vera CPU 랙은 최대 256개의 Vera CPU를 상호 연결해 구성할 수 있으며, NVIDIA Vera Rubin NVL72 시스템과 함께 고밀도 CPU 용량을 신속하게 구축할 수 있는 경로를 제공하여, 기존 CPU 인프라 대비 워크로드를 최대 80% 더 빠르게 처리하고 AI 팩토리가 달러당 더 많은 토큰을 생성할 수 있도록 지원합니다.
혁신
CPU 샌드박스
대규모 에이전틱 AI를 위한 환경
강화 학습 및 에이전틱 AI는 모델과 실행 환경 간의 지속적인 피드백 루프에서 실행됩니다. 모델은 토큰, 코드 및 쿼리를 생성하고, CPU 기반 샌드박스는 작업을 실행하고 결과를 평가하며 다음 단계를 위한 데이터를 반환합니다. 대규모의 경우 수천 개에서 수백만 개의 환경이 병렬로 실행되며, 종종 전용 CPU 코어에 매핑됩니다. 더 빠른 코어당 성능은 평가 주기를 단축하고, 에이전트 대기 시간을 단축하며, AI 팩토리가 달러당 더 많은 토큰을 생성할 수 있도록 지원합니다.
NVIDIA Vera CPU Rack은 AI 팩토리 전반에서 이러한 환경을 확장하기 위해 특별히 설계되었습니다. 단일 액체 냉각 랙은 최대 256개의 Vera CPU를 통합하여 22,500개 이상의 동시 CPU 환경을 지원합니다. 밀도 높고 배포 가능한 랙 규모 인프라를 갖춘 Vera CPU Rack은 AI 팩토리가 NVIDIA Vera Rubin NVL72 시스템과 함께 CPU 용량을 추가할 수 있도록 지원하며, 평가 루프를 짧게 유지하고 AI 팩토리가 최대 처리량으로 운영되도록 돕습니다.
성능
업계 최고의 에이전틱 CPU 성능
에이전틱 AI는 기존 CPU에 의해 병목 현상을 겪습니다. 에이전트의 추론 루프 전반에서 CPU는 컨텍스트를 압축하고, SQLite 메모리를 쿼리하며, 생성된 코드를 컴파일하며, Python 도구 체인을 실행하며, 정규식으로 출력을 구문 분석합니다. NVIDIA Vera는 5가지 워크로드 모두를 선도적인 x86 CPU 대비 최대 1.8배 가속화하며, 에이전트 내부 루프를 터보차징하여 AI 팩토리 결과를 극대화합니다.
상대적 성능 비교 수치는 측정된 데이터에 기반하며, 향후 변경될 수 있습니다. NVIDIA Vera CPU의 LPDDR5X 성능은 최신 세대 x86 CPU를 기준으로 산정되었습니다.
기능
랙 스케일 혁신을 살펴보기
NVIDIA MGX를 기반으로 구축된 NVIDIA Vera CPU Rack은 고밀도 액체 냉각 시스템에서 Vera의 에이전틱 AI 성능을 데이터 센터 규모로 제공합니다. 최대 256개의 Vera CPU, 대규모 LPDDR5X 메모리 대역폭, NVIDIA® BlueField®-4 DPU, NVIDIA Spectrum-X™ 이더넷 네트워킹을 통해 Vera CPU Rack은 AI 팩토리에서 NVIDIA Vera Rubin NVL72 시스템과 함께 고밀도 CPU 용량을 배포할 수 있는 빠른 경로를 제공합니다. 그 결과, 더 많은 동시 환경, 더 짧은 평가 주기, 달러당 더 많은 토큰을 생성합니다.
기술
Vera CPU 랙 내부
사양1
NVIDIA Vera
| NVIDIA Vera CPU | NVIDIA Vera CPU Rack | |
|---|---|---|
| 구성 | 1 NVIDIA Vera CPU | 256 NVIDIA Vera CPU |
| 코어 | 스레드 | 88개의 맞춤형 NVIDIA Olympus 코어 176개 스레드 |
22,528개의 맞춤형 NVIDIA Olympus 코어(CPU당 88) | 45,056개의 스레드(CPU당 176) |
| L2 캐시(코어당) | 2 MB | 2 MB |
| 통합 L3 캐시 | 164 MB | 42 GB (CPU당 164 MB) |
| SIMD (코어당) | 6x 128bSVE2 FP8 |
6x 128bSVE2 FP8 |
| 메모리 용량 | 최대 1.5 TB SOCAMM LPDDR5X |
최대 400 TB2 SOCAMM LPDDR5X |
| 최대 메모리 대역폭 | 최대 1.2TB/s | 최대 300TB/s 집계 |
| NVIDIA NVLINK™-C2C 대역폭 | 1.8 TB/s | CPU당 1.8 TB/s |
| PCIe CXL | 88 PCIe Gen 6 (CPU 전용) 96 PCIe Gen 6 (Vera Rubin) x16, x8, x4, x2 바이퍼케이션 CXL 3.1 |
최대 22,528개 레인 PCIe 6 세대 총; CXL 3.1 |
| NIC | BlueField-4 CX9 모든 호환 PCIe NIC |
NVIDIA BlueField-4 DPU를 지원하는 64x PCIe 세대 Xx |
| 컨피덴셜 컴퓨팅 | 예 | 예 |
| 폼 팩터 및 냉각 | 1S 및 2S 서버 공기 또는 수냉식 250 W~450 W의 구성 가능한 TDP |
48U MGX 랙 100% 액체 냉각형 |
1. 예비 정보. 모든 값은 최대 값이며 변경될 수 있습니다.
2. 200 TB 권장 구성.
파트너
파트너를 만나보세요
시작하기
NVIDIA 뉴스레터 구독하기
NVIDIA 뉴스레터를 구독하고 최신 뉴스와 다양한 업데이트를 받으세요.