Rack de CPU NVIDIA Vera
CPU pour l'ère des agents à l'échelle de l'usine.
Aperçu
Infrastructure à l'échelle du rack pour les usines d'IA
Basé sur NVIDIA MGX™, le rack CPU NVIDIA Vera offre une infrastructure de CPU dense et refroidie par liquide pour les usines d'IA modernes. À mesure que l'apprentissage par renforcement et les systèmes d'IA agentique se développent, les CPU gèrent les environnements sandbox qui exécutent du code, utilisent des outils, évaluent les résultats et analysent les données qui déterminent les résultats. Le rack de CPU Vera de NVIDIA comprend jusqu'à 256 CPU Vera interconnectés et offre un chemin rapide pour déployer une capacité de CPU de haute densité aux côtés des systèmes NVIDIA Vera Rubin NVL72, traitant les charges de travail jusqu'à 80 % plus rapidement que l'infrastructure CPU traditionnelle et aidant les usines d'IA à générer plus de tokens par dollar.
Innovations
Sandbox basées sur CPU
Environnements pour l'IA agentique à grande échelle
L'apprentissage par renforcement et l'IA agentique s'exécutent en boucles de rétroaction continues entre les modèles et les environnements d'exécution. Les modèles génèrent des jetons, du code et des requêtes, tandis que les sandbox basées sur CPU exécutent des actions, évaluent les résultats et renvoient des données pour l'étape suivante. À grande échelle, des milliers, voire des millions d'environnements s'exécutent en parallèle, souvent mappés à des cœurs de CPU dédiés. Des performances par cœur plus rapides raccourcissent les cycles d'évaluation, réduisent les temps d'attente des agents et aident les usines d'IA à générer plus de jetons par dollar.
Le rack de CPU Vera de NVIDIA est spécialement conçu pour faire évoluer ces environnements dans les usines d'IA. Un seul rack à refroidissement liquide intègre jusqu'à 256 CPU Vera, prenant ainsi simultanément en charge plus de 22 500 environnements CPU. Grâce à une infrastructure dense et déployable à l'échelle du rack, le rack de CPU Vera aide les usines d'IA à ajouter de la capacité CPU aux systèmes NVIDIA Vera Rubin NVL72, ce qui garantit des boucles d'évaluation courtes et le fonctionnement des usines d'IA à un débit de pointe.
Performances
Performances de CPU agentique de pointe
L'IA agentique est freinée par les CPU traditionnels. Tout au long de la boucle de raisonnement d'un agent, le CPU comprime le contexte, interroge la mémoire SQLite, compile le code généré, exécute des chaînes d'outils Python et analyse les résultats avec regex. NVIDIA Vera accélère les cinq charges de travail jusqu'à 1,8 fois par rapport aux principaux CPU x86, stimulant ainsi la boucle interne agentique pour maximiser la production des usines d'IA.
Performances relatives basées sur des données mesurées et susceptibles d'être modifiées. CPU NVIDIA Vera avec des performances LPDDR5X, évalué par rapport à un CPU x86 de dernière génération.
Fonctionnalités
Découvrez les avancées à l'échelle du rack
Basé sur NVIDIA MGX, le rack de CPU NVIDIA Vera offre les performances d'IA agentique de Vera à l'échelle des Data Centers dans un système dense et à refroidissement liquide. Avec jusqu'à 256 CPU Vera, une bande passante de mémoire LPDDR5X massive, des DPU NVIDIA® BlueField®-4 et une mise en réseau NVIDIA Spectrum-X™ Ethernet, le rack de CPU Vera offre aux usines d'IA un moyen rapide de déployer une capacité CPU à haute densité aux côtés des systèmes NVIDIA Vera Rubin NVL72. Il en résulte un plus grand nombre d'environnements simultanés, des cycles d'évaluation plus courts et plus de jetons par dollar.
Technologies
À l'intérieur du rack de CPU Vera
Spécifications1
NVIDIA Vera
| CPU NVIDIA Vera | Rack de CPU NVIDIA Vera | |
|---|---|---|
| Configuration | 1 CPU Vera NVIDIA | 256 CPU Vera NVIDIA |
| Cœurs | Threads | 88 cœurs NVIDIA Olympus personnalisés 176 threads |
22 528 cœurs NVIDIA Olympus personnalisés (88 par CPU) | 45 056 threads (176 par CPU) |
| Cache L2 (par cœur) | 2 Mo | 2 Mo |
| Cache L3 unifié | 164 Mo | 42 Go (164 Mo par CPU) |
| SIMD (par cœur) | 6 fois 128bSVE2 FP8 |
6 fois 128bSVE2 FP8 |
| Capacité de mémoire | Jusqu'à 1,5 To SOCAMM LPDDR5X |
Jusqu'à 400 To2 SOCAMM LPDDR5X |
| Bande passante mémoire maximale | Jusqu'à 1,2 To/s | Jusqu'à 300 To/s agrégé |
| Bande passante NVIDIA NVLINK™-C2C | 1,8 To/s | 1,8 To/s par CPU |
| PCIe CXL | 88 PCIe Gen 6 (CPU uniquement) 96 PCIe Gen 6 (Vera Rubin) x16, x8, x4, x2 bifurcation CXL 3.1 |
Jusqu'à 22 528 voies PCIe Gen 6 total ; CXL 3.1 |
| NIC | BlueField-4 CX9 N'importe quelle NIC PCIe compatible |
64x PCIe de génération Xx avec prise en charge des DPU BlueField-4 de NVIDIA |
| Calcul confidentiel | Oui | Oui |
| Configuration et refroidissement | Serveurs 1S et 2S à refroidissement par air ou liquide configurable TDP de 250 W à 450 W |
Rack MGX 48U 100 % à refroidissement liquide |
1. Informations préliminaires. Toutes les valeurs sont données à titre indicatif et peuvent être révisées.
2. Configuration recommandée de 200 To.
Partenaires
Rencontrez nos partenaires
Commencer
Suivez l’actualité de NVIDIA
Inscrivez-vous pour recevoir les dernières informations et annonces de NVIDIA.