NVIDIA GB300 NVL72
Conçu pour l'ère du raisonnement de l'IA.
Disponible maintenant
Aperçu
Conçu pour des performances élevées de raisonnement d'IA
Le NVIDIA GB300 NVL72 dispose d'une architecture entièrement refroidie par liquide à l'échelle du rack qui intègre 72 GPU NVIDIA Blackwell Ultra et 36 CPU NVIDIA Grace™ basés sur Arm® dans une plateforme unique. Le système fournit des cœurs Tensor FLOPS FP4 1,5 fois plus denses et des performances d'attention 2 fois plus élevées par rapport aux GPU NVIDIA Blackwell. Il est spécialement conçu pour les tâches d'inférence et de raisonnement d'IA à l'échelle des tests. Les usines d'IA accélérées par GB300 NVL72, en exploitant NVIDIA Quantum-X800 InfiniBand ou Spectrum-X™ Ethernet, les ConnectX-8 SuperNIC™ et la gestion NVIDIA Mission Control, fournissent jusqu'à 50 fois plus de performances de sortie des usines d'IA par rapport aux plateformes basées sur NVIDIA Hopper.
Performances
Évolutivité sans précédent des usines d'IA
DeepSeek R1 ISL = 32K, OSL = 8K, GB300 NVL72 avec désagrégation FP4 Dynamo. H100 avec traitement par lots FP8 In-Flight. Projections de performance susceptibles d’être modifiées.
Bénéficiez de performances de raisonnement d'IA sans précédent grâce à la plateforme NVIDIA GB300 NVL72. Par rapport à Hopper, le GB300 NVL72 offre une réactivité des utilisateurs (TPS par utilisateur) multipliée par 10 et un débit (TPS par mégawatt) multiplié par 5. La combinaison de ces avancées technologiques permet de multiplier par 50 le rendement global des usines d'IA.
Fonctionnalités
Avancées technologiques
Inférence du raisonnement de l'IA
L'échelle des temps de test et le raisonnement de l'IA augmentent les calculs nécessaires pour atteindre une qualité de service et un débit maximal. Les cœurs Tensor de NVIDIA Blackwell Ultra sont boostés avec une accélération deux fois plus élevée en matière de couche d'attention et 1,5 fois plus d'opérations de calcul d'IA en virgule flottante par seconde (FLOPS) que les GPU NVIDIA Blackwell.
288 Go de HBM3e
Une capacité mémoire plus importante permet un dimensionnement de lots plus important et des performances de débit maximales. Les GPU NVIDIA Blackwell Ultra offrent une mémoire HBM3e 1,5 fois plus importante en combinaison avec des calculs d'IA supplémentaires, ce qui stimule le débit de raisonnement de l'IA sur les plus grandes longueurs de contexte.
Architecture NVIDIA Blackwell
L'architecture NVIDIA Blackwell offre des avancées révolutionnaires en matière de calcul accéléré, qui donnent naissance à une nouvelle ère de performances, d'efficacité et d'évolutivité inégalées.
NVIDIA ConnectX-8 SuperNIC
Le module d'ES (entrée/sortie) de la carte NVIDIA ConnectX-8 SuperNIC permet d'héberger deux appareils ConnectX-8 à même de fournir une connectivité réseau s'élevant à 800 gigabits par seconde (Gbit/s) pour chaque GPU du système NVIDIA GB300 NVL72. Cela offre les meilleures capacités d'accès direct à la mémoire distante (RDMA) du marché grâce aux plateformes de mise en réseau NVIDIA Quantum-X800 InfiniBand ou Spectrum-X Ethernet, ce qui permet de bénéficier d'une efficacité maximale avec les charges de travail d'IA.
CPU NVIDIA Grace
Le CPU NVIDIA Grace est un processeur révolutionnaire conçu pour les charges de travail de Data Center modernes. Il offre des performances et une bande passante mémoire exceptionnelles avec une efficacité énergétique deux fois plus élevée que les principaux processeurs de serveur d'aujourd'hui.
NVIDIA NVLink de cinquième génération
L'exploitation de tout le potentiel du calcul accéléré nécessite une communication fluide entre chaque GPU. La cinquième génération de NVIDIA NVLink™ offre une interconnexion évolutive qui libère des performances accélérées pour les modèles de raisonnement de l'IA.
Station NVIDIA DGX
Développez et exécutez une IA de pointe localement avec NVIDIA DGX Station™, alimentée par la puce de bureau NVIDIA GB300 Grace Blackwell Ultra. Accélérez les charges de travail d'entraînement et d'inférence à grande échelle et mettez-les facilement à l'échelle du bureau au Data Center.
Spécifications
NVIDIA GB300 NVL72¹
| Configuration | 72 GPU NVIDIA Blackwell Ultra, 36 CPU NVIDIA Grace |
| Bande passante NVLink | 130 To/s |
| Mémoire rapide | Jusqu'à 40 To |
| Mémoire GPU | Bande passante | Jusqu'à 21 To | Jusqu'à 576 To/s |
| Mémoire CPU | Bande passante | Jusqu'à 18 To SOCAMM avec LPDDR5X | Jusqu'à 14,3 To/s |
| Nombre de cœurs de CPU | Cœurs Arm Neoverse V2 2 592 cœurs |
| Cœurs Tensor FP4 | 1 400 | 1 100 PFLOPS |
| Cœur Tensor FP8/FP6 | 720 PFLOPS |
| Cœur Tensor INT8 | 23 PFLOPS |
| Cœur Tensor FP16/BF16 | 360 PFLOPS |
| Cœur Tensor TF32 | 180 PFLOPS |
| FP32 | 6 PFLOPS |
| Cœur Tensor FP64 / FP64 | 100 TFLOPS |
|
1. Toutes les spécifications de cœur Tensor sont dispersées, sauf indication contraire. |
|
Ressources
En savoir plus sur Grace Blackwell
-
Articles de blog
-
Sessions
Commencer
S'informer
Contactez le service commercial pour obtenir plus d’informations sur le NVIDIA GB300 NVL72.
Suivez l'actualité de NVIDIA
Inscrivez-vous pour recevoir les dernières informations et annonces de NVIDIA.