Architectures de référence d'entreprise de NVIDIA

des architectures de référence

Créez des usines d'IA d'entreprise qui évoluent

Transformez votre Data Center en une usine d'IA à haute performance avec les architectures de référence NVIDIA.

Aperçu

Les éléments-clés pour faire fructifier votre initiative d'IA

Les architectures de référence NVIDIA (RA) permettent aux entreprises de concevoir, de déployer et de faire évoluer des usines d'IA à haute performance à l'aide d'une infrastructure validée et reproductible. Ces conceptions combinent des capacités de calcul certifiées, une mise en réseau est-ouest et nord-sud à haute vitesse, des outils d'observabilité et des logiciels d'infrastructure afin de garantir des performances évolutives, allant des clusters à quatre nœuds aux environnements d'entreprise.

Palantir s'associe à NVIDIA pour fournir une architecture de référence pour un système d'exploitation d'IA souveraine

L'architecture de référence Palantir Sovereign AI OS est basée sur les RA NVIDIA, testées et qualifiées pour exécuter la suite logicielle complète de Palantir sur l'infrastructure d'IA de NVIDIA.

Conception éprouvée et performances validées

Découvrez comment les RA NVIDIA, basées sur des déploiements réels et des configurations éprouvées, simplifient la planification et maximisent le retour sur investissement pour une infrastructure d'IA évolutive.

Architectures de référence NVIDIA

Votre guide pour la gamme complète

Découvrez une suite exhaustive d'instructions pour la configuration de clusters au sein de votre Data Center.

infrastructure

Les architectures de référence NVIDIA commencent par des configurations matérielles validées, notamment des modèles de nœuds de mise en réseau CPU-GPU, des diagrammes de câblage et des détails sur l'infrastructure.

Logique de réseau

Le Guide logique de configuration de la mise en réseau et d'architecture logique pour les RA fournit des instructions pour la gestion et l'approvisionnement des nœuds via la conception de VLAN et la simulation de réseau sur NVIDIA Air.

Logiciels

Notre pile de référence logicielle pour les RA décrit le logiciel permettant de gérer, de provisionner et de dimensionner les clusters d'infrastructure. Les versions actuelles se concentrent sur Kubernetes open source, avec NVIDIA AI Enterprise et NVIDIA Run:ai software.

Observabilité

Le guide d'observabilité pour les architectures de référence NVIDIA utilise des outils open source, tels que Prometheus et Grafana, pour surveiller les performances des GPU et de la mise en réseau sur l'ensemble du cluster. Les tableaux de bord fournissent des indicateurs en temps réel sur l'état du système et l'efficacité de la charge de travail.

Déploiement

Le guide de déploiement pour les architectures de référence NVIDIA est une collection des bonnes pratiques en matière d'infrastructure que notre équipe a apprises en mettant en place, en déployant, en testant et en validant les clusters internes sur lesquels nous avons bâti notre programme.

Stockage

Le programme de stockage certifié NVIDIA est un effort complémentaire de la part de partenaires de stockage sélectionnés qui ont créé des guides de stockage conçus pour s'intégrer aux RA. Découvrez-en davantage sur ce programme unique.

Cas d’utilisation

Des architectures pour chaque cas d'utilisation

Accélérez les charges de travail d'IA agentique, d'IA physique, de calcul à haute performance (HPC) et de simulation d'IA avec les architectures de référence NVIDIA éprouvées et les systèmes certifiés NVIDIA de partenaires mondiaux. Les principales configurations de clusters d'infrastructure pour le déploiement des usines d'IA d'entreprise sont décrites ci-dessous.

Usine d'IA NVIDIA RTX PRO

La configuration d'usine d'IA NVIDIA RTX PRO™ est conçue pour un large éventail de charges de travail d'entreprise, notamment l'IA générative et l'IA agentique, l'analyse de données, l'informatique visuelle et la simulation d'ingénierie. Les déploiements sont optimisés autour de points de conception à 16 et 32 nœuds, ce qui offre un équilibre idéal entre performances, évolutivité et efficacité de déploiement. Conçus pour l'accélération universelle des charges de travail dans les domaines de l'IA, de la simulation et de l'informatique visuelle d'entreprise, les serveurs NVIDIA RTX PRO sont optimisés pour les environnements PCIe, ce qui les rend idéaux pour les Data Centers dont l'espace, l'alimentation et le refroidissement sont limités. Spécialement conçus pour les charges de travail d'IA modernes, ils offrent des performances efficaces pour l'IA agentique et l'inférence de grands modèles de langage (LLM).

Usine d'IA NVIDIA HGX

La configuration d'usine d'IA à hautes performances NVIDIA HGX est spécialement conçue pour l'entraînement et l'inférence de l'IA multi-nœuds à grande échelle, en tirant parti des systèmes NVIDIA HGX. Disponible en points de conception à 32, 64 et 128 nœuds avec prise en charge par la mise en réseau de NVIDIA Spectrum-X™, l'architecture intègre une conception flexible et optimisée par rails afin d'assurer une intégration efficace sur diverses configurations de rack tout en offrant des performances à haut débit et à faible latence. Elle fournit des performances révolutionnaires aux utilisateurs d'IA qui exécutent les charges de travail les plus exigeantes, permet l'entraînement et l'affinage de modèles à grande échelle, et accélère considérablement l'inférence. Grâce à une précision de nouvelle génération et à des interconnexions ultra-rapides, la solution atteint un débit de jetons jusqu'à 15 fois supérieur.

Usine d'IA NVIDIA NVL72

La configuration d'usine d'IA NVIDIA NVL72 est conçue pour entraîner et déployer des modèles prenant en charge des trillions de paramètres afin d'offrir une puissance de calcul exascale dans un seul rack. Cette technologie est conçue pour un débit maximal de modèles, une inférence multi-utilisateurs et une inférence en temps réel à grande échelle pour mettre en œuvre la nouvelle génération d'innovations axées sur l'IA. Les points de conception de déploiement sont centrés sur des configurations à quatre et huit racks. Basée sur un réseau flexible et optimisé pour le rail, l'architecture s'adapte à diverses dispositions de rack et conceptions de système, tout en offrant des performances à bande passante élevée et à faible latence. La plateforme fournit des résultats exceptionnels pour une usine d'IA, avec une efficacité énergétique de pointe, et est alimentée par une configuration NVIDIA NVLink™ de 5e génération, des cœurs Tensor FP4 et des innovations thermiques avancées.

Avantages

La valeur stratégique des architectures de référence NVIDIA

Mettez en œuvre une infrastructure d'IA évolutive et performante avec des configurations éprouvées disponibles via notre réseau de partenaires.

Performances de pointe pour les charges de travail d'IA

Répondez aux exigences intensives de l'inférence, de l'affinage et de l'entraînement de l'IA avec des architectures qui garantissent une utilisation complète des GPU et une cohérence des performances sur les clusters multi-nœuds.

Évolutivité flexible, opérations simplifiées

Développez facilement votre infrastructure et garantissez un déploiement évolutif et rationalisé pouvant atteindre 128 nœuds. Créez la base de solutions complètes avec la conception validée d'usine d'IA d'entreprise de NVIDIA, qui tire parti de notre écosystème logiciel.

Réduisez la complexité et les coûts

Simplifiez les processus de déploiement et rationalisez vos modèles tout en réduisant la complexité et le coût total de possession (TCO), mais aussi les délais de rentabilisation.

Maintenance

Suivez des modèles de conception normalisés spécifiques pour assurer un fonctionnement cohérent d'une installation à l'autre, réduire les besoins d'assistance fréquents et raccourcir les délais de résolution des problèmes.

Partenaires

Partenaires pour la performance

Nous sommes fiers de collaborer avec des partenaires de premier plan qui mettent sur le marché des solutions d'usines d'IA d'entreprise. Les conceptions validées par ces partenaires ont été approuvées par notre commission d'examen des conceptions, offrant des conseils qui méritent notre approbation dans une ou plusieurs des catégories suivantes : infrastructure, Spectrum-X et architecture logique de mise en réseau.

Architecture de référence du système d'exploitation d'IA souveraine de Palantir avec NVIDIA

L'architecture de référence du système d'exploitation d'IA Palantir Sovereign est basée sur les architectures de référence (RA) NVIDIA, testées et qualifiées pour exécuter la suite logicielle complète de Palantir sur l'infrastructure d'IA de NVIDIA avec nos partenaires système à l'échelle mondiale. Cette architecture d'IA souveraine est essentielle pour les clients dont les workflows sont soumis à des contraintes de latence, à des exigences de souveraineté des données et à une importante dispersion géographique. L'architecture offre aux entreprises un contrôle total sur leurs données, leurs modèles d'IA et leurs applications.

Ressources

En savoir plus sur les RA NVIDIA

Architecture de référence d'usine d'IA NVIDIA RTX PRO

La configuration d'usine d'IA NVIDIA RTX PRO prend en charge une large gamme de charges de travail d'entreprise, notamment l'inférence d'IA agentique, l'IA physique et l'IA industrielle, l'informatique visuelle et le calcul haute performance pour l'analyse des données et la simulation. Ce document détaille les composants matériels qui sous-tendent cette architecture évolutive et modulaire.

Architecture de référence d'usine d'IA NVIDIA HGX

La configuration d'usine d'IA NVIDIA HGX est axée sur l'inférence d'IA hautes performances, l'entraînement des modèles et l'affinage. Ce document décrit les composants matériels d'une architecture évolutive et modulaire, notamment les directives de cluster et les topologies de structure réseau utilisées pour interconnecter le cluster.

Architecture de référence d'usine d'IA NVIDIA NVL72

L'usine d'IA NVIDIA NVL72 prend en charge les charges de travail d'IA d'entreprise les plus intensives, notamment l'entraînement de modèles de fondation à grande échelle, le réglage fin, le raisonnement en temps réel et les pipelines d'IA agentique complexes. Ce document décrit le bloc de construction à l'échelle du rack GB300 NVL72, notamment des directives sur la composition des nœuds, la conception du domaine NVLink et les interfaces réseau nécessaires pour la mise à l'échelle.

Aperçu de l'architecture de référence NVIDIA

Ce livre blanc présente les architectures de référence NVIDIA, qui fournissent des conseils éprouvés pour la conception et la création d'usines d'intelligence artificielle (IA) pour les déploiements de niveau entreprise allant de 32 à 1 024 GPU. Ces architectures contribuent à simplifier le déploiement de l'infrastructure d'IA, à réduire la complexité opérationnelle et à accélérer la rentabilisation.

Alimenter les usines d'IA grâce aux architectures de référence d'entreprise NVIDIA

Les architectures de référence NVIDIA Enterprise fournissent des conseils d'infrastructure de bout en bout pour les usines d'IA sur site, en intégrant les composants de calcul, de mise en réseau, de stockage, de logiciels et de système dans des plateformes prêtes pour la production.

Libérez un débit de jetons massif avec NVIDIA Run:ai

Une analyse comparative conjointe avec Nebius montre que les déploiements de GPU fractionnaires utilisant NVIDIA Run:ai sur les architectures de référence NVIDIA améliorent considérablement le débit et l'utilisation des charges de travail de grands modèles de langage (LLM) de production.

L'usine d'IA de NVIDIA IT stimule l'innovation d'entreprise à grande échelle

En tirant parti des architectures de référence NVIDIA, NVIDIA a créé une usine d'IA unifiée pour faire évoluer les workflows d'IA générative et d'IA agentique dans l'ensemble de l'entreprise, ce qui garantit la sécurité, les performances et la cohérence. La plateforme prend en charge des centaines d'agents d'IA qui accélèrent l'innovation, rationalisent l'ingénierie logicielle et matérielle et optimisent les opérations de la chaîne logistique, ce qui réduit les délais de planification de plus de 95 % et permet de réaliser des décennies de travaux d'ingénierie en seulement un an.

Étapes suivantes

Vous voulez vous lancer ?

Obtenez plus d’informations sur l'usine d'IA d'entreprise de NVIDIA.

Découvrez plus en détail les architectures de référence NVIDIA

Découvrez comment les architectures de référence NVIDIA fournissent des modèles évolutifs et prescriptifs pour le déploiement d'une infrastructure d'IA à haute performance.

FAQ sur l'architecture de référence NVIDIA

Les architectures de référence NVIDIA fournissent des conseils de conception de clusters clairs et consolidés aux partenaires système mondiaux de NVIDIA et aux clients d'entreprise qui créent des usines d'IA d'entreprise. Elles couvrent le calcul, la mise en réseau, le stockage et les logiciels d'infrastructure, intégrant les systèmes certifiés NVIDIA, le stockage certifié NVIDIA, NVIDIA Networking et le logiciel NVIDIA AI Enterprise dans des conceptions intégrées pour l'infrastructure d'IA de production.

Choisissez RTX PRO AI Factory pour une large IA d'entreprise, notamment l'IA agentique et physique, le calcul visuel, l'analyse, la simulation et l'inférence de modèles de grande à moyenne taille.

Choisissez HGX AI Factory pour l'entraînement multi-nœuds à haute performance, le réglage fin et l'inférence à grande échelle.

Choisissez NVL72 AI Factory pour les charges de travail les plus intensives, notamment l'entraînement de modèles à des mille milliards de paramètres, le raisonnement en temps réel et l'inférence à haut débit à grande échelle.

Commencez par le type de charge de travail, le nombre d'utilisateurs, la taille du modèle, l'objectif de performances, le volume de données et le plan de croissance. NVIDIA publie des points de conception pour chaque architecture, notamment les systèmes RTX PRO à 16 et 32 nœuds, les systèmes HGX à 32, 64 et 128 nœuds et les systèmes NVL72 à 2, 4 et 8 racks. Travaillez avec un partenaire de systèmes NVIDIA pour confirmer la conception et la nomenclature pour votre déploiement.

Le code suit un format CPU-GPU-adaptateur réseau-bande passante. Dans 2-8-5-200, le système dispose de 2 sockets CPU, 8 GPU, 5 adaptateurs réseau dont 1 pour le trafic Nord-Sud et 4 pour le trafic Est-Ouest, ainsi que d'une bande passante Est-Ouest moyenne de 200 GbE par GPU.

L'architecture de référence de NVIDIA fournit des conseils pour le calcul, la mise en réseau, le stockage, les logiciels d'infrastructure et le déploiement. Le NVIDIA Enterprise AI Factory Validated Design ajoute une pile logicielle complète, sélectionnée et versionnée, de logiciels NVIDIA et de ses partenaires qui prend en charge les charges de travail d'IA. Les équipes peuvent utiliser l'AR pour planifier l'infrastructure d'IA jusqu'à la couche Kubernetes, et la conception validée pour déployer et exploiter la pile logicielle sur cette infrastructure.

Cisco, Dell Technologies, HPE, Lenovo et Supermicro offrent des conceptions basées sur les RA de NVIDIA et approuvées par le NVIDIA Design Review Board. Vérifiez la documentation NVIDIA RA pour connaître les modèles de serveur actuels, les configurations GPU, les points d'échelle et le statut d'approbation avant de sélectionner un système.

Les systèmes certifiés NVIDIA valident le nœud : les serveurs testés pour répondre aux exigences de NVIDIA en matière de performances d'IA d'entreprise, de gérabilité, de sécurité et d'évolutivité.

Les architectures de référence NVIDIA définissent le cluster : comment les systèmes certifiés NVIDIA, la mise en réseau NVIDIA, le stockage et le logiciel NVIDIA AI Enterprise s'associent dans des configurations reproductibles pour les usines d'IA d'entreprise.

En bref : NVIDIA-Certified indique aux clients que le système est prêt pour l'IA ; les RA NVIDIA montrent aux partenaires et aux clients comment assembler ces systèmes en déploiements d'usines d'IA évolutifs.

Configuration de nœud 2-8-5-200*

Spécifications de la configuration de nœud 2-8-9-800*

Configuration de nœud 2-4-5-800*

Cisco est le leader technologique mondial qui révolutionne la façon dont les entreprises se connectent et se protègent à l'ère de l'IA. Depuis plus de 40 ans, Cisco connecte le monde en toute sécurité. Grâce à ses solutions et services de pointe basés sur l'IA, Cisco permet à ses clients, ses partenaires et ses communautés de libérer l'innovation, d'améliorer la productivité et de renforcer la résilience numérique. Avec un objectif au cœur de ses actions, Cisco reste engagé à créer un avenir plus connecté et inclusif pour tous.

Solutions approuvées par la commission d'examen des conceptions de NVIDIA :

Dell Technologies aide les entreprises et les personnes à bâtir leur avenir numérique et à transformer leur façon de travailler, de vivre et de jouer. La société fournit à ses clients le portefeuille de technologies et de services le plus large et le plus innovant du secteur à l'ère de l'IA.

Solutions approuvées par la commission d'examen des conceptions de NVIDIA :

HPE est un leader des technologies essentielles pour les entreprises, combinant la puissance de l'IA, du Cloud et de la mise en réseau pour aider les entreprises à en faire plus. En tant que pionniers des possibles, notre innovation et notre expertise font évoluer la manière dont les individus vivent et travaillent. Nous permettons à nos clients de tous les secteurs d'optimiser leurs performances opérationnelles, de transformer leurs données en prévision et de maximiser leur impact. Libérez vos ambitions les plus audacieuses avec HPE.

Solutions approuvées par la commission d'examen des conceptions de NVIDIA :

Lenovo est une puissance technologique mondiale de 69 milliards de dollars de chiffre d'affaires, elle est classée 196e du classement Fortune Global 500 et sert des millions de clients chaque jour sur 180 marchés. Axé sur une vision audacieuse visant à fournir une technologie plus intelligente pour tous, notre partenariat en cours avec NVIDIA combine les serveurs Lenovo avec des GPU accélérés. Lenovo Hybrid AI Advantage™ avec NVIDIA stimule la productivité et l'innovation avec un déploiement plus rapide de l'IA, grâce à la bibliothèque d'IA Lenovo et à un portefeuille complet d'infrastructure, d'appareils, de solutions et de services d'IA.

Solutions approuvées par la commission d'examen des conceptions de NVIDIA :

Supermicro est un leader mondial des solutions informatiques totales optimisées pour les applications. Fondée et basée à San Jose, en Californie, Supermicro s'engage à fournir une innovation de pointe pour les entreprises, le Cloud, l'IA et l'infrastructure IT télécoms 5G et Edge. Nous sommes un fournisseur de solutions informatiques complètes avec serveurs, IA, stockage, IoT, systèmes de commutation, logiciels et services d'assistance. L'expertise Supermicro en matière de cartes mère, d'alimentation et de conception de châssis facilite notre développement et notre production, permettant une innovation de nouvelle génération du Cloud à l'Edge pour nos clients du monde entier.

Solutions approuvées par la commission d'examen des conceptions de NVIDIA :