Referenzarchitekturen
Bauen Sie skalierbare Unternehmens-KI-Fabriken auf
Verwandeln Sie Ihr Rechenzentrum in eine leistungsstarke KI-Fabrik mit NVIDIA-Referenzarchitekturen.
Überblick
Die Bausteine für KI-Erfolg
"NVIDIA-Referenzarchitekturen (RAs) ermöglichen es Unternehmen, leistungsstarke KI-Fabriken mit validierter, wiederholbarer Infrastruktur zu entwerfen, bereitzustellen und zu skalieren. Diese Designs kombinieren zertifizierte Rechenleistung, Hochgeschwindigkeits-Ost-West- und Nord-Süd-Netzwerke, Beobachtbarkeitstools und Infrastruktursoftware, um skalierbare Leistung zu gewährleisten, vom Cluster mit vier Knoten bis hin zu Umgebungen im Unternehmensmaßstab.
NVIDIA Referenzarchitekturen
Ihr Leitfaden für die gesamte Produktfamilie
Ab sofort sind umfassende Anleitungen für das Einrichten von Clustern im Rechenzentrum verfügbar.
Anwendungsfälle
Für sämtliche Anwendungsfälle konzipiert
Beschleunigen Sie agentische KI, physische KI, High-Performance-Computing (HPC) und KI-Simulations-Workloads mit bewährten NVIDIA-Referenzarchitekturen und NVIDIA-zertifizierten Systemen von globalen Partnern. Die primären Infrastruktur-Cluster-Konfigurationen für die Bereitstellung von Unternehmens-KI-Fabriken sind unten beschrieben.
-
NVIDIA RTX PRO AI Factory
-
NVIDIA HGX AI Factory
-
NVIDIA NVL72 AI Factory
NVIDIA RTX PRO AI Factory
Die NVIDIA RTX PRO™ AI Factory-Konfiguration ist für ein breites Spektrum von Unternehmens-Workloads konzipiert, einschließlich generativer und agentischer KI, Datenanalyse, Visual Computing und Engineering-Simulation. Bereitstellungen sind für 16- und 32-Knoten-Designpunkte optimiert und bieten eine ideale Balance zwischen Leistung, Skalierbarkeit und Bereitstellungseffizienz. NVIDIA RTX PRO-Server sind für universelle Workload-Beschleunigung in den Bereichen Unternehmens-KI, Simulation und Visual Computing entwickelt und für PCIe-Umgebungen optimiert, was sie ideal für Rechenzentren mit Platz-, Energie- und Kühlungsbeschränkungen macht. Sie wurden speziell für moderne KI-Workloads entwickelt und bieten effiziente Leistung für agentische KI und Inferenz von große Sprachmodelle (LLM).
NVIDIA HGX AI Factory
Die leistungsstarke NVIDIA HGX™ AI Factory-Konfiguration wurde speziell für KI-Training und Inferenz mit mehreren Knoten in großem Maßstab entwickelt und nutzt NVIDIA HGX-Systeme. Die Architektur ist in 32-, 64- und 128-Knoten-Designpunkten verfügbar und von NVIDIA Spectrum-X™-Netzwerken unterstützt. Sie verfügt über ein flexibles, schienenoptimiertes Design, das eine effiziente Integration in verschiedene Rack-Layouts ermöglicht und gleichzeitig eine Leistung mit hohem Durchsatz und geringer Latenz bietet. Es bietet bahnbrechende Leistung für KI-Power-User, die die anspruchsvollsten Workloads ausführen, ermöglicht umfangreiches Modelltraining und Fine-Tuning und beschleunigt die Inferenz drastisch. Mit Präzision der nächsten Generation und ultraschnellen Verbindungen erreicht die Lösung einen bis zu 15-mal höheren Token-Durchsatz.
NVIDIA NVL72 AI Factory
Die NVIDIA NVL72 AI Factory-Konfiguration ist für das Trainieren und Bereitstellen von Modellen mit Billionen Parametern konzipiert und bietet Exascale-Rechenleistung in einem einzigen Rack. Sie wurde für massiven Modelldurchsatz, Mehrbenutzer-Inferenz und Echtzeit-Inferenz in großem Maßstab entwickelt und ermöglicht die nächste Generation KI-gestützter Innovation. Die Designpunkte der Bereitstellung konzentrieren sich auf Konfigurationen mit vier und acht Racks. Die Architektur basiert auf einem flexiblen, Rail-optimierten Netzwerk und passt sich verschiedenen Rack-Layouts und Systemdesigns an, während sie gleichzeitig Leistung mit hoher Bandbreite und geringer Latenz bietet. Die Plattform bietet außergewöhnliche KI-Fabrikleistung mit branchenführender Energieeffizienz und wird von NVIDIA NVLink™ der fünften Generation, FP4 Tensor TensorCores und fortschrittlichen Kühlinnovationen angetrieben.
Vorteile
Der strategische Wert von NVIDIA-Referenzarchitekturen
Erschaffen Sie eine skalierbare, leistungsstarke KI-Infrastruktur mit bewährten, partnerfähigen Konfigurationen.
Spitzenleistung für KI-Workloads
Erfüllen Sie die intensiven Anforderungen von KI-Inferenz, Fine-Tuning und Training mit Architekturen, die die volle GPU-Auslastung und Leistungskonsistenz über Cluster mit mehreren Knoten hinweg gewährleisten.
Flexible Skalierung, vereinfachte Operationen
Verringerung von Komplexität und TCO
Vereinfachen Sie Bereitstellungsprozesse und effiziente Designs, reduzieren Sie die Komplexität und die Gesamtbetriebskosten (TCO) und verkürzen Sie die Zeit bis zur Wertschöpfung.
Supportfähigkeit
Folgen Sie spezifischen, standardisierten Designmustern, um einen konsistenten Betrieb von einer Installation zur nächsten zu erreichen, die Notwendigkeit häufiger Support zu reduzieren und schnellere Behebungszeiten zu ermöglichen.
Partner
Partner für Performance
Wir sind stolz darauf, mit führenden Partnern zusammenzuarbeiten, die Unternehmens-KI-Fabriklösungen auf den Markt bringen. Empfohlene Designs dieser Partner haben unser Design Review Board bestanden und bieten Beratung, die unsere Unterstützung in einer oder mehreren der folgenden Kategorien verdient: Infrastruktur, Spectrum-X und logische Netzwerkarchitektur.
Sovereign AI OS Referenzarchitektur von Palantir und NVIDIA
Die Referenzarchitektur des Palantir Sovereign AI-Betriebssystems basiert auf NVIDIA RAs, die getestet und für den Betrieb der vollständigen Palantir-Software-Suite "auf der NVIDIA KI-Infrastruktur" mit unseren globalen Systempartnern qualifiziert wurden. Diese souveräne KI-Architektur ist für Kunden mit latenzsensiblen Workflows, Anforderungen an die Datensouveränität und hoher geografischer Verteilung wichtig. Die Architektur bietet Unternehmen die vollständige Kontrolle über ihre Daten, KI-Modelle und Anwendungen.
Ressourcen
Erfahren Sie mehr über NVIDIA RAs
Die KI-Fabrik von NVIDIA IT treibt Innovationen in Unternehmen in großem Maßstab voran
NVIDIA nutzt NVIDIA-Referenzarchitekturen und hat eine einheitliche KI-Fabrik entwickelt, um generative KI und agentische Workflows unternehmensweit zu skalieren und so Sicherheit, Leistung und Konsistenz zu gewährleisten. Die Plattform unterstützt Hunderte von KI-Agenten, die Innovationen beschleunigen sowie das Software- und Hardware-Engineering und den Lieferkettenbetrieb optimieren. Dadurch werden die Planungszeiten um über 95 % reduziert und bewältigt in nur einem Jahr jahrzehntelange Engineering-Arbeit erreicht.
Nächste Schritte
NVIDIA-Referenzarchitektur-FAQs
NVIDIA-Referenzarchitekturen bieten klare, konsolidierte Cluster-Design-Anleitungen für globale NVIDIA-Systempartner und Unternehmenskunden, die Unternehmens-KI-Fabriken aufbauen. Sie umfassen Rechen-, Netzwerk-, Datenspeicher- und Infrastruktursoftware und bringen NVIDIA-zertifizierte Systeme, NVIDIA-zertifizierten Datenspeicher, NVIDIA Networking und NVIDIA AI Enterprise-Software in integrierte Designs für die Produktions-KI-Infrastruktur ein.
Wählen Sie die RTX PRO AI Factory für breite Unternehmens-KI, einschließlich agentischer und physischer KI, visuelles Computing, Analyse, Simulation und Inferenz für große bis mittlere Modelle. Wählen Sie die HGX AI Factory für leistungsstarkes Multi-Knoten-Training, Fine-Tuning und Inferenz in großem Maßstab. Wählen Sie die NVL72 AI Factory für die intensivsten Workloads, einschließlich Modelltraining mit Billionen Parametern, Echtzeit-Reasoning und Inferenz mit hohem Durchsatz im großen Maßstab.
Beginnen Sie mit dem Workload-Typ, der Anzahl der Benutzer, der Modellgröße, dem Leistungsziel, dem Datenvolumen und dem Wachstumsplan. NVIDIA veröffentlicht Designpunkte für jede Architektur, einschließlich RTX PRO-Systemen mit 16 und 32 Knoten, HGX-Systemen mit 32, 64 und 128 Knoten sowie 2-, 4- und 8-Rack-NVL72-Systemen. Arbeiten Sie mit einem NVIDIA-Systempartner zusammen, um das Design und die Stückliste für Ihre Bereitstellung zu bestätigen.
Der Code folgt einem CPU-GPU-Netzwerkadapter-Bandbreitenformat. In 2-8-5-200 verfügt das System über 2 CPU-Sockel, 8 GPUs, 5 Netzwerkadapter (davon 1 für Nord-Süd-Verkehr und 4 für Ost-West-Verkehr) sowie eine durchschnittliche 200 GbE Ost-West-Bandbreite pro GPU.
Die Referenzarchitektur von NVIDIA bietet Anleitungen für Rechenleistung, Netzwerke, Datenspeicher, Infrastruktursoftware und Bereitstellung. NVIDIA Enterprise AI Factory Validated Design fügt einen kuratierten und versionierten Vollstack von NVIDIA- und Partnersoftware hinzu, der NVIDIA Enterprise AI-Workloads unterstützt. Teams können die RA nutzen, um KI-Infrastruktur über die Kubernetes-Ebene hinweg zu planen und das validierte Design zu nutzen, um den Software-Stack auf dieser Infrastruktur bereitzustellen und zu betreiben.
Cisco, Dell Technologies, HPE, Lenovo und Supermicro bieten Designs an, die auf NVIDIA RAs basieren und vom NVIDIA Design Review Board gebilligt werden. Überprüfen Sie die NVIDIA RA-Dokumentation auf die aktuellen Servermodelle, GPU-Konfigurationen, Skalierungspunkte und den Empfehlungsstatus, bevor Sie sich für ein System entscheiden.
NVIDIA-zertifizierte Systeme validieren den Knoten: Server, die getestet wurden, um die NVIDIA-Anforderungen für Unternehmens-KI-Leistung, Verwaltbarkeit, Sicherheit und Skalierbarkeit zu erfüllen. NVIDIA-Referenzarchitekturen definieren den Cluster:
Wie NVIDIA-zertifizierte Systeme, NVIDIA-Netzwerke, Datenspeicher und NVIDIA AI Enterprise-Software in wiederholbaren Konfigurationen für Unternehmens-KI-Fabriken zusammenkommen. Kurz gesagt: NVIDIA-zertifiziert teilt Kunden mit, dass ein System für KI bereit ist; NVIDIA RAs zeigen Partnern und Kunden, wie diese Systeme zu skalierbaren KI-Fabrik-Bereitstellungen zusammengebaut werden können.
Cisco ist der weltweit führende Technologieanbieter, der die Art und Weise revolutioniert, wie Unternehmen im KI-Zeitalter sich vernetzen und schützen. Seit mehr als 40 Jahren verbindet Cisco die Welt auf sichere Weise. Mit seinen branchenführenden KI-gestützten Lösungen und Diensten ermöglicht Cisco seinen Kunden, Partnern und Gemeinschaften, Innovationen zu erschließen, die Produktivität zu steigern und die digitale Resilienz zu stärken. Cisco verfolgt einen Zweck und verpflichtet sich weiterhin, eine stärker vernetzte und inklusive Zukunft für alle zu schaffen.
NVIDIA Design Review Board-empfohlene Lösungen:
- Cisco Enterprise-Referenzarchitektur für NVIDIA HGX B300: Cisco N9000 | Cisco Nexus Hyperfabric
- Cisco Enterprise-Referenzarchitektur für NVIDIA HGX H200: Cisco N9000 | Cisco Nexus Hyperfabric
- Cisco AI POD-Infrastruktur für die NVIDIA 2-8-9-400 Enterprise-Referenzarchitektur
- Cisco AI POD-Infrastruktur für die NVIDIA 2-8-5-200 Enterprise-Referenzarchitektur
Dell Technologies hilft Organisationen und Einzelpersonen dabei, ihre digitale Zukunft aufzubauen und die Art und Weise zu verändern, wie sie arbeiten, leben und spielen. Das Unternehmen bietet Kunden das branchenweit breiteste und innovativste Technologie- und Dienstleistungsportfolio für die Ära der KI.
NVIDIA Design Review Board-empfohlene Lösungen:
- Dell AI Factory mit NVIDIA: NVIDIA RTX PRO-Server und H200 NVL
- Dell AI Factory mit NVIDIA für Behörden: NVIDIA RTX PRO-Server
- Dell AI Factory mit NVIDIA: HGX H200
HPE ist ein führendes Unternehmen im Bereich wichtiger Unternehmenstechnologien, das die Leistungsfähigkeit von KI, Cloud und Netzwerken zusammenbringt, um Unternehmen dabei zu unterstützen, mehr zu erreichen. Als Pioniere der Möglichkeiten verbessern unsere Innovationen und Expertise die Art und Weise wie Menschen leben und arbeiten. Wir ermöglichen unseren Kunden aus verschiedenen Branchen, ihre betriebliche Leistung zu optimieren, Daten in Voraussicht zu verwandeln und ihre Wirkung zu maximieren. Erfüllen Sie Ihre kühnsten Ambitionen mit HPE.
NVIDIA Design Review Board-empfohlene Lösungen:
- HPE KI-Fabrik mit NVIDIA: NVIDIA RTX PRO Servers
- HPE KI-Fabrik mit NVIDIA: NVIDIA HGX B300
Lenovo ist ein globales Technologieunternehmen mit einem Umsatz von 69 Milliarden US-Dollar, das auf Platz 196 der Fortune Global 500 steht und jeden Tag Millionen von Kunden in 180 Märkten bedient. Unsere laufende Partnerschaft mit NVIDIA konzentriert sich auf die Vision, intelligentere Technologie für alle bereitzustellen, und kombiniert Lenovo-Server mit beschleunigten GPUs. Der Lenovo Hybrid AI Advantage™ mit NVIDIA steigert die Produktivität und Innovation durch eine schnellere KI-Bereitstellung, die von der Lenovo KI-Bibliothek und einem Full-Stack-Portfolio von KI-Infrastruktur, Geräten, Lösungen und Diensten unterstützt wird.
NVIDIA Design Review Board-empfohlene Lösungen:
Supermicro ist ein weltweit führendes Unternehmen für anwendungsoptimierte IT-Gesamtlösungen. Supermicro wurde in San Jose, Kalifornien, gegründet und hat sich verpflichtet, erstklassige Innovationen für Unternehmen, Cloud, KI und 5G-Telekommunikations-/Edge-IT-Infrastruktur bereitzustellen. Wir sind ein Anbieter von IT-Gesamtlösungen mit Server-, KI-, Datenspeicher-, IoT-Systemen, Software und Supportdiensten. Die Expertise von Supermicro in den Bereichen Motherboard, Stromversorgung und Gehäusedesign fördert unsere Entwicklung und Produktion – somit können wir Innovationen der nächsten Generation für unsere globalen Kunden vorantreiben, von der Cloud bis zum Edge.
NVIDIA Design Review Board-empfohlene Lösungen:
- KI-Fabrik-Lösungen mit NVIDIA RTX PRO-Servern: Datenblatt | Referenzarchitektur
- KI-Fabriklösungen mit NVIDIA HGX B300: Single und Dual Plane: Datenblatt | Referenzarchitektur
- KI-Fabriklösungen mit NVIDIA HGX B200: Datenblatt | Referenzarchitektur