NVIDIA DOCA Software-Plattform

Die NVIDIA DOCA-Plattform ist die einheitliche Software-Grundlage, die entwickelt wurde, um das volle Potenzial von NVIDIA BlueField DPUs und NVIDIA ConnectX SuperNICs für agentische KI-Infrastruktur zu erschließen. Es bietet Microservices, Bibliotheken, Treiber und Orchestrierungs-Frameworks für den Aufbau und den Betrieb beschleunigter agentischer KI-Fabriken.

Eine Datenverarbeitungseinheit (DPU) ist eine Klasse programmierbarer Prozessoren, die dafür entwickelt wurden, datenzentrierte Aufgaben – wie Netzwerk, Sicherheit und Datenspeicher – von der Haupt-CPU eines Servers zu entladen, zu beschleunigen und zu isolieren. NVIDIA DOCA ist das Software-Framework, das die vollen Funktionen von DPUs erschließt, ähnlich wie CUDA® die Programmierung von GPUs ermöglicht.

Ein SuperNIC ist eine spezialisierte Klasse von Netzwerkbeschleunigern, die speziell für die Hochgeschwindigkeits-Netzwerkanforderungen von KI-Workloads in agentischen KI-Fabriken entwickelt wurden. Im Gegensatz zu herkömmlichen NICs, die für allgemeines Computing entwickelt wurden, sind SuperNICs speziell darauf ausgelegt, Datenübertragungen zwischen Tausenden von GPUs zu beschleunigen und so Engpässe beim KI-Training und der Inferenz in großem Maßstab zu vermeiden.

DOCA ist eine vollständige Software-Plattform mit drei verschiedenen Ebenen. DOCA Microservices sind produktionsreife, containerisierte Infrastrukturdienste – wie DOCA Argus und DOCA SNAP – die aus NVIDIA NGC abgerufen und direkt ohne benutzerdefinierte Entwicklung bereitgestellt werden können. DOCA-Bibliotheken sind programmierbare APIs, die Entwicklern direkten Zugriff auf BlueField-Hardware-Funktionen – wie Paketverarbeitung, Überlastungssteuerung und GPU-Netzwerke – für die Entwicklung benutzerdefinierter, leistungsstarker Infrastrukturdienste bieten. DOCA-Treiber bieten die grundlegenden Netzwerk-, Sicherheits- und Datenspeicherschnittstellen, die die Plattform mit der BlueField- und ConnectX-Hardware verbinden.

DOCA Platform Framework (DPF) ist ein Kubernetes-natives Orchestrierungs-Framework, das BlueField DPUs als Kubernetes-Knoten bereitstellt, verwaltet und skaliert. Es automatisiert Firmware-Updates, das Lebenszyklusmanagement und die Bereitstellung von DOCA-Diensten in DPU-Flotten und ermöglicht es Plattformteams, Tausende von DPUs mit den gleichen Tools zu verwalten, die sie für den Rest ihrer Infrastruktur nutzen, ohne dass eine direkte Hardware-Programmierung erforderlich ist.

DOCA unterstützt zwei Bereitstellungspfade. Für vorgefertigte Dienste sind DOCA-Microservices als Container auf NVIDIA NGC verfügbar und können mit standardmäßigen Container-Orchestrierungstools direkt in Produktivumgebungen bereitgestellt werden. Für die benutzerdefinierte Entwicklung bietet das DOCA SDK die Bibliotheken, Treiber und APIs, die für die Entwicklung und Bereitstellung benutzerdefinierter Dienste auf BlueField und ConnectX erforderlich sind. DPF bietet die Kubernetes-native Orchestrierungsebene für die Bereitstellung, Verwaltung und Skalierung von DPU-Flotten in der gesamten Produktionsinfrastruktur.

DOCA bietet Unterstützung für mehrere Generationen sowohl für BlueField DPUs als auch für ConnectX SuperNICs und stellt sicher, dass heute entwickelte Anwendungen mit zusätzlichen Leistungsvorteilen auf zukünftigen Hardwaregenerationen ausgeführt werden können, ohne dass Codeänderungen erforderlich sind.