Die Inferenzplattform von NVIDIA bietet die Leistung, Effizienz und Reaktionsfähigkeit, die für die Bereitstellung von KI-Produkten und -Diensten der nächsten Generation entscheidend sind – in der Cloud, im Rechenzentrum, in der Netzwerkperipherie und in autonomen Maschinen.
NVIDIA Triton™ Inference Server ist eine Open-Source-Software für schnelle und skalierbare KI-Inferenz in der Produktion. Mit Triton können Teams trainierte KI-Modelle aus jedem Framework (TensorFlow, PyTorch, XgBoost, Python und anderen) auf jeder GPU- oder CPU-basierten Infrastruktur bereitstellen. Es maximiert die GPU- und CPU-Auslastung, liefert hohen Durchsatz bei geringer Latenz und lässt sich zwecks Orchestrierung, Metriken und Autoscaling in Kubernetes integrieren.