NVIDIA Triton Inference Server

PyTriton bietet eine einfache Schnittstelle, mit der Python-Entwickler Triton für beliebige Zwecke einsetzen können – für Modelle, einfache Verarbeitungsfunktionen oder ganze Inferenzpipelines. Diese native Unterstützung für Triton in Python ermöglicht schnelles Prototyping und Testen von Modellen für maschinelles Lernen mit Leistung und Effizienz. Triton wird mit einer einzigen Codezeile aufgerufen und bietet Vorteile wie dynamisches Batching, simultane Modellausführung und Unterstützung für GPU und CPU. Dadurch entfällt die Notwendigkeit, Modell-Repositorys einzurichten und Modellformate zu konvertieren. Vorhandener Inferenz-Pipeline-Code kann ohne Änderungen verwendet werden.

Triton Model Analyzer ist ein Tool, das Modellbereitstellungskonfigurationen in Triton Inference Server automatisch auswertet, z. B. Batchgröße, Präzision und Instanzen für simultane Ausführung auf dem Zielprozessor. Es hilft bei der Auswahl der optimalen Konfiguration, um Einschränkungen hinsichtlich Anwendungsqualität (QoS) wie Latenz, Durchsatz und Speicheranforderungen zu erfüllen, und verringert die Zeitdauer, die zum Finden der optimalen Konfiguration erforderlich ist. Dieses Tool unterstützt auch Modell-Ensembles und Multi-Modell-Analysen.