NVIDIA Triton Inference Server

PyTriton fornisce un'interfaccia semplice che consente agli sviluppatori Python di utilizzare Triton per qualsiasi scopo: modelli, semplici funzioni di elaborazione o interi flussi di inferenza. Questo supporto nativo per Triton in Python consente la prototipazione rapida e il test di modelli di machine learning ad alte prestazioni ed efficienza. Triton è disponibile con una singola riga di codice e offre vantaggi come batch dinamici, esecuzione simultanea dei modelli e supporto per GPU e CPU. Questo elimina la necessità di configurare repository di modelli e convertirne i formati. Il codice del flusso di inferenza esistente può essere usato senza modifiche.

Triton Model Analyzer è uno strumento che valuta automaticamente le configurazioni di distribuzione dei modelli in Triton Inference Server, ad esempio le dimensioni del batch, la precisione e le istanze di esecuzione simultanee sul processore di destinazione. Aiuta a selezionare la configurazione ottimale per soddisfare i vincoli di qualità del servizio (QoS) delle applicazioni, come latenza, produttività e requisiti di memoria, e riduce i tempi necessari per trovare la configurazione ottimale. Questo strumento supporta anche analisi di insiemi di modelli e multi-modello.