Servidor de inferencia NVIDIA Triton

PyTriton ofrece una interfaz sencilla que permite a los desarrolladores de Python utilizar Triton para lo que sea: modelos, funciones de procesamiento sencillas o canalizaciones de inferencia completas. Este soporte nativo para Triton en Python permite crear prototipos y probar rápidamente modelos de aprendizaje automático con rendimiento y eficiencia. Una sola línea de código incorpora Triton, que proporciona ventajas como el procesamiento por lotes dinámico, la ejecución simultánea de modelos y la compatibilidad con GPU y CPU. De este modo, se elimina la necesidad de configurar repositorios y convertir formatos de modelos. El código de canalización de inferencia existente se puede utilizar sin modificarlo.

El analizador de modelos Triton es una herramienta que evalúa automáticamente las configuraciones de implementación de modelos en el servidor de inferencia Triton, como el tamaño del lote, la precisión y las instancias de ejecución simultánea en el procesador de destino. Además, ayuda a seleccionar la configuración óptima para satisfacer las restricciones de calidad de servicio de la aplicación, como la latencia, el rendimiento y los requisitos de memoria, y reduce el tiempo necesario para encontrar dicha configuración. Esta herramienta también admite conjuntos de modelos y análisis multimodelo.