Serveur d’inférence NVIDIA Triton

PyTriton propose une interface simple d'accès qui permet aux développeurs de Python d’utiliser Triton pour tout type de traitement : modèles, fonctions de traitement simples ou pipelines d’inférence entiers. Cette prise en charge native de Triton dans Python accélère le test et le prototypage des modèles d’apprentissage automatique en garantissant un maximum de performance et d’efficacité. Les fonctionnalités majeures de Triton peuvent être exploitées via une seule ligne de code, ce qui vous donne accès à de nombreux avantages comme le batching dynamique, l’exécution simultanée des modèles et la prise en charge des configurations GPU et CPU. Vous n’avez ainsi plus besoin de configurer des dépôts de modèles ni de convertir les formats de vos modèles. Le code existant du pipeline d’inférence peut en outre être utilisé sans la moindre modification.

L’analyseur de modèles Triton évalue automatiquement les configurations de déploiement des modèles dans le serveur d’inférence Triton, notamment la taille, la précision et le nombre d’instances d’exécution simultanées sur le processeur-cible. Cet outil vous aide à sélectionner la configuration optimale pour répondre aux différentes contraintes de qualité de service (QoS) de vos applications (telles que la latence, le rendement et la mémoire) tout en réduisant les délais de recherche de la configuration optimale. L'analyseur prend également en charge les ensembles de modèles et l’analyse multi-modèles.