Automatisez le déploiement d’instances multiples du serveur d’inférence Triton dans Kubernetes avec une orchestration des modèles économe en ressources.
NVIDIA Triton™, qui fait partie de la plateforme d'IA de NVIDIA®, inclut une nouvelle fonctionnalité appelée service de gestion Triton qui automatise le déploiement de multiples instances du serveur d’inférence Triton dans Kubernetes avec une orchestration des modèles qui rationalise l'utilisation des ressources relatives aux GPU et aux CPU. Cette application logicielle permet de gérer le déploiement des instances du serveur d’inférence Triton avec un ou plusieurs modèles d'IA, d’affecter des modèles à des GPU/CPU spécifiques et de procéder à une colocation efficace des modèles par framework. Le service de gestion Triton vous permet de déployer des systèmes d’inférence à grande échelle avec des performances élevées et une utilisation optimale du matériel. Il sera prochainement disponible en exclusivité avec NVIDIA AI Enterprise, notre plateforme logicielle pour l'IA dédiée aux entreprises.
Automatise le déploiement et la gestion des instances du serveur Triton sur Kubernetes et permet de regrouper les modèles de différents frameworks pour une utilisation efficace de la mémoire.
Charge des modèles à la demande, décharge des modèles via un système de leasing lorsque vous ne vous en servez pas et assigne autant de modèles que possible sur un seul serveur GPU.
Contrôle le statut, la capacité et la mise à l’échelle de chaque serveur d’inférence Triton en fonction de la latence et de l’utilisation du matériel.
Utilisez le service de gestion Triton pour gérer efficacement le déploiement de nouveaux systèmes d’inférence à partir d’un modèle unique vers des centaines de modèles. Déployez vos applications sur site ou dans n’importe quel Cloud public.
Suivez toute l’actualité des solutions d'IA de NVIDIA pour l'inférence.