Automatiza la implementación de múltiples instancias del servidor de inferencia Triton en Kubernetes con orquestación de modelos de bajo consumo de recursos.
NVIDIA Triton™, parte de la plataforma NVIDIA® AI, ofrece una nueva funcionalidad denominada Triton Management Service que automatiza la implementación de varias instancias del servidor de inferencia Triton en Kubernetes con orquestación de modelos de uso eficiente de recursos en GPU y CPU. Esta aplicación de software gestiona la implementación de instancias del servidor de inferencia Triton con uno o más modelos de IA, asigna modelos a GPU/CPU individuales y coloca modelos de forma eficiente por marcos. Triton Management Service permite la implementación de inferencia a gran escala con un alto rendimiento y utilización de hardware. Pronto estará disponible exclusivamente con NVIDIA AI Enterprise, una plataforma de software de IA de nivel empresarial.
Automatiza la implementación y administración de instancias de Triton Server en Kubernetes y ayuda a agrupar modelos de diferentes marcos para un uso eficiente de la memoria.
Carga modelos bajo demanda, descarga modelos cuando no se utilizan a través de un sistema de leasing y coloca tantos modelos como sea posible en un solo servidor de GPU.
Supervisa el estado, la capacidad y el escalado automático de cada servidor de inferencia Triton en función de la latencia y la utilización del hardware.
Utiliza Triton Management Service para administrar de forma eficiente la implementación de inferencia, desde uno hasta cientos de modelos. Implementa localmente o en cualquier nube pública.
Mantente al día con las últimas novedades sobre inferencia de IA de NVIDIA.