Automatizza la distribuzione di più istanze di Triton Inference Server in Kubernetes con l'orchestrazione dei modelli efficiente in termini di risorse.
NVIDIA Triton™, incluso nella piattaforma NVIDIA® AI, offre una nuova funzionalità chiamata Triton Management Service, che automatizza la distribuzione di più istanze di Triton Inference Server in Kubernetes con l'orchestrazione dei modelli efficiente in termini di risorse su GPU e CPU. Questa applicazione software gestisce la distribuzione di istanze Triton Inference Server con uno o più modelli IA, assegna i modelli a singole GPU/CPU ed colloca in modo efficiente i modelli in base al framework. Triton Management Service consente la distribuzione di flussi di inferenza su larga scala con prestazioni e utilizzo dell'hardware elevati. Presto sarà disponibile in esclusiva con NVIDIA AI Enterprise, una piattaforma software IA di livello aziendale.
Automatizza la distribuzione e la gestione di istanze Triton Server su Kubernetes e aiuta a raggruppare modelli da diversi framework per un uso efficiente della memoria.
Carica i modelli on demand, li scarica quando non sono in uso tramite un sistema di leasing e posiziona il maggior numero possibile di modelli su un singolo server GPU.
Monitora l'integrità, la capacità e la scalabilità automatica di ogni Triton Inference Server in base alla latenza e all'utilizzo dell'hardware.
Usa Triton Management Service per gestire in modo efficiente la distribuzione di flussi di inferenza da un singolo modello a centinaia di modelli. Distribuisci in locale o su qualsiasi cloud pubblico.
Resta aggiornato sulle novità sull'inferenza con IA di NVIDIA.