Платформа NVIDIA для инференса обеспечивает производительность, энергоэффективность и отзывчивость в облаке, дата-центре, на периферии сети и в автономных устройствах, что так важно для продуктов и сервисов с ИИ нового поколения.
Сервер для инференса NVIDIA Triton™ — это программное обеспечение с открытым исходным кодом для быстрого и масштабируемого инференса модели ИИ в производственных системах. Triton позволяет командам развертывать обученные модели ИИ из любого фреймворка (TensorFlow, PyTorch, XgBoost, Python и другие) в любой инфраструктуре на основе GPU или процессоров. Он максимально эффективно использует ресурсы GPU и процессора, обеспечивает высокую пропускную способность с малой задержкой и интегрируется с Kubernetes для оркестровки, отслеживания показателей и автоматического масштабирования.