NVIDIA 的推論平台無論在雲端、資料中心、網路邊緣裝置或自動化裝置,都能在運用新一代人工智慧產品技術和服務時,滿足最關鍵的效能、效率和靈敏度需求
NVIDIA Triton™ 推論伺服器是一款開放原始碼軟體,可在生產階段進行快速且可擴展的人工智慧推論。Triton 讓團隊可以從任何框架 (TensorFlow、PyTorch、XgBoost、Python 等) 的任一 GPU 或 CPU 基礎架構上,部署經過訓練的人工智慧模型。它能將 GPU 和 CPU 使用率最大化、以低延遲提供高輸送量,並整合 Kubernetes 以進行協調、衡量指標和自動擴充。