推論

NVIDIA Triton 推論伺服器

在任何平台上的任何應用程式部署、執行並擴充人工智慧。

開始行動

觀看影片 | 閱讀白皮書 | 適用於開發人員

簡介
功能
優勢
開始選項
使用案例
客戶案例
採用者
資源
下一步

簡介
功能
優勢
開始選項
使用案例
客戶案例
採用者
資源
下一步

開始行動

簡介

針對每個人工智慧工作負載進行推論

透過 NVIDIA Triton™ 推論伺服器，在任何處理器 (GPU、CPU 或其他) 上的任何框架，在經過訓練的機器學習或深度學習模型上進行推論。Triton 推論伺服器是一款開放原始碼軟體，可標準化每個工作負載的人工智慧模型部署和執行。它是 NVIDIA 人工智慧平台的一部分，可透過 NVIDIA AI Enterprise 提供。

部署、最佳化並為 LLM 建立基準測試

利用 Triton 推論伺服器，取得如何高效提供大型語言模型 (LLM) 的逐步說明。

觀看演講

功能

探索 NVIDIA Triton 推論伺服器的功能與工具

大型語言模型推論

Triton 可為大型語言模型 (LLM) 推論提供低延遲和高傳輸量。支援 TensorRT-LLM 這款開放原始碼程式庫，適用於實際執行中定義、最佳化及執行 LLM 推論。

模型組合

Triton 模型組合可讓您透過多種模型、工作流程，以及處理前後的步驟執行人工智慧工作負載。可支援在 CPU 或 GPU 上執行不同部分的整套組合，並在整套組合內支援多個框架。

NVIDIA PyTriton

PyTriton 讓 Python 開發人員透過單行程式碼引進 Triton，用來提供模型、簡單的處理功能或整個推論工作流程，進而加速原型設計和測試。

NVIDIA Triton Model Analyzer

Model Analyzer 可縮短找到最佳模型部署配置所需的時間，例如批次大小、精準度和並行執行個體。這有助於選擇最佳配置，以符合應用程式在延遲、傳輸量和記憶體上的需求。

優勢

Triton 推論伺服器的優勢

支援所有訓練和推論框架

透過 Triton 推論伺服器，在任何主要架構部署人工智慧模型，包括 TensorFlow、PyTorch、Python、ONNX、NVIDIA® TensorRT™、RAPIDS™ cuML、XGBoost、scikit-learn RandomForest、OpenVINO、客製化 C++ 等。

在任何平台進行高效能推論

透過動態批次處理、並行執行、最佳配置以及串流音訊和影片，將傳輸量和使用率最大化。Triton 推論伺服器支援所有 NVIDIA GPU、x86、Arm CPU 和 AWS Inferentia。

開放原始碼且專為 DevOps 和 MLOps 設計

將 Triton 推論伺服器整合到 DevOps 和 MLOps 解決方案，例如適用於擴充的 Kubernetes 和適用於監控的 Prometheus。也可用於所有主要的雲端和本機人工智慧和 MLOps 平台。

企業級安全性、管理能力和 API 穩定性

NVIDIA AI Enterprise (包括 NVIDIA Triton 推論伺服器) 是一款安全、可用於實際部署環境的人工智慧軟體平台，旨在透過支援、安全性和 API 穩定性加速實現價值。

開始選項

開始使用 NVIDIA Triton

使用正確的工具與技術，實現 AI 在任何平台上的部署、運行和擴展，以滿足各種應用需求。

開發

適用於想要取得 Triton 推論伺服器開放原始碼以進行開發的使用者。

存取程式碼

開發

適用於想要使用免費 Triton 推論伺服器容器進行開發的使用者。

取得容器

體驗

取用 NVIDIA LaunchPad 免費提供的 NVIDIA 託管的基礎架構，以及包含逐步指導及範例的實作實驗室。

使用實作實驗室

部署

利用現有基礎架構，獲得免費授權，試用 NVIDIA AI Enterprise 90 天。

申請 90 天授權

比較入門方式

使用案例

Triton 的使用方式

瞭解產業領導者如何利用 Triton 推論伺服器推動創新。

使用案例 1
使用案例 2
使用案例 3
使用案例 4

統一推論伺服器

Triton 推論伺服器可支援組織將特定框架的推論伺服器整合到統一的平台中。但它並不是為每個人工智慧框架部署及管理獨立的伺服器，而是充當單一的統一伺服器，藉此降低推論服務成本。Triton 推論伺服器支援所有主要的人工智慧框架，包括 PyTorch、TensorFlow、TensorRT-LLM、VLLM、TensorRT、ONNX 與 OpenVINO。

瞭解 Snapchat 如何利用 Triton 加強購物體驗

將模型部署最佳化

Triton 推論伺服器可以執行自動化掃描，在許多模型並行和批次大小配置中測試延遲和傳輸量。可支援開發人員快速識別出符合服務水平協議的最佳配置，且無需任何手動作業。對於 LLM 模型，Triton 推論伺服器可自動產生 token 並提供部署指標，例如 token 至 token 的延遲、每秒 token 的數量。這項功能加速辨識及部署最有效率的 LLM 部署設定。

瞭解 Triton Model Analyzer 如何將模型部署最佳化

閱讀生成式人工智慧效能分析工具指南

輕鬆建立多模型人工智慧工作流程

透過 Triton 推論伺服器，組織可以輕鬆建置模型組合。可提供一種低程式碼工具，將人工智慧模型順暢連接至統一的工作流程，並且可以透過單一推論要求觸發。這樣組織便可以整合處理前後的工作流程，無需人工編寫程式碼。Triton 推論伺服器也支援在 CPU 上將處理前後的工作進行排程，簡化整個工作流程。

閱讀使用整合模型在 Triton 上提供模型工作流程的資訊

隨處部署：在本地、邊緣或在任何雲端

Triton 推論伺服器以 Docker 容器為名，適合在本機、雲端或邊緣裝置上部署。可從各大雲端供應商 (如 Amazon SageMaker、Azure ML Studio、Google Vertex AI 與 OCI Data Science) 深度整合至頂尖的機器學習營運 (MLOps) 人工智慧工具。對於雲端部署，Triton 推論伺服器可以透過簡單的命令列旗標輕鬆打造，顯著縮短執行時間並符合企業的治理規範。

在 Amazon SageMaker 上部署

在 Google Vertex AI 上部署

在 Azure ML Studio 上部署

在 Oracle Cloud 進行部署