找到合適的授權，在任何平台上為任何應用程式部署、執行和擴充人工智慧。
GitHub適合想要使用 Triton 推論伺服器開放原始碼進行開發的個人用戶。 |
NVIDIA NGC™適合想要使用免費 Triton 推論伺服器容器進行開發的個人用戶。 |
NVIDIA AI Enterprise適合想要購買 Triton 進行生產的企業。 |
|
功能 |
|||
| NVIDIA Triton™ 推論伺服器 | |||
| 自訂組建 (Windows、NVIDIA® Jetson™)、PyTriton | |||
| 預建 Docker 容器 (版本相依項目：CUDA®、框架後端) | |||
| Triton 管理服務 (適用於大規模部署的模型編排) | |||
| 適用於常見人工智慧使用案例的人工智慧工作流程和參考架構 | |||
| 工作負載和基礎架構管理功能 | |||
企業標準支援，包括：
|
|||
| NVIDIA LaunchPad 實作實驗室 | |
||
NVIDIA Triton 推論伺服器 (或簡稱 Triton)，是一款開放原始碼的推論服務軟體。此軟體讓團隊可以從任何框架 (TensorFlow、NVIDIA TensorRT™、PyTorch、ONNX、XgBoost、Python，以及自訂框架等) 的任一 GPU 或 CPU 基礎架構上，部署、執行、和擴充人工智慧模型。如需詳細資訊，請造訪 Triton 網頁。
Triton 模型分析工具是一款離線工具，可針對目標 GPU 或 CPU 上的輸送量、延遲和/或記憶體限制，來最佳化推論部署設定 (批次大小、模型執行個體數量等)。支援單一模型、模型集成和多個並行模型的分析。
Triton 包含在 NVIDIA AI Enterprise 中，這是一個端對端的人工智慧軟體平台，提供企業級支援、安全性的穩定性，以及管理性。NVIDIA AI Enterprise 提供業務標準的支援。我們也提供其他支援和服務，包括企業關鍵支援、技術客戶經理聯絡、訓練和專業服務。如需詳細資訊，請造訪企業支援與服務使用者指南。
是的，有數個實驗室在 NVIDIA Launchpad 中使用 Triton。
NVIDIA LaunchPad 是一個程序，可讓用戶通過網絡瀏覽器短期訪問企業 NVIDIA 硬件和軟件。從大量的實踐實驗室中進行選擇，體驗圍繞人工智能和數據科學、3D 設計和基礎設施優化等用例的解決方案。企業可以立即利用私有託管基礎設施上必要的硬件和軟件堆棧。
是的，Triton 是人工智慧推論和模型部署生態系的最佳選擇。運用 NVIDIA AI Enterprise 可在 AWS、Microsoft Azure 和 Google Cloud Marketplace 取得 Triton。此功能也適用於阿里雲、Amazon Elastic Kubernetes Service (EKS)、Amazon Elastic Container Service (ECS)、Amazon SageMaker、Google Kubernetes Engine (GKE)、Google Vertex AI、HPE Ezmeral、Microsoft Azure Kubernetes Service (AKS)、Azure 機器學習，以及 Oracle 雲端基礎架構資料科學平台。
掌握來自 NVIDIA 的人工智慧推論最新動態。