NVIDIA NIM 微服務

可在任何位置快速、可靠地部署加速生成式 AI 推論。

開始使用

影片 | 解決方案簡介 | 說明文件 | 適用於開發人員

概覽
優勢
技術展示
技術
基準測試
模型
功能
使用案例
入門選項
資源
下一步

概覽
優勢
技術展示
技術
基準測試
模型
功能
使用案例
入門選項
資源
下一步

開始使用

概覽

NVIDIA NIM 是什麼？

NVIDIA NIM™ 可提供預先建置的最佳化推論微服務，方便開發人員在任何 NVIDIA 加速基礎架構（包括：雲端、資料中心、工作站及邊緣環境）快速部署最新的 AI 模型。

在 NVIDIA AI 工廠的助力之下，實現立足本地、放眼全球的主權 AI 代理人

經驗證的 AI 工廠設計將加速基礎架構與軟體相結合，包括最新的 NVIDIA NIM™ 微服務功能，以及更為擴展的 NVIDIA Blueprint 套件。

閱讀部落格文章

開發人員可免費存取 NIM 微服務

可透過由 DGX Cloud 平台加速的 NIM 託管 API 進行無限制的原型設計；或透過 NVIDIA 開發者計畫免費下載並自行託管 NIM 微服務，藉此用於研究與開發。

試用 API

利用 NVIDIA NIM 微服務加速 AI 部署

NVIDIA NIM 微服務可將託管式 API 使用便利、操作簡易的特性，與您選用的基礎架構上自行託管模型的彈性與安全性相互結合。NVIDIA NIM 微服務能滿足 AI 團隊的一切需求，提供最新的 AI 基礎模型、最佳化推論引擎、符合業界標準的 API 以及執行階段相依性，全都以企業級軟體容器預先封裝，可在任何位置立即部署及擴充。

優勢

讓您事半功倍的企業生成式 AI

專為實現高效能 AI 所打造的企業級微服務，可輕鬆上手，讓您能順暢無礙地執行作業，並以經濟實惠的方式擴充。運用最新的推理、模擬、語音等 AI 模型，以最快速的價值實現時間 (Time to Value) 創造您的 AI 代理人及其他企業級生成式 AI 應用程式。

使用簡單

利用針對最新的 AI 模型完成最佳化的預先建置微服務，加速您的技術創新與上市時間。使用業界標準 API，短短五分鐘內即可部署模型，並輕鬆整合至應用程式中。

觀看影片：部署 NIM 只需 5 分鐘

企業級

部署由 NVIDIA 透過嚴格的驗證程序與專門的功能分支來持續管理的企業級微服務，可享有 NVIDIA 企業支援服務所提供的完善支援後盾，此外還能直接與 NVIDIA AI 專家溝通交流。

效能與擴充能力

利用可透過雲端擴充的低延遲、高傳輸量 AI 推論，實現更佳的總體擁有成本，同時利用可立即使用的微調模型支援來達成最佳精準度。

觀看影片：NIM 的效能與總體擁有成本優勢

可攜性

我們預先建置的雲端原生微服務可部署於任何位置，且能在任何 NVIDIA 加速基礎架構上執行（包括：雲端、資料中心及工作站）；此外，還能在 Kubernetes 與雲端服務供應商環境中順利無礙地擴充。

技術展示

利用 NIM 微服務打造您的 AI 代理人

瞭解如何建立兩種不同的 AI 代理人（其中一種用於內容生成，另一種用於數位繪圖設計），看看使用 NIM 微服務來創造及執行有多麼簡單。

立即觀看

技術

代理型 AI 的建置組件

獲取最新的 AI 模型

存取可用於推理、語言、檢索、語音及視覺等範疇的最新 AI 模型，立即就能在任何 NVIDIA 加速基礎架構上快速部署，短短五分鐘就能完成。

立即試用

利用 NVIDIA Blueprints 快速啟動 AI 開發

利用包含 NVIDIA 加速函式庫、軟體開發套件 (SDK) 及 NIM 微服務的完善參考工作流程，來打造有力的代理型 AI 應用程式。

深入瞭解立即試用

利用 NVIDIA AgentIQ 工具套件簡化開發作業

NVIDIA AgentIQ 函式庫是一款開發人員工具套件，可用於建立 AI 代理人，並將其整合至自訂工作流程中；您可以利用 AgentIQ 函式庫，將 NIM 微服務導入代理型 AI 應用程式中。

深入瞭解立即試用

基準測試

利用 NIM 微服務提高傳輸量

NVIDIA NIM 微服務可讓您立即實現最佳化的傳輸量與超低延遲，進而徹底提升詞元 (Token) 生成量、在尖峰時間支援並行作業的使用者，並加快反應速度。NIM 微服務會利用最新版的最佳化推論引擎持續更新，隨著時間在相同的基礎架構上使效能持續進化。

配置：Llama 3.1 8B Instruct、1x H100 SXM；並行要求：200。NIM 啟用：FP8。傳輸量每秒 1,201 個詞元 (Token)、ITL 32 毫秒。NIM 關閉：FP8、傳輸量每秒 613 個詞元、ITL 37 毫秒。

模型

為數以千計的開源模型解鎖企業級推論

部署由 NVIDIA® TensorRT™-LLM、vLLM 或 SGLang 推論引擎支援的大型語言模型 (LLM)，在 NVIDIA 加速基礎架構上實現低延遲、高傳輸量的推論。

探索模型

功能

輕鬆完成 AI 開發與部署

NIM 推論微服務可在任何位置執行，採用符合業界標準的 API，可輕鬆與企業系統及應用程式相互整合，在 Kubernetes 也能順利無礙地擴充，以雲端規模提供高傳輸量、低延遲的推論效能。

部署 NIM 微服務

使用單一指令就能為模型部署 NIM 微服務。此外，您也可以使用由 NVIDIA TensorRT-LLM、vLLM 或 SGLang 推論引擎支援的大型語言模型來輕鬆執行 NIM 微服務，包括經微調的模型。

執行推論

透過採用 NVIDIA 加速基礎架構的最佳執行階段引擎，立即開始使用 NIM 微服務。

建立

只需幾行程式碼，就能整合自行託管的 NIM 端點。

Deploy

Run

Build

docker run nvcr.io/nim/publisher_name/model_name

 
 curl -X 'POST' \ 
  'http://0.0.0.0:8000/v1/completions' \ 
  -H 'accept: application/json' \ 
  -H 'Content-Type: application/json' \ 
  -d '{ 
  "model" : "model_name", 
  "prompt" : "Once upon a time", 
  "max_tokens" : 64 
 }' 

 
 import openai 
 client = openai.OpenAI( 
  base_url = "YOUR_LOCAL_ENDPOINT_URL", 
  api_key="YOUR_LOCAL_API_KEY" 
 ) 
 chat_completion = client.chat.completions.create( 
  model="model_name", 
  messages=[{"role" : "user" , "content" : "Write me a love song" }], 
  temperature=0.7 
 ) 