開始使用 NVIDIA NeMo 的方式
利用建立、監測及最佳化正式環境的工具與技術，管理 AI 代理生命週期。
從 AI 模型邁向代理 AI 應用的旅程
體驗管理 AI 代理完整生命週期的端到端企業級平台。
管理 AI 代理生命週期的工具
管理 AI 代理生命週期用的 NVIDIA NeMo 軟體套件，包括建置用的 NeMo Data Designer、NeMo Curator、NeMo Customizer 與 NeMo Evaluator；部署用的 NeMo Retriever、NeMo Guardrails 和 NVIDIA NIM™；以及持續最佳化用的 NeMo Agent 工具組。
| 特色 | 使用這項工具 | 開始使用 |
|---|---|---|
| 使用開放、高準確性且能源效率高的模型來建構代理 AI 應用程式。 | <strong>NVIDIA Nemotron</strong><br> 使用具備開放權重、開放資料與配方的進階多模態 AI 推理模型。 | <div class="nv-text"> <ul> <li><a href="https://build.nvidia.com/search/models?filters=publisher%3Anvidia&q=Nemotron&ncid=no-ncid" target="_blank">試用 Nemotron 模型</a></li> </ul> </div> |
| 生成高品質的合成資料集，用於模型的訓練、微調或評估。 | <strong>NeMo Data Designer</strong><br> 從零開始或使用種子範例設計特定領域的資料集，消除資料瓶頸並加速 AI 開發。 | <div class="nv-text"><ul><li><a href="https://docs.nvidia.com/nemo/microservices/latest/generate-synthetic-data/index.html" target="_blank">文件</a></li> <li><a href="https://build.nvidia.com/nemo/data-designer" target="_blank">試用 Data Designer</a></li> <li><a href="https://github.com/NVIDIA/GenerativeAIExamples/tree/main/nemo/NeMo-Data-Designer" target="_blank">範例 Notebooks</a></li> </ul></div> |
| 為 AI 開發管線準備大型多模態資料集。 | <strong>NeMo Curator</strong><br> 利用開放式 GPU 加速 Python 函式庫清理、篩選及準備多模態資料。 | <div class="nv-text"><ul><li><a href="https://docs.nvidia.com/nemo/curator/latest/" target="_blank">文件</a></li> <li><a href="https://catalog.ngc.nvidia.com/orgs/nvidia/containers/nemo-curator" target="_blank">下載容器</a></li> <li><a href="https://github.com/NVIDIA/NeMo-Curator" target="_blank">存取開放原始碼</a></li> </ul> </div> |
| 整合並開放簡單易用的 API，加速模型微調與校準，驅動代理 AI 工作流程。 | <strong>NeMo Customizer</strong><br> 利用專有的領域資料，簡化並擴展微調的規模。 | <div class="nv-text"> <ul> <li><a href="https://docs.nvidia.com/nemo/microservices/latest/fine-tune/index.html" target="_blank">文件</a></li> <li><a href="https://catalog.ngc.nvidia.com/orgs/nvidia/teams/nemo-microservices/containers/customizer" target="_blank">下載微服務</a></li> </ul> </div> |
| 評估模型與代理管線的效能。 | <strong>NeMo Evaluator</strong><br> 透過精簡的部署流程、基準測試支援與進階的測試控制工具，評估模型與代理效能。 | <div class="nv-text"> <ul> <li><a href="https://docs.nvidia.com/nemo/microservices/latest/evaluate/index.html" target="_blank">文件</a></li> <li><a href="https://github.com/NVIDIA-NeMo/Evaluator" target="_blank">存取開源 SDK</a></li> <li><a href="https://catalog.ngc.nvidia.com/orgs/nvidia/teams/nemo-microservices/containers/evaluator" target="_blank">下載微服務</a></li> </ul> </div> |
| 利用程式碼層級的控制能力與靈活彈性，大規模打造、微調及校準生成式 AI 模型。 | <strong>NeMo Framework</strong><br> 實現多模態模型的無縫預訓練、後訓練與強化學習，從單一 GPU 擴充至成千上萬張。 | <div class="nv-text"><ul><li><a href="https://docs.nvidia.com/nemo-framework/user-guide/latest/overview.html" target="_blank">文件</a></li> <li><a href="https://catalog.ngc.nvidia.com/orgs/nvidia/containers/nemo" target="_blank">下載容器</a></li> <li><a href="https://github.com/NVIDIA/NeMo" target="_blank">存取開放原始碼</a></li> </ul> </div> |
| 打造檢索增強生成 (RAG) 管線，將您的 AI 代理連接至資料。 | <strong>NeMo Retriever</strong><br> 利用開源檢索模型與隱私保護的資料存取，打造高準確性的 RAG 管線。 | <div class="nv-text"> <ul> <li><a href="https://docs.nvidia.com/nemo/retriever/latest/" target="_blank">文件 </a></li> <li><a href="https://huggingface.co/collections/nvidia/nemotron-rag-68f01e412f2dc5a5db5f30ed" target="_blank">試用 Hugging Face 模型</a></li> <li><a href="https://build.nvidia.com/explore/retrieval" target="_blank">試用 Retriever 模型</a></li> </ul> </div> |
| 確保您的代理回覆內容安全而且切題。 | <strong>NeMo Guardrails</strong><br> 運用可編程的協調層，以確保執行時的安全性、資安性和主題相關性。 | <div class="nv-text"> <ul> <li><a href="https://docs.nvidia.com/nemo/guardrails/latest/" target="_blank">文件</a></li> <li><a href="https://huggingface.co/collections/nvidia/nemoguard" target="_blank"> 試用 Hugging Face 模型 </a></li> <li><a href="https://catalog.ngc.nvidia.com/orgs/nvidia/teams/nemo-microservices/containers/guardrails" target="_blank">下載微服務</a></li> <li><a href="https://github.com/NVIDIA/NeMo-Guardrails" target="_blank">存取開源工具套件</a></li> </ul> </div> |
| 部署您的模型以實現高性能推理。 | <strong>NVIDIA NIM</strong><br> 利用容器化微服務，安全可靠地將 AI 模型部署到任何地方。 | <div class="nv-text"> <ul> <li><a href="https://docs.nvidia.com/nim/" target="_blank">文件</a></li> <li><a href="https://build.nvidia.com/explore/discover" target="_blank">試用 NIM 微服務</a></li> </ul> </div> |
| 監測並最佳化您的 AI 代理的效能。 | <strong>NeMo Agent 工具組</strong><br> 運用不受框架限制的開源工具組配置、評估及最佳化代理型系統。 | <div class="nv-text"> <ul> <li><a href="https://docs.nvidia.com/nemo/agent-toolkit/latest/" target="_blank">文件</a></li> <li><a href="https://github.com/NVIDIA/NeMo-Agent-Toolkit" target="_blank">存取開源程式碼</a></li> </ul> </div> |
常見問題
NVIDIA NeMo 是管理 AI 代理生命週期用的模組化企業級軟體套件，包括建置、部署及最佳化代理系統，範圍涵蓋資料庋用、模型自訂和評估，以及部署、協調和持續最佳化。它與現有的 AI 生態系和平台無縫整合，為建置 AI 代理奠定基礎，並加速在任何雲端、地端或混合環境中部署代理系統至生產階段。這個套件支援快速擴充，可輕鬆建立資料飛輪，利用最新資訊持續改善 AI 代理。
NeMo 透過開源方式提供，享有 NVIDIA AI Enterprise 提供的支援。在這裡可以找到價格與授權詳細資料。
NeMo 可用於自訂大型語言模型 (LLM)、視覺語言模型 (VLM)、自動語音識別 (ASR)，以及文字轉語音 (TTS) 模型。
NVIDIA AI Enterprise 包含 NVIDIA 企業標準支援。如需其他可用的支援與服務，例如 NVIDIA 企業關鍵支援、技術客戶經理、訓練和專業服務，請參閱 NVIDIA 企業支援與服務指南。
NVIDIA NeMo 框架是開源的生成式 AI 框架，專為追求精細控制與程式碼層級彈性的研究人員和開發人員而設計，可讓他們大規模高效打造生成式 AI 模型。這款框架支援多模態生成式 AI 模型的預先訓練、後期訓練與強化學習。
NVIDIA NeMo 微服務是以 NeMo 框架為基礎擴充的企業級 API 優先模組化產品，專為讓開發人員輕鬆快速自訂及大規模部署 AI 代理而打造。它簡化了模型微調、評估、防護機制與合成資料生成。這些微服務無縫整合至現有的 AI 平台，讓企業能加速開發自訂的 AI 代理，然後透過資料飛輪工作流程持續加以最佳化。
NeMo Data Designer 是專為 AI 開發人員打造的微服務，透過可配置架構和採用 AI 技術的生成模型，提供程式化方式產生合成資料。它的設計可無縫整合至 AI 開發工作流程。
NeMo Curator 是開源函式庫，透過精選高品質的多模態資料集，提高生成式 AI 模型的準確度。其中包含的 API 形式 Python 模組運用 Dask、cuDF、cuGraph 和 Pytorch，將資料下載、文字擷取、清理、篩選、精確 / 模糊重複資料刪除以及文字分類等資料庋用任務，擴充至成千上萬個運算核心
NeMo Customizer 是高效能的可擴充微服務，利用先進的微調與強化學習技術，簡化特定領域使用案例的 LLM 自訂與調校過程。
NeMo Auditor 以各種提示探測模型，執行稽核作業找出漏洞。您可以運用結果協助評估模型與系統安全。
NeMo Evaluator 是專為快速可靠評估自訂 LLM 與 RAG 流程而設計的微服務。它涵蓋預先定義指標的各項評測基準，包括人類評估與 LLM-as-a-judge 技術。透過 API 呼叫，在慣用的雲端平台或資料中心上，於 Kubernetes 同時部署多項評估作業，實現高效整合結果。
NeMo Guardrails 是可確保大型語言模型智慧應用適當且安全的微服務。它能保護監督 LLM 系統的組織。
NeMo Guardrails 可讓開發人員設定三種邊界：
- 主題防護機制可防止應用程式偏離至非期望的領域。例如，它們會防止客服助理回答天氣相關問題。
- 安全防護機制可確保應用程式以準確適當的資訊回覆。它們可過濾掉不當的用字遣詞，並強制要求僅參考具公信力的來源。
- 安全防護機制可確保應用程式僅連接至已知安全的外部第三方應用。
NeMo RL 是 NeMo 框架工具套件中的開源函式庫，提供先進的強化學習演算法和可擴充的後期訓練，以企業規模最佳化並調校 AI 代理。
NeMo Retriever 集結了業界頂尖的 Nemotron RAG 模型，準確度提升 50%、多模態 PDF 擷取速度提升 15 倍，儲存效率提高 35 倍，讓企業能夠打造提供即時業務深入解析的 RAG 流程。NeMo Retriever 確保資料隱私無虞，可無縫連接任何位置的專有資料，提供安全的企業級檢索功能。
開源的 NVIDIA NeMo Agent 工具組為正式環境 AI 代理系統提供不受框架限制的剖析、評估與最佳化功能。它能擷取跨代理協調、工具使用效率與運算成本的精細指標，透過 NVIDIA 加速運算實現資料驅動的最佳化。它可用於在模型更新期間並行處理緩慢的工作流程、快取昂貴的作業，以及維持系統準確度。這款工具組與 OpenTelemetry 和各大代理型架構相容，可降低雲端支出，並提供從單一代理至企業級數位勞動力規模的深入解析。
NVIDIA NIM 是 NVIDIA AI Enterprise 的一環，簡單易用，是專為加速企業部署生成式 AI 而設計的執行階段。這款多用途的微服務支援各種 AI 模型，包括開放原始碼社群模型、NVIDIA AI 基礎模型，以及自訂的 AI 模型。這款微服務採用穩健的推論引擎基礎，是專為促進大規模無縫 AI 推論而設計，確保 AI 應用可部署於雲端、資料中心和工作站。
檢索增強生成這項技術可讓 LLM 連接至公司的知識庫，根據最新資訊產生回應。NeMo 可搭配各種第三方與社群工具，包括 Milvus、Llama Index 與 LangChain，並從向量資料庫擷取相關訊息片段，並輸入 LLM，生成自然語言回應。探索使用 RAG 工作流程的 AI 聊天機器人頁面，開始建立達到正式環境品質，可準確回答企業資料相關問題的 AI 聊天機器人。
NVIDIA Blueprints 是利用 NVIDIA AI 和 Omniverse 函式庫、SDK 和微服務建置的全方位參考工作流程。每個 Blueprint 都包括參考代碼、部署工具、客製化指南和參考架構，加速 AI 代理和數位孿生等 AI 解決方案從原型設計到部署的過程。
NVIDIA AI Enterprise 是一款端到端雲端原生軟體平台，可加速資料科學管線，簡化達到正式環境級 AI 應用的開發和部署過程，其中包括生成式 AI、電腦視覺和語音 AI 等。這款平台包括適用於 AI 從業人員的頂尖開發工具、框架、預先訓練模型與微服務，以及適用於 IT 專業人士的可靠管理功能，可確實兼顧效能、API 穩定性和安全性。