開始使用 NVIDIA NeMo 的方式
透過一套開放式程式庫與代理程式技能套件，加速 AI 代理程式的專門化、最佳化與治理。
從 AI 模型邁向代理 AI 應用的旅程
用於加速專門化 AI 代理程式最佳化的工具與技能
AI 代理生命週期是實際應用時開發及改善 AI 代理的端到端流程。NeMo 與既有的 AI 工具與代理程式框架整合，以在整個生命週期中最佳化專門化代理程式。
| Features | Use This Tool | Get Started |
|---|---|---|
| Build agentic AI applications using open, highly accurate, energy-efficient models. | <strong>NVIDIA Nemotron</strong><br> State-of-the-art open models for reasoning, RAG, speech, vision, and safety, to build enterprise-ready agentic AI applications. | <div class="nv-text"> <ul> <li><a href="https://build.nvidia.com/search/models?filters=publisher%3Anvidia&q=Nemotron&ncid=no-ncid" target="_blank">Try Nemotron Models</a></li> <li><a href="https://huggingface.co/collections/nvidia/nvidia-nemotron-v3" target="_blank">Download Models</a></li> <li><a href="https://openrouter.ai/nvidia" target="_blank">Nemotron APIs on OpenRouter</a></li> </ul> </div> |
| Optimize model selection for quality, cost, and latency. | <strong>NeMo Switchyard</strong><br> Provides routing policies and model-selection logic for directing AI requests through existing inference infrastructure. | <div class="nv-text"> <ul> <li><a href="https://docs.nvidia.com/nemo/gym/model-server/switchyard/" target="_blank">Documentation</a></li> <li><a href="https://github.com/NVIDIA-NeMo/Switchyard" target="_blank">Access Open Source Code</a></li> </ul> </div> |
| Build, fine-tune, and align generative AI models at scale with code-level control and flexibility. | <strong>NeMo AutoModel</strong><br> Fine-tuning library for model customization of day-zero Hugging Face models. | <div class="nv-text"> <ul> <li><a href="https://docs.nvidia.com/nemo/automodel/latest" target="_blank">Documentation</a></li> <li><a href="https://github.com/NVIDIA-NeMo/Automodel?tab=readme-ov-file#getting-started" target="_blank">Access Open Source Code</a></li> </ul> </div> |
| <strong>NeMo Megatron Bridge</strong><br> High-performance model training at scale with Megatron-core. | <div class="nv-text"> <ul> <li><a href="https://docs.nvidia.com/nemo/megatron-bridge/latest/" target="_blank">Documentation</a></li> <li><a href="https://github.com/NVIDIA-NeMo/Megatron-Bridge?tab=readme-ov-file#-installation" target="_blank">Access Open Source Code</a></li> </ul> </div> | |
| Prepare large multimodal datasets for AI development pipelines. | <strong>NeMo Curator</strong><br> Clean, filter, and prepare multimodal data with an open, GPU-accelerated Python library. | <div class="nv-text"> <ul> <li><a href="https://docs.nvidia.com/nemo/curator/latest/" target="_blank">Documentation</a></li> <li><a href="https://github.com/NVIDIA/NeMo-Curator" target="_blank">Access Open Source Code</a></li> <li><a href="https://github.com/NVIDIA-NeMo/Curator/tree/main/.claude/skills" target="_blank">Agent Skills</a></li> </ul> </div> |
| Generate high-quality synthetic datasets for training, fine-tuning, or evaluating models. | <strong>NeMo Data Designer</strong><br> Design domain-specific datasets from scratch or seed examples to eliminate data bottlenecks and accelerate AI development. | <div class="nv-text"> <ul> <li><a href="https://nvidia-nemo.github.io/DataDesigner/latest/" target="_blank">Documentation</a></li> <li><a href="https://github.com/NVIDIA-NeMo/DataDesigner" target="_blank">Access Open Source Code</a></li> <li><a href="https://github.com/NVIDIA-NeMo/DataDesigner/tree/main/skills/data-designer" target="_blank">Agent Skills</a></li> </ul> </div> |
| Prepare and generate high-quality training and evaluation data while protecting sensitive information. | <strong>NeMo Anonymizer</strong><br> Perform context-aware data anonymization to protect PII while preserving insights. | <div class="nv-text"> <ul> <li><a href="https://nvidia-nemo.github.io/Anonymizer/latest/" target="_blank">Documentation</a></li> <li><a href="https://github.com/NVIDIA-NeMo/Anonymizer" target="_blank">Access Open Source Code</a></li> <li><a href="https://github.com/NVIDIA-NeMo/Anonymizer/tree/main/skills/anonymizer" target="_blank">Agent Skills</a></li> </ul> </div> |
| <strong>NeMo Safe Synthesizer</strong><br> Generate safe, synthetic versions of your sensitive datasets with no one-to-one mapping to original records. | <div class="nv-text"> <ul> <li><a href="https://nvidia-nemo.github.io/Safe-Synthesizer/latest/" target="_blank">Documentation</a></li> <li><a href="https://github.com/NVIDIA-NeMo/Safe-Synthesizer" target="_blank">Access Open Source Code</a></li> <li><a href="https://github.com/NVIDIA-NeMo/Safe-Synthesizer/blob/main/.agents/README.md" target="_blank">Agent Skills</a></li> </ul> </div> | |
| Test realistic user interactions before live traffic is available. | <strong>NeMo User Sim</strong><br> Generates diverse, multi-turn user trajectories for evaluation, remediation, and targeted training. | <div class="nv-text"> <ul> <li><a href="https://github.com/NVIDIA-NeMo/UserSim" target="_blank">Access Open Source Code</a></li> </ul> </div> |
| Post-train models for specialized agent tasks with reinforcement learning. | <strong>NeMo RL</strong><br> Post-train and align models at scale with advanced reinforcement learning techniques. | <div class="nv-text"> <ul> <li><a href="https://docs.nvidia.com/nemo/rl/latest/index.html" target="_blank">Documentation</a></li> <li><a href="https://catalog.ngc.nvidia.com/orgs/nvidia/containers/nemo-rl?version=v0.6.0" target="_blank">Download Container</a></li> <li><a href="https://github.com/NVIDIA-NeMo/RL" target="_blank">Access Open Source Code</a></li> <li><a href="https://github.com/NVIDIA-NeMo/RL/tree/main/skills" target="_blank">Agent Skills</a></li> </ul> </div> |
| <strong>NeMo Gym</strong><br> Generate high-quality, verifiable rollout data using agentic environments for evaluating and optimizing models and agents with RL post-training. | <div class="nv-text"> <ul> <li><a href="https://docs.nvidia.com/nemo/gym/main/about/" target="_blank">Documentation</a></li> <li><a href="https://github.com/NVIDIA-NeMo/Gym" target="_blank">Access Open Source Code</a></li> <li><a href="https://github.com/NVIDIA-NeMo/Gym/tree/main/.claude/skills" target="_blank">Agent Skills</a></li> </ul> </div> | |
| Turn agent execution evidence into prioritized improvements. | <strong>NeMo Relay</strong><br> Captures structured traces of model requests, tool calls, and agent interactions alongside existing harnesses. | <div class="nv-text"> <ul> <li><a href="https://docs.nvidia.com/nemo/relay/latest/" target="_blank">Documentation</a></li> <li><a href="https://github.com/NVIDIA/NeMo-Relay" target="_blank">Access Open Source Code</a></li> </ul> </div> |
| <strong>NeMo Compass</strong><br> Analyzes stored traces and evaluation evidence to produce a prioritized improvement backlog with supporting evidence. | <div class="nv-text"> <ul> <li><a href="https://github.com/NVIDIA-NeMo/labs-trace-intel" target="_blank">Access Open Source Code</a></li> </ul> </div> | |
| Close evaluation gaps in domain-specific agent workflows. | <strong>NeMo Eval Author</strong><br> Creates custom evaluation tasks, metrics, and graders grounded in an agent’s purpose, code, and traces. | <div class="nv-text"> <ul> <li><a href="https://github.com/NVIDIA-NeMo/labs-eval-author" target="_blank">Access Open Source Code</a></li> </ul> </div> |
| Integrate and expose easy-to-use APIs to accelerate model fine-tuning and alignment to power agentic workflows. | <strong>NeMo Customizer</strong><br> Microservice for easy and scalable fine-tuning and reinforcement learning with proprietary domain data. | <div class="nv-text"> <ul> <li><a href="https://docs.nvidia.com/nemo/microservices/latest/fine-tune/index.html" target="_blank">Documentation</a></li> <li><a href="https://catalog.ngc.nvidia.com/orgs/nvidia/teams/nemo-microservices/containers/customizer" target="_blank">Download Microservice</a></li> </ul> </div> |
| Evaluate the performance of your model and agent pipeline. | <strong>NeMo Evaluator</strong><br> Evaluate model and agent performance with streamlined deployment, benchmark support, and advanced harnesses. | <div class="nv-text"> <ul> <li><a href="https://docs.nvidia.com/nemo/evaluator/latest/" target="_blank">Documentation</a></li> <li><a href="https://github.com/NVIDIA-NeMo/Evaluator" target="_blank">Access Open Source SDK</a></li> <li><a href="https://github.com/NVIDIA-NeMo/Evaluator/tree/main#agentic-skills" target="_blank">Agent Skills</a></li> <li><a href="https://catalog.ngc.nvidia.com/orgs/nvidia/teams/nemo-microservices/containers/evaluator" target="_blank">Download Microservice</a></li> </ul> </div> |
| Validate agent and model safety before launch. | <strong>garak</strong><br> Red-team and scan vulnerabilities for hardening agents and LLMs prior to deployment. | <div class="nv-text"> <ul> <li><a href="https://github.com/NVIDIA/garak" target="_blank">Access Open Source Code</a></li> </ul> </div> |
| Ensure your agent’s responses are safe and on-topic. | <strong>NeMo Guardrails</strong><br> A programmable orchestration layer for ensuring safety, security, and topical relevance at runtime. | <div class="nv-text"> <ul> <li><a href="https://docs.nvidia.com/nemo/guardrails/latest/" target="_blank">Documentation</a></li> <li><a href="https://huggingface.co/collections/nvidia/nemoguard" target="_blank">Try Hugging Face Models</a></li> <li><a href="https://catalog.ngc.nvidia.com/orgs/nvidia/teams/nemo-microservices/containers/guardrails" target="_blank">Download Microservice</a></li> <li><a href="https://github.com/NVIDIA/NeMo-Guardrails" target="_blank">Access Open Source Toolkit</a></li> </ul> </div> |
| Switch agent harnesses without rebuilding integrations. | <strong>NeMo Fabric</strong><br> Provides one consistent interface to configure, run, and collect normalized results from agents across supported harnesses. | <div class="nv-text"> <ul> <li><a href="https://docs.nvidia.com/nemo/fabric/about-nemo-fabric/overview" target="_blank">Documentation</a></li> <li><a href="https://github.com/NVIDIA/NeMo-Fabric" target="_blank">Access Open Source Code</a></li> </ul> </div> |
| Test agent improvements and review performance and safety before production. | <strong>NeMo Helix</strong><br> Connects evaluation, experimentation, optimization, and safety checks in repeatable workflows through NeMo and third-party plugins. | <div class="nv-text"> <ul> <li><a href="https://docs.nvidia.com/nemo-helix/documentation/home/" target="_blank">Documentation</a></li> <li><a href="https://github.com/NVIDIA-NeMo/nemo-helix" target="_blank">Access Open Source Code</a></li> </ul> </div> |
| Deploy your model for high-performance inference. | <strong>NVIDIA NIM<sup>TM</sup></strong><br> Containerized microservices for secure and reliable deployment of AI models anywhere. | <div class="nv-text"> <ul> <li><a href="https://docs.nvidia.com/nim/" target="_blank">Documentation</a></li> <li><a href="https://build.nvidia.com/explore/discover" target="_blank">Try NIM Microservices</a></li> </ul> </div> |
常見問題
NVIDIA NeMo 是一套以代理程式為優先設計的開放式程式庫套件，用於加速 AI 代理程式的專門化、最佳化與治理。
NeMo 可與既有的 AI 工具與代理程式框架整合，在任何雲端、地端或混合式環境中最佳化專門化代理程式。
NeMo 透過開源方式提供，享有 NVIDIA AI Enterprise 提供的支援。在這裡可以找到價格與授權詳細資料。
NeMo 可用於自訂大型語言模型 (LLM)、視覺語言模型 (VLM)、自動語音識別 (ASR)，以及文字轉語音 (TTS) 模型。
NVIDIA AI Enterprise 包含 NVIDIA 企業標準支援。如需其他可用的支援與服務，例如 NVIDIA 企業關鍵支援、技術客戶經理、訓練和專業服務，請參閱 NVIDIA 企業支援與服務指南。
NVIDIA NeMo 框架是開源的生成式 AI 框架，專為追求精細控制與程式碼層級彈性的研究人員和開發人員而設計，可讓他們大規模高效打造生成式 AI 模型。這款框架支援多模態生成式 AI 模型的預先訓練、後期訓練與強化學習。
NVIDIA NeMo 微服務是以 NeMo 框架為基礎建置的企業級 API 優先模組化產品，是為了讓開發人員輕鬆快速自訂及大規模部署 AI 代理而打造。它簡化了模型微調、評估、防護機制與合成資料生成。這些微服務無縫整合至現有的 AI 平台，讓企業能加速開發自訂的 AI 代理，然後透過資料飛輪工作流程持續加以最佳化。
NeMo Curator 是開源程式庫，透過精選高品質的多模態資料集，提高生成式 AI 模型的準確度。其中包含的 API 形式 Python 模組運用 Dask、cuDF、cuGraph 和 Pytorch，將資料下載、文字擷取、清理、篩選、精確 / 模糊重複資料刪除以及文字分類等資料庋用任務，擴充至成千上萬個運算核心
NeMo Data Designer 是專為 AI 開發人員打造的微服務 (也可以開放式程式庫的方式提供)，透過可配置的結構描述與採用 AI 技術的生成模型，以程式化方式產生合成資料。它的設計可無縫整合至 AI 開發工作流程。
NeMo Anonymizer 是一款開放式程式庫，支援自由文本中進行具情境感知的資料匿名化處理。在偵測到敏感實體後，可以對其進行標註、遮蔽、雜湊處理、替換，或完全重寫。
NeMo Safe Synthesizer 是一款開放式程式庫，用於生成敏感資料集的合成版本。這可建立全新的紀錄，且與原始資料之間不存在一對一對應關係。在維護資料隱私的同時，釋放資料中的深入解析。
NeMo Customizer 是高效能的可擴充微服務，利用先進的微調與強化學習技術，簡化特定領域使用案例的 LLM 自訂與調校過程。
NeMo Auditor 以離線批次的方式探測 LLM，並利用各種自動化攻擊與邊緣案例提示，揭露安全與防護漏洞。它採用開放式 NVIDIA Garak 程式庫，設計可嵌入評估工作流程與 CI/CD 流程，讓團隊能定期執行稽核，並利用產生的報告持續強化模型與部署。
NeMo Evaluator 為 LLM、RAG 流程與 AI 代理等生成式 AI 應用，提供可擴充的基準測試。它的開源 SDK 可利用 100 多項基準測試進行靈活彈性的實驗，還有雲端原生微服務，透過 LLM 即評審評分機制與專門的效能指標，將企業級評估工作流程自動化。
NeMo Guardrails 讓開發人員將可程式化的防護機制應用於 LLM 與代理 AI 應用程式。它包含一套 NVIDIA Nemotron Safety 模型，適用範圍包括內容安全、PII、越獄偵測與主題控制，具備先進的推理功能以及多語言與多模態支援。組織透過 NeMo Guardrails，可控制代理式資料存取、回應方式，以及可存取的工具與資料來源，確保自訂政策合規性與安全控制措施確實執行。
NeMo RL 是進階強化學習演算法與可擴充後期訓練用的開源程式庫，在企業規模將 AI 代理最佳化及對齊。
NeMo Gym 是為大型語言模型 (LLM) 建立強化學習 (RL) 訓練環境用的開源程式庫。NeMo Gym 提供的基礎設施可用於開發環境、擴大推演資料蒐集，並可與偏好的訓練框架順暢整合。它可協助生成 RL 訓練所需的資料，讓 AI 代理與模型具備特定領域技能。
NeMo Retriever 是採用 Nemotron RAG 模型的開源程式庫，用於建立可擴充的流程，從複雜文件擷取多模態資料，最多將準確度提高 50%，並讓多模態 PDF 擷取速度提升 15 倍。
NeMo Relay 是一個整合層，用於將黑盒與通用型代理測試控台連接至 NeMo 平台。這有助於團隊將既有的代理程式工作流程導入 NeMo，使其能夠利用平台能力進行最佳化、評估與持續改進，而無需從零重建其代理技術堆疊。
NVIDIA NIM 是 NVIDIA AI Enterprise 的一環，簡單易用，是專為加速企業部署生成式 AI 而設計的執行階段。這款多用途的微服務支援各種 AI 模型，包括開放原始碼社群模型、NVIDIA AI 基礎模型，以及自訂的 AI 模型。這款微服務採用穩健的推論引擎基礎，是專為促進大規模無縫 AI 推論而設計，確保 AI 應用可部署於雲端、資料中心和工作站。
檢索增強生成這項技術可讓 LLM 連接至公司的知識庫，根據最新資訊產生回應。NeMo 可搭配各種第三方與社群工具，包括 Milvus、Llama Index 與 LangChain，並從向量資料庫擷取相關訊息片段，並輸入 LLM，生成自然語言回應。探索使用 RAG 工作流程的 AI 聊天機器人頁面，開始建立達到正式環境品質，可準確回答企業資料相關問題的 AI 聊天機器人。
NVIDIA Blueprints 是以 NVIDIA Nemotron 開放模型與程式庫打造的全方位參考工作流程。每個藍圖都包括參考程式碼、部署工具、客製化指南和參考架構，加速 AI 代理程式與數位孿生等 AI 解決方案從原型設計到實際生產環境的部署。
NVIDIA AI Enterprise 整合了 AI 開發所需的微服務、框架與程式庫，並在完全受支援且具備生產就緒能力的商業軟體套件中，提供先進的 GPU 編排與基礎設施管理功能。放心部署尖端開源工具與 AI 模型、提高生產力及加速實現價值，並且以最佳化的資源利用率大規模執行 AI 工作負載。