概覽
NVIDIA NeMo 是什麼？
NVIDIA NeMo™ 是管理 AI 代理生命週期用的模組化軟體套件。它針對資料處理、模型微調與評估、強化學習、政策執行與系統可觀察性，提供微服務和工具套件。NeMo 協助企業在任何 GPU 加速基礎架構大規模打造、監測及最佳化代理型 AI 系統。它與現有 AI 平台整合，支援雲端、內部部署和混合式部署，讓企業能快速管理並輕鬆建立持續將 AI 代理最佳化的資料飛輪。
優勢
探索 NVIDIA NeMo 在代理 AI 方面的優勢
模組化 AI 代理生命週期管理
利用可互通的企業級軟體套件管理 AI 代理生命週期，範圍涵蓋資料庋用、自訂、評估，以及防護、可觀察性與最佳化。
無縫部署與擴充
輕鬆打造資料飛輪，運用企業資料改善 AI 代理，透過簡單的 Helm 圖表部署或針對工作流程各環節的 API 呼叫，驅動整個飛輪。
效能加速
透過 GPU 加速最佳化、多節點擴充和調整，實現符合成本效益的訓練、部署和持續改善，將 AI 代理效能與傳輸量最大化。
更安全的代理 AI
透過審查模型、設置提示防護機制，以及持續掃描漏洞，打造更安全的代理 AI 系統。
正式環境就緒
NVIDIA AI Enterprise 中安全且最佳化的完整堆疊解決方案，提供支援、安全性及 API 穩定性，是部署至正式環境的利器。
在雲端、資料中心與邊緣端，隨時隨地打造、監測及最佳化 AI 代理。
特色
管理 AI 代理生命週期的工具
AI 代理生命週期是實際應用時開發及改善 AI 代理的端到端流程。NVIDIA NeMo 提供實現這項工作流程每一步的工具，讓企業能打造強大、安全且持續學習的代理。
| 打造 | |
|---|---|
| 準備 AI 就緒的資料 處理現有的多模態資料集，將其轉化為開發流程用的高品質 AI 就緒格式，並生成合成資料，縮小關鍵的資料差距。 |
|
| 選擇合適的模型 挑選或打造適合使用案例的模型、利用學術基準測試驗證、執行自訂評估，並根據需要微調。 |
|
| 打造 AI 代理 將自訂模型轉化為可擴充的應用程式，並將它無縫連接至企業堆疊和工具，並以彈性協調方式定義工作流程。 |
|
| 部署 | |
| 以最高效能部署代理 利用高傳輸量低延遲的推論，為正式環境將代理最佳化，確保能隨著企業需求擴充，並提供快速可靠的回應。 |
|
| 奠基於資料並實施防護機制 運用檢索增強生成 (RAG) 技術，讓代理回應參考可靠的知識，並採用安全、合規與內容審核的防護機制。 |
|
| 最佳化 | |
| 監測及收集意見回饋 追蹤代理與使用者和其他系統的實際互動。以系統化的方式評估效能與準確度，尋找持續改善的機會。 |
|
| 利用資料飛輪持續改善 運用從監測過程收集的意見回饋與資料打造資料驅動的飛輪，以迭代方式重新訓練代理，經年累月持續最佳化並維持高效。 |
|
使用案例
NeMo 的使用方式
瞭解 NVIDIA NeMo 如何支援產業使用案例，幫助您快速展開 AI 開發。
-
AI 代理
-
代理 AI 的 SDG
-
AI 助理
-
資訊檢索
-
內容生成
-
人形機器人
AI 代理
AI 代理正翻轉各行各業的客戶服務，協助公司提升與客戶對話體驗、實現高問題解決率，並改善人工客服的生產力。AI 代理可處理預測性任務、推理和解決問題，以及接受理解特定產業術語的訓練，並且從組織的知識庫提取相關資訊，不受資料存放位置限制。
代理 AI 的合成資料生成
專屬代理系統需要大量的高品質資料集，但從真實世界來源收集的過程緩慢又昂貴。藉由模擬或生成式 AI 模型產生的合成資料，企業可突破資料瓶頸，安心建立大量訓練場景，無需擔憂隱私或品質風險。這樣一來，便可加速開發推理 LLM、多步驟決策系統，以及多模態 AI 助理。
資訊檢索
每年產生的 PDF 檔案數兆個，每個檔案可能有好幾頁內容，而且內容類型五花八門，包括文字、圖像、圖表和表格。這些豐富的資料，其使用速度受限於人類閱讀和理解的能力。然而，有了生成式 AI 和 RAG，這些未開發的資料便可用於發掘業務深入解析，協助員工提高工作效率，降低成本。
內容生成
生成式 AI 可產生高度相關、量身打造且準確的內容，而且完全根植於貴企業的領域專業知識和專有智慧財產。
人形機器人
人形機器人可快速因應現行之以人為本的城市與工業工作空間，處理繁瑣、重複或耗費大量體力的工作。這類機器人的用途多元，無論是工廠或醫療機構皆適用，可在各種場所協助人類、透過自動化減輕勞動力短缺的問題。
Apptronik
入門選項
開始使用 NVIDIA NeMo 的方式
利用建立、監測及最佳化正式環境的工具與技術，管理 AI 代理生命週期。
客戶案例
產業領導者如何運用 NeMo 推動創新
採用者
各行各業的頂尖採用者
-
客戶
-
合作夥伴
資源
NVIDIA NeMo 資源的最新消息
-
部落格文章
-
演講
-
訓練課程
-
影片
後續步驟
準備好開始了嗎？
運用正確的工具與技術，將代理 AI 應用從開發階段推進到正式環境。
針對開發人員
探索開始使用 NVIDIA NeMo 開發所需的一切資源，包括最新說明文件、教學課程與技術部落格等。
聯絡我們
洽詢 NVIDIA 產品專家，並瞭解如何運用 NVIDIA AI Enterprise 提供的安全性、API 穩定性與支援，確保產品從試產階段順利推進至正式環境。
Shell
Shell 運用 NVIDIA NeMo 訓練客製化 AI 聊天機器人，提升營運效率
Shell 是全球能源產業領導者，運用 NVIDIA NeMo™ 量身打造化學領域專業 AI 聊天機器人。這項創新解決方案可望精簡搜尋流程、改善決策，並支援正式環境的研發工作，大幅提升員工生產力。
AI Sweden
運用 LLM 加速產業應用
AI Sweden 提供了輕鬆取用 1,000 億參數的強大模型，帶動區域語言模型應用。該公司將歷史記錄數位化，開發商用語言模型。
Amazon
Amazon 與 NVIDIA 如何協助賣家運用 AI 製作更出色的產品資訊頁面
Amazon 運用 NVIDIA TensorRT-LLM 和 GPU，將新 AI 功能的推論速度提升兩倍，協助賣家更快將產品資訊頁面最佳化。
Amdocs
NVIDIA 和 Amdocs 將自訂生成式 AI 導入全球電信業
Amdocs 規劃在 Microsoft Azure 使用 NVIDIA AI foundry 服務，為市值 1.7 兆美元的全球電信產業打造客製化 LLM。
AT&T
AT&T 利用 NVIDIA NeMo 提升客服 AI 代理的準確度、效率與效能
AT&T 是全球規模數一數二的電信公司，在運用 AI 的強大功能重新構思客戶服務。AT&T 的難題包括模型漂移、運算需求增加，以及即時存取資料的需求，已改採 NVIDIA NeMo™ 微服務建置意見回饋導向的 AI 平台，持續提高效能，同時將成本、速度和合規性最佳化。
AWS
NVIDIA 為部分最大的 Amazon Titan 基礎模型訓練提供支援
Amazon 運用 NVIDIA NeMo 框架、GPU 和 AWS EFA 訓練新一代 LLM，為部分最大的 Amazon Titan 基礎模型客戶提供更快也更易於使用的生成式 AI 解決方案。
Accenture
加速企業採用生成式 AI
ServiceNow、NVIDIA 與 Accenture 宣布推出 AI Lighthouse，這項首創的計畫是專為加速企業開發與採用生成式 AI 功能而設計。
Azure
在 Azure 機器學習駕馭 NVIDIA AI Enterprise 的強大功能
在 Microsoft Azure 取用專為企業環境量身打造的完整生態系，包含工具、函式庫、框架和支援服務。
Bria
Bria 運用 NVIDIA NeMo、Picasso 為企業打造負責任的生成式 AI
總部位於特拉維夫的新創公司 Bria，透過強調模型透明度、公平歸屬和著作權保護的生成式 AI 服務，協助企業尋求負責任的方式，將視覺生成式 AI 技術整合至企業產品。
Cohesity
釋放資料的超能力：NVIDIA 微服務為 Cohesity 釋放企業級安全生成式 AI 的潛力
Cohesity DataProtect 客戶利用 NVIDIA NIM 和最佳化模型，可在資料備份與存檔融入生成式 AI 智慧。這樣一來，Cohesity 與 NVIDIA 便能為所有 Cohesity DataProtect 客戶提供生成式 AI 的強大功能。Cohesity DataProtect 客戶利用 NIM 和 NVIDIA 最佳化模型的強大功能，從資料備份和封存取得資料導向的深入解析，將效率、創新和成長推向全新境界。
CrowdStrike
形塑網路安全領域 AI 未來發展
CrowdStrike 與 NVIDIA 正運用加速運算和生成式 AI，為客戶量身打造一系列創新 AI 解決方案，高效解決安全威脅。
Dell
Dell 與 NVIDIA 共同驗證生成式 AI 的設計
Dell Technologies 與 NVIDIA 發表計畫，讓企業能夠更輕鬆以快速安全的方式，在內部部署環境建立及使用生成式 AI 模型。
Deloitte
在企業軟體平台開啟生成式 AI 的價值
Deloitte 將運用 NVIDIA AI 技術和專業，為企業軟體平台打造高效能的生成式 AI 解決方案，協助開創龐大的商業價值。
Domino Data Lab
Domino 採用 NVIDIA 技術，提供正式環境級的生成式 AI
資料科學家利用 NVIDIA NeMo 便可在 Domino 平台根據專有資料與 IP，針對特定領域使用案例微調 LLM，無需從頭開始。
Dropbox
Dropbox 與 NVIDIA 將為數百萬客戶實現個人化的生成式 AI
Dropbox 計劃運用 NVIDIA 的 AI Foundry 打造客製化模型，並運用 Dropbox Dash 通用搜尋工具與 Dropbox AI 改善採用 AI 技術的知識工作。
Google Cloud
AI 巨擘合力打造生成式 AI 令人驚豔的成果
Google Cloud 在 Next 大會上，宣布推出搭載 NVIDIA H100 Tensor 核心 GPU 的 A3 執行個體。兩家公司的工程團隊合力將 NVIDIA NeMo 引進 A3 執行個體，加速訓練與推論。
HuggingFace
引領 AI 社群加速資料庋用流程
頂尖 AI 開發人員開放式平台 Hugging Face 正與 NVIDIA 合作整合 NeMo Curator，加速資料篩選和去重函式庫 DataTrove。「我們對 NeMo Curator 的 GPU 加速功能非常感興趣，也迫不及待想看到這些功能整合至 DataTrove 了！」Hugging Face 產品總監 Jeff Boudier 表示。
KT
以 LLM 創造全新的客戶體驗
南韓行動電信龍頭建置以 NVIDIA DGX SuperPOD 平台和 NeMo 框架訓練的數十億參數 LLM，支援智慧音箱和客服中心。
Lenovo
採用 LLM 的全新生成式 AI 參考架構
這個解決方案讓全球合作夥伴和客戶能夠在產業垂直領域大規模開發、訓練及部署 AI，以最安全有效率的方式加速創新。
Quantiphi
讓企業加速採用 AI 技術的旅程
Quantiphi 專精於使用 NVIDIA NeMo 框架訓練和微調基礎模型，並且以 NVIDIA AI Enterprise 軟體平台將部署大規模最佳化，同時遵守負責任的 AI 原則。
SAP
SAP 與 NVIDIA 加速在驅動全球各行各業的企業應用導入生成式 AI
客戶可利用搭配 NVIDIA AI Foundry 服務與 NVIDIA NIM 微服務部署的客製化 LLM，善用 SAP 雲端解決方案中的業務資料。
ServiceNow
跨企業 IT 建置生成式 AI
ServiceNow 在 ServiceNow 平台量身打造 LLM，實現智慧型工作流程自動化，並且大幅提升所有企業 IT 流程的生產力。
Perplexity
提升採用 AI 搜尋引擎的模型效能
Perplexity 運用 NVIDIA NeMo 快速自訂尖端模型，致力於提升搜尋結果的準確度和品質，並且將模型最佳化，實現低延遲和高傳輸量，締造更完善的使用者體驗。
VMware
VMware 和 NVIDIA 為企業釋放生成式 AI 的潛力
VMware Private AI Foundation 與 NVIDIA 合作，協助企業自訂模型並執行生成式 AI 應用，包括智慧型聊天機器人、助理、搜尋和摘要。
Weight & Biases
除錯、最佳化及監測 LLM 流程
Weights & Biases 協助處理生成式 AI 使用案例或 LLM 的團隊追蹤及視覺化所有提示工程實驗，幫助使用者進行 LLM 流程除錯與最佳化作業，並且為 LLM 提供監測與可觀測性功能。
Writer
新創公司運用 NVIDIA NeMo 譜寫生成式 AI 成功案例
Writer 運用 NVIDIA NeMo 打造 LLM，協助成千上百家公司為行銷、訓練與支援等企業使用案例量身打造內容。
Arize
Arize 驅動自我強化的 AI 資料飛輪
Arize 的 LLM 工程與可觀測性平台整合 NVIDIA NeMo 微服務，不僅可驅動 AI 資料飛輪，還可透過實際意見回饋持續精煉模型。Arize 運用 NeMo Customizer、Evaluator 和 Guardrails，確保代理系統可發揮高效能、安全無虞，而且符合不斷變化的企業需求。這項合作可支援開發持續學習與發展的自適應 AI。
DataRobot
NeMo 搭配 DataRobot 的可靠企業級 AI 代理
企業將 NVIDIA NeMo 嵌入 DataRobot Enterprise AI 套件後，可確保代理系統安全合規，並且奠基於企業專屬資料。這項整合有助於開發 AI 代理，不僅符合組織標準，還能提供理解情境的精確回應。
DataStax
DataStax 與 NVIDIA 打造資料與 AI 平台
過去一年，DataStax 與 NVIDIA 合作，採用 NVIDIA NeMo 微服務強化資料庫與 AI 供應項目的生成式 AI、檢索增強生成與混合式搜尋。成果令人驚豔：傳輸量效能提升 19 倍、成本大幅降低，而且延遲減少。
Galileo
Galileo 與 NVIDIA NeMo：降低正式環境中代理 AI 的風險
Galileo 整合 NVIDIA NeMo 微服務打造 AI 資料飛輪，強化代理的效能、可靠性和信任度。NeMo 為 Galileo 平台增加了互補功能，支援透過 NeMo Customizer 持續微調特定領域、利用 NeMo Evaluator 進行進階評估，以及利用 NeMo Guardrails 保護使用者互動，讓 AI 團隊能打造、評估及監測在真實世界環境持續學習及改善的代理 AI 系統。
