NVIDIA NeMo

全方位的工具套件,可在企業規模的整個生命週期建構、監測及最佳化 AI 代理。

概覽

NVIDIA NeMo 是什麼?

NVIDIA NeMo™ 是一套全方位的工具套件,用於管理 AI 代理程式生命週期。 包括開放式函式庫與微服務,用於資料處理、資料生成、模型微調與評估、強化學習、語音、安全與代理可觀察性。 利用 NeMo 自訂 NVIDIA Nemotron™ 與其他開放模型,建立根據您的領域需求與資料量身打造的生產級專用代理式系統。

與現有的 AI 平台整合,支援雲端、內部部署與混合部署。

 

NVIDIA Data Flywheel Blueprint

這款 AI 藍圖可讓開發人員打造自動化的資料飛輪,以擷取實際的使用資料,持續提高生成式與代理式 AI 應用的準確度與效率。

NVIDIA AI-Q Blueprint

這是一個參考工作流程,用於建構自訂的企業研究代理程式,可安全連線至公司資料、工具與工作流程,提供基於組織知識的準確且情境感知的深入解析。

特色

管理 AI 代理生命週期的工具

AI 代理生命週期是實際應用時開發及改善 AI 代理的端到端流程。NVIDIA NeMo 提供實現這項工作流程每一步的工具,讓企業能打造強大、安全且持續學習的代理。

打造
準備 AI 就緒的資料

處理現有的多模態資料集,將其轉化為開發流程用的高品質 AI 就緒格式,並生成合成資料,縮小關鍵的資料差距。
  • NeMo Curator
    為代理式使用案例與模型訓練清理、篩選並準備安全的多模態資料。
  • NeMo Data Designer
    從頭開始建立特定領域的合成資料集,用於建構及評估專用代理程式。
選擇合適的模型

挑選或打造適合使用案例的模型:選擇開放式 Nemotron 模型、其他開放式或專有選項,或者從頭開始訓練。 透過評估執行來驗證,並根據需要微調。
  • NVIDIA Nemotron
    最先進的開放式 NVIDIA 模型,用於推理、RAG、語音、視覺與安全。
  • NeMo Retriever
    建立可擴充的流程,從複雜文件中擷取文字、表格、圖表與影像。
  • NeMo Evaluator
    透過學術評測、以 LLM 作為評審,以及自訂評估方式,對模型與代理進行基準測試與驗證。
建立您的 AI 代理程式

分析並最佳化跨框架的代理式工作流程,具備內建效能分析、瓶頸偵測、評估驅動的 RL 調整,以及與 LangChain、LlamaIndex 及其他代理生態系的互通性。
  • NeMo Agent Toolkit
    可建置、剖析及最佳化 AI 代理的工具套件,不受框架侷限。
部署
以最高效能部署代理

利用高傳輸量低延遲的推論,為正式環境將代理最佳化,確保能隨著企業需求擴充,並提供快速可靠的回應。
  • NVIDIA NIM
    在最佳化容器中執行 AI 模型,透過與 OpenAI 相容的 API 形式開放使用。
確保資料關聯性並套用防護措施:

利用檢索增強生成 (RAG) 將代理程式回應固定於可信賴的知識,同時套用安全、合規與內容審核防護措施。
最佳化
監測及收集意見回饋

追蹤代理與使用者和其他系統的實際互動。以系統化的方式評估效能與準確度,尋找持續改善的機會。
  • NeMo Agent Toolkit
    可建置、剖析及最佳化 AI 代理的工具套件,不受框架侷限。
  • NeMo Customizer
    微服務可根據領域資料微調並校準模型。
  • NeMo Framework
    所有開源 NeMo 函式庫的集合,用於大規模高效訓練與校準 LLM 與多模態。
利用資料飛輪持續改善

運用從監測過程收集的意見回饋與資料打造資料驅動的飛輪,以迭代方式重新訓練代理,經年累月持續最佳化並維持高效。
  • NeMo RL
    使用先進的強化學習技術,大規模進行後期訓練並校準模型。
  • NeMo Gym
    模擬 RL 訓練環境,生成高品質的代理式 RL 訓練資料/軌跡資料。
  • NeMo Evaluator
    透過學術評測、以 LLM 作為評審,以及自訂評估方式,對模型與代理進行基準測試與驗證。
  • NeMo Customizer
    微服務可根據領域資料微調並校準模型。

使用案例

NeMo 的使用方式

瞭解 NVIDIA NeMo 如何支援產業使用案例,幫助您快速展開 AI 開發。

AI 代理

AI 代理正翻轉各行各業的客戶服務,協助公司提升與客戶對話體驗、實現高問題解決率,並改善人工客服的生產力。AI 代理可處理預測性任務、推理和解決問題,以及接受理解特定產業術語的訓練,並且從組織的知識庫提取相關資訊,不受資料存放位置限制。

代理 AI 的合成資料生成

專屬代理系統需要大量的高品質資料集,但從真實世界來源收集的過程緩慢又昂貴。藉由模擬或生成式 AI 模型產生的合成資料,企業可突破資料瓶頸,安心建立大量訓練場景,無需擔憂隱私或品質風險。這樣一來,便可加速開發推理 LLM、多步驟決策系統,以及多模態 AI 助理。

AI 助理

企業紛紛部署 AI 助理,以高效方式解決數百萬名客戶與員工一整天不間斷的疑問。這些 AI 團隊成員採用為 LLMRAG,以及語音與翻譯 AI 定製的 NVIDIA NIM™ 微服務,即使在存在背景噪音、音質不佳且方言與口音多樣化的環境,也能提供即時準確的語音回應。

企業搜尋

企業每年產生數兆份文件,包括 PDF、報告、簡報,每份文件都包含文字、圖片、圖表與表格,而且分佈在互不相連的系統中。採用 AI 技術的企業搜尋可將這種分散的資料轉化為統一的知識庫,讓員工透過自然語言即時挖掘深入解析,並以更低的成本加速決策制定。

內容生成

生成式 AI 可產生高度相關、量身打造且準確的內容,而且完全根植於貴企業的領域專業知識和專有智慧財產。

人形機器人

人形機器人可快速因應現行之以人為本的城市與工業工作空間,處理繁瑣、重複或耗費大量體力的工作。這類機器人的用途多元,無論是工廠或醫療機構皆適用,可在各種場所協助人類、透過自動化減輕勞動力短缺的問題。

Apptronik

優勢

探索 NVIDIA NeMo 在代理 AI 方面的優勢

全面的模組化 AI 代理套件

利用可互通的企業級軟體套件,管理完整的代理程式生命週期,包括資料整理與後期訓練,以及評估、防護措施、可觀察性與持續最佳化。

大規模加速

利用企業資料,透過 GPU 加速的訓練、推論、多節點擴充,以及具成本效益的最佳化,為高傳輸量的代理工作負載部署及擴充資料飛輪。

投資報酬率更高

加速建構、客製化及部署專用的代理式系統,縮短正式環境部署時間並最大化 AI 投資報酬。

安全且生產就緒

保護敏感資料、執行原則與提示式防護措施、驗證模型,以及持續偵測漏洞。 利用 NVIDIA AI Enterprise 在雲端、資料中心與邊緣安全部署,並獲得企業級支援與穩定性。

入門選項

開始使用 NVIDIA NeMo 的方式

利用建立、監測及最佳化正式環境的工具與技術,管理 AI 代理生命週期。

1

試用 NVIDIA Nemotron 這類 NVIDIA 最佳化的基礎模型。

2

利用 NVIDIA NeMo 打造、監測及最佳化 AI 代理。

3

利用 NVIDIA Blueprints 快速開始打造 AI 解決方案。

客戶案例

產業領導者如何運用 NeMo 推動創新

採用者

各行各業的頂尖採用者

資源

NVIDIA NeMo 資源的最新消息

開始使用 LLM 客製化

本課程內容不僅包含提示工程 LLM,您還可學習如何為特定使用案例高效自訂預先訓練 LLM 的技巧。您將運用 NVIDIA NIM 微服務、NeMo Curator 與 NeMo 框架,學習各種高效參數微調方法,為組織自訂 LLM 行為。

提升 LLM 技能

歡迎充分利用全方位的 LLM 學習路徑,內容涵蓋基礎知識與進階主題,而且有 NVIDIA 專家開發及主持的實作訓練。您可以選擇自行安排進度的靈活彈性課程,或者報名參加講師指導的實作坊,取得技能認證證書。

取得 NVIDIA 認證

取得 NVIDIA 認證,展現您的生成式 AI 技能,讓職涯更上層樓。全新的專業認證計畫提供兩項開發人員測驗,側重於大型語言模型 (LLM) 專業能力和多模態工作流程技能。

利用週末訓練具推理能力的 LLM

探索如何運用從 Llama Nemotron 後期訓練資料集和 NVIDIA NeMo 精選的少量訓練資料,以簡單且運算效率高的方法訓練推理模型。

利用資料飛輪將 AI 代理最佳化

瞭解如何利用 NVIDIA Data Flywheel Blueprint 將正式環境中的 AI 代理最佳化,認識這個由 NeMo 與 NIM 微服務驅動的持續蒸餾、微調與評估流程。

利用 NeMo Agent 開源工具套件打造 AI 代理

瞭解如何利用 NVIDIA NeMo Agent 開源 Python 工具套件,打造、整合及最佳化自訂的 AI 代理。

後續步驟

準備好開始了嗎?

運用正確的工具與技術,將代理 AI 應用從開發階段推進到正式環境。

開發人員專區

探索開始使用 NVIDIA NeMo 開發所需的一切資源,包括最新說明文件、教學課程與技術部落格等。

聯絡我們

洽詢 NVIDIA 產品專家,並瞭解如何運用 NVIDIA AI Enterprise 提供的安全性、API 穩定性與支援,確保產品從試產階段順利推進至正式環境。

Shell

Shell 運用 NVIDIA NeMo 訓練客製化 AI 聊天機器人,提升營運效率

Shell 是全球能源產業領導者,運用 NVIDIA NeMo 量身打造化學領域專業 AI 聊天機器人。這項創新解決方案可望精簡搜尋流程、改善決策,並支援正式環境的研發工作,大幅提升員工生產力。

AI Sweden

運用 LLM 加速產業應用

AI Sweden 提供了輕鬆取用 1,000 億參數的強大模型,帶動區域語言模型應用。該公司將歷史記錄數位化,開發商用語言模型。

Amazon

Amazon 與 NVIDIA 如何協助賣家運用 AI 製作更出色的產品資訊頁面

Amazon 運用 NVIDIA TensorRT-LLM 和 GPU,將新 AI 功能的推論速度提升兩倍,協助賣家更快將產品資訊頁面最佳化。

Amdocs

NVIDIA 和 Amdocs 將自訂生成式 AI 導入全球電信業

Amdocs 規劃在 Microsoft Azure 使用 NVIDIA AI foundry 服務,為市值 1.7 兆美元的全球電信產業打造客製化 LLM。

AT&T

AT&T 利用 NVIDIA NeMo™ 提高客戶服務 AI 代理的準確度、效率與效能

AT&T 是全球規模數一數二的電信公司,在運用 AI 的強大功能重新構思客戶服務。AT&T 的難題包括模型漂移、運算需求增加,以及即時存取資料的需求,已改採 NVIDIA NeMo™ 微服務建置意見回饋導向的 AI 平台,持續提高效能,同時將成本、速度和合規性最佳化。

AWS

NVIDIA 為部分最大的 Amazon Titan 基礎模型訓練提供支援

Amazon 運用 NVIDIA NeMo 框架、GPU 和 AWS EFA 訓練新一代 LLM,為部分最大的 Amazon Titan 基礎模型客戶提供更快也更易於使用的生成式 AI 解決方案。

Accenture

加速企業採用生成式 AI

ServiceNow、NVIDIA 與 Accenture 宣布推出 AI Lighthouse,這項首創的計畫是專為加速企業開發與採用生成式 AI 功能而設計。

Azure

在 Azure 機器學習駕馭 NVIDIA AI Enterprise 的強大功能

在 Microsoft Azure 取用專為企業環境量身打造的完整生態系,包含工具、函式庫、框架和支援服務。

Bria

Bria 運用 NVIDIA NeMo、Picasso 為企業打造負責任的生成式 AI

總部位於特拉維夫的新創公司 Bria,透過強調模型透明度、公平歸屬和著作權保護的生成式 AI 服務,協助企業尋求負責任的方式,將視覺生成式 AI 技術整合至企業產品。

Cohesity

釋放資料的超能力:NVIDIA 微服務為 Cohesity 釋放企業級安全生成式 AI 的潛力

Cohesity DataProtect 客戶利用 NVIDIA NIM 和最佳化模型,可在資料備份與存檔融入生成式 AI 智慧。這樣一來,Cohesity 與 NVIDIA 便能為所有 Cohesity DataProtect 客戶提供生成式 AI 的強大功能。Cohesity DataProtect 客戶利用 NIM 和 NVIDIA 最佳化模型的強大功能,從資料備份和封存取得資料導向的深入解析,將效率、創新和成長推向全新境界。

CrowdStrike

形塑網路安全領域 AI 未來發展

CrowdStrike 與 NVIDIA 正運用加速運算和生成式 AI,為客戶量身打造一系列創新 AI 解決方案,高效解決安全威脅。

Dell

Dell 與 NVIDIA 共同驗證生成式 AI 的設計

Dell Technologies 與 NVIDIA 發表計畫,讓企業能夠更輕鬆以快速安全的方式,在內部部署環境建立及使用生成式 AI 模型。

Deloitte

在企業軟體平台開啟生成式 AI 的價值

Deloitte 將運用 NVIDIA AI 技術和專業,為企業軟體平台打造高效能的生成式 AI 解決方案,協助開創龐大的商業價值。

Domino Data Lab

Domino 採用 NVIDIA 技術,提供正式環境級的生成式 AI

資料科學家利用 NVIDIA NeMo 便可在 Domino 平台根據專有資料與 IP,針對特定領域使用案例微調 LLM,無需從頭開始。

Dropbox

Dropbox 與 NVIDIA 將為數百萬客戶實現個人化的生成式 AI

Dropbox 計劃運用 NVIDIA 的 AI Foundry 打造客製化模型,並運用 Dropbox Dash 通用搜尋工具與 Dropbox AI 改善採用 AI 技術的知識工作。

Google Cloud

AI 巨擘合力打造生成式 AI 令人驚豔的成果

Google Cloud 在 Next 大會上,宣布推出搭載 NVIDIA H100 Tensor 核心 GPU 的 A3 執行個體。兩家公司的工程團隊合力將 NVIDIA NeMo 引進 A3 執行個體,加速訓練與推論。

HuggingFace

引領 AI 社群加速資料庋用流程

頂尖 AI 開發人員開放式平台 Hugging Face 正與 NVIDIA 合作整合 NeMo Curator,加速資料篩選和去重函式庫 DataTrove。「我們對 NeMo Curator 的 GPU 加速功能非常感興趣,也迫不及待想看到這些功能整合至 DataTrove 了!」Hugging Face 產品總監 Jeff Boudier 表示。

KT

以 LLM 創造全新的客戶體驗

南韓行動電信龍頭建置以 NVIDIA DGX SuperPOD 平台和 NeMo 框架訓練的數十億參數 LLM,支援智慧音箱和客服中心。

Lenovo

採用 LLM 的全新生成式 AI 參考架構

這個解決方案讓全球合作夥伴和客戶能夠在產業垂直領域大規模開發、訓練及部署 AI,以最安全有效率的方式加速創新。

Quantiphi

讓企業加速採用 AI 技術的旅程

Quantiphi 專精於使用 NVIDIA NeMo 框架訓練和微調基礎模型,並且以 NVIDIA AI Enterprise 軟體平台將部署大規模最佳化,同時遵守負責任的 AI 原則。

SAP

SAP 與 NVIDIA 加速在驅動全球各行各業的企業應用導入生成式 AI

客戶可利用搭配 NVIDIA AI Foundry 服務與 NVIDIA NIM 微服務部署的客製化 LLM,善用 SAP 雲端解決方案中的業務資料。

ServiceNow

跨企業 IT 建置生成式 AI

ServiceNow 在 ServiceNow 平台量身打造 LLM,實現智慧型工作流程自動化,並且大幅提升所有企業 IT 流程的生產力。

perplexity

提升採用 AI 搜尋引擎的模型效能

Perplexity 運用 NVIDIA NeMo 快速自訂尖端模型,致力於提升搜尋結果的準確度和品質,並且將模型最佳化,實現低延遲和高傳輸量,締造更完善的使用者體驗。

VMware

VMware 和 NVIDIA 為企業釋放生成式 AI 的潛力

VMware Private AI Foundation 與 NVIDIA 合作,協助企業自訂模型並執行生成式 AI 應用,包括智慧型聊天機器人、助理、搜尋和摘要。

Weight & Biases

除錯、最佳化及監測 LLM 流程 

Weights & Biases 協助處理生成式 AI 使用案例或 LLM 的團隊追蹤及視覺化所有提示工程實驗,幫助使用者進行 LLM 流程除錯與最佳化作業,並且為 LLM 提供監測與可觀測性功能。

Writer

新創公司運用 NVIDIA NeMo 譜寫生成式 AI 成功案例

Writer 運用 NVIDIA NeMo 打造 LLM,協助成千上百家公司為行銷、訓練與支援等企業使用案例量身打造內容。

Arize

Arize 驅動自我強化的 AI 資料飛輪

Arize 的 LLM 工程與可觀測性平台整合 NVIDIA NeMo 微服務,不僅可驅動 AI 資料飛輪,還可透過實際意見回饋持續精煉模型。Arize 運用 NeMo Customizer、Evaluator 和 Guardrails,確保代理系統可發揮高效能、安全無虞,而且符合不斷變化的企業需求。這項合作可支援開發持續學習與發展的自適應 AI。

DataRobot

NeMo 搭配 DataRobot 的可靠企業級 AI 代理

企業將 NVIDIA NeMo 嵌入 DataRobot Enterprise AI 套件後,可確保代理系統安全合規,並且奠基於企業專屬資料。這項整合有助於開發 AI 代理,不僅符合組織標準,還能提供理解情境的精確回應。

DataStax

DataStax 與 NVIDIA 打造資料與 AI 平台

過去一年,DataStax 與 NVIDIA 合作,採用 NVIDIA NeMo 微服務強化資料庫與 AI 供應項目的生成式 AI、檢索增強生成與混合式搜尋。成果令人驚豔:傳輸量效能提升 19 倍、成本大幅降低,而且延遲減少。

Galileo

Galileo 與 NVIDIA NeMo:降低正式環境中代理 AI 的風險

Galileo 整合 NVIDIA NeMo 微服務打造 AI 資料飛輪,強化代理的效能、可靠性和信任度。NeMo 為 Galileo 平台增加了互補功能,支援透過 NeMo Customizer 持續微調特定領域、利用 NeMo Evaluator 進行進階評估,以及利用 NeMo Guardrails 保護使用者互動,讓 AI 團隊能打造、評估及監測在真實世界環境持續學習及改善的代理 AI 系統。

建構及部署生成式 AI 模型

企業正改採生成式 AI,革新創新、將營運最佳化,以及打造競爭優勢的方式。NeMo 這個端到端平台可庋用資料;訓練、自訂及評估多模態模型;以及大規模執行推論。這個平台支援文字、圖像、影片和語音生成。

利用 Llama 3.1 釋放合成資料生成的潛力

瞭解如何使用 Meta Llama 3.1 405B 模型為特定領域生成量身打造的合成資料,並探索如何利用 Nemotron-4 340B Reward 模型評估這些資料,透過 NVIDIA NeMo 確保與人類偏好一致。

利用 RAG 為客服打造世界級的 AI 虛擬助理

瞭解各公司如何運用客服 NVIDIA AI Blueprint 的 AI 虛擬助理,提升現有客服中心解決方案的營運效率,或是打造以客戶服務為導向的新系統。