生成式 AI 框架

NVIDIA NeMo 框架

建立、客製化並部署生成式 AI 模型。

What is the NVIDIA NeMo Framework?

NVIDIA NeMo™ 框架是 NVIDIA AI 平台的一部分,是一個端到端的雲端原生企業級框架,可用於建立、定制和部署具備數十億個參數的生成式 AI 模型。

NeMo 框架提供了一個具有 3D 平行技術的加速訓練工作流程。它提供多種定制技術的選擇,並針對語言和圖像應用的大規模模型進行優化,支持多 GPU 和多節點配置的大規模模型的推理。透過 NeMo ,企業可更容易、更具成本效益且更快速地開發生成式 AI 模型。

NeMo 框架如何建立、訓練和部署大型語言模型

打造不同模式的基礎模型

NeMo 框架支持開發文字轉文字、文字轉圖像和圖像到圖像的基礎模型。

語言

  • BERT
  • GPT-3
  • T5
  • T5-MoE
  • Inform

多模態

  •  Stable Diffusion v1.5
  •  VisionTransformers (ViT) 
  •  CLIP
  •  Instruct-Pix2Pix
  •  Imagen

建立可信賴、安全可靠的 LLM 應用程式

基於 LLM 的應用程式的可編程安全護欄

NeMo Guardrails 是一個開放原始碼工具包,用於輕鬆開發值得信賴、安全可靠的 LLM 對話系統。支援 LangChain,為基於 LLM 的對話應用程式添加一層保全、安全和主題安全護欄。

建立不同模式的基礎模型

GPU 上最快的訓練

運用最先進的訓練技術,以最大化吞吐量並最少訓練時間,建立具有數十億或數萬億參數的基礎模型。

方便使用

雲端原生框架具備所有預先封包並安裝的依賴項,並具有經過驗證的蒐集,可用於訓練語言和圖像生成 AI 模型,使其達到收斂並部署於推理環境。

完全彈性

一種開放原始碼的方法,提供了完整的彈性,涵蓋從資料處理、訓練,到生成式 AI 模型的推論過程。

在雲端和本機執行

可在任何GPU基礎設施上訓練和部署任何大小的基礎模型。支援所有 NVIDIA DGX™ 系統、NVIDIA DGX Cloud™、Microsoft Azure、Oracle Cloud Infrastructure 和 Amazon Web Services。

定制

提供工具,以便為企業的超個人化需求客製化基礎模型

企業級

專為企業建構的經過考驗、被驗證過且經過實戰考驗的容器

透過 NVIDIA LaunchPad 的免費實作實驗室, 試用 NeMo 框架

開發大規模語言模型的關鍵

最先進的訓練技術

NeMo 框架提供高水平的訓練效率,利用3D平行技術實現大型基礎模型的訓練。例如:

  • Tensor 平行處理在節點內擴展模型規模
  • 數據和管道平行處理,將數據和模型擴展至數千個GPU。
  • 序列平行處理以在張量平行裝置間分配激活記憶體。

此外,選擇性啟動重新計算可優化反向傳播期間張量平行裝置的重新計算和記憶體使用。

個人化工具

NeMo 框架提供工具,實現企業 AI 運用,包括:

  • 定義焦點和存取護欄:定義存取護欄和運作領域,以避免超個人化企業模型偏離不想要的領域或發表不適當的言論,透過微調、即時學習分配器技術,以防止語言模型走向不適當方向。
  • 特定領域的知識: 將企業即時資訊編碼,進而使用NVIDIA Inform 提供最新的回應。
  • 包含功能技術: 加入專業技能以解決客戶和業務問題。透過即時學習技術為超個人化案例提供內容,以獲得更好的回應。
  • 持續改進模型: 透過人類反饋的強化學習技術(RLHF),使您的企業模型能夠隨著時間的推移變得更加智慧化,與人類思考保持一致。

優化推理

透過 NVIDIA Triton Inference Server™ 部署生成式 AI 模型以進行推理。憑藉來自 FasterTransformer 的強大優化,您可以在單 GPU、多 GPU 和多節點配置上實現最先進的準確性、延遲和吞吐量推理效能。

大規模資料處理

使用您自己的數據集,並將數據進行標註以轉換為易於處理的格式。 NeMo包括對語言數據集、Piles 和多語種 C4(mC4)進行全面預先處理,包括數據過濾、刪除重複數據、混合和格式化等。這些能力可幫助研究人員和工程師節省數月的開發和計算時間,讓他們更專注於構建應用程式。

易於使用的生成式 AI 技巧與工具

NeMo 框架提供一系列的預設腳本、參考範例以及完整的文件說明,實現生成式 AI 可能。

透過自動配置工具,建立基礎模型變得非常容易,該工具會自動搜尋最佳超參數配置,優化任何多 GPU 配置、訓練或部署限制的訓練和推論。

使用 NVIDIA NeMo 語言和圖像服務輕鬆客製化 和使用生成式 AI 模型

NeMo 語言服務

專為企業的超個人化雲端服務,以及大規模部署智慧型大型語言模型。

Picasso 服務

一種加速的雲服務,可為企業使用自定義生成式 AI 模型創建高分辨率、逼真的圖像、影音和 3D 內容。

客戶正透過 NVIDIA NeMo 框架 加速生成 AI 和 LLM 應用程式

使用大型語言模型加速產業應用

AI Sweden 透過具有 1000 億參數模型能力的區域語言,能夠更易使用於北歐生態系統,加速大型語言模型 (LLM) 產業應用。AI Sweden 正在將瑞典歷史記錄數位化,並從這些非結構化數據建立語言模型,將用於企業應用的商業化。

圖片由韓國電信提供

運用大型語言模型創造新的客戶體驗

韓國領先的電信服務業者透過 NVIDIA DGX SuperPOD 平台和 NeMo 框架,建構十億參數的 LLMs,用於智慧型喇叭和客服中心。

發現更多資源

使用 NVIDIA NeMo 框架部署 1.3B GPT-3 模型

學習如何使用 NeMo 框架和 NVIDIA 生成式 AI 框架下載、優化和部署一個擁有 13 億參數的 GPT-3 模型

使用 NeMo 框架實現 LLMs 的 高效大規模訓練和部署

學習如何在多節點環境中預先處理數據,自動選擇最佳超參數以最小化多個 GPT-3 和 T5 配置的訓練時間,以大規模訓練模型,並使用一組易於使用的腳本在多節點生產環境中部署模型。

NVIDIA LaunchPad 免費實作實驗室

運用預先調整的超參數配置來啟動您企業的 GPT-3 模型的 LLM 之旅。學習如何使用 NeMo 框架訓練大規模 NLP 模型。

立即開始使用 NVIDIA NeMo 框架