過去十年來,自然語言處理(NLP)的應用已呈現爆炸性成長。隨著人工智慧助理數量激增,公司組織也在業務中融入更多互動式人機體驗,因此勢必得理解自然語言處理技術是如何用於處理、分析和產生文字型的資料。運用現代技術,可捕捉到語言的細微差別、語境和複雜精妙之處,如同人類一般。在設計正確的情況下,開發人員可以運用這些技術打造強大的自然語言處理應用程式,在聊天機器人、人工智慧語音助理及更多其他的應用程式上,提供自然且順暢的人機互動效果。

深度學習模型受到自然語言處理廣泛採用,因為其能透過一系列的語境和語言,準確進行歸納。以 Transformer 為基礎的模型,例如 Transformer 的雙向編碼表示法(Bidirectional Encoder Representations from Transformers,BERT),在 SQuAD 的問答系統、實體識別、意圖識別、情緒分析這類基準上,所提供的準確度與人類標準相差無幾,讓 NLP 的發展發生了革命性的劇變。

在本實作坊中,會學習如何將以 Transformer 為基礎的自然語言處理模型運用於文字分類工作,例如分類文件。也會學到如何利用以 Transformer 為基礎的模型來處理命名實體識別(named-entity recognition,NER)工作,以及如何分析各種模型功能、限制和特性,以便依據指標、領域獨特性和可用資源,判斷何種模型最適合特定使用案例。

學習目標


參加本實作坊可學會:
  • 瞭解文字內嵌如何在自然語言處理工作中迅速進化,例如 Word2Vec、遞歸神經網路(RNN)型內嵌及 Transformer
  • 瞭解 Transformer 架構功能(尤其是自我注意力機制)是如何用於建立語言模型,而無需遞歸神經網路
  • 使用自我監督技術提升 BERT、Megatron 和其他變體中的 Transformer 架構,以達到優異的自然語言處理成果
  • 利用預先訓練的現代自然語言處理模型處理多項工作,例如文字分類、命名實體識別和問答系統
  • 管理推論挑戰,並部署即時應用程式的微調模型

下載實作坊大綱與簡介 (PDF 71.9 KB)

實作坊大綱

概覽
(15 分鐘)
  • 認識講師。
  • 在 courses.nvidia.com/join 建立帳號
介紹 Transformer
(120 分鐘)
    深入探索 Transformer 架構的運作原理:
    • 在 PyTorch 中打造 Transformer 架構。
    • 計算自我注意力矩陣。
    • 使用預先訓練的 Transformer 模型,將英文翻譯為德文。
休息時間 (60 分鐘)
自我監督技術、BERT 等內容
(120 分鐘)
    瞭解如何使用 NVIDIA NeMo 將具備自我監督技術的 Transformer 模型應用於具體自然語言處理工作上:
    • 建立文字分類專案,將摘要進行分類。
    • 建立命名實體識別專案,以文字辨識疾病名稱。
    • 使用特定領域的模型提升專案準確度。
休息時間 (15 分鐘)
自然語言處理推論及部署
(120 分鐘)
  • 瞭解如何在 NVIDIA Triton 上部署自然語言處理專案以進行即時推論:
  • 準備模型進行部署。
  • 使用 NVIDIA® TensorRT 最佳化模型。.
  • 部署模型並進行測試。
最後回顧
(15 分鐘)
  • 回顧學習重點並回答問題。
  • 完成測驗並取得認證。
  • 填寫實作坊調查問卷。
  • 瞭解如何設定自己的環境,並針對其他資源及訓練進行討論。
 

實作坊詳情

時間: 8 小時

價格: 請造訪公開實作坊瞭解最新開課資訊與價格,或聯絡我們瞭解實作坊包班方案。

必備基礎能力:

  • 具有 Python 編碼與使用函式庫函數和參數的經驗。
  • 瞭解深度學習框架的基本知識,如 TensorFlow、PyTorch 或 Keras
  • 對神經網路有基本理解

為了達到必備基礎能力的建議教材: Python 教學深度學習框架概覽PyTorch 教學深度學習簡介深度學習概論

技術: PyTorch, pandas、NVIDIA NeMo、NVIDIA Triton 推論伺服器

測驗類型

  • 部分程式編寫技巧評估學員具有能打造自然語言處理工作的能力,包括神經模組流程和訓練。
  • 部分選擇題以評估學員對於課堂中自然語言處理概念的理解程度

認證證書: 完成測驗後,參與者將會收到 NVIDIA DLI 認證證書,證明他們具有相關主題的能力,支援其專業職涯成長。

硬體需求: 可運作最新版本 Chrome 或 Firefox 的桌上型電腦或筆記型電腦。每位參與者都能在雲端上使用專屬且全面設定完成的 GPU 加速伺服器。

教材語言: 英文、簡體中文

Upcoming Workshops

若貴組織希望為員工提升 AI、加速運算、加速資料科學等的關鍵開發技能,歡迎申請由講師帶領的 NVIDIA DLI 實作坊。

需要任何協助?