強化學習

運用機器人學習技術，開發出適應性強、高效率的機器人應用。

Nissan

Image Credit: Agility, Apptronik, Fourier Intelligence, Unitree

工作負載

機器人技術

應用

所有產業

業務目標

創新

產品

NVIDIA AI Enterprise
NVIDIA Isaac GR00T
NVIDIA Isaac Lab
NVIDIA Isaac Sim
NVIDIA Omniverse

運用強化學習讓物理機器人擁有複雜的技能

由於機器人承擔的任務愈加複雜，傳統程式設計的效果顯得力不從心。強化學習 (RL) 可以讓機器人通過反覆試驗的模擬訓練，提升控制、路徑規劃和操作的技能，彌補這項差距。這種獎勵式學習可促進持續適應，讓機器人發展複雜的動作技能，用於實際的自動化任務，例如抓取、運動和複雜的操作。

傳統基於 CPU 的機器人 RL 訓練通常需要數千個核心來執行複雜的任務，這會抬高機器人應用的成本。 NVIDIA 加速運算利用平行處理功能因應這項挑戰，大幅加速感知強化學習環境的感官資料處理。這樣一來，機器人在動態情況學習、應變及執行複雜任務的能力變得更強。

NVIDIA 加速運算平台，包括 NVIDIA Isaac™ Lab 這類機器人訓練框架，在 RL 管線充分發揮了 GPU 在物理模擬與獎勵計算方面的強大效能。如此一來可消除瓶頸、簡化流程，並協助讓模型順利從模擬轉移至實際部署。

快速連結

Isaac Lab 是以 NVIDIA Isaac Sim™ 為建置基礎的模組化框架，能簡化強化學習與模仿學習這類機器人訓練工作流程。開發人員可利用最新的 Omniverse™ 功能，透過感知能力來訓練複雜的原則。

組裝場景：第一步是在 Isaac Sim 或 Isaac Lab 建立場景，然後從 URDF 或 MJCF 匯入機器人資產。將物理架構應用於模擬中，並整合感測器，以圖像識別為原則進行培訓。
定義 RL 任務：設定好場景與機器人後，下一步是定義要完成的任務與獎勵功能。環境 (例如，管理器型或直接工作流程) 定義代理目前的狀態，並且觀察及執行代理提供的動作。接著，環境會回傳下一個狀態來回應 AI 代理。
訓練：最後一步是定義訓練的超參數與原則架構。Isaac Lab 提供四種可運用 GPU 訓練模型的 RL 函式庫，包括 StableBaselines3、RSL-RL、RL-Games 與 SKRL。
規模：若要在多 GPU 與多節點系統擴大訓練範圍，開發人員可運用 OSMO 在分散式基礎架構協調多節點訓練任務。