強化学習
ロボット学習技術による適応性と効率性の高いロボットアプリケーションの開発。
Nissan
Image Credit: Agility, Apptronik, Fourier Intelligence, Unitree
ワークロード
ロボティクス
業種
すべての業種
事業目標
イノベーション
製品
NVIDIA Omniverse
NVIDIA Omniverse Enterprise
NVIDIA AI Enterprise
-
概要
-
技術的実装
-
パートナー エコシステム
強化学習を使って複雑なスキルを持つ物理ロボットを強化する
ロボットがより複雑なタスクを担うようになる中で、従来のプログラミングメソッドは不十分になっています。強化学習 (RL: Reinforcement learning) は、この課題に対応するために設計された機械学習技術であり、ロボットの行動をプログラミングします。シミュレーションの RL では、ロボットはあらゆる仮想環境で試行錯誤を通じて学習することができ、制御、経路計画、操作などのスキルが格段に向上します。
RL モデルは望ましい行動に対して高い報酬値を割り当てるため、常に適応し改善を続けます。このアプローチにより、ロボットは新しい物体の把握、四足歩行、複雑な操作スキルの習得など、実世界の自動化タスクに必要となる高度な粗大運動技術と微細運動技術を身につけることができます。
報酬値に基づいて制御方針を継続的に改良し、ロボットの行動を分析する RL は、新しい状況や予期せぬ課題にも対応できるようにロボットを調節し、実世界のタスクへの適応性を高めるのに役立ちます。
ロボティクスのための GPU 加速型強化学習トレーニング
ロボット向け RL のための従来の CPU ベースのトレーニングは高価であり、ロボットアプリケーションのコストを押し上げる複雑なタスクのために数千のコアを必要とすることがよくあります。NVIDIA GPU は、その並列処理能力によってこの課題に対処し、認識を利用した強化学習環境における感覚データの処理を大幅に加速します。これにより、ダイナミックな環境において複雑なタスクを学習、適応、実行するロボットの能力が大幅に強化されます。
NVIDIA のコンピューティング プラットフォーム (Isaac Lab などのツールを含む) は、RL パイプライン内の物理シミュレーションと報酬値計算の両方に GPU の性能を活用しています。これによりボトルネックが解消され、プロセスが効率化されるため、シミュレーションから実世界へのデプロイがよりスムーズになります。
クイック リンク
強化学習のための Isaac Lab
NVIDIA Isaac™ Lab は、NVIDIA Isaac Sim™ 上に構築されたモジュール式フレームワークで、強化学習や模倣学習などのロボット トレーニング ワークフローを簡素化します。開発者は最新の Omniverse™ 機能を活用し、認識を有効にした複雑なポリシーのトレーニングを行うことができます。
- シーンを組み立てる: 最初のステップでは、Isaac Sim または Isaac Lab でシーンを構築し、URDF または MJCF からロボット アセットをインポートします。シミュレーションのために物理スキーマを適用し、認識ベースのポリシー学習のためにセンサーを統合します。
- RL タスクの定義: シーンとロボットが設定されたら、次のステップでは完了すべきタスクと報酬機能を定義します。環境 (例えば、マネージャーベースまたはダイレクトワークフローなど) はエージェントの現在の状態や観察を提供し、提供されたアクションを実行します。そして、環境は次の状態を提供することでエージェントに応答します。
- 学習: 最後のステップでは、学習とポリシー アーキテクチャで使用するハイパー パラメータを定義します。Isaac Lab は、GPU でモデルを学習させるための 4 つの RL ライブラリ (StableBaselines3、RSL-RL、RL-Games、および SKRL) を提供しています。
- スケーリン: マルチ GPU やマルチノード システムでトレーニングをスケールするために、開発者は OSMO を使用して、分散されたインフラ上でマルチノードのトレーニング タスクをオーケストレーションすることができます。
プロジェクト GR00T は、開発者にとって、ヒューマノイド ロボットの開発に特化した新しい方法です。GR00T は、汎用基盤モデルで、言語を理解し、人間の動きを模倣し、マルチモーダル学習を通じて迅速にスキルを習得するのに役立ちます。GR00T の詳細情報と利用については、NVIDIA Humanoid Developer Program にお申し込みください。
クイック リンク
パートナー エコシステム
強化学習と NVIDIA のテクノロジーを基盤に、当社のエコシステムがどのようにして独自のロボティクス アプリケーションとサービスを構築しているかをご覧ください。
クイック リンク