フィジカル AI とは?

フィジカル AI により、ロボットや自動運転車などの自律マシンは、現実の (物理的な) 世界を認識、理解して、複雑な行動ができるようになります。また、洞察や実行すべきアクションを生成する能力もあることから、よく「生成フィジカル AI」とも呼ばれます。

生成 AI モデル (GPT や Llama などの大規模言語モデル) は、主にインターネットから収集された膨大な量のテキスト データと画像データで学習されています。これらの AI には、人間の言語や抽象的な概念を生成する驚異的な能力がありますが、物理世界とその法則を理解する能力には限界があります。

生成フィジカル AI は、私たちみんなが暮らす 3D 世界の空間的な関係性と物理的な動作を理解することで、現在の生成 AI を拡張します。これは、AI のトレーニング過程で、現実世界の空間的な関係性と物理的な法則に関する情報を含む追加データを提供することで行われます。

3D トレーニング データは、高精度なコンピューター シミュレーションから生成され、これがデータ ソースおよび AI トレーニングの基盤として機能します。

物理ベースのデータ生成は、まず工場などの空間のデジタル ツインから始まります。そして、この仮想空間にセンサーとロボットなどの自律マシンを追加します。現実世界のシナリオを模倣するシミュレーションが実行され、センサーは動きや衝突などの剛体力学や、環境における光の影響など、さまざまな相互作用を取り込みます。

強化学習とは、シミュレーションされた環境で自律マシンにスキルを習得させ、現実世界でそのスキルを発揮できるようにするものです。これにより、自律マシンは数千回、あるいは数百万回もの試行錯誤を通じて、安全かつ迅速にスキルを習得できます。

この学習手法では、シミュレーションで望ましい行動を正常に完了したフィジカル AI モデルに報酬を与えていき、その結果モデルは継続的に適応し、改善していきます。強化学習を繰り返すことで、最終的に自律マシンは新しい状況や予期しない課題にも適切に適応し、現実世界での運用に備えられるようになります。時が経つにつれ、自律マシンは、箱をきれいに梱包したり、車両の組み立てを手助けしたり、支援なしで環境を走行したりするなど、現実世界での応用に必要な高度で精細な運動スキルを身に着けることができます。

これまで、自律マシンは周囲の世界を認識したり感知したりすることができませんでした。しかし、生成フィジカル AI を使用することで、現実世界の周囲環境とシームレスにやりとりし、適応できるようにロボットを開発、トレーニングすることができます。

フィジカル AI を構築するには、自律マシンのトレーニングに安全で制御された環境を提供する、強力な物理ベースのシミュレーションが必要です。これにより、複雑な作業を行うロボットの効率性と精度が向上するだけでなく、人間とマシンの間でより自然なやりとりが可能となり、現実世界での活用におけるアクセシビリティと機能が向上します。

生成フィジカル AI は、あらゆる業界を変革する新しい機能を実現しています。以下はその例です。

ロボット: フィジカル AI を使用することで、ロボットがさまざまな環境下での運用能力において著しい進歩を見せています。

• 倉庫内の自律型モバイル ロボット (AMR: Autonomous Mobile Robots) は、搭載されているセンサーから直接フィードバックを受けることで、複雑な環境内を移動し、人間を含む障害物を避けることができます。
• マニピュレーターは、コンベア ベルト上の物体の形状に基づいて把持の強度と位置を調整し、物体の種類に応じて微細運動スキルと粗大運動スキルの両方を発揮することができます。
• 外科手術ロボットは、針に糸を通したり縫合を行ったりする複雑な作業を学習することで、この技術の恩恵を受けています。特殊な作業をするロボットのトレーニングにおける生成フィジカル AI の精度と適応性が際立ちます。
• ヒューマノイド ロボット (汎用ロボット) は、粗大運動スキルおよび微細運動スキルの両方が必要であり、どんなタスクが与えられても、物理世界を認識、理解、移動、やりとりする能力が求められます。

自動運転車 (AV: Autonomous Vehicles ): 自動運転車は、センサーを使用して周辺環境を認識し理解します。これにより高速道路から都市の街並みにいたるまでさまざまな環境下で情報に基づいた判断を行うことができます。フィジカル AI で自動運転車をトレーニングすることで、歩行者をより正確に検知し、交通状況や天候に対応し、車線変更を自律的にナビゲートすることで、幅広い想定外のシナリオに効果的に対応できるようになります。

スマート スペース: フィジカル AI は、人、車両、ロボットが日常的に行き交う工場や倉庫など、大規模な屋内空間における機能性と安全性を高めます。固定カメラと高度なコンピューター ビジョン モデルを使用することで、これらの空間内での複数の存在や行動を追跡することにより、チームは動的な経路計画を強化し、運用効率を最適化できます。さらに、複雑で大規模な環境を正確に認識し理解することで、人間の安全を優先します。

フィジカル AI を使用して次世代の自律マシンを構築するには、複数の専門的なコンピューター間にまたがる協調的なプロセスが関わります。

1. 仮想 3D 環境の構築: 現実の環境を再現し、フィジカル AI のトレーニングに必要な合成データを生成するには、忠実度の高い物理ベースの仮想環境が必要です。NVIDIA Omniverse™ は、開発者がこれらの 3D 環境を構築するために使用する既存のソフトウェア ツールやシミュレーション ワークフローに Universal Scene Description (OpenUSD) と RTX レンダリング技術を簡単に統合できるようにする API、SDK、サービスのプラットフォームです。この環境は、NVIDIA OVX™ システムでサポートされています。このステップには、シミュレーションやモデルのトレーニングに必要な大規模なシーンまたはデータのキャプチャも含まれます。豊富な 3D データセットで効率的な AI モデルのトレーニングと推論を可能にした重要な技術的進歩である fVDB は、効率的に特徴を表現し、大規模な 3D データでディープラーニング操作を可能にする PyTorch の拡張機能です。
2. 3D からリアルな合成データの生成: 環境やオブジェクトのドメインのランダム化には、Omniverse Replicator SDK を使用します。ランダム化されたシーンを画像またはビデオとしてレンダリングし、3D からフォトリアルなビデオの生成に NVIDIA Cosmos™ モデルを使用することで、データセットをさらに倍増させます。
3. トレーニングと検証: ハードウェアとソフトウェアを完全に統合した AI プラットフォームである NVIDIA DGX™ プラットフォームは、物理ベースのデータを使用して、TensorFlow、PyTorch、NVIDIA TAOなどのフレームワークと、NVIDIA NGC で利用可能な事前トレーニング済みのコンピューター ビジョン モデルと共に、AI モデルをトレーニングまたはファインチューニングできます。トレーニングが完了すると、モデルとそのソフトウェア スタックは、NVIDIA Isaac Sim™ などのリファレンス アプリケーションを使用してシミュレーションで検証することができます。さらに、開発者は、Isaac Lab などのオープンソース フレームワークを活用して、強化学習によりロボットのスキルを洗練させることも可能です。
4. 展開: 最後に、最適化されたスタックとポリシー モデルを、NVIDIA Jetson™ または NVIDIA DRIVE AGX™ に展開し、自律ロボットや自動運転車などの本体に組み込んで実行します。