カメラ、ロボット、自動運転車などの自律システムは、フィジカル AI により、物理世界において、認識、理解、推論し、複雑な行動の実行や調整ができるようになります。
これまで、自律マシンは周囲の世界を認識したり感知したりすることができませんでした。しかし、生成フィジカル AI を使用することで、現実世界の周囲環境とシームレスにやりとりし、適応できるようにロボットを開発、トレーニングすることができます。
フィジカル AI を構築するには、自律マシンのトレーニングに安全で制御された環境を提供する、強力な物理ベースのシミュレーションが必要です。これにより、複雑な作業を行うロボットの効率性と精度が向上するだけでなく、人間とマシンの間でより自然なやりとりが可能となり、現実世界での活用におけるアクセシビリティと機能が向上します。
生成フィジカル AI は、あらゆる業界を変革する新しい機能を実現しています。以下はその例です。
ロボット: フィジカル AI を使用することで、ロボットがさまざまな環境下での運用能力において著しい進歩を見せています。
自動運転車 (AV: Autonomous Vehicles) : 自動運転車は、センサーを使用して周辺環境を認識し理解します。これにより高速道路から都市の街並みにいたるまでさまざまな環境下で情報に基づいた判断を行うことができます。フィジカル AI で自動運転車をトレーニングすることで、歩行者をより正確に検知し、交通状況や天候に対応し、車線変更を自律的にナビゲートすることで、幅広い想定外のシナリオに効果的に対応できるようになります。
スマート スペース: フィジカル AI は、人、車両、ロボットが日常的に行き交う工場や倉庫など、大規模な屋内空間における機能性と安全性を高めます。固定カメラと高度なコンピューター ビジョン モデルを使用することで、これらの空間内での複数の存在や行動を追跡し、チームは動的な経路計画を強化し、運用効率を最適化できます。ビデオ分析の AI エージェントは、異常を自動的に検出し、リアルタイムで警告を行うことで安全性と運用効率をさらに高めます。
生成 AI モデル (GPT や Llama などの大規模言語モデル) は、主にインターネットから収集された膨大な量のテキスト データと画像データを基にトレーニングされています。 これらの AI には、人間の言語や抽象的な概念を生成する驚異的な能力がありますが、物理世界とその法則を理解する能力には限界があります。
フィジカル AI は、空間的な関係性と私たちが住む 3D 世界の物理的な動作を理解することで、現在の生成 AI を拡張します。 画像、動画、テキスト、実世界のセンサー データなどのマルチモーダル入力を受け取り、自律マシンが実行できる洞察や行動に変換します。
フィジカル AI モデルのトレーニングには、現実世界の空間的関係や物理的なルールに関する、大規模かつ多様で物理的に正確なデータが必要です。現実の環境でこのデータを収集することは、手間がかかり、エラーが生じやすく、危険であり、コストも高くなります。シミュレーションと世界基盤モデル（WFMs）を組み合わせることで、フィジカルAIモデルのトレーニング用合成データの作成を大幅に促進できます。
データ生成は、まず工場などの空間のデジタル ツインの作成から始まります。現実世界のセンサーデータは、3D ガウスベースの再構築を用いてインタラクティブなシミュレーションに直接取り込むこともできます。この仮想空間で、センサーやロボットなどの自律マシンが追加されます。現実世界のシナリオを模倣するシミュレーションが実行され、センサーは動きや衝突などの剛体力学や、環境における光の影響など、さまざまな相互作用を取り込みます。生成されたデータはその後、WFMs によって拡張、キュレーション、注釈付けされます。
強化学習とは、シミュレーションされた環境で自律マシンにスキルを習得させ、現実世界でそのスキルを発揮できるようにするものです。これにより、自律マシンは数千回、あるいは数百万回もの試行錯誤を通じて、安全かつ迅速にスキルを習得できます。
この学習手法では、シミュレーションで望ましい行動を正常に完了したフィジカル AI モデルに報酬を与えていき、その結果モデルは継続的に適応し、改善していきます。強化学習を繰り返すことで、最終的に自律マシンは新しい状況や予期しない課題にも適切に適応し、現実世界での運用に備えられるようになります。時が経つにつれ、自律マシンは、箱をきれいに梱包したり、車両の組み立てを手助けしたり、支援なしで環境を走行したりするなど、現実世界での応用に必要な高度で精細な運動スキルを身に着けることができます。
Universal Scene Description (OpenUSD) は、複数の業界で共通の汎用データ標準を提供することで、フィジカル AI において中心的な役割を果たしています。 これにより、複雑な 3D 環境の相互運用性、リアルタイムのコラボレーション、シームレスな統合、効率的な管理が可能になります。
さらに、OpenUSD のシミュレーション対応アセットには物理的特性とセマンティックな特性の両方が組み込まれているため、リアルな AI との相互作用と高忠実度のトレーニングがすぐに実行できます。
フィジカル AI を使用して次世代の自律システムを構築するには、複数の専門コンピューターが連携して処理を行う必要があります。
1. コンピューターのトレーニング : NVIDIA DGX
NVIDIA DGX™ は、フィジカル AI 基盤モデルのトレーニングに必要な膨大な計算能力を提供する、ハードウェア / ソフトウェア完全一体型の AI プラットフォームです。 開発者は、TensorFlow、PyTorch、Cosmos Curator、NVIDIA TAO などのフレームワーク上で、実データまたは合成生成データを使用して、基盤モデルの学習や追加学習を行うことができます。また、NVIDIA NGC で利用できる事前学習済みコンピューター ビジョン モデルも活用できます。DGX システムにより、集中的なモデル トレーニングを通じて、ロボットが自然言語の理解、物体認識、そして複雑な動きを計画する、といった一連の動作を同時に実行できるようにします。
2. シミュレーションと合成データ生成コンピューター: NVIDIA RTX PRO サーバー上の NVIDIA Omniverse と Cosmos
仮想 3D 環境の構築
現実の環境を再現し、フィジカル AI のトレーニングに必要な合成データを生成するには、忠実度の高い物理ベースの仮想環境が必要です。NVIDIA Omniverse™ は、産業用デジタル ツインやフィジカルAIシミュレーションアプリケーションを開発するための、ライブラリとマイクロサービスのコレクションです。
NVIDIA Omniverse NuRec ニューラル再構築ライブラリを使用して、実世界のセンサー データをシミュレーションに直接取り込むことができます。 NuRec により、開発者はシーンの再構築、インタラクティブなシミュレーションのレンダリング、生成 AI を使用して再構築品質の向上を実現し、実世界とシミュレーションのギャップを埋めることができます。
合成データの生成
フィジカル AI のシミュレーション環境は、実世界の物理現象と動作を正確に反映するだけでなく、日々のやりとりやシナリオの多様性にも適合する必要があります。 環境とオブジェクト ドメインのランダム化には Omniverse Replicator を使用します。 ランダム化されたシーンを画像や動画としてレンダリングし、さらに NVIDIA Cosmos™ モデルを使用して生成データを拡張、キュレーション、アノテーション付けすることで、1つのシナリオから数百ものバリエーションを生成できます。
シミュレーション上のロボット方策の学習と検証
シミュレーションは、ロボットが、物体操作や空間移動など、さまざまなスキルを学習するための方法を提供します。これらのスキルは、強化学習や模倣学習によるモジュラー型ロボット学習フレームワークである NVIDIA Isaac Lab で磨くことができます。
学習が終わったモデルやソフトウェア スタックは、NVIDIA Isaac Sim™ やオープンソースの CARLA AV シミュレーター などの標準的なオープンソースのロボット シミュレーション フレームワークを使用して、シミュレーション上で検証することができます。 NVIDIA Omniverse Blueprint である 「Mega」 を使用すれば、大規模なロボット群のシミュレーションとテストが可能です。
3. ランタイム コンピューター: NVIDIA Jetson Thor
最後に、最適化されたソフトウェア スタックとポリシー モデルは、NVIDIA Jetson™ または NVIDIA DRIVE AGX™ に展開し、自律ロボット、車両、スマート スペースに組み込み、実行できます。 Jetson Thor はコンパクトな設計ながら、センサー データの処理、リーズニング、行動の計画と実行に必要な計算能力をミリ秒単位で提供し、リアルタイムに自律ロボットを動作させます。 Metropolis AI Blueprint で動画検索と要約 (VSS) 向けの動画解析 AI エージェントを構築し、工場のパフォーマンスに対する監視を分析・最適化し、エッジでの作業者の安全性を向上させます。 より大規模な推論ワークロードの場合、データセンターに NVIDIA RTX PRO サーバーを配置して、拡張することができます。