合成データ生成 (SDG)

フィジカル AI モデルは自律システムが物理世界を認識し、理解し、相互作用し、そして移動することを可能にします。合成データはフィジカル AI モデルの訓練とテストに不可欠です。

世界基盤モデル (WFM) は、テキスト、画像、動画、動きの情報など多様な入力データを活用して、驚くべき精度で仮想世界を生成しシミュレーションします。

WFM は優れた汎化能力を特徴とし、様々なアプリケーションに対して最小限のファインチューニングしか必要としません。それらはロボットや自動運転車の認知エンジンとして機能し、実世界のダイナミクスに関する包括的な理解を活用します。この洗練されたレベルに達するため、WFM は膨大な量のトレーニング データに依存しています。

WFM の開発は、物理的に正確なシミュレーションを通じて無限の合成データを生成することから大きな恩恵を受けます。このアプローチはモデル訓練プロセスを加速するだけでなく、多様なシナリオにわたってモデルの汎化能力を強化します。ドメインランダム化技術は、照明、背景、色、位置、環境などの多数のパラメータを操作できるようにすることで、このプロセスをさらに強化します—これらのバリエーションは実世界のデータだけから包括的に捉えることはほぼ不可能です。

ロボット学習は、ロボットが操作、移動、分類などの新しいスキルをシミュレーションまたは実世界環境で学ぶのを助けるアルゴリズムと方法論の集合体です。強化学習、模倣学習、拡散ポリシーはロボットを訓練するために適用される主要な方法論です。

ロボットにとって重要なスキルの一つは操作です—工場で見られるように、物を拾い上げ、分類し、組み立てることです。実世界の人間によるデモンストレーションが通常、訓練の入力として使用されます。しかし、大規模で多様なデータセットの収集は非常に高コストです。少数の人間によるデモンストレーションを用いて、開発者はシミュレーション環境で合成モーションを生成し、ロボット トレーニング プロセスを加速することができます。

これを実現するために、ユーザーはまず GR00T-Teleop を使用して Apple Vision Pro (AVP) で少数の人間によるデモンストレーションを収集できます。記録されたデモンストレーションは、その後 GR00T-Mimic を使用して大量の合成モーションを生成するために使用されます。次に、NVIDIA Omniverse™ と NVIDIA Cosmos™ 上に構築された GR00T-Gen を使用して、ドメインランダム化と 3D から実世界への拡張を行い、模倣学習のための指数関数的に大規模で多様なトレーニング データセットを生成します。

ソフトウェア イン ループ (SIL) は AI 搭載ロボットと自動運転車にとって重要なテスト段階であり、制御ソフトウェアが実際のハードウェアではなくシミュレーション環境でテストされます。

シミュレーションから生成された合成データは、センサー入力、アクチュエーターのダイナミクス、環境との相互作用など、実世界の物理学の正確なモデリングを確保します。これはまた、実世界で収集するには危険な稀なシナリオを捉える方法も提供します。これにより、シミュレーション内のロボット ソフトウェア スタックが物理的なロボット上でのように動作することが保証され、物理的なハードウェアを必要とせずに徹底的なテストと検証が可能になります。

Mega は、実世界の施設に展開する前に、デジタル ツイン内で大規模に物理 AI とロボット フリートを開発、テスト、最適化するための Omniverse Blueprint です。

これらのシミュレーションされたロボットは、環境を認識し推論することでタスクを実行できます。彼らは次の動きを計画し、デジタル ツイン内でシミュレーションされたアクションを実行する能力を持っています。これらのシミュレーションからの合成データはロボットのブレインにフィードバックされます。ロボットのブレインは結果を認識して次のアクションを決定し、このサイクルは Mega がデジタル ツイン内のすべての資産の状態と位置を正確に追跡しながら継続します。

生成モデルを使用して、合成データ生成プロセスをブートストラップし、増大させることができます。テキストから 3D へと変換するモデルを使用すれば、3D アセットを作成して、3D シミュレーション シーンにデータを入力することができます。さらに、テキストから画像へと変換する生成 AI モデルを活用して、既存の画像 (シミュレーションから生成された画像や、実世界から手順に沿ってインペインティングやアウトペインティングを通じて収集した画像) を修正および補強することもできます。

Evian 2 405B や Nemotron-4 340B などのテキストからテキストへの生成 AI モデルを使用して、医療、金融、サイバーセキュリティ、小売、通信向けの強力な LLM を構築するための合成データを生成できます。

Evian 2 405B と Nemotron-4 340B はオープン ライセンスであり、開発者は学術的および商業的な用途に対して、生成されたデータを自由に所有し、柔軟に使用することができます。