NVIDIA デジタル ヒューマン テクノロジーが AI ゲーム キャラクターに命を吹き込む

GDC 2024 および GTC 2024 で、幅広い業界の主要な AI 開発者が NVIDIA デジタル ヒューマン テクノロジを使用して、商用アプリケーション用の本物のようなアバターやダイナミックなゲーム キャラクターを作成していることを発表しました。

NVIDIA のデジタル ヒューマン テクノロジー スイートには、音声とアニメーション用の NVIDIA Avatar Cloud Engine (ACE)、言語用の NVIDIA NeMo、レイトレース レンダリング用の NVIDIA RTX が含まれており、開発者は AI を活用した自然言語による対話や会話が可能なデジタル ヒューマンをよりリアルでダイナミックに構築できます。

ユーザーは、デジタル ヒューマン プラットフォーム パートナーによって実現された作品を通じて、NVIDIA ACE テクノロジを体験します。ショーでは開発者とプラットフォーム パートナーが、いくつかの NVIDIA AI テクノロジーと NVIDIA ACE マイクロサービスを活用した新しいデジタル ヒューマン テクノロジーのデモを発表しました。読み続けて、Hippocratic AI、Inworld AI、Perfect World Games、RealityArts Studio、UneeQ がゲーム、プラットフォーム、アプリケーションで NVIDIA ACE、NVIDIA NeMo、NVIDIA RTX テクノロジをどのように活用しているかを学びましょう。

Inworld AI と NVIDIA が新しい Covert Protocol 技術デモで協力 

GDC 2024 では、Inworld と NVIDIA は、NVIDIA ACE テクノロジーと Inworld エンジンを紹介するために、Covert Protocol と呼ばれる新しいテクノロジー デモで協力しました。 Covert Protocol の技術デモでは、あなたは私立探偵として行動し、シーン内のキャラクターとの会話の結果に基づいて目標を達成します。 Covert Protocol は、AI デジタル ヒューマンが重要な情報の管理者として機能し、課題を提示し、重要な物語の展開を促進することで、ソーシャル シミュレーション ゲームの仕組みを解き放ちます。デジタル ヒューマンはエクスペリエンスにおいて重要な役割を果たします。

Inworld Engine を搭載し、NVIDIA ACE を活用することで、各プレイヤーが Covert Protocol を通過する過程はユニークです。プレイヤーのリアルタイムの意思決定と戦略的計画により、異なるゲーム結果がもたらされ、同じプレイスルーは 2 つとありません。このレベルの AI 主導のインタラクティブ性とプレイヤーの主体性は、プレイヤーが自分の足で考え、リアルタイムで戦略を適応させてゲーム世界の複雑さをナビゲートする必要がある、創発的なゲームプレイの新たな可能性を開きます。

Unreal Engine 5 上に構築された Covert Protocol は、Inworld の SDK を活用して MetaHuman との統合を迅速かつ簡単に行い、NVIDIA Riva 自動音声認識 (ASR) や NVIDIA Audio2Face (A2F) などの NVIDIA ACE テクノロジーを組み込んで、Inworld の音声およびアニメーション パイプラインを強化します。

「NVIDIA ACE マイクロサービスと Inworld Engine を組み合わせることで、開発者はダイナミックな物語をリードできるデジタル キャラクターを創造できるようになり、ゲーマーがどのように解読、推測、プレイできるかについて新たな可能性が開かれます。」- Inworld  AI CEO である Kylan Gibbs 氏

開発者の採用を促進するために、Inworld は近い将来、Covert Protocol のソース コードをリリースする予定です。これにより、開発者は技術デモから学び、それを使用して独自のイノベーションを生み出すことができます。

Ubisoft の NEO NPC は、Inworld AI と NVIDIA ACE テクノロジーを使用してゲームにおけるデジタル ヒューマンの可能性を探ります

Ubisoft は、生成 AI テクノロジーの出現で革命が起きている分野であるダイナミックなノンプレイヤー キャラクター (NPC) を使用した新しいタイプのインタラクティブ ゲームプレイを模索しています。同社の最新の研究開発プロジェクトの成果である「NEO NPC」は、インタラクションするように設計された高度な NPC です。プレイヤー、その環境、その他のキャラクターとリアルタイムで連携し、ダイナミックで創発的なストーリーテリングの新たな可能性を開きます。

Ubisoft は、3 つの個別のデモ シナリオを通じて、これらの NEO NPC の機能を紹介しました。各シナリオは、NPC の行動、環境および状況認識のさまざまな側面に焦点を当てています。さまざまなリアルタイムの反応とアニメーション。会話の記憶、コラボレーション、戦略的意思決定も同様です。実験を通じて得られたこれらの発見が組み合わさって、ゲーム デザインと没入感の限界を押し広げます。

Ubisoft のナラティブおよびアニメーションのデザイナーは、NEO NPC を使用して、スクリプト化されたゲーム要素の信頼性と自発的なプレイヤー インタラクションのダイナミズムを融合させ、ゲーム開発の未来を新たなレベルへと導きました。

Inworld AI テクノロジーを活用して、Ubisoft のナラティブ チームは 2 人の NEO NPC、ブルームとアイアンを作成しました。これらの NPC は独自の背景ストーリー、知識ベース、さまざまな会話スタイルを持ち、デモ ユニバースでこれらのユニークなキャラクターを確立しました。

また、Inworld テクノロジーは、NEO NPC に周囲の固有の知識と、Inworld の LLM によるインタラクティブな応答を提供します。 NVIDIA Audio2Face は、2 人の NPC の顔のフェイシャル アニメーションとリップ シンクをリアルタイムで提供します。

『World of Jade Dynasty』と『Unawake』も開発パイプラインに Audio2Face を組み込む

Perfect World Games の World of Jade Dynasty は、Unreal Engine 5 を使用した大規模マルチプレイヤー オンライン ロールプレイング ゲームであり、同社の非常に人気のある Jade Dynasty の続編です。

ゲーム内でキャプチャされた新しいビデオでは、中国語と英語の両方で正確なリップシンクを生成するオフライン レンダリングの NVIDIA Audio2Face テクノロジーを確認することができ、スクリプト作成者は新しい音声コンテンツを World of Jade ダイナスティに簡単に追加できます。 Audio2Face を使用すると、ゲームの多言語バージョンを簡単にサポートできます。

RealityArts Studio と Toplitz Productions の Unreal Engine 5 で開発された Unawake では、天国と地獄の悪夢のような生き物間の無慈悲な戦争の混乱の真っただ中で人類の運命を決定します。このアクション アドベンチャーでは、一人称視点の激しい小競り合いで敵と戦い、罰を与えるか赦免を与えます。あなたは最後の砦です。

Unawake は、Audio2Face を利用して、ゲームプレイ中および高忠実度のシネマティックスでキャラクターの顔のアニメーションを作成しました。以下の新しい Unawake ビデオを見て、Audio2Face の動作を確認してください。また、フレーム生成を備えた DLSS 3 も特徴とする、今年後半のゲームのリリースにご期待ください。

NVIDIA ACE テクノロジー: Hippocratic AI と UneeQ を使用したデジタル ヒューマンと仮想アシスタントの構成要素

NVIDIA デジタル ヒューマン テクノロジーの新機能を紹介するために、私たちは Hippocratic AI や UneeQ などの大手企業と協力して一連の新テクノロジーのデモンストレーションを行ってきました。

HippocraticAI は、安全性を重視し、LLM を利用したタスク固有のヘルスケア エージェントを作成しました。エージェントは患者に電話をかけ、ケア調整タスクをフォローアップし、術前指示を伝え、退院後の管理などを行います。 GTC では、NVIDIA は HippocraticAI と協力して、NVIDIA ACE マイクロサービス、NVIDIA Audio2Face、NVIDIA アニメーション グラフ、および NVIDIA Omniverse Streamer Client を使用するソリューションを拡張し、生成 AI ヘルスケア エージェント アバターの可能性を示しました。

「当社のデジタル アシスタントは、世界中の患者に有益でタイムリーかつ正確な情報を提供します」と Hippocratic AI の共同創設者兼 CEO の Munjal Shah 氏は述べています。 「NVIDIA ACE テクノロジーは、最先端のビジュアルとリアルなアニメーションで患者に命を吹き込み、患者とのつながりを強化します。」

UneeQ は、顧客サービスやインタラクティブ アプリケーション用の AI 搭載アバターの作成に特化した自律型デジタル ヒューマン プラットフォームです。 UneeQ のデジタル ヒューマンはオンラインでブランドを代表し、顧客が安心して購入できるようリアルタイムでコミュニケーションをとります。 UneeQ は、NVIDIA Audio2Face マイクロサービスをプラットフォームに統合し、それを Synanim ML と組み合わせて、より優れた顧客エクスペリエンスとエンゲージメントを実現する非常にリアルなアバターを作成しました。

「UneeQ は、NVIDIA アニメーション AI と当社独自の Synanim ML 合成アニメーション テクノロジーを組み合わせて、感情に敏感に反応するリアルタイムのデジタル ヒューマン インタラクションを提供し、会話型 AI を活用したダイナミックなエクスペリエンスを提供します」と UneeQ の CEO 兼創設者の Danny Tomsett 氏は述べています。

NVIDIA はジェネレーティブ AI の最前線にあり、NVIDIA ACE を採用している開発者とプラットフォームには、Convai、Cyber Agent、Data Monsters、Deloitte、HippocraticAI、IGOODI、Inworld AI、Media.Monks、miHoYo、NetEase Games、Perfect World、Openstream、OurPalm 、Quantiphi、Rakuten、Slalom、SoftServe、Tencent、Top Health Tech、Ubisoft、UneeQ、Unions Avatars が含まれています。ウェブサイトにアクセスして、デジタル ヒューマン テクノロジーをどのように活用して新たな可能性を生み出し、顧客エクスペリエンスを向上させているかを確認してください。

NVIDIA ACE: デジタル キャラクターに命を吹き込む

人気のゲームおよびデジタル ヒューマン開発者は、ACE および生成 AI テクノロジーを使用して、ゲームやアプリケーションにおけるプレイヤーと NPC 間のインタラクションを変革する方法を開拓しています。 NVIDIA ACE や未来の開発方法、早期アクセス プログラムの詳細はこちらをご覧ください。また、GeForce.com にアクセスして、最新のゲームにおける NVIDIA RTX テクノロジと GeForce RTX GPU のその他の使用法を発見してください。