NVIDIA Omniverse Audio2Face

Omniverse Audio2Face

NVIDIA ディープラーニング AI テクノロジを使用し、音声ソースから表現力豊かな顔のアニメーションを素早く簡単に生成できます。

顔のアニメーションが AI で簡単に

Audio2Face なら、ゲーム、映画、リアルタイム デジタル アシスタントや、単純に楽しみだけのために行うかに関わらず、あらゆるナレーション トラックに合わせた 3D キャラクターのアニメーション化を簡単に実現します。このアプリは、インタラクティブなリアルタイム アプリケーションや、従来の顔アニメーション オーサリング ツールとしても使用できます。結果をライブで実行するか、ベイクするかはお好みで選択できます。

仕組み

Audio2Face には、音声トラックに合わせてアニメーション化できる 3D キャラクター モデル「Digital Mark」がすでに入っているので、音声を選択してアップロードするだけで簡単にアニメーション制作が始められます。入力された音声はトレーニング済みのディープ ニューラル ネットワークに送られ、その出力によってキャラクター メッシュの 3D 頂点が動き、顔のアニメーションがリアルタイムで生成されます。さまざまな後処理パラメーターを編集し、キャラクターのパフォーマンスを変えることもできます。このページでご覧の映像は、Audio2Face から出力されたものをほとんど加工しておらず、後処理パラメーターはほとんど編集されていません。

Omniverse Audio2Face アプリ
 
Audio2Face は音声入力を介して顔のアニメーションを生成します。

音声入力

録音を使用するか、ライブでアニメーションを作成

声の音声トラックを録音し、アプリに入力するだけで、3D の顔が生き生きと動き出します。マイクを通じてライブで顔のアニメーションを生成することも可能です。

Audio2Face はどのような言語でも簡単に処理できます。さらに、より多くの言語に対応するため、継続的にアップデートを行っています。これらのテストは英語、フランス語、イタリア語、ロシア語で確認できます。

キャラクター トランスファー

一瞬で顔を変える

Audio2Face では、3D 化の対象をあらゆる人間の顔 (または人間に近い顔) に変更できます。リアルにすることも、特定の様式で表現することもできます。こちらのテストをご覧ください。「Digital Mark」から歌う「Rhino」に対象を変更しています。

 
Audio2Face であらゆるキャラクターの顔をアニメーション化する
 
複数のインスタンスを利用し、複数のキャラクターの顔のアニメーションを生成

複数インスタンス

自分を表現する、あるいは全員をいっぺんに表現する

Audio2Face では、複数のインスタンスを容易に実行でき、1 つのシーン内で好きな数だけキャラクターを実行するのも簡単です。アニメーション化にはすべて同じ音源を使用することも、別の音源を使用することもできます。デュオの会話やトリオのコーラス、息の合ったカルテットもそれ以上の人数でも、命と声を吹き込みます。さらに、顔ごとに表情のレベルを調整することもできます。

感情コントロール

ドラマを表現する

Audio2Face では、キャラクターの感情を選び、一瞬でアニメーション化できます。選択した感情範囲に合わせ、顔、眼、口、舌、頭の動きをネットワークが自動的に操作し、激しさも変えることができます。

近日公開予定。

アニメーションに感情を追加します。

Audio2Face の実際の動作をご覧ください

クリーチャーとエイリアン

空想上の生き物や異星人の顔アニメーションを動かします。ここでは、Digital Mark がエイリアンのパフォーマンスを動かしています。

アニメーション チャット ボット Misty

GTC Spring 2020 で発表された Misty は Audio2Face で動作するインタラクティブな天気予報ボットです。インタラクティブ サービス エージェントとして使用するために、リアルな人間メッシュから様式化されたキャラクター メッシュに対象を変更し、デモしました。

Omniverse Machinima

GeForce 30 シリーズの発売時に公開された Audio2Face は、 Omniverse Machinima デモに登場します。顔のアニメーションは複雑で、コストがかかることで知られています。Audio2Face は顔の細かなアニメーション化を自動化し、3D コンテンツを誰でも制作できるようにします。   

最新の Omniverse コンテンツの詳細

Omniverse Audio2Face で始める

Omniverse Machinima は、ノート PC からデータ センターまで、あらゆる NVIDIA RTX デバイスで動作します。Omniverse をダウンロードし、その機能をお確かめください。

NVIDIA Omniverse をダウンロード

1

NVIDIA Omniverse をダウンロードしてインストールを実行します。

Omniverse ランチャーを起動

2

インストールが完了したら、Omniverse ランチャーを開きます。

[Apps] セクションで [Audio2Face] を探し、[Install] をクリックします。

3

[Apps] セクションで [Audio2Face] を探し、[Install]、[Launch] の順でクリックします。

Audio2Face を詳しく見る

GTC 2020 で紹介されたこちらの技術概要をご覧ください。

仮想コラボレーション/シミュレーションの最新技術の詳細を見る

Omniverse は 3D キャラクター アニメーション ワークフローを変えます。その仕組みを GTC 2021 の人気セッションでご覧ください。現在、オンデマンドでご利用いただけます。

システム要件
要素 最小仕様
OS サポート Windows 10、64 ビット (バージョン 1909 以降)
CPU Intel I7、AMD Ryzen
2.5GHz 以上
CPU コア 4 以上
RAM 16 GB 以上
ストレージ 500 Gb SSD 以上
GPU あらゆる RTX GPU
VRAM 6 GB 以上
最小 ビデオ ドライバー バージョン 最新のドライバーはこちらからご覧ください
注記: Omniverse は RTX 搭載のあらゆるコンピューターで実行できるように開発されています。理想的なパフォーマンスを得るためには、GeForce RTX 3070、NVIDIA RTX A4000、8Gb またはそれ以上グラフィックス カードを使用することをお勧めします。

サポート

NVIDIA OMNIVERSE AT GTC

最新の 3D デザイン、シミュレーション、コラボレーションに焦点を当てた 60 以上のセッションやスペシャル イベントにご参加ください。

Omniverse の世界に入る

GTC ウェビナー シリーズでこのプラットフォームについて解説しています。さまざまな業界の Omniverse エキスパートがホストを務めます。

その他の Omniverse アプリ

Omniverse アプリは特定のワークフローを強化する目的で設計されています。実際の動作をご覧ください。

View

View

物理的に正確でフォトリアルでパワフルなこの可視化ツールを使用し、設計プロジェクトを共同でレビューします。

Create

Create

高度なシーン構築を高速化します。Pixar USD のシーンを、リアルタイムかつインタラクティブに組み立て、シミュレーションし、レンダリングします。

Kaolin

Kaolin

NVIDIA の Kaolin PyTorch ライブラリとこのパワフルな可視化ツールで、3D ディープラーニング研究が単純化され、高速化されます。

Machinima

Machinima

RTX クリエイター向け AI を活用すたツールキットで、アニメーションによるビデオ ゲーム ストーリーテリングをリミックス、再創造、再定義します。

Isaac Sim

Isaac Sim

フォトリアルで忠実度の高い物理 3D 環境でロボットをインポート、ビルド、テストします。

Drive Sim

DRIVE SIM

自動運転車の開発において、現実との見分けが事実上つかないシミュレーション体験を活用しましょう。