NVIDIA Omniverse Audio2Face

Omniverse Audio2Face

Omniverse Audio2Face は音声ソースだけで豊かな表情のアニメーションを生成する AI 搭載アプリケーションです。

AI により顔のアニメーションを簡単に作成

Audio2Face なら、キャラクターのアニメーション化をゲーム、映画、リアルタイム デジタル アシスタント向けに行うか、単純に楽しみのために行うかに関わらず、ナレーション トラックに合わせた 3D キャラクターのアニメーション化を簡単にできます。このアプリは、インタラクティブなリアルタイム アプリケーションや、従来の顔アニメーション オーサリング ツールとして使用できます。結果をライブで実行するか、ベイクアウトするかは自分で選択できます。

仕組み

Omniverse Audio2Face アプリは、オリジナルの NVIDIA Research 文書に基づいています。Audio2Face には「Digital Mark」がプリロードされています。これは音声トラックでアニメーション化できる 3D キャラクター モデルなので、簡単に始めることができます。音声を選択し、アプリにアップロードするだけです。 このテクノロジは、音声入力をトレーニング済みの Deep Neural Network に送り込み、ネットワークの出力により、キャラクターの顔アニメーションをリアルタイムで動作させます。ユーザーには、さまざまな後処理パラメーターを編集して、キャラクターのパフォーマンスを編集するためのオプションがあります。ネットワークの出力によってキャラクター メッシュの 3D 頂点が動き、顔アニメーションが作成されます。このページに表示される結果は、ほとんどの場合 Audio2Face からの生出力で、後処理パラメーターはほとんどもしくは全く編集されていません。

注: Direct blendshape のサポートは、後日リリースされる予定です。 

Omniverse Audio2Face App
 
Audio2Face generates facial animation through audio input.

音声入力

録音を使用して、またはライブでアニメーションを作成可能

音声オーディオ トラックを録音し、アプリに入力するだけで、3D の顔が生き生きと動き出します。マイクを通じてライブで顔のアニメーションを生成することも可能です。

Audio2Face はどのような言語でも簡単に処理できます。NVIDIA では継続的に更新を行い、対応言語を追加中です。これらのテストは英語、フランス語、イタリア語、ロシア語で確認できます。

キャラクター トランスファー

どんな顔でも生き生きと動き出す

Audio2Face では、写実的か様式的かにかかわらず、3D の人間または人間に近いキャラクターの顔をリターゲットできます。「Digital Mark」から「Rain」にリターゲットするこちらのテストをご覧ください。

 
Omniverse View includes RTX Renderer
 
Use multiple instances to generate facial animation for more than one character.

複数インスタンス

ソロかグループか

Audio2Face では、複数のインスタンスを容易に処理でき、シーン内でお好みの数のキャラクターを実行するのも簡単です。アニメーション化にはすべて同じ音源を使用することも、別の音源を使用することもできます。デュオの会話やトリオのコーラス、息の合ったカルテットやそれ以上の人数でも、命と声を吹き込むことができます。

感情コントロール

ドラマを表現する

Audio2Face では、キャラクターの感情を選択し、アニメーション化できます。選択した感情範囲に合わせて、顔、目、口、舌、頭の動きをネットワークが自動的に操作します。

Add emotions to your animation.

Audio2Face の動作をご覧ください

クリーチャーとエイリアン

この機能では、幻想的なクリーチャーやエイリアンの顔のアニメーションを変化させ、動作させることができます。ここでは、Digital Mark がエイリアンのパフォーマンスを動作させています。

Misty: アニメーション化されたチャット ボット

GTC Spring 2020 で発表された Misty は、Audio2Face がリアルタイムで動作するインタラクティブな天気予報ボットです。リアルな人間のメッシュからフォルム化されたキャラクターのメッシュに変化させ、インタラクティブなサービス エージェントとして使用されるようデモンストレーションを行いました。

Omniverse Machinima

Audio2Face は、GeForce 30 シリーズのローンチ中に公開されており、Omniverse Machinima のデモで確認できます。顔アニメーションは複雑でコストが高くつくことで有名です。Audio2Face は、詳細な顔のアニメーションを自動化し、3D コンテンツ作成プロセスを一般化します。

Omniverse Audio2Face を使用開始する

Omniverse Machinima は、ノート PC からデータ センターまで、あらゆる NVIDIA RTX デバイスで動作します。ダウンロードして Omniverse を使用開始します。

Download NVIDIA Omniverse

1

NVIDIA Omniverse をダウンロードしてインストールを実行します。

Open the Omniverse Launcher

2

インストールが完了したら、Omniverse ランチャーを開きます。

Find Audio2Face in the Apps section and click Install

3

[Apps] セクションで [Audio2Face] を探し、[Install]、[Launch] の順でクリックします。

Audio2Face の詳細を見る

GTC 2020 で発表されたこの技術概要をご覧ください。

システム要件
要素 最小仕様
OS サポート Windows 10、64 ビット、バージョン 1909 以降
CPU Intel I7、AMD Ryzen
2.5GHz 以上
CPU コア 4 以上
RAM 16 GB 以上
ストレージ領域 (空き容量) 500 GB 以上
GPU あらゆる RTX GPU
VRAM 6 GB 以上
最小ビデオ ドライバー バージョン 455.28 (Linux) 、456.71 (Windows)
注: Omniverse は RTX 搭載のあらゆるコンピューターで実行できるよう構築されています。理想的なパフォーマンスを得るために、GeForce RTX 2080、Quadro RTX 5000、またはそれ以上のグラフィックス カードを使用することをお勧めします。最新のドライバーについては、こちら をご覧ください。

サポート

共に未来を生み出そう

次世代のコラボレーションとシミュレーションによって、さまざまな業界のクリエイター、イノベーター、ビジネスがどのように未来に近づいているかご覧ください。

Enter the Omniverse

Deep dive into the platform through a series of GTC webinars hosted by Omniverse experts in various industries.

その他の Omniverse アプリ

Omniverse アプリは特定のワークフローを強化する目的で設計されています。実際の動作をご覧ください。

nvidia-omniverse-view-64

View

建築、エンジニアリング、建設向けの共同設計、臨場感の高いビジュアライゼーション、写真のようにリアルなレンダリング。

nvidia-omniverse-create-64

Create

高度な世界の構築を高速化し、リアルタイムで Pixar USD のシーンをインタラクティブにアセンブル、シミュレーション、レンダリングします。

nvidia-omniverse-kaolin-icon-64

Kaolin

この強力なビジュアル ツールを用いて、NVIDIA の Kaolin PyTorch ライブラリを利用した 3D ディープラーニング研究を簡素化し、加速しましょう。

Machinima

Machinima

ゲーマー向けの AI を活用したツールキットを使って、ビデオ ゲーム アニメーションのストーリーテリングをリミックス、再創造、再定義します。

Isaac Sim

Isaac Sim

写真のようなリアルさで忠実度の高い物理 3D 環境で、ロボットをインポート、ビルド、テストします。

Drive Sim

DRIVE Sim

自動運転車の開発において、現実との見分けが事実上つかないシミュレーション体験を活用しましょう。