NVIDIA Omniverse Audio2Face

ベータ版

Omniverse Audio2Face

NVIDIA ディープラーニング AI テクノロジを使用し、音声ソースから表現力豊かな顔のアニメーションを素早く簡単に生成できます。

顔のアニメーションを AI で簡単に

Omniverse Audio2Face ベータ版を使えば、ゲーム、映画、リアルタイム デジタル アシスタント用にキャラクターを動かすかに、あるいは単純に楽しみだけのためにキャラクターを動かすかに関わらず、あらゆるボイスオーバー トラックに合わせた 3D キャラクターのアニメーション化を簡単に実現できます。このアプリは、インタラクティブなリアルタイム アプリケーションや、従来の顔アニメーション オーサリング ツールとしても使用できます。結果をライブで実行するか、ベイクするかはお好みで選択できます。

仕組み

Audio2Face には、音声トラックに合わせてアニメーション化できる 3D キャラクター モデル「Digital Mark」がすでに入っているので、音声を選択してアップロードするだけで簡単にアニメーション制作が始められます。入力された音声はトレーニング済みのディープ ニューラル ネットワークに送られ、その出力によってキャラクター メッシュの 3D 頂点が動き、顔のアニメーションがリアルタイムで生成されます。さまざまな後処理パラメーターを編集し、キャラクターのパフォーマンスを変えることもできます。このページでご覧の映像は、Audio2Face から出力されたものをほとんど加工しておらず、後処理パラメーターはほとんど編集されていません。

Omniverse Audio2Face アプリ
 
Audio2Face は音声入力を介して顔のアニメーションを生成します。

音声入力

録音を使用するか、ライブでアニメーションを作成

声の音声トラックを録音し、アプリに入力するだけで、3D の顔が生き生きと動き出します。マイクを使用してライブで顔のアニメーションを生成することも可能です。

Audio2Face はどのような言語でも簡単に処理できます。さらに、より多くの言語に対応するため、継続的にアップデートを行っています。 

キャラクター トランスファー

一瞬で顔を変える

Audio2Face では、3D 化の対象をあらゆる人間の顔 (または人間に近い顔) に変更できます。リアルにすることも、特定の様式で表現することもできます。こちらのテストをご覧ください。「Digital Mark」から 「Rhino」に対象を変更しています。

 
Audio2Face であらゆるキャラクターの顔をアニメーション化する
 
複数のインスタンスを利用し、複数のキャラクターの顔のアニメーションを生成

出力を拡大する

自分を表現する、あるいは全員をいっぺんに表現する

Audio2Face では、複数のインスタンスを容易に実行でき、1 つのシーン内で好きな数だけキャラクターを実行するのも簡単です。アニメーション化にはすべて同じ音源を使用することも、別の音源を使用することもできます。デュオの会話やトリオのコーラス、息の合ったカルテットもそれ以上の人数でも、命と声を吹き込みます。さらに、顔の表情レベルを顔ごとに上げ下げすること、複数のオーディオ ソースからの複数のアニメーション ファイルを一括出力することができます。

データ変換

接続と変換

Omniverse Audio2Face の最新アップデートにより、ブレンドシェイプ変換とブレンドウェイト エクスポート オプションが使えるようになりました。さらに、Epic Games Unreal Engine 4 によるエクスポートおよびインポートに対応し、Omniverse Unreal Engine 4 Connector を利用して MetaHuman キャラクターでモーションを生成できるようになりました。

 
アニメーションに感情を追加します。
アニメーションに感情を追加します。

感情コントロール

ドラマを表現する

Audio2Face では、キャラクターの感情を一瞬で選択し、アニメーション化できます。選択した感情範囲とカスタマイズした強度に合わせて顔、目、舌、頭の動きが自動的に AI ネットワークによって操作されます。あるいは、オーディオ クリップから感情を自動的に推論します。

Audio2Face の実際の動作をご覧ください

クリーチャーとエイリアン

空想上の生き物や異星人の顔アニメーションを動かします。ここでは、Digital Mark がエイリアンのパフォーマンスを動かしています。

アニメーション チャットボット Misty

GTC Spring 2020 で発表された Misty は実行時に Audio2Face で動作するインタラクティブ天候ボットです。インタラクティブ サービス エージェントとして使用するために、リアルな人間メッシュから様式化されたキャラクター メッシュに対象を変更し、デモしました。

Omniverse Machinima

GeForce 30 シリーズの発売時に公開された Audio2Face は、Omniverse Machinima デモに登場します。顔のアニメーションは複雑で、コストがかかることで知られています。Audio2Face は顔の細かなアニメーション化を自動化し、3D コンテンツを誰でも制作できるようにします。   

NVIDIA Omniverse のおかげで、デジタル ヒューマンの自然度が上がりました。また、ワークフローがスピードアップしたため、創作活動に費やせる時間が増えました。

3D アーティスト Anderson Rohr氏

NVIDIA Omniverse を今すぐ体験する

あなたの 3D ワークフローに最適なライセンスを見つけ、Omniverse を今すぐご利用ください。

nvidia-omniverse-creators-3c33-D

クリエイター

無料でダウンロードして作成する

Omniverse は中心的ハブとして機能し、3D クリエイティブ アプリケーションをシームレスに接続し、機能強化します。アセット、ライブラリ、ツールを統合し、まったく途切れのないワークフローを実現します。アーティストは自由な創作の新たな高みを達成できます。

開発者

開発者

開発と配布は無料

Omniverse は開発者向けとして開発されており、あらゆるレイヤーで 3D ワークフローをカスタマイズし、新しい Omniverse Connector、拡張機能、アプリケーション、マイクロサービスを簡単に開発できます。

nvidia-omniverse-enterprise-3c33-D

エンタープライズ

無料試用版 | 年間ライセンス

Omniverse Enterprise は、あらゆる規模の組織の複雑なデザイン ワークフローを変えます。複数のアプリケーションと一元化されたプロジェクト データを利用し、複数のユーザーと場所でリアルタイムのコラボレーションを可能にします。

Omniverse Audio2Face のインストール方法

NVIDIA Omniverse をダウンロード

1

NVIDIA Omniverse をダウンロードしてインストールを実行します。

Omniverse ランチャーを起動

2

インストールが完了したら、Omniverse ランチャーを開きます。

[Apps] セクションで [Audio2Face] を探し、[Install] をクリックします。

3

[Apps] セクションで [Omniverse Audio2Face] を探し、[Install]、[Launch] の順でクリックします。

システム要件
要素 最小仕様
OS サポート Windows 10、64 ビット (バージョン 1909 以降)
CPU Intel I7、AMD Ryzen
2.5GHz 以上
CPU コア 4 以上
RAM 16 GB 以上
ストレージ 500 Gb SSD 以上
GPU あらゆる RTX GPU
VRAM 6 GB 以上
最小 ビデオ ドライバー バージョン 最新のドライバーはこちらからご覧ください
注記: Omniverse は RTX 搭載のあらゆるコンピューターで実行できるように開発されています。理想的なパフォーマンスを得るためには、GeForce RTX 3070、NVIDIA RTX A4000、8Gb またはそれ以上グラフィックス カードを使用することをお勧めします。

ステップバイステップのチュートリアルを見る

Omniverse Apps の詳細を見る

NVIDIA Omniverse Apps と Connectorをひととおりお試しください。以下の NVIDIA おすすめをお試しになってももちろん構いません。

Create

Pixar USD で高度な世界の構築を高速化し、シーンをリアルタイムの対話形式で組み立て、シミュレーションし、レンダリングします。

CODE

開発者とパワー ユーザーが Omniverse の拡張機能、アプリ、マイクロサービスを簡単に開発するための統合開発環境。

Machinima

クリエイター向けの AI 対応ツールキットを使用し、ビデオ ゲームのストーリーをリミックスし、再創造し、再定義し、アニメーションを制作します。

View

このパワフルで物理的に正確、かつ、フォトリアルなビジュアライゼーション ツールでデザイン プロジェクトを共同レビューします。

コミュニティに参加する

チュートリアルにアクセスする

無数の無料のチュートリアルセッション、初心者向けトレーニングを活用し、USD を始めてください。 

Omnivore になる

コミュニティに参加してください! Twitch で NVIDIA の週刊ライブ ストリームにご参加ください。また、Discord と NVIDIA フォーラムで交流してください。

テクニカル サポートを受ける

お困りですか? フォーラムに質問を投稿すると、Omniverse エキスパートがすぐに回答します。または、プラットフォーム ドキュメントを参照してください。

作品を展示する

Omniverse で傑作を生み出しましたか? Omniverse ギャラリーに投稿してください。ここはアーティストがお互いに刺激を受ける場所です。

NVIDIA とつながる

最新の NVIDIA Omniverse ニュースをお受け取りください