NVIDIA Omniverse Audio2Face

ベータ版

Omniverse Audio2Face

ジェネレイティブ AI を利用し、音声ソースだけで表情豊かな顔のアニメーションを瞬時に作成します。

オーディオからアニメーションを作成する作業がジェネレイティブ AI で簡単に

Omniverse Audio2Face ベータ版は、ゲーム、映画、リアルタイム デジタル アシスタント用にキャラクターを動かすかに、あるいは単純に楽しみだけのためにキャラクターを動かすかに関わらず、あらゆるボイスオーバー トラックに合わせた 3D キャラクターのアニメーション化を簡単に実現できるリファレンス アプリケーションです。このアプリは、インタラクティブなリアルタイム アプリケーションや、従来のフェース アニメーション オーサリング ツールとしても使用できます。結果をライブで実行するか、ベイクするかはお好みで選択できます。

仕組み

Audio2Face には、音声トラックに合わせてアニメーション化できる 3D キャラクター モデル「Digital Mark」がすでに入っているので、音声を選択してアップロードするだけで簡単にアニメーション制作が始められます。入力された音声はトレーニング済みのディープ ニューラル ネットワークに送られ、その出力によってキャラクター メッシュの 3D 頂点が動き、顔のアニメーションがリアルタイムで生成されます。さまざまな後処理パラメーターを編集し、キャラクターのパフォーマンスを変えることもできます。このページでご覧の映像は、Audio2Face から出力されたものをほとんど加工しておらず、後処理パラメーターはほとんど編集されていません。

Omniverse Audio2Face アプリ
 
Audio2Face は音声入力を介して顔のアニメーションを生成します。

音声入力

録音を使用するか、ライブでアニメーションを作成

声の音声トラックを録音し、アプリに入力するだけで、3D の顔が生き生きと動き出します。マイクを使用してライブで顔のアニメーションを生成することも可能です。

Audio2Face はどのような言語でも簡単に処理できます。さらに、より多くの言語に対応するため、継続的にアップデートを行っています。 

キャラクター トランスファー

一瞬で顔を変える

Audio2Face では、3D 化の対象をあらゆる人間の顔 (または人間に近い顔) に変更できます。リアルにすることも、特定の様式で表現することもできます。これにより人間か動物かを問わず、キャラクターをその場で数回のクリックで入れ替えられます。

 
Audio2Face であらゆるキャラクターの顔をアニメーション化する
 
複数のインスタンスを利用し、複数のキャラクターの顔のアニメーションを生成

出力を拡大する

自分を表現する、あるいは全員をいっぺんに表現する

Audio2Face では、複数のインスタンスを容易に実行でき、1 つのシーン内で好きな数だけキャラクターを実行するのも簡単です。アニメーション化にはすべて同じ音源を使用することも、別の音源を使用することもできます。デュオの会話やトリオのコーラス、息の合ったカルテットもそれ以上の人数でも、命と声を吹き込みます。さらに、顔の表情レベルを顔ごとに上げ下げすること、複数のオーディオ ソースからの複数のアニメーション ファイルを一括出力することができます。

感情コントロール

ドラマを表現する

Audio2Face では、キャラクターの感情を一瞬で選択し、アニメーション化できます。選択した感情範囲とカスタマイズした強度に合わせて顔、目、舌、頭の動きが自動的に AI ネットワークによって操作されます。あるいは、オーディオ クリップから感情を自動的に推論します

 
アニメーションに感情を追加します。
 
アニメーションに感情を追加します。

データ変換

接続と変換

Omniverse Audio2Face の最新アップデートにより、ブレンドシェイプ変換とブレンドウェイト エクスポート オプションが使えるようになりました。このアプリではさらに、Blendshapes for Blender と Epic Games Unreal Engine のエクスポート/インポートをサポートし、それぞれの Omniverse コネクタでキャラクターの動きを生成できるようになりました。

Audio2Face の実際の動作をご覧ください

クリーチャーとエイリアン

空想上の生き物や異星人の顔アニメーションを動かします。ここでは、Digital Mark がエイリアンのパフォーマンスを動かしています。

アニメーション チャットボット Misty

GTC Spring 2020 で発表された Misty は実行時に Audio2Face で動作するインタラクティブ天候ボットです。インタラクティブ サービス エージェントとして使用するために、リアルな人間メッシュから様式化されたキャラクター メッシュに対象を変更し、デモしました。

Omniverse Machinima

GeForce 30 シリーズの発売時に公開された Audio2Face は、Omniverse Machinima デモに登場します。顔のアニメーションは複雑で、コストがかかることで知られています。Audio2Face は顔の細かなアニメーション化を自動化し、3D コンテンツを誰でも制作できるようにします。   

NVIDIA Omniverse のおかげで、デジタル ヒューマンの自然度が上がりました。また、ワークフローがスピードアップしたため、創作活動に費やせる時間が増えました。

3D アーティスト Anderson Rohr氏

NVIDIA Omniverse を今すぐ体験する

お客様の 3D ワークフローに最適なライセンスを見つけ、Omniverse を今すぐご利用ください。

nvidia-omniverse-creators-3c33-D

クリエイター

無料でダウンロードして作成する

Omniverse は中心的ハブとして機能し、3D クリエイティブ アプリケーションをシームレスに接続し、機能強化します。アセット、ライブラリ、ツールを統合し、まったく途切れのないワークフローを実現します。アーティストは自由な創作の新たな高みを達成できます。

開発者

開発者

開発と配布は無料

Omniverse は開発者向けとして開発されており、あらゆるレイヤーで 3D ワークフローをカスタマイズし、新しい Omniverse Connector、拡張機能、アプリケーション、マイクロサービスを簡単に開発できます。

nvidia-omniverse-enterprise-3c33-D

エンタープライズ

無料試用版 | 年間ライセンス

Omniverse Enterprise は、あらゆる規模の組織の複雑なデザイン ワークフローを変えます。複数のアプリケーションと一元化されたプロジェクト データを利用し、複数のユーザーと場所でリアルタイムのコラボレーションを可能にします。

Omniverse Audio2Face のインストール方法

NVIDIA Omniverse をダウンロード

ステップ 1

NVIDIA Omniverse をダウンロードしてインストールを実行します。

Omniverse ランチャーを起動

ステップ 2

インストールが完了したら、Omniverse ランチャーを開きます。

[Apps] セクションで [Audio2Face] を探し、[Install] をクリックします。

ステップ 3

[Apps] セクションで [Omniverse Audio2Face] を探し、[Install]、[Launch] の順でクリックします。

システム要件
要素 最小仕様 最小仕様
OS サポート Windows 10 (バージョン 1903 以上) Windows 10 (バージョン 1903 以上)
CPU Intel Core i5 第 10 世代シリーズ
AMD Ryzen 5 第 5 世代シリーズ
Intel Core i7 第 13 世代シリーズ
AMD Ryzen 7 第 7 世代シリーズ
RAM 16 GB 32 GB
ストレージ 250 GB SSD 500 GB SSD
GPU 8 GB 搭載のあらゆる RTX GPU GeForce RTX 4070 Ti、NVIDIA RTX A4500 以上
最小 ビデオ ドライバー バージョン 最新のドライバーはこちらからご覧ください 最新のドライバーはこちらからご覧ください

ステップバイステップのチュートリアルを見る

Omniverse Apps の詳細を見る

NVIDIA Omniverse Apps と Connectorをひととおりお試しください。以下の NVIDIA おすすめをお試しになってももちろん構いません。

コード

開発者とパワー ユーザーが Omniverse の拡張機能、アプリ、マイクロサービスを簡単に開発するための統合開発環境。

Machinima

クリエイター向けの AI 対応ツールキットを使用し、ビデオ ゲームのストーリーをリミックスし、再創造し、再定義し、アニメーションを制作します。

USD Composer

Pixar USD で高度な世界の構築を高速化し、シーンをリアルタイムの対話形式で組み立て、シミュレーションし、レンダリングします。

USD Presenter

このパワフルで物理的に正確、かつ、フォトリアルなビジュアライゼーション ツールでデザイン プロジェクトを共同でレビューします。

コミュニティに参加する

チュートリアルにアクセスする

無数の無料のチュートリアル、セッション、初心者向けトレーニングを活用し、USD を始めてください。

Omnivore になる

コミュニティに参加してください! Twitch で NVIDIA の週刊ライブ ストリームにご参加ください。また、Discord と NVIDIA フォーラムで交流してください。

テクニカル サポートを受ける

お困りですか? フォーラムに質問を投稿すると、Omniverse エキスパートがすぐに回答します。または、プラットフォーム ドキュメントを参照してください。

作品を展示する

Omniverse で傑作を生み出しましたか? Omniverse ギャラリーに投稿してください。ここはアーティストがお互いに刺激を受ける場所です。

NVIDIA とつながる

最新の NVIDIA Omniverse ニュースを受け取る