NVIDIA Omniverse Audio2Face

ベータ版

Omniverse Audio2Face

ジェネレイティブ AI を利用し、音声ソースだけで表情豊かな顔のアニメーションを瞬時に作成します。

オーディオからアニメーションを作成する作業がジェネレイティブ AI で簡単に

Omniverse Audio2Face ベータ版は、ゲーム、映画、リアルタイム デジタル アシスタント用にキャラクターを動かすかに、あるいは単純に楽しみだけのためにキャラクターを動かすかに関わらず、あらゆるボイスオーバー トラックに合わせた 3D キャラクターのアニメーション化を簡単に実現できるリファレンス アプリケーションです。このアプリは、インタラクティブなリアルタイム アプリケーションや、従来のフェース アニメーション オーサリング ツールとしても使用できます。結果をライブで実行するか、ベイクするかはお好みで選択できます。

仕組み

Audio2Face には、音声トラックに合わせてアニメーション化できる 3D キャラクター モデル「Digital Mark」がすでに入っているので、音声を選択してアップロードするだけで簡単にアニメーション制作が始められます。入力された音声はトレーニング済みのディープ ニューラル ネットワークに送られ、その出力によってキャラクター メッシュの 3D 頂点が動き、顔のアニメーションがリアルタイムで生成されます。さまざまな後処理パラメーターを編集し、キャラクターのパフォーマンスを変えることもできます。このページでご覧の映像は、Audio2Face から出力されたものをほとんど加工しておらず、後処理パラメーターはほとんど編集されていません。

Omniverse Audio2Face アプリ
 
Audio2Face は音声入力を介して顔のアニメーションを生成します。

音声入力

録音を使用するか、ライブでアニメーションを作成

声の音声トラックを録音し、アプリに入力するだけで、3D の顔が生き生きと動き出します。マイクを使用してライブで顔のアニメーションを生成することも可能です。

Audio2Face はどのような言語でも簡単に処理できます。さらに、より多くの言語に対応するため、継続的にアップデートを行っています。 

キャラクター トランスファー

一瞬で顔を変える

Audio2Face では、3D 化の対象をあらゆる人間の顔 (または人間に近い顔) に変更できます。リアルにすることも、特定の様式で表現することもできます。これにより人間か動物かを問わず、キャラクターをその場で数回のクリックで入れ替えられます。

 
Audio2Face であらゆるキャラクターの顔をアニメーション化する
 
複数のインスタンスを利用し、複数のキャラクターの顔のアニメーションを生成

出力を拡大する

自分を表現する、あるいは全員をいっぺんに表現する

Audio2Face では、複数のインスタンスを容易に実行でき、1 つのシーン内で好きな数だけキャラクターを実行するのも簡単です。アニメーション化にはすべて同じ音源を使用することも、別の音源を使用することもできます。デュオの会話やトリオのコーラス、息の合ったカルテットもそれ以上の人数でも、命と声を吹き込みます。さらに、顔の表情レベルを顔ごとに上げ下げすること、複数のオーディオ ソースからの複数のアニメーション ファイルを一括出力することができます。

感情コントロール

ドラマを表現する

Audio2Face では、キャラクターの感情を一瞬で選択し、アニメーション化できます。選択した感情範囲とカスタマイズした強度に合わせて顔、目、舌、頭の動きが自動的に AI ネットワークによって操作されます。あるいは、オーディオ クリップから感情を自動的に推論します

 
アニメーションに感情を追加します。
 
アニメーションに感情を追加します。

データ変換

接続と変換

Omniverse Audio2Face の最新アップデートにより、ブレンドシェイプ変換とブレンドウェイト エクスポート オプションが使えるようになりました。このアプリではさらに、Blendshapes for Blender と Epic Games Unreal Engine のエクスポート/インポートをサポートし、それぞれの Omniverse コネクタでキャラクターの動きを生成できるようになりました。

Audio2Face の実際の動作をご覧ください

クリーチャーとエイリアン

空想上の生き物や異星人の顔アニメーションを動かします。ここでは、Digital Mark がエイリアンのパフォーマンスを動かしています。

アニメーション チャットボット Misty

GTC Spring 2020 で発表された Misty は実行時に Audio2Face で動作するインタラクティブ天候ボットです。インタラクティブ サービス エージェントとして使用するために、リアルな人間メッシュから様式化されたキャラクター メッシュに対象を変更し、デモしました。

Omniverse Machinima

GeForce 30 シリーズの発売時に公開された Audio2Face は、Omniverse Machinima デモに登場します。顔のアニメーションは複雑で、コストがかかることで知られています。Audio2Face は顔の細かなアニメーション化を自動化し、3D コンテンツを誰でも制作できるようにします。   

NVIDIA Omniverse のおかげで、デジタル ヒューマンの自然度が上がりました。また、ワークフローがスピードアップしたため、創作活動に費やせる時間が増えました。

3D アーティスト Anderson Rohr氏

NVIDIA Omniverse を今すぐ体験する

お客様の 3D ワークフローに最適なライセンスを見つけ、Omniverse を今すぐご利用ください。

nvidia-omniverse-creators-3c33-D

クリエイター

無料でダウンロードして作成する

Omniverse は中心的ハブとして機能し、3D クリエイティブ アプリケーションをシームレスに接続し、機能強化します。アセット、ライブラリ、ツールを統合し、まったく途切れのないワークフローを実現します。アーティストは自由な創作の新たな高みを達成できます。

開発者

開発者

開発と配布は無料

Omniverse は開発者向けとして開発されており、あらゆるレイヤーで 3D ワークフローをカスタマイズし、新しい Omniverse Connector、拡張機能、アプリケーション、マイクロサービスを簡単に開発できます。

nvidia-omniverse-enterprise-3c33-D

エンタープライズ

無料試用版 | 年間ライセンス

Omniverse Enterprise は、あらゆる規模の組織の複雑なデザイン ワークフローを変えます。複数のアプリケーションと一元化されたプロジェクト データを利用し、複数のユーザーと場所でリアルタイムのコラボレーションを可能にします。

Omniverse Audio2Face のインストール方法

NVIDIA Omniverse をダウンロード

ステップ 1

NVIDIA Omniverse をダウンロードしてインストールを実行します。

Omniverse ランチャーを起動

ステップ 2

インストールが完了したら、Omniverse ランチャーを開きます。

[Apps] セクションで [Audio2Face] を探し、[Install] をクリックします。

ステップ 3

[Apps] セクションで [Omniverse Audio2Face] を探し、[Install]、[Launch] の順でクリックします。

システム要件
要素 最小仕様 最小仕様
OS サポート Windows 10 (バージョン 1903 以上) Windows 10 (バージョン 1903 以上)
CPU Intel Core i5 第 10 世代シリーズ
AMD Ryzen 5 第 5 世代シリーズ
Intel Core i7 第 13 世代シリーズ
AMD Ryzen 7 第 7 世代シリーズ
RAM 16 GB 32 GB
ストレージ 250 GB SSD 500 GB SSD
GPU 8 GB 搭載のあらゆる RTX GPU GeForce RTX 4070 Ti、NVIDIA RTX A4500 以上
最小 ビデオ ドライバー バージョン 最新のドライバーはこちらからご覧ください 最新のドライバーはこちらからご覧ください

ステップバイステップのチュートリアルを見る

Omniverse Apps の詳細を見る

NVIDIA Omniverse Apps と Connectorをひととおりお試しください。以下の NVIDIA おすすめをお試しになってももちろん構いません。

Create

Pixar USD で高度な世界の構築を高速化し、シーンをリアルタイムの対話形式で組み立て、シミュレーションし、レンダリングします。

コード

開発者とパワー ユーザーが Omniverse の拡張機能、アプリ、マイクロサービスを簡単に開発するための統合開発環境。

Machinima

クリエイター向けの AI 対応ツールキットを使用し、ビデオ ゲームのストーリーをリミックスし、再創造し、再定義し、アニメーションを制作します。

表示する

このパワフルで物理的に正確、かつ、フォトリアルなビジュアライゼーション ツールでデザイン プロジェクトを共同でレビューします。

コミュニティに参加する

チュートリアルにアクセスする

無数の無料のチュートリアル、セッション、初心者向けトレーニングを活用し、USD を始めてください。

Omnivore になる

コミュニティに参加してください! Twitch で NVIDIA の週刊ライブ ストリームにご参加ください。また、Discord と NVIDIA フォーラムで交流してください。

テクニカル サポートを受ける

お困りですか? フォーラムに質問を投稿すると、Omniverse エキスパートがすぐに回答します。または、プラットフォーム ドキュメントを参照してください。

作品を展示する

Omniverse で傑作を生み出しましたか? Omniverse ギャラリーに投稿してください。ここはアーティストがお互いに刺激を受ける場所です。

閃きに満ちた GTC セッションをすべてオンデマンドで視聴できます。

AI とメタバースの時代のための開発者カンファレンス

閃きに満ちた GTC セッションをすべてオンデマンドで視聴できます。

AI とメタバースの時代のための開発者カンファレンス

NVIDIA Omniverse で、あなたのクリエイティブな世界を可能性の宇宙に繋げましょう。

  • アーティストの Omniverse: 大規模でフォトリアルな仮想世界の構築方法

    • NVIDIA、シニア アート ディレクター、Gabriele Leone

    NVIDIA のエキスパート環境アーティストが、30 人のアーティストにより 3 か月で構築されたマルチワールドを象徴するデモについて説明します。Adobe Substance 3D Painter、Photoshop、Autodesk 3ds Max、Maya、Blender、Modo、Maxon Zbrush、SideFX Houdini、NVIDIA Omniverse Create を取り入れたワークフロー、そして最新の NVIDIA RTX、AI、物理演算テクノロジを実演する大規模なシーンをアーティストが創造する様子をご覧ください。

    詳細を見る >

  • 仮想世界を構築するための Universal Scene Description (USD) の次の進化

    • NVIDIA、Omniverse 部門、シニア エンジニアリング マネージャー、Aaron Luk

    Universal Scene Description は単なるファイル形式ではありません。このオープンかつパワフルで拡張可能なワールド構成フレームワークは、仮想世界内で作成、編集、クエリ、レンダリング、シミュレーション、コラボレーションを実行するための API を備えています。NVIDIA は、産業用メタバースと AI の次の波を可能にする、メディア & エンターテイメントを超えたワークフローに対応した USD の進化を支援するために投資を続けています。本セッションでは、NVIDIA が USD に「全力投入」している理由と、USD 開発のロードマップについて説明し、NVIDIA とパートナーのエコシステムにおける最近のプロジェクトおよび構想について紹介します。

    詳細を見る >

  • メタバースの基礎: 3D 仮想世界のための HTML

    • Michael Kass、NVIDIA、シニア名誉エンジニア
    • NVIDIA、シミュレーション テクノロジ/Omniverse エンジニアリング VP、Rev Lebaredian
    • Adobe、3D/Immersive エンジニアリング部門シニア ディレクター、Guido Quaroni 氏
    • Steve May 氏、Pixar、VP/CTO
    • Lowe's、Lowe’s Innovation Labs のクリエイティブ テクノロジ部門ディレクター、Mason Sheffield 氏
    • Unity、Professional Artistry & Graphics Innovation 部門、特別テクニカル フェロー兼主任アーキテクト、Natalya Tatarchuk 氏
    • Autodesk、メディア & エンターテイメント部門、VP 兼主任アーキテクト、Matt Sivertson 氏
    • Volvo Cars、シニア エキスパート、Mattias Wikenmalm 氏

    このセッションでは、著名なテクニカル リーダーたちが、インターネットの 3D 進化、メタバースの基準である Universal Scene Description (USD) について説明します。USD に投資する理由や、なぜ USD を採用したのかについて、また真の可能性を解放するためには今後どのような技術的進歩が必要かについて語ります。

    詳細を見る >

  • シミュレーション対応 USD 3D アセットの構築方法

    • NVIDIA、ロボティクス/AI エンジニア、Renato Gasoto 
    • NVIDIA、Omniverse Sim Data Ops ディレクター、Beau Perschall

    産業と AI の次の波では、現実と区別できない、物理的に正確な仮想世界を構築する必要があります。仮想世界の制作は難しく、3D アセットで作られた現行の既存の世界は、ある物体を視覚的に表すだけであり、不十分です。自動運転車両やロボットのトレーニングとテストのためにデジタル ツインや仮想世界を構築する場合でも、3D アセットにはさらに多くの技術的特性を必要とするため、斬新なプロセス、テクニック、ツールを開発し、導入する必要があります。NVIDIA では、仮想世界の構成要素である「SimReady」アセットと呼ばれる新しいクラスの 3D アセットを導入しています。SimReady アセットは単なる 3D オブジェクトではなく、Universal Scene Description (USD) で構築された、正確な物理的特性、動作、接続されたデータ ストリームを含みます。SimReady USD アセットを使用する方法と、アセットの開発とテストに必要なツールとテクニックを紹介します。

    詳細を見る >

  • ハイパースケール化する空間コンピューティング

    • NVIDIA、Omniverse 部門シニア エンジニア、Omer Shapira

    近年のコンピューティング パイプラインの進歩により、完全なレイトレーシングの仮想現実 (VR) など、身体中心のテクノロジにおける飛躍的な改善が可能になりました。同時に、ネットワークのボトルネックも減少したため、データセンターから HMD への直接ピクセルをストリーミングすることが現実的になっています。この講演では、データセンター規模における身体中心のコンピューティングの可能性や、その結果実現可能になるアプリケーション、体験、新しいサイエンスを探ります。

    詳細を見る >

ダーク グレーからダーク パープルまでさまざまな背景の 3 つの顔写真。左の顔写真の、グレーのシャツを着た男性には、NVIDIA の Stephen Jones と書かれた金色のバナーが付いています。中央の顔写真の、赤色のシャツを着た女性には、NVIDIA の Anima Anandkumar と書かれた金色のバナーが付いています。右の顔写真の、グレーの襟が付いた黒色のシャツを着た男性には、NVIDIA の Ian Buck と書かれた金色のバナーが付いています。

NVIDIA とつながる

最新の NVIDIA Omniverse ニュースを受け取る