NVIDIA Omniverse Audio2Face

Omniverse Audio2Face

Omniverse Audio2Face 是一款採用人工智慧的應用程式，可直接使用音訊來源產生豐富生動的臉部動畫。

下載公測版

透過人工智慧輕鬆製作臉部動畫

Audio2Face 可簡化 3D 角色動畫來配合各種配音的音軌，無論是為遊戲、電影、即時數位助理，或單純為了好玩而製作角色動畫都沒問題。您可以將應用程式用於互動式即時應用程式，或是作為傳統的臉部動畫創作工具使用。您可以自由選擇要即時執行成果，或仔細琢磨。

Audio2Face simplifies animation of a 3D character to match any voice-over track.

技術原理

Omniverse Audio2Face 應用程式是以原創的 NVIDIA 研究報告為基礎。Audio2Face 已預先載入名為「Digital Mark」的 3D 角色模型，此模型可按照音軌製作動畫，因此使用方式非常簡單。只要選取音訊並上傳至應用程式即可。 這項技術將音訊輸入至已預先訓練的深度神經網路，而網路輸出的內容會即時驅動角色的臉部動畫。使用者可以選擇編輯各種後製參數來編輯角色的呈現效果。接著，網路的輸出內容會驅動角色網格的 3D 頂點，進而建立臉部動畫。此頁面上的結果大多是 Audio2Face 的原始輸出，幾乎沒有編輯過後製參數。

(備註: Direct blendshape 將會在日後開放支援)

Omniverse Audio2Face App
 
Audio2Face generates facial animation through audio input.

音訊輸入

使用錄製內容或即時製作動畫

只要錄製語音音軌並輸入應用程式，就能讓您的 3D 臉部動畫動起來。您甚至可以透過麥克風即時產生臉部動畫。

Audio2Face 能輕鬆處理任何語言。而且我們也在持續更新更多語言。查看英文、法文、義大利文和俄文的測試結果。

角色轉移

讓任何臉部變得栩栩如生

Audio2Face 可讓您重新定位於任何 3D 人臉或擬人的臉部動畫，無論是高擬真度或風格化的動畫皆可。觀看此測試，瞭解我們如何將 Digital Mark 重新定位為 Rain。

 
Omniverse View includes RTX Renderer
 
Use multiple instances to generate facial animation for more than one character.

多個執行個體

單人表演或合唱團

執行多個 Audio2Face 執行個體非常簡單，您可以決定單一場景中要有幾個從相同或不同音軌製作動畫的角色。為二重唱、三人無伴奏合唱、四人無伴奏合唱等，注入生命與聲音。

情緒控制

增加戲劇張力

Audio2Face 可讓您選擇角色情緒並產生動畫，網路會自動操控臉部、眼睛、嘴部、舌頭和頭部動作，以配合您選擇的情緒範圍。

此功能即將推出。

Add emotions to your animation.

瞭解 Audio2Face 實際使用狀況

生物與外星人

生物與外星人

這項功能可重新定位並驅動奇幻生物和外星人的臉部動畫。在這裡我們用 Digital Mark 驅動外星人的呈現效果。

Misty 動畫聊天機器人

Misty 動畫聊天機器人

Misty 是一款在執行期間採用 Audio2Face 技術的互動式天氣機器人，曾在 2020 年的春季 GTC 中展示。我們示範從高擬真度的人類網格，重新定位為風格化的角色網格，作為互動式服務的媒介。

Audio2Face works with Omniverse Machinima.

Omniverse Machinima

Audio2Face 與 GeForce 30 系列同步推出，可在 Omniverse Machinima 技術展示中看到。臉部動畫十分複雜，且成本高昂。Audio2Face 可自動執行細緻的臉部動畫，讓 3D 內容創作流程普及化。

開始使用 Omniverse AUDIO2FACE

無論是筆記型電腦還是資料中心，所有 NVIDIA RTX 裝置皆能使用 Omniverse Machinima。 下載 Omniverse 並開始使用 。

Download NVIDIA Omniverse
Open the Omniverse Launcher

2

安裝後，請開啟 Omniverse 啟動器。

Find Audio2Face in the Apps section and click Install

3

在應用程式的部分找到 Audio2Face，按一下 [安裝]，再按一下 [啟動]。

深入瞭解 Audio2Face

在 GTC 2020 觀看該技術概覽。

觀看隨選內容
系統需求
項目 最低規格
支援的作業系統 Windows 10，64 位元 1909 或更新版本
CPU Intel I7, AMD Ryzen
2.5GHz 以上
CPU 核心 4 個以上
RAM 16 GB 以上
儲存空間 (可使用) 500 GB 或更高規格
GPU 任何 RTX GPU
VRAM 6 GB 以上
最低影片驅動程式版本 455.28 (Linux), 456.71 (Windows)
注意：Omniverse 可執行於任何採用 NVIDIA RTX 的系統，包括 GeForce RTX 與 RTX 專業 GPU。.為了獲得理想效能，我們建議使用 GeForce RTX™ 2080、Quadro RTX™ 5000 以上規格的 GPU。如需最新的驅動程式，請前往此處。

支援

加入 Omniverse 論壇
請參閱 Omniverse 支援文件與指南
觀看 Omniverse 教學影片與訓練。

Enter the Omniverse

Deep dive into the platform through a series of GTC webinars hosted by Omniverse experts in various industries.

LEARN MORE

更多 Omniverse 應用程式

Omniverse 應用程式專門用於強化特定的工作流程。瞭解他們的如何運作。

nvidia-omniverse-view-64

View

使用功能強大、物理上準確且高度逼真的視覺化工具，進行協作並審查設計專案。

 

深入瞭解
nvidia-omniverse-create-64

Create

即時交互地建造、模擬和渲染 Pixar USD 場景，以加速建構尖端技術的世界。

深入瞭解
nvidia-omniverse-kaolin-icon-64

Kaolin

使用 NVIDIA Kaolin PyTorch 函式庫和其功能強大的可視化工具，以簡化並加速 3D 深度學習研究。

深入瞭解
Machinima

Machinima

使用專為遊戲玩家提供的人工智慧工具套件，重新混合、創建及定義動畫影片的遊戲故事。

深入瞭解
Isaac Sim

Isaac Sim

在高度逼真物理 3D 環境中導入、建構並測試機器人。

深入瞭解
Drive Sim

DRIVE Sim

運用可比擬現實的模擬體驗進行自駕車開發。

深入瞭解