NVIDIA Omniverse Audio2Face

測試版

Omniverse Audio2Face

透過 NVIDIA 的深度學習人工智慧技術,即可直接使用音訊來源快速輕鬆地產生豐富生動的臉部動畫。

輕鬆打造臉部動畫

Omniverse Audio2Face 測試版可簡化 3D 角色動畫來配合各種配音的音軌,無論是為遊戲、電影、即時數位助理,或單純為了好玩而製作角色動畫都沒問題。您可以將應用程式用於互動式即時應用程式,或是作為傳統的臉部動畫創作工具使用。您可以自由選擇要即時執行成果,或仔細琢磨。

技術原理

Audio2Face 已預先載入名為「Digital Mark」的 3D 角色模型,此模型可按照音軌製作動畫,因此使用方式非常簡單,只要選取音訊並上傳即可。接著,音訊將輸入至已預先訓練的深度神經網路,輸出內容會驅動角色網格的 3D 頂點,即時建立臉部動畫。您也可以選擇編輯各種後製參數來編輯角色的呈現效果。此頁面上的結果大多是 Audio2Face 的原始輸出,幾乎沒有編輯過後製參數。

Omniverse Audio2Face 應用程式
 
Audio2Face 透過音訊輸入產生臉部動畫。

音訊輸入

使用錄製內容或即時製作動畫

只要錄製語音音軌並輸入應用程式,就能讓您的 3D 臉部動畫動起來。您甚至可以透過麥克風即時產生臉部動畫。

Audio2Face 能輕鬆處理任何語言。而且我們也在持續更新更多語言。查看英文、法文、義大利文和俄文的測試結果。

角色轉移

瞬間換臉

Audio2Face 可讓您重新定位於任何 3D 人臉或擬人的臉部動畫,無論是高擬真度或風格化的動畫皆可。觀看此測試,瞭解我們如何將 Digital Mark 重新定位為唱歌的 Rhino!

 
使用 Audio2Face 產生任何角色臉部動畫
 
使用多個執行個體產生多個角色的臉部動畫

多個執行個體

展現魅力自我,或同時表達所有角色

執行多個 Audio2Face 執行個體非常簡單,您可以決定單一場景中要有幾個從相同或不同音軌製作動畫的角色。為二重唱、三人無伴奏合唱、四人無伴奏合唱等,注入生命與聲音。此外,您可以增強或減弱每個臉部表情的效果。

資料轉換

連線與轉換

現在 Omniverse Audio2Face 的最新更新提供混合變形功能,以及混合重量輸出的選項。此外,該應用程式現在也支援透過 Epic Games Unreal Engine 4 匯出和匯入,藉此使用 Unreal Engine 4 Omniverse Connector 產生 MetaHuman 角色的動作

 
Add emotions to your animation.
新增情緒至您的動畫

情緒控制

增加戲劇張力

Audio2Face 讓您能夠快速且輕鬆地選擇角色情緒並產生動畫。網路會自動操縱臉部、眼睛、嘴部、舌頭和頭部動作,以配合您選擇的情緒範圍和自訂的強度。

即將推出的功能。

瞭解 AUDIO2FACE 實際使用狀況

生物與外星人

驅動奇幻生物和外星人的臉部動畫。在這裡我們用 Digital Mark 驅動外星人效果。

Misty 動畫聊天機器人

Misty 是一款在執行期間採用 Audio2Face 技術的互動式天氣機器人,曾在 2020 年的春季 GTC 中展示。我們示範從高擬真度的人類網格,重新定位為風格化的角色網格,作為互動式服務的媒介。

Omniverse Machinima

Audio2Face 與 GeForce 30 系列同步推出,可在 Omniverse Machinima 技術展示中看到。臉部動畫十分複雜,且成本高昂。Audio2Face 可自動執行細緻的臉部動畫,讓 3D 內容創作流程普及化。

創作者專用的 Omniverse

藝術家、動畫師和設計師可以在 Omniverse 中同時使用多個 3D 應用程式,並以高擬真度的品質即時渲染場景,而無需在應用程式之間匯入或匯出,從而體驗更快速順暢的工作流程。

深入瞭解最新的 OMNIVERSE 內容

開始使用 Omniverse AUDIO2FACE

無論是筆記型電腦還是資料中心,所有 NVIDIA RTX 裝置皆能使用 Omniverse Machinima。下載 Omniverse 開始探索其功能。

下載 NVIDIA Omniverse

1

下載 NVIDIA Omniverse 並執行安裝程式。

開啟 Omniverse 啟動器

2

安裝後,請開啟 Omniverse 啟動器。

在應用程式的部分找到 Audio2Face,按一下 [安裝]

3

在應用程式的部分找到 Audio2Face,按一下 [安裝],再按一下 [啟動]。

深入瞭解 Audio2Face

在 GTC 2020 觀看該技術概覽。

深入探討虛擬協作和模擬的最新進展

在 2021 年 GTC 大會中,見證 Omniverse 如何改變您的 3D 角色動畫工作流程,相關內容現在皆可透過隨選方式取得。

系統需求
項目 最低規格
作業系統支援 Windows 10,64 位元 (1909 或更新版本)
CPU Intel I7、AMD Ryzen
2.5GHz 以上
CPU 核心 4 個以上
RAM 16 GB 以上
儲存空間 500 GB SSD 或更高規格
GPU 任何 RTX GPU
VRAM 6 GB 以上
最低 影片驅動程式版本 前往此處查看最新驅動程式
注意:Omniverse 專為在任何採用 RTX 的機器上執行而打造。為了獲得理想效能,我們建議使用 GeForce RTX 3070、NVIDIA RTX A4000、8Gb 以上規格的 GPU。

支援

進入 Omniverse

觀看各產業中的 Omniverse 專家主講的一系列 GTC 線上研討會,深入探索平台。

更多 Omniverse 應用程式

Omniverse 應用程式專為強化特定工作流程而打造。瞭解實際使用狀況。

檢視

檢視

使用符合真實物理且擬真的視覺化效果,共同審閱設計專案。

建立

建立

加速打造世界的進階技術,使用 Pixar 通用場景描述即時執行互動式組合、模擬並渲染場景。

Kaolin

Kaolin

運用這款強大的視覺化工具,利用 NVIDIA 的 Kaolin PyTorch 函式庫簡化並加速 3D 深度學習研究。

Machinima

Machinima

運用適合RTX 創作者的人工智慧工具組,為玩家混製、重建和重新定義動畫電玩遊戲的劇情敘事方式。

Isaac Sim

Isaac Sim

在令人身歷其境且高度擬真的物理 3D 環境中,輸入、建造和測試機器人。

Drive Sim

DRIVE Sim

運用可比擬現實的模擬體驗進行自駕車開發。