NVIDIA Omniverse Audio2Face

測試版

Omniverse Audio2Face

透過 NVIDIA 的深度學習人工智慧技術,即可直接使用音訊來源快速輕鬆地產生豐富生動的臉部動畫。

輕鬆打造臉部動畫

Omniverse™ Audio2Face 測試版是一種參考應用程式,可簡化 3D 角色動畫來配合各種配音的音軌,無論是為遊戲、電影、即時數位助理,或單純為了好玩而製作角色動畫都沒問題。您可以將應用程式用於互動式即時應用程式,或是作為傳統的臉部動畫創作工具使用。您可以自由選擇要即時執行成果,或仔細琢磨。

技術原理

Audio2Face 已預先載入名為「Digital Mark」的 3D 角色模型,此模型可按照音軌製作動畫,因此使用方式非常簡單,只要選取音訊並上傳即可。接著,音訊將輸入至已預先訓練的深度神經網路,輸出內容會驅動角色網格的 3D 頂點,即時建立臉部動畫。您也可以選擇編輯各種後製參數來編輯角色的呈現效果。此頁面上的結果大多是 Audio2Face 的原始輸出,幾乎沒有編輯過後製參數。

Omniverse Audio2Face 應用程式
 
Audio2Face 透過音訊輸入產生臉部動畫。

音訊輸入

使用錄製內容或即時製作動畫

只要錄製語音音軌並輸入應用程式,就能讓您的 3D 臉部動畫動起來。您甚至可以使用麥克風,即時產生臉部動畫。

Audio2Face 將能輕鬆處理任何語言,而且我們也持續更新更多語言。 

角色轉移

瞬間換臉

Audio2Face 可讓您重新定位於任何 3D 人臉或擬人的臉部動畫,無論是高擬真度或風格化的動畫皆可。觀看此測試,瞭解我們如何將 Digital Mark 重新定位為唱歌的 Rhino!

 
使用 Audio2Face 產生任何角色臉部動畫
 
使用多個執行個體產生多個角色的臉部動畫

擴充輸出

展現魅力自我,或同時表達所有角色

執行多個 Audio2Face 執行個體非常簡單,您可以決定單一場景中要有幾個從相同或不同音軌製作動畫的角色。為二重唱、三人無伴奏合唱、四人無伴奏合唱等,注入生命與聲音。此外,您可以增強或減弱每個臉部表情的效果,並從多個音訊來源批次輸出多個動畫檔案。

資料轉換

連線與轉換

現在 Omniverse Audio2Face 的最新更新提供混合變形功能,以及混合重量輸出的選項。此外,該應用程式現在也支援透過 Epic Games Unreal Engine 4 匯出和匯入,藉此使用 Omniverse Unreal Engine 4 Connector 產生 MetaHuman 角色的動作。

 
新增情緒至您的動畫
新增情緒至您的動畫

情緒控制

增加戲劇張力

Audio2Face 讓您能夠快速且輕鬆地選擇角色情緒並產生動畫。人工智慧網路會自動操縱臉部、眼睛、嘴部、舌頭和頭部動作,以配合您選擇的情緒範圍和自訂的強度,或自動從音訊片段中直接推斷角色的情感。

瞭解 Audio2Face 實際使用狀況

生物與外星人

驅動奇幻生物和外星人的臉部動畫。在這裡我們用 Digital Mark 驅動外星人效果。

Misty 動畫聊天機器人

Misty 是一款在執行期間採用 Audio2Face 技術的互動式天氣機器人,曾在 2020 年的春季 GTC 中展示。我們示範從高擬真度的人類網格,重新定位為風格化的角色網格,作為互動式服務的媒介。

Omniverse Machinima

Audio2Face 與 GeForce 30 系列同步推出,可在 Omniverse Machinima 技術展示中看到。臉部動畫十分複雜,且成本高昂。Audio2Face 可自動執行細緻的臉部動畫,讓 3D 內容創作流程普及化。  

NVIDIA Omniverse 不僅能協助我讓虛擬人物達到更自然的效果,還加速了工作流程,讓我能花更多時間在創作流程上。

—Anderson Rohr,3D 藝術家

立即體驗 NVIDIA Omniverse

找到適合您 3D 工作流程的訂閱方案,立即開始探索 Omniverse。

nvidia-omniverse-creators-3c33-D

創作者

免費下載與創作

Omniverse 作為中樞,可順暢連線並強化 3D 創作應用程式,整合素材、函式庫和工具,締造真正流暢無礙的工作流程,讓藝術家將創作自由提升至全新高度。

開發人員

開發人員

免費開發並發佈

Omniverse 為以開發人員為中心而打造的,讓開發人員能夠自訂 3D 工作流程中的每一層,輕鬆打造全新的 Omniverse Connector、延伸模組、應用程式和微服務。

nvidia-omniverse-enterprise-3c33-D

企業

免費試用 | 年度訂閱

Omniverse Enterprise 能為任何規模的組織改變複雜的設計工作流程。它運用使用集中式專案資料的多個應用程式,實現與多個使用者和位置的即時協作。

如何安裝 Omniverse Audio2Face

下載 NVIDIA Omniverse

1

下載 NVIDIA Omniverse 並執行安裝程式。

開啟 Omniverse 啟動器

2

安裝後,請開啟 Omniverse 啟動器。

在應用程式的部分找到 Audio2Face,按一下 [Install] (安裝)

3

在應用程式的部分找到 Omniverse Audio2Face,按一下 [Install] (安裝),然後再按 [Launch] (啟動)。

系統需求
項目 最低規格
支援的作業系統 Windows 10,64 位元 (1909 或更新版本)
CPU Intel I7、AMD Ryzen
2.5GHz 以上
CPU 核心 4 個以上
RAM 16 GB 以上
儲存空間 500 GB SSD 或更高規格
GPU 任何 RTX GPU
VRAM 6 GB 以上
最低 影片驅動程式版本 前往此處查看最新驅動程式
注意:Omniverse 專為在任何採用 RTX 的機器上執行而打造。為了獲得理想效能,我們建議使用 GeForce RTX 3070、NVIDIA RTX A4000、8Gb 以上規格的 GPU。

探索逐步教學課程

探索更多 Omniverse 應用程式

探索全套的 NVIDIA Omniverse 應用程式與 Connector,或嘗試以下建議。

Create

使用皮克斯動畫工作室通用場景描述 (USD) 加速進階的世界構建,並以互動方式即時組合、模擬與渲染場景。

程式碼

適用於開發人員和進階使用者的整合式開發環境,能夠輕鬆打造 Omniverse 延伸模組、應用程式或微服務。

Machinima

運用適合創作者的人工智慧工具組,進行混製、重建和重新定義動畫電玩遊戲的劇情敘事方式。

View

使用符合真實物理且擬真的視覺化效果,共同審閱設計專案。

成為社群的一員

觀看教學課程

透過上百種免費教學演講和我們的初學者訓練開始使用通用場景描述 (USD)。   

成為 Omnivore

加入我們的社群!參加我們的每週的 Twitch 直播,並在 Discord 和論壇上聯繫我們。

取得技術支援

遇到問題了嗎? 將您的問題張貼在論壇以快速獲得 Omniverse 專家的指引,或參閱平台文件

展示您的設計作品

您創作了自己的 Omniverse 傑作嗎? 提交至 Omniverse 藝廊,讓自己獲得靈感並啟發其他創作者。

與我們聯繫

持續掌握 NVIDIA Omniverse 最新消息