NVIDIA Omniverse Audio2Face

測試版

Omniverse Audio2Face

使用生成式人工智慧,立即從音訊來源建立生動的臉部動畫。

透過生成式人工智慧,輕鬆實現音訊轉動畫

Omniverse Audio2Face 測試版是一種參考應用程式,可簡化 3D 角色動畫來配合各種配音的音軌,無論您是為遊戲、電影、即時數位助理,或單純為了好玩而製作角色動畫都可以滿足您的需求。您可以將應用程式用於互動式即時應用程式,或是作為傳統的臉部動畫創作工具使用。您可以自由選擇要即時執行成果,或仔細琢磨。

技術原理

Audio2Face 已預先載入名為「Digital Mark」的 3D 角色模型,此模型可按照音軌製作動畫,因此使用方式非常簡單,只要選取音訊並上傳即可。接著,音訊將輸入至已預先訓練的深度神經網路,輸出內容會驅動角色網格的 3D 頂點,即時建立臉部動畫。您也可以選擇編輯各種後製參數來編輯角色的呈現效果。此頁面上的結果大多是 Audio2Face 的原始輸出,幾乎沒有編輯過後製參數。

Omniverse Audio2Face 應用程式
 
Audio2Face 透過音訊輸入產生臉部動畫。

音訊輸入

使用錄製內容或即時製作動畫

只要錄製語音音軌並輸入應用程式,就能讓您的 3D 臉部動畫動起來。您甚至可以使用麥克風,即時產生臉部動畫。

Audio2Face 將能輕鬆處理任何語言,我們也持續更新更多語言。 

角色轉移

瞬間換臉

Audio2Face 可讓您 重新定位任何 3D 人臉或擬人的臉部動畫,無論是高擬真度或風格化動畫皆可。如此一來,無論人類還是動物,只要按幾下,就能快速切換角色。

 
使用 Audio2Face 產生任何角色臉部動畫
 
使用多個執行個體產生多個角色的臉部動畫

擴充輸出

展現魅力自我,或同時表達所有角色

執行多個 Audio2Face 執行個體非常簡單,您可以決定單一場景中要有幾個從相同或不同音軌製作動畫的角色。為二重唱、三人無伴奏合唱、四人無伴奏合唱等,注入生命與聲音。此外,您可以增強或減弱每個臉部表情的效果,並從多個音訊來源批次輸出多個動畫檔案。

情緒控制

增加戲劇張力

Audio2Face 讓您能夠快速且輕鬆地選擇角色情緒並產生動畫。人工智慧網路會自動操縱臉部、眼睛、嘴部、舌頭和頭部動作,以配合您選擇的情緒範圍和自訂的強度,或自動從音訊片段中直接推斷角色的情感

 
新增情緒至您的動畫
 
新增情緒至您的動畫

資料轉換

連線與轉換

現在 Omniverse Audio2Face 的最新更新提供混合變形功能,以及混合重量輸出的選項。此外,該應用程式現在也支援透過 Blendshapes for Blender 和 Epic Games Unreal Engine 匯出和匯入,並可使用各自的 Omniverse Connector 來產生角色的動作。

瞭解 Audio2Face 實際使用狀況

生物與外星人

驅動奇幻生物和外星人的臉部動畫。在這裡我們用 Digital Mark 驅動外星人效果。

Misty 動畫聊天機器人

Misty 是一款在執行期間採用 Audio2Face 技術的互動式天氣機器人,曾在 2020 年的春季 GTC 中展示。我們示範從高擬真度的人類網格,重新定位為風格化的角色網格,作為互動式服務的媒介。

Omniverse Machinima

Audio2Face 與 GeForce 30 系列同步推出,可在 Omniverse Machinima 技術展示中看到。臉部動畫十分複雜,且成本高昂。Audio2Face 可自動執行細緻的臉部動畫,讓 3D 內容創作流程普及化。

NVIDIA Omniverse 不僅能協助我讓虛擬人物達到更自然的效果,還加速了工作流程,讓我能花更多時間在創作流程上。

—Anderson Rohr,3D 藝術家

立即體驗 NVIDIA Omniverse

找到適合您 3D 工作流程的訂閱方案,立即開始探索 Omniverse。

nvidia-omniverse-creators-3c33-D

創作者

免費下載與創作

Omniverse 作為中樞,可順暢連線並強化 3D 創作應用程式,整合素材、函式庫和工具,締造真正流暢無礙的工作流程,讓藝術家將創作自由提升至全新高度。

開發人員

開發人員

免費開發並發佈

Omniverse 為以開發人員為中心而打造的,讓開發人員能夠自訂 3D 工作流程中的每一層,輕鬆打造全新的 Omniverse Connector、延伸模組、應用程式和微服務。

nvidia-omniverse-enterprise-3c33-D

企業

免費試用 | 年度訂閱

Omniverse Enterprise 能為任何規模的組織改變複雜的設計工作流程。它運用使用集中式專案資料的多個應用程式,實現與多個使用者和位置的即時協作。

如何安裝 Omniverse Audio2Face

下載 NVIDIA Omniverse

步驟 1

下載 NVIDIA Omniverse 並執行安裝程式。

開啟 Omniverse 啟動器

步驟 2

安裝後,請開啟 Omniverse 啟動器。

在應用程式的部分找到 Audio2Face,按一下 [Install] (安裝)

步驟 3

在應用程式的部分找到 Omniverse Audio2Face,按一下 [Install] (安裝),然後再按 [Launch] (啟動)。

系統需求
項目 最低規格 最低規格
支援的作業系統 Windows 10 (1903 或更新版本) Windows 10 (1903 或更新版本)
CPU Intel Core i5 第 10 代系列
AMD Ryzen 第 5 代系列
Intel Core i7 第 13 代系列
AMD Ryzen 7 第 7 代系列
RAM 16 GB 32 GB
儲存空間 250 GB SSD 500 GB SSD
GPU 任何搭載 8GB 的 RTX GPU GeForce RTX 4070 Ti、NVIDIA RTX A4500 或更高規格
最低 影片驅動程式版本 前往此處查看最新驅動程式 前往此處查看最新驅動程式

探索逐步教學課程

探索更多 Omniverse 應用程式

探索全套的 NVIDIA Omniverse 應用程式與 Connector,或嘗試以下建議。

建立

使用皮克斯動畫工作室通用場景描述 (USD) 加速進階的世界構建,並以互動方式即時組合、模擬與渲染場景。

程式碼

適用於開發人員和進階使用者的整合式開發環境,能夠輕鬆打造 Omniverse 延伸模組、應用程式或微服務。

Machinima

運用適合創作者的人工智慧工具組,進行混製、重建和重新定義動畫電玩遊戲的劇情敘事方式。

檢視

使用符合真實物理且擬真的視覺化效果,共同審閱設計專案。

成為社群的一員

取得教學

透過上百種免費教學演講和我們的初學者訓練開始使用通用場景描述 (USD)

成為 Omnivore

加入我們的社群!參加我們的每週的 Twitch 直播,並在 Discord 和論壇上聯繫我們。

取得技術支援

遇到問題了嗎? 將您的問題張貼在論壇以快速獲得 Omniverse 專家的指引,或參閱平台文件

展示您的設計作品

您創作了自己的 Omniverse 傑作嗎? 提交至 Omniverse 藝廊,讓自己獲得靈感並啟發其他創作者。

觀看所有深具啟發性的 GTC 隨選演講。

人工智慧與元宇宙時代的開發人員大會

觀看所有深具啟發性的 GTC 隨選演講。

人工智慧與元宇宙時代的開發人員大會

透過 NVIDIA Omniverse 為您的創作世界開創無限可能。

  • 專為藝術家推出的 Omniverse:打造大規模且逼真的虛擬世界

    • Gabriele Leone,NVIDIA 資深藝術總監

    聆聽 NVIDIA 的環境藝術專家的介紹,瞭解 30 位藝術家如何在三個月內打造出經典的多重世界技術展示。深入瞭解 Adobe Substance 3D Painter、Photoshop、Autodesk 3ds Max、Maya、Blender、Modo、Maxon Zbrush、SideFX Houdini 和 NVIDIA Omniverse Create 的工作流程,並瞭解藝術家如何駕馭展示 NVIDIA RTX、人工智慧和物理技術最新成果的大型場景。

    檢視詳細資訊 >

  • 新一代進展:使用通用場景描述 (USD) 打造虛擬世界

    • Aaron Luk,NVIDIA Omniverse 資深工程經理

    通用場景描述不只是一種檔案格式。這個開放、強大又易於擴充的世界建構框架具有 API,可在虛擬世界中創作、編輯、查詢、渲染、模擬和共同作業。NVIDIA 持續投資,協助將通用場景描述 (USD) 演變超越媒體&娛樂的工作流程,進而支援工業元宇宙和新一波的人工智慧。參加此演講,瞭解我們為什麼在通用場景描述 (USD) 發展規劃藍圖中"「全力投入」",並瞭解我們最近在 NVIDIA 和合作夥伴生態系的專案和計畫。

    檢視詳細資訊 >

  • 元宇宙的基礎:3D 虛擬世界的 HTML

    • Michael Kass,NVIDIA 資深顧問工程師
    • Rev Lebaredian,NVIDIA 模擬技術與 Omniverse 工程副總裁
    • Guido Quaroni,Adobe 3D 與沉浸式技術工程資深總監
    • Steve May,皮克斯動畫工作室技術長暨副總裁
    • Mason Sheffield,Lowe's 集團旗下 Lowe’s Innovation Labs 創意技術總監
    • Natalya Tatarchuk,Unity 專業藝術與繪圖創新顧問暨首席架構師
    • Matt Sivertson,Autodesk 媒體與娛樂副總裁暨首席架構師
    • Mattias Wikenmalm,Volvo Cars 資深專家

    參加眾多傑出技術領導者雲集的座談會,聆聽他們發表關於元宇宙的演講,瞭解他們如何將通用場景描述 (USD) 視為網際網路 3D 演變的標準。這些傑出人才將 討論他們投入或採用通用場景描述的原因,以及能讓通用場景描述真正發揮潛能的技術開發關鍵。

    檢視詳細資訊 >

  • 如何打造具備模擬功能的通用場景描述 3D 素材

    • Renato Gasoto,NVIDIA 機器人&人工智慧工程師 
    • Beau Perschall,NVIDIA Omniverse 模擬資料營運總監

    下一波產業與人工智慧浪潮需要我們打造出與現實無異、符合真實物理情況的虛擬世界。建立虛擬世界十分困難,而現今的 3D 素材不足,只能以視覺方式呈現物體。無論是打造數位孿生或虛擬世界來訓練和測試自駕車或機器人,3D 素材都需要更多技術屬性,因此需要開發和採用新流程、技術和工具。NVIDIA 推出全新等級的 3D"「SimReady」"素材,是虛擬世界的建置組塊。SimReady 素材不只是 3D 物件,也包含準確的物理屬性、行為,並可連結使用通用場景描述 (USD) 打造的資料串流。我們將示範如何開始使用 SimReady 通用場景描述素材,並展示開發和測試這些素材所需的工具和技術。

    檢視詳細資訊 >

  • 空間運算如何發展為超大規模

    • Omer Shapiro,NVIDIA Omniverse 資深工程師

    運算流程的最新進展,讓體心技術如完全光線追蹤虛擬實境 (VR) 得以躍進。同時,網路瓶頸已下降到我們可以直接從資料中心串流像素至頭戴式螢幕 (HMD) 的程度。參加這場演講,探索以資料中心規模進行體心運算的潛力,以及這項技術能支援哪些應用程式、體驗和全新科學。

    檢視詳細資訊 >

三張背景分別為深灰色和深紫色的個人形象照。左側照片的金色橫幅標示 NVIDIA Stephen Jones,一名身穿灰色襯衫的男性。中間的個人形象照是一位身穿紅色上衣的女性,照片上的金色橫幅寫著 NVIDIA Anima Anandkumar。右側的個人形象照是一名身穿灰色衣領、黑色上衣的男性,照片上的金色橫幅寫著 NVIDIA Ian Buck。

聯絡我們

持續掌握 NVIDIA Omniverse 最新消息