使用生成式人工智慧,立即從音訊來源建立生動的臉部動畫。
系統需求 | 設定指南
Omniverse™ Audio2Face 測試版是一種參考應用程式,可簡化 3D 角色動畫來配合各種配音的音軌,無論您是為遊戲、電影、即時數位助理,或單純為了好玩而製作角色動畫都可以滿足您的需求。您可以將應用程式用於互動式即時應用程式,或是作為傳統的臉部動畫創作工具使用。您可以自由選擇要即時執行成果,或仔細琢磨。
Audio2Face 已預先載入名為「Digital Mark」的 3D 角色模型,此模型可按照音軌製作動畫,因此使用方式非常簡單,只要選取音訊並上傳即可。接著,音訊將輸入至已預先訓練的深度神經網路,輸出內容會驅動角色網格的 3D 頂點,即時建立臉部動畫。您也可以選擇編輯各種後製參數來編輯角色的呈現效果。此頁面上的結果大多是 Audio2Face 的原始輸出,幾乎沒有編輯過後製參數。
只要錄製語音音軌並輸入應用程式,就能讓您的 3D 臉部動畫動起來。您甚至可以使用麥克風,即時產生臉部動畫。
Audio2Face 將能輕鬆處理任何語言,我們也持續更新更多語言。
Audio2Face 可讓您 重新定位任何 3D 人臉或擬人的臉部動畫,無論是高擬真度或風格化動畫皆可。如此一來,無論人類還是動物,只要按幾下,就能快速切換角色。
執行多個 Audio2Face 執行個體非常簡單,您可以決定單一場景中要有幾個從相同或不同音軌製作動畫的角色。為二重唱、三人無伴奏合唱、四人無伴奏合唱等,注入生命與聲音。此外,您可以增強或減弱每個臉部表情的效果,並從多個音訊來源批次輸出多個動畫檔案。
Audio2Face 讓您能夠快速且輕鬆地選擇角色情緒並產生動畫。人工智慧網路會自動操縱臉部、眼睛、嘴部、舌頭和頭部動作,以配合您選擇的情緒範圍和自訂的強度,或自動從音訊片段中直接推斷角色的情感
素材提供者:Blender Studio
現在 Omniverse Audio2Face 的最新更新提供混合變形功能,以及混合重量輸出的選項。此外,該應用程式現在也支援透過 Blendshapes for Blender 和 Epic Games Unreal Engine 匯出和匯入,並可使用各自的 Omniverse Connector 來產生角色的動作。
驅動奇幻生物和外星人的臉部動畫。在這裡我們用 Digital Mark 驅動外星人效果。
Misty 是一款在執行期間採用 Audio2Face 技術的互動式天氣機器人,曾在 2020 年的春季 GTC 中展示。我們示範從高擬真度的人類網格,重新定位為風格化的角色網格,作為互動式服務的媒介。
Audio2Face 與 GeForce 30 系列同步推出,可在 Omniverse Machinima 技術展示中看到。臉部動畫十分複雜,且成本高昂。Audio2Face 可自動執行細緻的臉部動畫,讓 3D 內容創作流程普及化。
NVIDIA Omniverse 不僅能協助我讓虛擬人物達到更自然的效果,還加速了工作流程,讓我能花更多時間在創作流程上。
—Anderson Rohr,3D 藝術家
找到適合您 3D 工作流程的訂閱方案,立即開始探索 Omniverse。
免費下載與創作
Omniverse 作為中樞,可順暢連線並強化 3D 創作應用程式,整合素材、函式庫和工具,締造真正流暢無礙的工作流程,讓藝術家將創作自由提升至全新高度。
免費開發並發佈
Omniverse 為以開發人員為中心而打造的,讓開發人員能夠自訂 3D 工作流程中的每一層,輕鬆打造全新的 Omniverse Connector、延伸模組、應用程式和微服務。
免費試用 | 年度訂閱
Omniverse Enterprise 能為任何規模的組織改變複雜的設計工作流程。它運用使用集中式專案資料的多個應用程式,實現與多個使用者和位置的即時協作。
步驟 1
下載 NVIDIA Omniverse 並執行安裝程式。
步驟 2
安裝後,請開啟 Omniverse 啟動器。
步驟 3
在應用程式的部分找到 Omniverse Audio2Face,按一下 [Install] (安裝),然後再按 [Launch] (啟動)。
探索全套的 NVIDIA Omniverse 應用程式與 Connector,或嘗試以下建議。
使用皮克斯動畫工作室通用場景描述 (USD) 加速進階的世界構建,並以互動方式即時組合、模擬與渲染場景。
適用於開發人員和進階使用者的整合式開發環境,能夠輕鬆打造 Omniverse 延伸模組、應用程式或微服務。
運用適合創作者的人工智慧工具組,進行混製、重建和重新定義動畫電玩遊戲的劇情敘事方式。
使用符合真實物理且擬真的視覺化效果,共同審閱設計專案。
透過上百種免費教學、演講和我們的初學者訓練開始使用通用場景描述 (USD)。
加入我們的社群!參加我們的每週的 Twitch 直播,並在 Discord 和論壇上聯繫我們。
遇到問題了嗎? 將您的問題張貼在論壇以快速獲得 Omniverse 專家的指引,或參閱平台文件。
您創作了自己的 Omniverse 傑作嗎? 提交至 Omniverse 藝廊,讓自己獲得靈感並啟發其他創作者。
人工智慧與元宇宙時代的開發人員大會
透過 NVIDIA Omniverse 為您的創作世界開創無限可能。
聆聽 NVIDIA 的環境藝術專家的介紹,瞭解 30 位藝術家如何在三個月內打造出經典的多重世界技術展示。深入瞭解 Adobe Substance 3D Painter、Photoshop、Autodesk 3ds Max、Maya、Blender、Modo、Maxon Zbrush、SideFX Houdini 和 NVIDIA Omniverse Create 的工作流程,並瞭解藝術家如何駕馭展示 NVIDIA RTX、人工智慧和物理技術最新成果的大型場景。
檢視詳細資訊 >
通用場景描述不只是一種檔案格式。這個開放、強大又易於擴充的世界建構框架具有 API,可在虛擬世界中創作、編輯、查詢、渲染、模擬和共同作業。NVIDIA 持續投資,協助將通用場景描述 (USD) 演變超越媒體&娛樂的工作流程,進而支援工業元宇宙和新一波的人工智慧。參加此演講,瞭解我們為什麼在通用場景描述 (USD) 發展規劃藍圖中"「全力投入」",並瞭解我們最近在 NVIDIA 和合作夥伴生態系的專案和計畫。
參加眾多傑出技術領導者雲集的座談會,聆聽他們發表關於元宇宙的演講,瞭解他們如何將通用場景描述 (USD) 視為網際網路 3D 演變的標準。這些傑出人才將 討論他們投入或採用通用場景描述的原因,以及能讓通用場景描述真正發揮潛能的技術開發關鍵。
下一波產業與人工智慧浪潮需要我們打造出與現實無異、符合真實物理情況的虛擬世界。建立虛擬世界十分困難,而現今的 3D 素材不足,只能以視覺方式呈現物體。無論是打造數位孿生或虛擬世界來訓練和測試自駕車或機器人,3D 素材都需要更多技術屬性,因此需要開發和採用新流程、技術和工具。NVIDIA 推出全新等級的 3D"「SimReady」"素材,是虛擬世界的建置組塊。SimReady 素材不只是 3D 物件,也包含準確的物理屬性、行為,並可連結使用通用場景描述 (USD) 打造的資料串流。我們將示範如何開始使用 SimReady 通用場景描述素材,並展示開發和測試這些素材所需的工具和技術。
運算流程的最新進展,讓體心技術如完全光線追蹤虛擬實境 (VR) 得以躍進。同時,網路瓶頸已下降到我們可以直接從資料中心串流像素至頭戴式螢幕 (HMD) 的程度。參加這場演講,探索以資料中心規模進行體心運算的潛力,以及這項技術能支援哪些應用程式、體驗和全新科學。