Omniverse Audio2Face

Omniverse Audio2Face는 오디오 소스만으로 표정이 풍부한 얼굴 애니메이션을 생성하는 AI 기반 애플리케이션입니다.

오픈 베타 다운로드

시스템 요구 사항 | 설정 가이드

AI를 통한 손쉬운 얼굴 애니메이션

Audio2Face는 게임, 영화, 실시간 디지털 도우미, 아니면 그저 재미를 위해 캐릭터를 애니메이팅하든 관계없이 보이스오버 트랙에 맞게 3D 캐릭터의 애니메이션을 단순화합니다. 이 앱은 실시간 인터랙티브 애플리케이션 또는 기존의 페이셜 애니메이션 제작 도구로 사용할 수 있습니다. 결과물을 실시간으로 실행해도, 베이킹을 해도 좋습니다.

Audio2Face simplifies animation of a 3D character to match any voice-over track.

작동 방식

Omniverse Audio2Face App은 독창적인 NVIDIA Research 논문을 기반으로 합니다. Audio2Face는 오디오 트랙으로 애니메이팅할 수 있는 3D 캐릭터 모델인 “Digital Mark”와 함께 사전 로드되므로 시작하기도 간단합니다. 원하는 오디오를 선택하고 앱에 업로드하기만 하세요. 앱이 오디오 입력을 사전 훈련된 딥 뉴럴 네트워크에 피드하여 네트워크 드라이브의 출력물이 캐릭터의 페이셜 애니메이션을 실시간으로 처리합니다. 사용자는 다양한 후처리 매개변수를 편집하여 캐릭터의 퍼포먼스를 편집할 수 있습니다. 그 뒤 네트워크의 출력물이 캐릭터 메시의 3D 정점을 수정하여 페이셜 애니메이션을 생성합니다. 이 페이지에서 보고 계신 결과는 대다수가 후처리 매개변수 편집을 거치지 않았거나 거의 거치지 않고 Audio2Face에서 그대로 나온 출력물입니다.

(참고: Direct blendshape 지원은 추후 적용됩니다.)

Audio2Face generates facial animation through audio input.

오디오 입력

녹화본을 사용하거나 실시간으로 애니메이션화

음성 오디오 트랙을 녹음하고 앱에 입력하면 3D 얼굴이 움직이는 것을 볼 수 있습니다. 마이크를 통해 얼굴 애니메이션을 라이브로 생성할 수도 있습니다.

Audio2Face는 어떤 언어도 쉽게 처리할 수 있게 될 겁니다. 더 많은 언어를 지속적으로 업데이트하고 있습니다. 다음 영어, 프랑스어, 이탈리아어, 러시아어 테스트 결과를 확인해 보세요.

캐릭터 전송

어떤 얼굴이든 생동감 불어넣기

Audio2Face를 사용하면 3D 사람 또는 사람 같은 얼굴을 현실적으로 또는 일러스트 느낌으로 리타겟팅할 수 있습니다. NVIDIA가 Digital Mark를 Rain으로 리타겟팅하는 이 테스트를 살펴보세요.

Use multiple instances to generate facial animation for more than one character.

여러 인스턴스

1명 또는 여러 명

전부 같거나 서로 다른 오디오 트랙에서, 한 장면에서 원하는 만큼 많은 캐릭터가 애니메이션화되도록 Audio2Face의 여러 인스턴스를 실행하기는 쉽습니다. 두 명 사이의 대화, 세 명 사이의 노래자랑, 4인조 합창단 등에 생동감과 소리를 불어넣으세요.

감정 컨트롤

드라마 같은 효과

Audio2Face를 사용하면 캐릭터의 감정을 선택하고 애니메이션화할 수 있습니다. 선택한 감정 범위에 맞도록 네트워크가 얼굴, 눈, 입, 혀 및 머리의 동작을 자동으로 조작합니다.

추후 지원 예정

Audio2Face 활용 사례 보기

생물과 외계인

이 기능을 통해 판타지 세계의 생물이나 외계인의 페이셜 애니메이션을 리타겟팅하고 처리할 수 있습니다. 여기 Digital Mark를 외계인의 퍼포먼스로 처리한 예시가 있습니다.

애니메이팅된 챗봇 Misty

GTC Spring 2020에 선보였던 Misty는 Audio2Face로 실행하여 처리한 인터랙티브 날씨 봇입니다. NVIDIA는 인터랙티브 서비스 에이전트로 쓰고자 현실적인 사람 메시를 일러스트 느낌의 캐릭터 메시로 리타겟팅하는 과정을 시연했습니다.

Omniverse Machinima

GeForce 30 시리즈 l출시 중에 새롭게 공개된 Audio2Face는 Omniverse Machinima 데모에서 선을 보였습니다. 페이셜 애니메이션은 매우 복잡하며 비용이 많이 들기로 악명이 높습니다. Audio2Face는 세세한 페이셜 애니메이션을 자동화하여 3D 콘텐츠 제작 과정을 대중화합니다.

Omniverse Audio2Face 시작하기

Omniverse Machinima는 노트북에서 데이터센터까지 모든 NVIDIA RTX 디바이스에서 사용할 수 있습니다. 먼저 Omniverse를 다운로드합니다.

NVIDIA Omniverse를 다운로드 하고 설치를 실행합니다.

설치되면 Omniverse 시작 관리자를 엽니다.

Find Audio2Face in the Apps section and click Install

앱 섹션에서 Audio2Face를 찾아 설치를 클릭한 다음 시작합니다.

오픈 베타 다운로드

Audio2Face 자세히 살펴보기

이 GTC 2020의 기술 강연을 시청해 보세요.

온디멘드 시청

시스템 요구 사항
요소	최소 사양
지원되는 OS	Windows 10 64비트 1909 이상
CPU	Intel I7, AMD Ryzen 2.5GHz 이상
CPU 코어	4개 이상
RAM	16Gb 이상
스토리지 공간(사용 가능)	500Gb 이상
GPU	모든 RTX GPU
VRAM	6Gb 이상
최소 영상 드라이버 버전	455.28 (Linux), 456.71 (Windows)
참고: Omniverse는 모든 RTX 기반 시스템에서 실행되도록 제작되었습니다. 최적의 성능을 위해서는 GeForce RTX 2080, Quadro RTX 5000 이상을 사용하는 것이 좋습니다. 최신 드라이버는 여기를 방문하세요.