NVIDIA Omniverse Audio2Face

베타

Omniverse Audio2Face

NVIDIA의 딥 러닝 AI 기술로 오디오 소스만 활용하여 표정이 풍부한 얼굴 애니메이션을 빠르고 쉽게 생성할 수 있습니다.

AI 덕분에 쉬워진 얼굴 애니메이션

Audio2Face는 게임, 영화, 실시간 디지털 도우미, 아니면 그저 재미를 위해 캐릭터를 애니메이션화하든 관계없이 보이스오버 트랙에 맞게 3D 캐릭터의 애니메이션을 단순화합니다. 이 앱은 실시간 인터랙티브 애플리케이션 또는 기존의 얼굴 애니메이션 제작 도구로 사용할 수 있습니다. 결과물을 실시간으로 실행해도, 베이킹을 해도 좋습니다.

작동 원리

Audio2Face에는 오디오 트랙으로 애니메이션화할 수 있는 3D 캐릭터 모델인 "Digital Mark"가 사전에 로드되어 있기 때문에 오디오를 선택하고 업로드하기만 하면 시작할 수 있습니다. 그러면 오디오 입력이 미리 학습된 딥 뉴럴 네트워크에 제공되고 출력이 캐릭터 메쉬의 3D 정점을 구동하여 실시간으로 얼굴 애니메이션을 생성합니다. 또한 다양한 후처리 매개변수를 편집하여 캐릭터의 성능을 편집할 수도 있습니다. 이 페이지에 제시된 결과는 대부분 Audio2Face의 원시 출력이며 편집된 후처리 매개변수가 거의 또는 전혀 없습니다.

Omniverse Audio2Face 앱
 
Audio2Face는 오디오 입력을 통해 얼굴 애니메이션을 생성합니다.

오디오 입력

녹화본을 사용하거나 실시간으로 애니메이션화

음성 오디오 트랙을 녹음하고 앱에 입력하면 3D 얼굴이 움직이는 것을 볼 수 있습니다. 마이크를 통해 얼굴 애니메이션을 라이브로 생성할 수도 있습니다.

Audio2Face는 어떤 언어도 쉽게 처리할 수 있게 될 겁니다. 더 많은 언어를 지속적으로 업데이트하고 있습니다. 다음 영어, 프랑스어, 이탈리아어, 러시아어 테스트 결과를 확인해 보세요.

캐릭터 전송

순식간에 얼굴 교체

Audio2Face를 사용하면 3D 사람 또는 사람 같은 얼굴을 현실적으로 또는 일러스트 느낌으로 리타겟팅할 수 있습니다. NVIDIA가 Digital Mark를 노래하는 Rhino로 리타겟팅하는 이 테스트를 살펴보세요.

 
Audio2Face로 모든 캐릭터 얼굴을 애니메이션화
 
여러 인스턴스를 사용하여 하나 이상의 캐릭터에 대한 얼굴 애니메이션 생성

여러 인스턴스

자기 자신, 아니면 모두를 한꺼번에 표현

전부 같거나 서로 다른 오디오 트랙에서, 한 장면에서 원하는 만큼 많은 캐릭터가 애니메이션화되도록 Audio2Face의 여러 인스턴스를 실행하기는 쉽습니다. 두 명 사이의 대화, 세 명 사이의 노래자랑, 4인조 합창단 등에 생동감과 소리를 불어넣으세요. 또한 각 얼굴의 얼굴 표정 수준을 위아래로 조절할 수 있습니다.

데이터 변환

연결 및 변환

Omniverse Audio2Face에 대한 최신 업데이트는 이제 블렌드셰이프 변환 및 블렌드웨이트 내보내기 옵션을 활성화합니다. 또한 앱은 이제 Epic Games Unreal Engine 4에서 내보내기-가져오기를 지원하여 Unreal Engine 4 Omniverse Connector사용하여 MetaHuman 캐릭터에 모션을 생성합니다.

 
Add emotions to your animation.
Add emotions to your animation.

감정 컨트롤

드라마 같은 효과

Audio2Face를 사용하면 캐릭터의 감정을 눈 깜짝할 시간에 선택하고 애니메이션으로 제작할 수 있습니다. 네트워크가 자동으로 얼굴, 눈, 입, 혀 및 머리 움직임을 선택한 감정 범위 및 맞춤 강도 수준으로 조작합니다.

곧 출시가 예정된 기능입니다.

Audio2Face 작동 모습 보기

생물과 외계인

환상적인 생물과 외계인의 얼굴 애니메이션을 제작하세요. 여기서는 Digital Mark가 외계인을 움직이고 있습니다.

애니메이션 챗봇 Misty

GTC Spring 2020에서 소개된 Misty는 런타임에 Audio2Face로 구동되는 인터랙티브 날씨 봇입니다. 실제 인간 메쉬를 양식화된 캐릭터 메쉬로 리타겟팅하여 인터랙티브 서비스 에이전트로 사용하는 모습을 시연했습니다.

Omniverse Machinima

GeForce 30 시리즈 출시 중에 공개된 Audio2Face는 Omniverse Machinima 데모에서 확인할 수 있습니다. 얼굴 애니메이션은 매우 복잡하고 비용이 많이 듭니다. Audio2Face는 세부적인 얼굴 애니메이션을 자동화하여 3D 콘텐츠 제작 프로세스에 대한 접근성을 높입니다.   

크리에이터용 Omniverse

아티스트, 애니메이터 및 디자이너는 Omniverse 내에서 여러 3D 애플리케이션을 동시에 사용하고 애플리케이션 간에 가져오거나 내보낼 필요 없이 실시간으로 장면을 완벽하게 렌더링하여 더 빠르고 마찰 없는 워크플로우를 경험할 수 있습니다.

최신 OMNIVERSE 콘텐츠 자세히 살펴보기

OMNIVERSE AUDIO2FACE 시작하기

Omniverse Machinima는 노트북에서 데이터센터에 이르는 모든 NVIDIA RTX 디바이스에서 작동합니다. Omniverse를 다운로드하여 무엇이 가능한지 알아보세요.

NVIDIA Omniverse 다운로드

1

NVIDIA Omniverse를 다운로드하고 설치 실행.

Omniverse 시작 관리자 열기

2

설치되면 Omniverse 시작 관리자를 엽니다.

앱 섹션에서 Audio2Face를 찾고 설치 클릭

3

앱 섹션에서 Audio2Face를 찾아 설치를 클릭한 다음 시작합니다.

Audio2Face를 자세히 살펴보기

GTC 2020에서 발표된 이 기술 개요를 시청하세요.

가상 협업 및 시뮬레이션의 최신 기술 살펴보기

온디맨드로 제공되는 2021년 최고의 GTC 세션에서 Omniverse가 3D 캐릭터 애니메이션 워크플로우를 어떻게 변화시키는지 알아보세요.

시스템 요구 사항
요소 최소 사양
지원되는 OS Windows 10 64비트(버전 1909 이상)
CPU Intel I7, AMD Ryzen
2.5GHz 이상
CPU 코어 4개 이상
RAM 16GB 이상
스토리지 500GB SSD 이상
GPU 모든 RTX GPU
VRAM 6GB 이상
최소 영상 드라이버 버전 최신 드라이버 보기
참고: Omniverse는 모든 RTX 기반 시스템에서 실행되도록 제작되었습니다. 최적의 성능을 위해서는 GeForce RTX 3070, NVIDIA RTX A4000 8GB 이상을 사용하는 것이 좋습니다.

지원

Omniverse 시작하기

여러 업계의 Omniverse 전문가들이 진행하는 GTC 웨비나 시리즈를 통해 Omniverse 플랫폼을 자세히 알아보세요.

더 많은 Omniverse 앱

Omniverse 앱은 특정 워크플로우를 향상하기 위해 특별히 만들어졌습니다. 활용 사례를 확인하세요.

보기

보기

강력하고 물리적으로 정확하며 사실적인 시각화 도구를 사용하여 설계 프로젝트를 공동으로 검토합니다.

Create

Create

고급 월드 구축을 가속화하여 Pixar USD에서 실시간으로 장면을 인터랙티브 방식으로 구성, 시뮬레이션, 렌더링할 수 있습니다.

Kaolin

Kaolin

이 강력한 시각화 도구로 NVIDIA의 Kaolin PyTorch 라이브러리를 사용하여 3D 딥 러닝 연구를 단순화하고 가속화합니다.

Machinima

Machinima

RTX 크리에이터를 위한 AI 기반 툴킷을 사용하여 애니메이션 비디오 게임 스토리텔링을 리믹스하고, 재창조하고, 재정의합니다.

Isaac Sim

Isaac Sim

사실적이며 몰입도 높은 물리효과 3D 환경에서 로봇을 가져오고, 빌드하고, 테스트합니다.

Drive Sim

DRIVE Sim

사실상 현실과 구분이 불가능한 정도의 자율주행 자동차 개발용 시뮬레이션 경험을 활용하세요.