This site requires Javascript in order to view all its content. Please enable Javascript in order to access all the functionality of this web site. Here are the instructions how to enable JavaScript in your web browser.

“Digital Mark” Character

베타

Omniverse Audio2Face

NVIDIA의 딥 러닝 AI 기술로 오디오 소스만 활용하여 표정이 풍부한 얼굴 애니메이션을 빠르고 쉽게 생성할 수 있습니다.

오픈 베타판 다운로드

시스템 요구 사항 | 설정 가이드

AI 덕분에 쉬워진 얼굴 애니메이션

Audio2Face는 게임, 영화, 실시간 디지털 도우미, 아니면 그저 재미를 위해 캐릭터를 애니메이션화하든 관계없이 보이스오버 트랙에 맞게 3D 캐릭터의 애니메이션을 단순화합니다. 이 앱은 실시간 인터랙티브 애플리케이션 또는 기존의 얼굴 애니메이션 제작 도구로 사용할 수 있습니다. 결과물을 실시간으로 실행해도, 베이킹을 해도 좋습니다.

Audio2Face simplifies animation of a 3D character to match any voice-over track.

작동 원리

Audio2Face에는 오디오 트랙으로 애니메이션화할 수 있는 3D 캐릭터 모델인 "Digital Mark"가 사전에 로드되어 있기 때문에 오디오를 선택하고 업로드하기만 하면 시작할 수 있습니다. 그러면 오디오 입력이 미리 학습된 딥 뉴럴 네트워크에 제공되고 출력이 캐릭터 메쉬의 3D 정점을 구동하여 실시간으로 얼굴 애니메이션을 생성합니다. 또한 다양한 후처리 매개변수를 편집하여 캐릭터의 성능을 편집할 수도 있습니다. 이 페이지에 제시된 결과는 대부분 Audio2Face의 원시 출력이며 편집된 후처리 매개변수가 거의 또는 전혀 없습니다.

오디오 입력

녹화본을 사용하거나 실시간으로 애니메이션화

음성 오디오 트랙을 녹음하고 앱에 입력하면 3D 얼굴이 움직이는 것을 볼 수 있습니다. 마이크를 통해 얼굴 애니메이션을 라이브로 생성할 수도 있습니다.

Audio2Face는 어떤 언어도 쉽게 처리할 수 있게 될 겁니다. 더 많은 언어를 지속적으로 업데이트하고 있습니다. 다음 영어, 프랑스어, 이탈리아어, 러시아어 테스트 결과를 확인해 보세요.

캐릭터 전송

순식간에 얼굴 교체

Audio2Face를 사용하면 3D 사람 또는 사람 같은 얼굴을 현실적으로 또는 일러스트 느낌으로 리타겟팅할 수 있습니다. NVIDIA가 Digital Mark를 노래하는 Rhino로 리타겟팅하는 이 테스트를 살펴보세요.

여러 인스턴스

자기 자신, 아니면 모두를 한꺼번에 표현

전부 같거나 서로 다른 오디오 트랙에서, 한 장면에서 원하는 만큼 많은 캐릭터가 애니메이션화되도록 Audio2Face의 여러 인스턴스를 실행하기는 쉽습니다. 두 명 사이의 대화, 세 명 사이의 노래자랑, 4인조 합창단 등에 생동감과 소리를 불어넣으세요. 또한 각 얼굴의 얼굴 표정 수준을 위아래로 조절할 수 있습니다.

데이터 변환

연결 및 변환

Omniverse Audio2Face에 대한 최신 업데이트는 이제 블렌드셰이프 변환 및 블렌드웨이트 내보내기 옵션을 활성화합니다. 또한 앱은 이제 Epic Games Unreal Engine 4에서 내보내기-가져오기를 지원하여 Unreal Engine 4 Omniverse Connector를 사용하여 MetaHuman 캐릭터에 모션을 생성합니다.

감정 컨트롤

드라마 같은 효과

Audio2Face를 사용하면 캐릭터의 감정을 눈 깜짝할 시간에 선택하고 애니메이션으로 제작할 수 있습니다. 네트워크가 자동으로 얼굴, 눈, 입, 혀 및 머리 움직임을 선택한 감정 범위 및 맞춤 강도 수준으로 조작합니다.

곧 출시가 예정된 기능입니다.

Audio2Face 작동 모습 보기

생물과 외계인

환상적인 생물과 외계인의 얼굴 애니메이션을 제작하세요. 여기서는 Digital Mark가 외계인을 움직이고 있습니다.

애니메이션 챗봇 Misty

GTC Spring 2020에서 소개된 Misty는 런타임에 Audio2Face로 구동되는 인터랙티브 날씨 봇입니다. 실제 인간 메쉬를 양식화된 캐릭터 메쉬로 리타겟팅하여 인터랙티브 서비스 에이전트로 사용하는 모습을 시연했습니다.

Omniverse Machinima

GeForce 30 시리즈 출시 중에 공개된 Audio2Face는 Omniverse Machinima 데모에서 확인할 수 있습니다. 얼굴 애니메이션은 매우 복잡하고 비용이 많이 듭니다. Audio2Face는 세부적인 얼굴 애니메이션을 자동화하여 3D 콘텐츠 제작 프로세스에 대한 접근성을 높입니다.

크리에이터용 Omniverse

아티스트, 애니메이터 및 디자이너는 Omniverse 내에서 여러 3D 애플리케이션을 동시에 사용하고 애플리케이션 간에 가져오거나 내보낼 필요 없이 실시간으로 장면을 완벽하게 렌더링하여 더 빠르고 마찰 없는 워크플로우를 경험할 수 있습니다.

자세히 알아보기

OMNIVERSE AUDIO2FACE 시작하기

Omniverse Machinima는 노트북에서 데이터센터에 이르는 모든 NVIDIA RTX 디바이스에서 작동합니다. Omniverse를 다운로드하여 무엇이 가능한지 알아보세요.

NVIDIA Omniverse를 다운로드하고 설치 실행.

설치되면 Omniverse 시작 관리자를 엽니다.

앱 섹션에서 Audio2Face를 찾아 설치를 클릭한 다음 시작합니다.

다운로드

Audio2Face를 자세히 살펴보기

GTC 2020에서 발표된 이 기술 개요를 시청하세요.

녹화 영상 보기

가상 협업 및 시뮬레이션의 최신 기술 살펴보기

온디맨드로 제공되는 2021년 최고의 GTC 세션에서 Omniverse가 3D 캐릭터 애니메이션 워크플로우를 어떻게 변화시키는지 알아보세요.

영상 보기

시스템 요구 사항
요소	최소 사양
지원되는 OS	Windows 10 64비트(버전 1909 이상)
CPU	Intel I7, AMD Ryzen 2.5GHz 이상
CPU 코어	4개 이상
RAM	16GB 이상
스토리지	500GB SSD 이상
GPU	모든 RTX GPU
VRAM	6GB 이상
최소 영상 드라이버 버전	최신 드라이버 보기
참고: Omniverse는 모든 RTX 기반 시스템에서 실행되도록 제작되었습니다. 최적의 성능을 위해서는 GeForce RTX 3070, NVIDIA RTX A4000 8GB 이상을 사용하는 것이 좋습니다.