NVIDIA Omniverse Audio2Face

베타

Omniverse Audio2Face

NVIDIA의 딥 러닝 AI 기술로 오디오 소스만 활용하여 표정이 풍부한 얼굴 애니메이션을 빠르고 쉽게 생성할 수 있습니다.

쉬워진 얼굴 애니메이션

Omniverse Audio2Face 베타는 게임, 영화, 실시간 디지털 도우미, 아니면 그저 재미를 위해 캐릭터를 애니메이팅하든 관계없이 보이스오버 트랙에 맞게 3D 캐릭터의 애니메이션을 단순화합니다. 이 앱은 실시간 인터랙티브 애플리케이션 또는 기존의 페이셜 애니메이션 제작 도구로 사용할 수 있습니다. 결과물을 실시간으로 실행해도, 베이킹을 해도 좋습니다.

작동 원리

Audio2Face에는 오디오 트랙으로 애니메이션화할 수 있는 3D 캐릭터 모델인 "Digital Mark"가 사전에 로드되어 있기 때문에 오디오를 선택하고 업로드하기만 하면 시작할 수 있습니다. 그러면 오디오 입력이 미리 학습된 딥 뉴럴 네트워크에 제공되고 출력이 캐릭터 메쉬의 3D 정점을 구동하여 실시간으로 얼굴 애니메이션을 생성합니다. 또한 다양한 후처리 매개변수를 편집하여 캐릭터의 성능을 편집할 수도 있습니다. 이 페이지에 제시된 결과는 대부분 Audio2Face의 원시 출력이며 편집된 후처리 매개변수가 거의 또는 전혀 없습니다.

Omniverse Audio2Face 앱
 
Audio2Face는 오디오 입력을 통해 얼굴 애니메이션을 생성합니다.

오디오 입력

녹화본을 사용하거나 실시간으로 애니메이션화

음성 오디오 트랙을 녹음하고 앱에 입력하면 3D 얼굴이 움직이는 것을 볼 수 있습니다. 마이크를 사용하여 얼굴 애니메이션을 라이브로 생성할 수도 있습니다.

Audio2Face는 어떤 언어도 쉽게 처리할 수 있게 될 겁니다. 더 많은 언어를 지속적으로 업데이트하고 있습니다.  

캐릭터 전송

순식간에 얼굴 교체

Audio2Face를 사용하면 3D 사람 또는 사람 같은 얼굴을 현실적으로 또는 일러스트 느낌으로 리타겟팅할 수 있습니다. NVIDIA가 Digital Mark를 Rhino로 리타겟팅하는 이 테스트를 살펴보세요.

 
Audio2Face로 모든 캐릭터 얼굴을 애니메이션화
 
여러 인스턴스를 사용하여 하나 이상의 캐릭터에 대한 얼굴 애니메이션 생성

출력 확장

자기 자신, 아니면 모두를 한꺼번에 표현

전부 같거나 서로 다른 오디오 트랙에서, 한 장면에서 원하는 만큼 많은 캐릭터가 애니메이션화되도록 Audio2Face의 여러 인스턴스를 실행하기는 쉽습니다. 두 명 사이의 대화, 세 명 사이의 노래자랑, 4인조 합창단 등에 생동감과 소리를 불어넣으세요. 또한 각 얼굴의 표정 수준을 높이거나 낮추고 다양한 오디오 소스에서 여러 애니메이션 파일을 일괄 출력할 수 있습니다.

데이터 변환

연결 및 변환

Omniverse Audio2Face에 대한 최신 업데이트는 이제 블렌드셰이프 변환 및 블렌드웨이트 내보내기 옵션을 활성화합니다. 또한 앱은 이제 Epic Games Unreal Engine 4에서 내보내기-가져오기를 지원하여 Omniverse Unreal Engine 4 Connector를 사용하여 MetaHuman 캐릭터에 모션을 생성합니다.

 
애니메이션에 감정을 더하세요.
애니메이션에 감정을 더하세요.

감정 컨트롤

드라마 같은 효과

Audio2Face를 사용하면 캐릭터의 감정을 눈 깜짝할 시간에 선택하고 애니메이션으로 제작할 수 있습니다. AI 네트워크가 얼굴, 눈, 입, 혀, 머리 움직임을 선택한 감정 범위 및 맞춤 강도 수준으로 자동 조정하거나 오디오 클립에서 감정을 자동으로 직접 추론합니다.

Audio2Face 작동 모습 보기

생물과 외계인

환상적인 생물과 외계인의 얼굴 애니메이션을 제작하세요. 여기서는 Digital Mark가 외계인을 움직이고 있습니다.

애니메이션 챗봇 Misty

GTC Spring 2020에서 소개된 Misty는 런타임에서 Audio2Face로 구동되는 대화형 날씨 봇입니다. 실제 인간 메쉬를 양식화된 캐릭터 메쉬로 리타겟팅하여 인터랙티브 서비스 에이전트로 사용하는 모습을 시연했습니다.

Omniverse Machinima

GeForce 30 시리즈 출시 중에 공개된 Audio2Face는 Omniverse Machinima 데모에서 확인할 수 있습니다. 얼굴 애니메이션은 매우 복잡하고 비용이 많이 듭니다. Audio2Face는 세부적인 얼굴 애니메이션을 자동화하여 3D 콘텐츠 제작 프로세스에 대한 접근성을 높입니다.   

NVIDIA Omniverse는 디지털 인간에 대한 더 자연스러운 결과를 도출하고 워크플로우 속도를 향상하여 크리에이티브 프로세스에 더 많은 시간을 투자할 수 있도록 지원합니다.

— Anderson Rohr, 3D 아티스트

지금 NVIDIA Omniverse를 경험하세요

3D 워크플로우에 적합한 라이선스를 찾아 바로 Omniverse를 사용해보세요.

nvidia-omniverse-creators-3c33-D

크리에이터

무료 다운로드 및 제작

Omniverse는 3D 크리에이티브 애플리케이션을 원활하게 연결하고 향상하는 중앙 허브 역할을 하면서 에셋, 라이브러리, 도구를 통합하여 끊김 없는 워크플로우를 지원하므로 아티스트는 매우 자유롭게 작품을 제작할 수 있습니다.

개발자

개발자

무료 개발 및 배포

Omniverse는 개발자를 염두에 두고 제작되었으며 모든 계층에서 3D 워크플로우를 맞춤화하여 새로운 Omniverse Connector, 확장, 애플리케이션, 마이크로 서비스를 쉽게 구축할 수 있는 기능을 개발자에게 제공합니다.

nvidia-omniverse-enterprise-3c33-D

Enterprise

무료 체험판 I 연간 라이선스

Omniverse Enterprise는 어떤 규모의 조직이든 복잡한 디자인 워크플로우를 알맞게 변환합니다. 또한 중앙 집중식 프로젝트 데이터를 활용하는 다양한 애플리케이션을 사용하여 여러 사용자 및 위치와 실시간 협업을 지원합니다.

Omniverse Audio2Face 설치 방법

NVIDIA Omniverse 다운로드

1

NVIDIA Omniverse를 다운로드하고 설치를 실행합니다.

Omniverse 시작 관리자 열기

2

설치되면 Omniverse 시작 관리자를 엽니다.

앱 섹션에서 Audio2Face를 찾고 설치 클릭

3

앱 섹션에서 Omniverse Audio2Face를 찾아 설치를 클릭한 다음 시작합니다.

시스템 요구 사항
요소 최소 사양
지원되는 OS Windows 10 64비트(버전 1909 이상)
CPU Intel I7, AMD Ryzen
2.5GHz 이상
CPU 코어 4개 이상
RAM 16GB 이상
스토리지 500GB SSD 이상
GPU 모든 RTX GPU
VRAM 6GB 이상
최소 영상 드라이버 버전 최신 드라이버 보기
참고: Omniverse는 모든 RTX 기반 시스템에서 실행되도록 제작되었습니다. 최적의 성능을 위해서는 GeForce RTX 3070, NVIDIA RTX A4000 8GB 이상을 사용하는 것이 좋습니다.

단계별 튜토리얼 확인하기

더 많은 Omniverse 앱 보기

NVIDIA Omniverse 앱 및 커넥터의 전체 제품군을 확인하거나 아래 권장 사항을 시도해보세요.

Create

Pixar USD로 고급 월드 구축을 가속화하고 실시간으로 장면을 인터랙티브하게 조합, 시뮬레이션, 렌더링할 수 있습니다.

Code

개발자와 파워 유저를 위한 통합된 개발 환경으로 Omniverse 확장, 앱 또는 마이크로 서비스를 쉽게 구축할 수 있습니다.

Machinima

크리에이터를 위한 AI 기반 툴킷을 사용하여 애니메이션 비디오 게임 스토리텔링을 리믹스하고, 재구성하고, 재정의합니다.

View

강력하고 물리적으로 정확하며 사실적인 시각화 도구를 사용하여 설계 프로젝트를 공동으로 검토합니다.

커뮤니티에 참여하기

튜토리얼 이용

수백 개의 무료 튜토리얼, 세션 또는 초보자 교육을 활용하여 USD를 시작하세요

Omnivore 되기

커뮤니티에 참여하세요! Twitch에서 NVIDIA의 주간 실시간 스트리밍에 참여하고 Discord 및 포럼에서 NVIDIA와 소통하세요.

기술 지원 받기

문제가 있으신가요? 포럼에 질문을 게시하여 Omniverse 전문가의 빠른 안내를 받거나 플랫폼 문서를 참조하세요.

작품 전시하기

Omniverse 작품을 제작하셨나요? 다른 사람들과 영감을 주고받을 수 있는 Omniverse 갤러리에 작품을 제출해보세요.

NVIDIA와 연결

NVIDIA 뉴스레터를 구독하고 최신 NVIDIA Omniverse 뉴스를 받아보세요.