This site requires Javascript in order to view all its content. Please enable Javascript in order to access all the functionality of this web site. Here are the instructions how to enable JavaScript in your web browser.

“Digital Mark” Character

베타

Omniverse Audio2Face

NVIDIA의 딥 러닝 AI 기술로 오디오 소스만 활용하여 표정이 풍부한 얼굴 애니메이션을 빠르고 쉽게 생성할 수 있습니다.

시작하기

시스템 요구 사항 | 설정 가이드

쉬워진 얼굴 애니메이션

Omniverse™ Audio2Face 베타는 보이스오버 트랙에 맞게 3D 캐릭터를 애니메이팅하는 프로세스를 간소화해주는 레퍼런스 애플리케이션입니다. 게임, 영화, 실시간 디지털 도우미를 위해 캐릭터를 애니메이팅하거나 재미를 위해 캐릭터를 애니메이팅할 때 유용하게 사용할 수 있습니다. 이 앱은 실시간 인터랙티브 애플리케이션 또는 기존의 안면 애니메이션 제작 도구로 사용할 수 있습니다. 결과물을 실시간으로 실행해도, 베이킹해도 좋습니다.

Audio2Face simplifies animation of a 3D character to match any voice-over track.

작동 원리

Audio2Face에는 오디오 트랙으로 애니메이션화할 수 있는 3D 캐릭터 모델인 "Digital Mark"가 사전에 로드되어 있기 때문에 오디오를 선택하고 업로드하기만 하면 시작할 수 있습니다. 그러면 오디오 입력이 미리 학습된 딥 뉴럴 네트워크에 제공되고 출력이 캐릭터 메쉬의 3D 정점을 구동하여 실시간으로 얼굴 애니메이션을 생성합니다. 또한 다양한 후처리 매개변수를 편집하여 캐릭터의 성능을 편집할 수도 있습니다. 이 페이지에 제시된 결과는 대부분 Audio2Face의 원시 출력이며 편집된 후처리 매개변수가 거의 또는 전혀 없습니다.

오디오 입력

녹화본을 사용하거나 실시간으로 애니메이션화

음성 오디오 트랙을 녹음하고 앱에 입력하면 3D 얼굴이 움직이는 것을 볼 수 있습니다. 마이크를 사용하여 얼굴 애니메이션을 라이브로 생성할 수도 있습니다.

Audio2Face는 어떤 언어도 쉽게 처리할 수 있게 될 겁니다. 더 많은 언어를 지속적으로 업데이트하고 있습니다.

캐릭터 전송

순식간에 얼굴 교체

Audio2Face를 사용하면 3D 사람 또는 사람 같은 얼굴을 현실적으로 또는 일러스트 느낌으로 리타겟팅할 수 있습니다. NVIDIA가 Digital Mark를 Rhino로 리타겟팅하는 이 테스트를 살펴보세요.

여러 인스턴스를 사용하여 하나 이상의 캐릭터에 대한 얼굴 애니메이션 생성

출력 확장

자기 자신, 아니면 모두를 한꺼번에 표현

전부 같거나 서로 다른 오디오 트랙에서, 한 장면에서 원하는 만큼 많은 캐릭터가 애니메이션화되도록 Audio2Face의 여러 인스턴스를 실행하기는 쉽습니다. 두 명 사이의 대화, 세 명 사이의 노래자랑, 4인조 합창단 등에 생동감과 소리를 불어넣으세요. 또한 각 얼굴의 표정 수준을 높이거나 낮추고 다양한 오디오 소스에서 여러 애니메이션 파일을 일괄 출력할 수 있습니다.

데이터 변환

연결 및 변환

Omniverse Audio2Face에 대한 최신 업데이트는 이제 블렌드셰이프 변환 및 블렌드웨이트 내보내기 옵션을 활성화합니다. 또한 앱은 이제 Epic Games Unreal Engine 4에서 내보내기-가져오기를 지원하여 Omniverse Unreal Engine 4 Connector를 사용하여 MetaHuman 캐릭터에 모션을 생성합니다.

감정 컨트롤

드라마 같은 효과

Audio2Face를 사용하면 캐릭터의 감정을 눈 깜짝할 시간에 선택하고 애니메이션으로 제작할 수 있습니다. AI 네트워크가 얼굴, 눈, 입, 혀, 머리 움직임을 선택한 감정 범위 및 맞춤 강도 수준으로 자동 조정하거나 오디오 클립에서 감정을 자동으로 직접 추론합니다.

Audio2Face 작동 모습 보기

생물과 외계인

환상적인 생물과 외계인의 얼굴 애니메이션을 제작하세요. 여기서는 Digital Mark가 외계인을 움직이고 있습니다.

애니메이션 챗봇 Misty

GTC Spring 2020에서 소개된 Misty는 런타임에서 Audio2Face로 구동되는 대화형 날씨 봇입니다. 실제 인간 메쉬를 양식화된 캐릭터 메쉬로 리타겟팅하여 인터랙티브 서비스 에이전트로 사용하는 모습을 시연했습니다.

Omniverse Machinima

GeForce 30 시리즈 출시 중에 공개된 Audio2Face는 Omniverse Machinima 데모에서 확인할 수 있습니다. 얼굴 애니메이션은 매우 복잡하고 비용이 많이 듭니다. Audio2Face는 세부적인 얼굴 애니메이션을 자동화하여 3D 콘텐츠 제작 프로세스에 대한 접근성을 높입니다.

NVIDIA Omniverse는 디지털 인간에 대한 더 자연스러운 결과를 도출하고 워크플로우 속도를 향상하여 크리에이티브 프로세스에 더 많은 시간을 투자할 수 있도록 지원합니다.

— Anderson Rohr, 3D 아티스트

지금 NVIDIA Omniverse를 경험하세요

3D 워크플로우에 적합한 라이선스를 찾아 바로 Omniverse를 사용해보세요.

시작하기

크리에이터

무료 다운로드 및 제작

Omniverse는 3D 크리에이티브 애플리케이션을 원활하게 연결하고 향상하는 중앙 허브 역할을 하면서 에셋, 라이브러리, 도구를 통합하여 끊김 없는 워크플로우를 지원하므로 아티스트는 매우 자유롭게 작품을 제작할 수 있습니다.

자세히 알아보기

개발자

무료 개발 및 배포

Omniverse는 개발자를 염두에 두고 제작되었으며 모든 계층에서 3D 워크플로우를 맞춤화하여 새로운 Omniverse Connector, 확장, 애플리케이션, 마이크로 서비스를 쉽게 구축할 수 있는 기능을 개발자에게 제공합니다.

자세히 알아보기

Enterprise

무료 체험판 I 연간 라이선스

Omniverse Enterprise는 어떤 규모의 조직이든 복잡한 디자인 워크플로우를 알맞게 변환합니다. 또한 중앙 집중식 프로젝트 데이터를 활용하는 다양한 애플리케이션을 사용하여 여러 사용자 및 위치와 실시간 협업을 지원합니다.

자세히 알아보기