NVIDIA Omniverse Audio2Face

베타판

Omniverse Audio2Face

생성 AI를 사용하여 오디오 소스만으로 표정이 풍부한 얼굴 애니메이션을 즉시 생성하세요.

생성 AI로 쉽게 오디오-애니메이션 제작

Omniverse Audio2Face 베타는 보이스오버 트랙에 맞게 3D 캐릭터를 애니메이팅하는 프로세스를 간소화해주는 레퍼런스 애플리케이션입니다. 게임, 영화, 실시간 디지털 도우미를 위해 캐릭터를 애니메이션화하거나 재미를 위해 캐릭터를 애니메이션화할 때 유용하게 사용할 수 있습니다. 이 앱은 실시간 인터랙티브 애플리케이션 또는 기존의 안면 애니메이션 제작 도구로 사용할 수 있습니다. 결과물을 실시간으로 실행해도, 베이킹을 해도 좋습니다.

작동 원리

Audio2Face에는 오디오 트랙으로 애니메이션화할 수 있는 3D 캐릭터 모델인 "Digital Mark"가 사전에 로드되어 있기 때문에 오디오를 선택하고 업로드하기만 하면 시작할 수 있습니다. 그러면 오디오 입력이 미리 학습된 딥 뉴럴 네트워크에 제공되고 출력이 캐릭터 메쉬의 3D 정점을 구동하여 실시간으로 얼굴 애니메이션을 생성합니다. 또한 다양한 후처리 매개변수를 편집하여 캐릭터의 성능을 편집할 수도 있습니다. 이 페이지에 제시된 결과는 대부분 Audio2Face의 원시 출력이며 편집된 후처리 매개변수가 거의 또는 전혀 없습니다.

Omniverse Audio2Face 앱
 
Audio2Face는 오디오 입력을 통해 얼굴 애니메이션을 생성합니다.

오디오 입력

녹화본을 사용하거나 실시간으로 애니메이션화

음성 오디오 트랙을 녹음하고 앱에 입력하면 3D 얼굴이 움직이는 것을 볼 수 있습니다. 마이크를 사용하여 얼굴 애니메이션을 라이브로 생성할 수도 있습니다.

Audio2Face는 어떤 언어도 쉽게 처리할 수 있게 될 겁니다. 더 많은 언어를 지속적으로 업데이트하고 있습니다. 

캐릭터 전송

순식간에 얼굴 교체

Audio2Face를 사용하면 3D 사람 또는 사람 같은 얼굴을 현실적으로 또는 양식화된 얼굴로 리타겟팅할 수 있습니다. 따라서 인간이든 동물이든 즉석에서 몇 번의 클릭만으로 캐릭터를 교체할 수 있습니다.

 
Audio2Face로 모든 캐릭터 얼굴을 애니메이션화
 
여러 인스턴스를 사용하여 하나 이상의 캐릭터에 대한 얼굴 애니메이션 생성

출력 확장

자기 자신, 아니면 모두를 한꺼번에 표현

전부 같거나 서로 다른 오디오 트랙에서, 한 장면에서 원하는 만큼 많은 캐릭터가 애니메이션화되도록 Audio2Face의 여러 인스턴스를 실행하기는 쉽습니다. 두 명 사이의 대화, 세 명 사이의 노래자랑, 4인조 합창단 등에 생동감과 소리를 불어넣으세요. 또한 각 얼굴의 표정 수준을 높이거나 낮추고 다양한 오디오 소스에서 여러 애니메이션 파일을 일괄 출력할 수 있습니다.

감정 컨트롤

드라마 같은 효과

Audio2Face를 사용하면 캐릭터의 감정을 눈 깜짝할 시간에 선택하고 애니메이션화할 수 있습니다. AI 네트워크가 얼굴, 눈, 입, 혀, 머리 움직임을 선택한 감정 범위 및 맞춤 강도 수준으로 자동 조정하거나 오디오 클립에서 감정을 자동으로 직접 추론합니다.

 
애니메이션에 감정을 더하세요.
 
애니메이션에 감정을 더하세요.

데이터 변환

연결 및 변환

Omniverse Audio2Face에 대한 최신 업데이트는 이제 블렌드셰이프 변환 및 블렌드웨이트 내보내기 옵션을 활성화합니다. 또한 앱은 이제 Blendshapes for Blender 및 Epic Games Unreal Engine에서 내보내기-가져오기를 지원하여 각각의 Omniverse Connector를 사용하여 캐릭터에 모션을 생성합니다.

Audio2Face 작동 모습 보기

생물과 외계인

환상적인 생물과 외계인의 얼굴 애니메이션을 제작하세요. 여기서는 Digital Mark가 외계인을 움직이고 있습니다.

애니메이션 챗봇 Misty

GTC Spring 2020에서 소개된 Misty는 런타임에서 Audio2Face로 구동되는 대화형 날씨 봇입니다. 실제 인간 메쉬를 양식화된 캐릭터 메쉬로 리타겟팅하여 인터랙티브 서비스 에이전트로 사용하는 모습을 시연했습니다.

Omniverse Machinima

GeForce 30 시리즈 출시 중에 공개된 Audio2Face는 Omniverse Machinima 데모에서 확인할 수 있습니다. 얼굴 애니메이션은 매우 복잡하고 비용이 많이 듭니다. Audio2Face는 세부적인 얼굴 애니메이션을 자동화하여 3D 콘텐츠 제작 프로세스에 대한 접근성을 높입니다.   

NVIDIA Omniverse는 디지털 인간에 대한 더 자연스러운 결과를 도출하고 워크플로우 속도를 향상하여 크리에이티브 프로세스에 더 많은 시간을 투자할 수 있도록 지원합니다.

— Anderson Rohr, 3D 아티스트

지금 NVIDIA Omniverse를 경험하세요

3D 워크플로우에 적합한 라이선스를 찾아 바로 Omniverse를 사용해보세요.

nvidia-omniverse-creators-3c33-D

크리에이터

무료 다운로드 및 제작

Omniverse는 3D 크리에이티브 애플리케이션을 원활하게 연결하고 향상하는 중앙 허브 역할을 하면서 에셋, 라이브러리, 도구를 통합하여 끊김 없는 워크플로우를 지원하므로 아티스트는 매우 자유롭게 작품을 제작할 수 있습니다.

개발자

개발자

무료 개발 및 배포

Omniverse는 개발자를 염두에 두고 제작되었으며 모든 계층에서 3D 워크플로우를 맞춤화하여 새로운 Omniverse Connector, 확장, 애플리케이션, 마이크로 서비스를 쉽게 구축할 수 있는 기능을 개발자에게 제공합니다.

nvidia-omniverse-enterprise-3c33-D

엔터프라이즈

무료 체험판 I 연간 라이선스

Omniverse Enterprise는 어떤 규모의 조직이든 복잡한 디자인 워크플로우를 알맞게 변환합니다. 또한 중앙 집중식 프로젝트 데이터를 활용하는 다양한 애플리케이션을 사용하여 여러 사용자 및 위치와 실시간 협업을 지원합니다.

Omniverse Audio2Face 설치 방법

NVIDIA Omniverse 다운로드

1단계

NVIDIA Omniverse를 다운로드하고 설치를 실행합니다.

Omniverse 시작 관리자 열기

2단계

설치되면 Omniverse 시작 관리자를 엽니다.

앱 섹션에서 Audio2Face를 찾고 설치를 클릭합니다.

3단계

앱 섹션에서 Omniverse Audio2Face를 찾아 설치를 클릭한 다음 시작합니다.

시스템 요구 사항
요소 최소 사양 최소 사양
지원되는 OS Windows 10(버전 1903 이상) Windows 10(버전 1903 이상)
CPU Intel Core i5 10세대 시리즈
AMD Ryzen 5 5세대 시리즈
Intel Core i7 13세대 시리즈
AMD Ryzen 7 7세대 시리즈
RAM 16GB 32GB
스토리지 250GB SSD 500GB SSD
GPU 8GB의 모든 RTX GPU GeForce RTX 4070 Ti, NVIDIA RTX A4500 이상
최소 영상 드라이버 버전 최신 드라이버 보기 최신 드라이버 보기

단계별 튜토리얼 확인하기

더 많은 Omniverse 앱 보기

NVIDIA Omniverse 앱 및 커넥터의 전체 제품군을 확인하거나 아래 권장 사항을 시도해보세요.

Create

Pixar USD로 고급 월드 구축을 가속화하고 실시간으로 장면을 인터랙티브하게 조합, 시뮬레이션, 렌더링할 수 있습니다.

Code

개발자와 파워 유저를 위한 통합된 개발 환경으로 Omniverse 확장, 앱 또는 마이크로 서비스를 쉽게 구축할 수 있습니다.

Machinima

크리에이터를 위한 AI 기반 툴킷을 사용하여 애니메이션 비디오 게임 스토리텔링을 리믹스하고, 재구성하고, 재정의합니다.

View

강력하고 물리적으로 정확하며 사실적인 시각화 도구를 사용하여 설계 프로젝트를 공동으로 검토합니다.

커뮤니티에 참여하기

튜토리얼 이용

수백 개의 무료 튜토리얼, 세션 또는 초보자 교육을 활용하여 USD를 시작하세요

Omnivore 되기

커뮤니티에 참여하세요! Twitch에서 NVIDIA의 주간 실시간 스트리밍에 참여하고 Discord 및 포럼에서 NVIDIA와 소통하세요.

기술 지원 받기

문제가 있으신가요? 포럼에 질문을 게시하여 Omniverse 전문가의 빠른 안내를 받거나 플랫폼 문서를 참조하세요.

작품 전시하기

Omniverse 작품을 제작하셨나요? 다른 사람들과 영감을 주고받을 수 있는 Omniverse 갤러리에 작품을 제출해보세요.

영감을 주는 GTC 세션을 모두 온디맨드로 확인하세요.

AI와 메타버스 시대를 위한 개발자 컨퍼런스

영감을 주는 GTC 세션을 모두 온디맨드로 확인하세요.

AI와 메타버스 시대를 위한 개발자 컨퍼런스

NVIDIA Omniverse로 여러분의 상상을 현실로 만들어 보세요.

  • 아티스트의 Omniverse: 사실적인 대규모 가상 세계를 구축하는 방법

    • Gabriele Leone, NVIDIA 수석 아트 디렉터

    NVIDIA의 전문 환경 아티스트의 이야기를 듣고 30명의 아티스트가 3개월 만에 상징적인 멀티 월드 데모를 제작한 방법을 알아보세요. Adobe Substance 3D Painter, Photoshop, Autodesk 3ds Max, Maya, Blender, Modo, Maxon Zbrush, SideFX Houdini, NVIDIA Omniverse Create를 포함하는 워크플로우를 자세히 분석하고 최신 NVIDIA RTX, AI, 물리효과 기술을 보여주는 대규모 장면을 아티스트가 어떻게 구현했는지 알아보세요.

    세부 정보 보기 >

  • 가상 세계 구축을 위한 USD(Universal Scene Description)의 차세대 진화

    • Aaron Luk, Omniverse 부문 선임 엔지니어링 관리자, NVIDIA

    Universal Scene Description은 파일 형식 그 이상입니다. 이 개방적이고 강력하며 쉽게 확장할 수 있는 월드 구성 프레임워크에는 가상 세계에서 생성, 편집, 쿼리, 렌더링, 시뮬레이션, 협업을 위한 API가 있습니다. NVIDIA는 미디어 및 엔터테인먼트를 넘어 산업용 메타버스와 차세대 AI의 물결을 가능하게 하는 워크플로우를 위해 USD를 발전시키는 데 지속적으로 투자하고 있습니다. 세션에 참여하여 NVIDIA가 USD에 "올인"하는 이유를 알아보고 USD 개발 로드맵을 살펴보고 최근 NVIDIA와 파트너 에코시스템에서 함께 진행한 USD 프로젝트 및 이니셔티브에 대해 알아보세요.

    세부 정보 보기 >

  • 메타버스의 토대: 3D 가상 세계를 위한 HTML

    • Michael Kass, Senior Distinguished Engineer, NVIDIA
    • Rev Lebaredian, NVIDIA 시뮬레이션 기술 및 Omniverse 엔지니어링 부문 부사장
    • Guido Quaroni, Adobe 3D 및 Immersive 엔지니어링 수석 이사
    • Steve May, Vice President, CTO, Pixar
    • Mason Sheffield, Lowe's의 Lowe's Innovation Labs 크리에이티브 기술 담당 이사
    • Natalya Tatarchuk, Unity 전문 예술 및 그래픽 혁신, 저명한 기술 연구원 겸 수석 아키텍트
    • Matt Sivertson, Autodesk 미디어 및 엔터테인먼트 담당 부사장 겸 수석 아키텍트
    • Mattias Wikenmalm, Volvo Cars 수석 전문가

    이 세션에 참여하여 저명한 기술 리더들이 패널로 나와서 인터넷의 3D 진화의 표준인 메타버스, USD(Universal Scene Description)에 대해 이야기하는 것을 들어보세요. 이 전문가들은 USD에 투자하거나 USD를 채택하는 이유와 그 잠재력이 발휘하기 위해 필요한 발전에 관해 논의할 것입니다.

    세부 정보 보기 >

  • 시뮬레이션이 지원되는 USD 3D 에셋을 구축하는 방법

    • Renato Gasoto, NVIDIA 로보틱스 및 AI 엔지니어 
    • Beau Perschall, NVIDIA, Omniverse Sim Data Ops 부문 이사

    산업과 AI의 다음 물결을 경험하려면 현실과 구별할 수 없을 정도로 물리적으로 정확한 가상 세계를 구축해야 합니다. 가상 세계를 만드는 것은 어려우며, 현재 3D 에셋의 기존 세계는 개체의 시각적 표현만을 나타내어, 적절하지 않습니다. 디지털 트윈이든 자율 주행 자동차 또는 로봇을 훈련하고 테스트하기 위한 가상 세계를 구축하든 관계없이, 3D 에셋에는 더 많은 기술 속성이 필요하므로, 새로운 프로세스, 기술 및 도구를 개발하고 채택해야 합니다. NVIDIA는 가상 세계의 구성 요소인 "SimReady" 에셋이라는 새로운 종류의 3D 자산을 소개합니다. SimReady 자산은 단지 3D 개체 이상의 정확한 물리적 특성, 동작, USD(Universal Scene Description) 기반의 연결된 데이터 스트림을 포함합니다. SimReady USD 에셋으로 시작하는 방법을 보여주고 이러한 자산을 개발하고 테스트하는 데 필요한 도구와 기술을 보여드리겠습니다.

    세부 정보 보기 >

  • 하이퍼스케일로 발전하는 공간 컴퓨팅

    • Omer Shapiro, NVIDIA Omniverse, 수석 엔지니어

    최근 컴퓨팅 파이프라인의 발전으로 완전 레이 트레이싱된 가상현실(VR)과 같은 체심 기술 분야에서 도약이 가능했습니다. 동시에 데이터센터에서 HMD로 직접 픽셀 스트리밍이 실현되는 시점까지 네트워크 병목 현상이 줄어듭니다. 본 대담에 참여하고 데이터센터 규모의 체심 컴퓨팅의 잠재력과 그것이 지원하는 애플리케이션, 경험 및 새로운 과학에 대해 살펴보세요.

    세부 정보 보기 >

진한 회색과 진한 보라색 등 다양한 배경의 헤드샷 3개. 왼쪽 헤드샷에는 NVIDIA Stephen Jones라고 적힌 금색 배너가 새겨진 회색 셔츠를 입은 남성이 있습니다. 가운데 헤드샷에는 NVIDIA Anima Anandkumar가 적힌 금색 배너가 새겨진 빨간 셔츠를 입은 여성이 있습니다. 오른쪽 헤드샷에는 검은 색 셔츠와 회색 칼라에 NVIDIA Ian Buck이 적힌 금색 배너를 입은 남성이 있습니다.

NVIDIA 소식 받기

최신 NVIDIA Omniverse 뉴스를 받아 보세요.