NVIDIA Omniverse Audio2Face

Omniverse Audio2Face

O Omniverse Audio2Face é uma aplicação com tecnologia fornecida por AI que gera animações faciais expressivas a partir de uma fonte de áudio.

FAÇA DOWNLOAD DO OPEN BETA

Animação Facial Fácil por Meio da AI

O Audio2Face simplifica a animação de um personagem 3D para que corresponda a qualquer faixa de narração, seja de personagens para um jogo, filme, assistentes digitais em tempo real ou apenas para diversão. Você pode usar para aplicações interativas em tempo real ou como uma ferramenta de criação de animação facial tradicional. Execute os resultados ao vivo ou posteriormente: é você quem decide.

Audio2Face simplifies animation of a 3D character to match any voice-over track.

COMO FUNCIONA

A Aplicação Omniverse Audio2Face é baseada em um artigo original da  Pesquisa na NVIDIA. Audio2Face é pré-carregado com “Digital Mark”, um modelo de personagem 3D que pode ser animado com sua trilha de áudio, então começar é simples. Basta selecionar seu áudio e carregá-lo na aplicação. A tecnologia alimenta a entrada de áudio em uma Rede Neural Profunda pré-treinada e a saída da rede conduz a animação facial do seu personagem em tempo real. Os usuários têm a opção de editar vários parâmetros de pós-processamento para editar a performance do personagem. A saída da rede então direciona os vértices 3D da malha do seu personagem para criar a animação facial. Os resultados que você vê nesta página são, principalmente, saídas brutas do Audio2Face com poucos ou nenhum parâmetro de pós-processamento editados.

(Observação: o suporte direto ao blendshape será lançado posteriormente)

Omniverse Audio2Face App
 
Audio2Face generates facial animation through audio input.

ENTRADA DE ÁUDIO

Use uma Gravação ou Anime ao Vivo

Basta gravar uma faixa de áudio de voz, inserir na aplicação e ver seu rosto 3D ganhar vida. Você pode até gerar animações faciais ao vivo por meio de um microfone.

Audio2Face será capaz de processar qualquer idioma facilmente. E estamos continuamente atualizando com mais e mais idiomas. Confira esses testes em inglês, francês, italiano e russo.

TRANSFERÊNCIA DE PERSONAGEM

Faça Qualquer Rosto Ganhar Vida

Audio2Face permite que você redirecione para qualquer rosto 3D humano ou esqueleto, seja realista ou estilizado. Assista a este teste enquanto mudamos de Digital Mark para Rain.

 
Omniverse View includes RTX Renderer
 
Use multiple instances to generate facial animation for more than one character.

VÁRIAS INSTÂNCIAS

Solo ou um Coro

É fácil executar várias instâncias de Audio2Face com quantos personagens você quiser em uma cena, todos animados a partir da mesma ou de faixas de áudio diferentes. Respire vida e som em um diálogo entre uma dupla, um canto entre um trio, um quarteto sincronizado e muito mais.

CONTROLE EMOCIONAL

Faça Drama

Audio2Face dá a você a capacidade de escolher e animar as emoções do seu personagem: a rede manipula automaticamente o rosto, olhos, boca, língua e movimento da cabeça para corresponder à sua gama de emoções selecionada.

Recurso disponível em breve

Add emotions to your animation.

Veja o Audio2Face em Ação

Criaturas e Alienígenas

Criaturas e Alienígenas

Conduza a animação facial de criaturas fantásticas e alienígenas. Aqui temos a Digital Mark conduzindo o desempenho do Alienígena.

Misty, o Chat Bot Animado

Misty, o Chat Bot Animado

Apresentada no GTC Spring 2020, Misty é um bot meteorológico interativo que é impulsionado pelo Audio2Face em tempo de execução. Demonstramos o redirecionamento de uma malha humana realista para uma malha de caracteres estilizada para uso como um agente de serviço interativo.

Audio2Face works with Omniverse Machinima.

Omniverse Machinima

Revelado durante o lançamento da série GeForce 30, Audio2Face é visto na demonstração do Omniverse Machinima. A animação facial é notoriamente complexa e tem um custo proibitivo. Audio2Face automatiza animações faciais detalhadas para democratizar o processo de criação de conteúdo 3D.

COMECE A USAR O OMNIVERSE AUDIO2FACE AGORA

O Omniverse Machinima funciona em qualquer dispositivo NVIDIA RTX, seja em um notebook ou um data center. Faça download do Omniverse para começar. Faça download do Omniverse para começar.

Download NVIDIA Omniverse

1

Faça download e instale o NVIDIA Omniverse.

Open the Omniverse Launcher

2

Depois de instalá-lo, abra o inicializador do Omniverse.

Find Audio2Face in the Apps section and click Install

3

Localize "Audio2Face" na seção "Apps" (Aplicações) e clique em "Install" (Instalar). Depois, "Launch" (Iniciar).

DÊ UMA OLHADA MAIS PROFUNDA DO AUDIO2FACE

Assista a esta visão geral técnica apresentada no GTC 2020.

ASSISTA SOB DEMANDA

Mergulhe nos Últimos Avanços em Simulação e Colaboração Virtual

Veja como o Omniverse pode transformar seu workflow de animação de personagens 3D em nossas principais sessões GTC de 2021, agora disponíveis sob demanda.

Assista Agora 
Requisitos de Sistema
Elemento Especificações Mínimas
Sistema Operacional Compatível Windows 10 64-bit 1909 ou superior
CPU Intel I7, AMD Ryzen
2.5GHz ou superior
Núcleos da CPU 4 ou mais
RAM 16GB ou mais
Armazenamento 500GB SSD ou mais
GPU Qualquer GPU RTX
VRAM 6GB ou mais
Versão Mínima do Driver de Vídeo 455.28 (Linux), 456.71 (Windows)
Nota: Omniverse é construído para funcionar em qualquer máquina com RTX. Para um desempenho ideal, recomendamos o uso de GeForce RTX 2080, Quadro RTX 5000 ou superior. Para obter os drivers mais recentes, visite aqui.

SUPORTE

Join the Omniverse Forums
See the support documentation and guides
Watch Omniverse video tutorials and trainings

Enter the Omniverse

Deep dive into the platform through a series of GTC webinars hosted by Omniverse experts in various industries.

LEARN MORE

Mais Aplicações Omniverse

As aplicações Omniverse são desenvolvidas com o propósito de aprimorar workflows específicos. Veja-as em ação.

nvidia-omniverse-view-64

View

Revise projetos de design de forma colaborativa com esta ferramenta de visualização poderosa, fisicamente precisa e fotorrealística.

SAIBA MAIS
nvidia-omniverse-create-64

Create

Acelere a construção avançada de mundos e monte, simule e renderize cenas na Pixar USD em tempo real de forma interativa.

SAIBA MAIS
nvidia-omniverse-kaolin-icon-64

Kaolin

Simplifique e acelere a pesquisa de deep learning em 3D usando a biblioteca Kaolin PyTorch da NVIDIA com esta poderosa ferramenta de visualização.

SAIBA MAIS
Machinima

Machinima

Remixar, recriar e redefinir a narrativa de um videogame animado com um kit de ferramentas alimentado por AI para jogadores.

SAIBA MAIS
Isaac Sim

Isaac Sim

Importe, construa e teste robôs em um ambiente 3D fotorrealístico e de física de alta fidelidade.

SAIBA MAIS
Drive Sim

DRIVE Sim

Aproveite uma experiência de simulação para o desenvolvimento de veículos autônomos que é virtualmente indistinguível da realidade.

SAIBA MAIS