NVIDIA Omniverse Audio2Face

Omniverse Audio2Face

Gere animações faciais expressivas de forma rápida e fácil a partir de apenas uma fonte de áudio com a tecnologia Deep Learning AI da NVIDIA.

FAÇA DOWNLOAD DO OPEN BETA

Animação Facial Facilitada pela AI

Audio2Face simplifica a animação de um personagem 3D para corresponder a qualquer faixa de narração, quer você esteja animando personagens para um game, filme, assistentes digitais em tempo real ou apenas para diversão. Você pode usar a aplicação para uso interativo em tempo real ou como uma ferramenta de criação de animação facial tradicional. Execute os resultados ao vivo ou posteriormente, você decide.

Audio2Face simplifies animation of a 3D character to match any voice-over track.

Como Funciona

Audio2Face é pré-carregado com “Digital Mark” - um modelo de personagem 3D que pode ser animado com sua trilha de áudio, então começar é simples: basta selecionar seu áudio e fazer o upload. A entrada de áudio é então alimentada em uma Rede Neural Profunda pré-treinada e a saída direciona os vértices 3D da malha de seu personagem para criar a animação facial em tempo real. Você também tem a opção de editar vários parâmetros de pós-processamento para editar a performance de seu personagem. Os resultados que você vê nesta página são, em sua maioria, saídas brutas do Audio2Face com poucos ou nenhum parâmetro de pós-processamento editados.

Omniverse Audio2Face App
 
Audio2Face generates facial animation through audio input.

ENTRADA DE ÁUDIO

Use uma Gravação ou Anime ao Vivo

Basta gravar uma faixa de áudio de voz, inserir na aplicação e ver seu rosto 3D ganhar vida. Você pode até gerar animações faciais ao vivo por meio de um microfone.

Audio2Face será capaz de processar qualquer idioma facilmente. E estamos continuamente atualizando com mais e mais idiomas. Confira esses testes em inglês, francês, italiano e russo.

TRANSFERÊNCIA DE PERSONAGEM

Troca Facial em um Instante

Audio2Face permite que você redirecione para qualquer rosto 3D humano ou esqueleto, seja realista ou estilizado. Assista a este teste enquanto mudamos de Marca Digital para um Rinoceronte cantor!

 
Animate any character face with Audio2Face
 
Use multiple instances to generate facial animation for more than one character

VÁRIAS INSTÂNCIAS

Solo ou um Coro de Uma Vez

É fácil executar várias instâncias de Audio2Face com quantos personagens você quiser em uma cena, todos animados a partir da mesma ou de trilhas de áudio diferentes. Respire vida e som no diálogo entre uma dupla, um canto entre um trio, um quarteto sincronizado e mais. Além disso, você pode aumentar ou diminuir o nível de expressão facial de cada rosto.

CONTROLE DE EMOÇÕES

Olha o Drama

Audio2Face dá a você a capacidade de escolher e animar as emoções do seu personagem: a rede manipula automaticamente o rosto, olhos, boca, língua e movimento da cabeça para corresponder à sua gama de emoções selecionada.

Recurso disponível em breve

Add emotions to your animation.

Veja o Audio2Face em Ação

Criaturas e Alienígenas

Criaturas e Alienígenas

Conduza a animação facial de criaturas fantásticas e alienígenas. Aqui temos a Digital Mark conduzindo o desempenho do Alienígena.

Misty, o Chat Bot Animado

Misty, o Chat Bot Animado

Apresentada no GTC Spring 2020, Misty é um bot meteorológico interativo que é impulsionado pelo Audio2Face em tempo de execução. Demonstramos o redirecionamento de uma malha humana realista para uma malha de caracteres estilizada para uso como um agente de serviço interativo.

Audio2Face works with Omniverse Machinima.

Omniverse Machinima

Revelado durante o lançamento da série GeForce 30, Audio2Face é visto na demonstração do Omniverse Machinima. A animação facial é notoriamente complexa e tem um custo proibitivo. Audio2Face automatiza animações faciais detalhadas para democratizar o processo de criação de conteúdo 3D.

APROFUNDE-SE NO CONTEÚDO MAIS RECENTE DO OMNIVERSO

COMECE A USAR O OMNIVERSE AUDIO2FACE AGORA

O Omniverse Machinima funciona em qualquer dispositivo NVIDIA RTX, seja em um notebook ou um data center. Faça download do Omniverse para começar. Faça download do Omniverse para começar.

Download NVIDIA Omniverse

1

Faça download e instale o NVIDIA Omniverse.

Open the Omniverse Launcher

2

Depois de instalá-lo, abra o inicializador do Omniverse.

Find Audio2Face in the Apps section and click Install

3

Localize "Audio2Face" na seção "Apps" (Aplicações) e clique em "Install" (Instalar). Depois, "Launch" (Iniciar).

DÊ UMA OLHADA MAIS PROFUNDA DO AUDIO2FACE

Assista a esta visão geral técnica apresentada no GTC 2020.

ASSISTA SOB DEMANDA

Mergulhe nos Últimos Avanços em Simulação e Colaboração Virtual

Veja como o Omniverse pode transformar seu workflow de animação de personagens 3D em nossas principais sessões GTC de 2021, agora disponíveis sob demanda.

Assista Agora 
Requisitos de Sistema
Elemento Especificações Mínimas
Sistema Operacional Compatível Windows 10 64-bit(Versão 1909 e superior)
CPU Intel I7, AMD Ryzen
2.5GHz ou superior
Núcleos da CPU 4 ou mais
RAM 16GB ou mais
Armazenamento 500GB SSD ou mais
GPU Qualquer GPU RTX
VRAM 6GB ou mais
Versão Mínima do Driver de Vídeo Veja os drivers mais recentes aqui
Nota: Omniverse é construído para funcionar em qualquer máquina com RTX. Para um desempenho ideal, recomendamos o uso de GeForce RTX, NVIDIA RTX A4000 com 8Gb ou superior.

SUPORTE

Join the Omniverse Forums
See the support documentation and guides
Watch Omniverse video tutorials and trainings
TREINAMENTOS DO DLI

Enter the Omniverse

Deep dive into the platform through a series of GTC webinars hosted by Omniverse experts in various industries.

LEARN MORE

Mais Aplicações Omniverse

As aplicações Omniverse são desenvolvidas com o propósito de aprimorar workflows específicos. Veja-as em ação.

nvidia-omniverse-view-64

View

Revise projetos de design de forma colaborativa com esta ferramenta de visualização poderosa, fisicamente precisa e fotorrealística.

SAIBA MAIS
nvidia-omniverse-create-64

Create

Acelere a construção avançada de mundos e monte, simule e renderize cenas na Pixar USD em tempo real de forma interativa.

SAIBA MAIS
nvidia-omniverse-kaolin-icon-64

Kaolin

Simplifique e acelere a pesquisa de deep learning em 3D usando a biblioteca Kaolin PyTorch da NVIDIA com esta poderosa ferramenta de visualização.

SAIBA MAIS
Machinima

Machinima

Remixar, recriar e redefinir a narrativa de um videogame animado com um kit de ferramentas alimentado por AI para jogadores.

SAIBA MAIS
Isaac Sim

Isaac Sim

Importe, construa e teste robôs em um ambiente 3D fotorrealístico e de física de alta fidelidade.

SAIBA MAIS
Drive Sim

DRIVE Sim

Aproveite uma experiência de simulação para o desenvolvimento de veículos autônomos que é virtualmente indistinguível da realidade.

SAIBA MAIS