NVIDIA Omniverse Audio2Face

BETA

Omniverse Audio2Face

Crie animações faciais expressivas com rapidez e facilidade a partir de uma fonte de áudio com a tecnologia de AI de Deep Learning da NVIDIA.

Facilidade na Animação Facial

O beta do Omniverse™ Audio2Face é uma aplicação de referência que simplifica a animação de personagens 3D para que ela corresponda à faixa de dublagem, seja na animação de personagens de um game ou filme, de assistentes digitais em tempo real ou só por diversão. Use a aplicação para interações em tempo real ou como uma ferramenta tradicional de criação de animações faciais. Gere os resultados em tempo real ou deixe-os para depois, você decide.

Como Funciona

O Audio2Face está pré-carregado com o "Digital Mark", um modelo de personagem 3D que pode ser animado com uma faixa de áudio. Para começar, é simples: selecione o áudio e faça o upload. A entrada de áudio é introduzida em uma Rede Neural Profunda pré-treinada, e a saída impulsiona os vértices 3D da malha do personagem para criar a animação facial em tempo real. Também existe a opção de editar vários parâmetros de pós-processamento para editar o comportamento do personagem. Os resultados exibidos nesta página são, na maioria, saídas brutas do Audio2Face com pouco ou nenhum parâmetro de pós-processamento editado.

Aplicação Omniverse Audio2Face
 
O Audio2Face gera a animação facial por meio de uma entrada de áudio.

Entrada De Áudio

Use uma Gravação ou Anime em Tempo Real

Basta gravar uma faixa de áudio de voz, inserir na aplicação e ver o rosto 3D ganhar vida. Você pode até mesmo gerar animações faciais em tempo real usando um microfone.

O Audio2Face é capaz de processar qualquer idioma facilmente. E estamos sempre atualizando com cada vez mais idiomas.  

Transferência De Personagens

Troca Facial em um Instante

O Audio2Face permite redirecionar para qualquer rosto 3D humano ou humanoide, realista ou estilizado. Assista este teste de quando redirecionamos do Digital Mark para um rinoceronte!

 
Anime qualquer rosto de personagem com o Audio2Face
 
Use várias instâncias para gerar animações faciais para mais de um personagem

Dimensionamento De Saída

Faça a Sua Expressão - ou a de Todos ao Mesmo Tempo

É fácil executar várias instâncias do Audio2Face com quantos personagens você quiser em uma cena, todas animadas a partir das mesmas faixas de áudio ou diferentes. Dê vida e som ao diálogo entre uma dupla, uma batalha musical entre um trio, um quarteto sincronizado e muito mais. Além disso, é possível aumentar ou reduzir o nível de expressão facial de cada rosto e gerar vários arquivos de animação em massa a partir de várias fontes de áudio.

Conversão De Dados

Conecte-se e Converta

A atualização mais recente do Omniverse Audio2Face agora permite conversão de blendshape e opções de exportação de blendweight. Além disso, a aplicação agora é compatível com a importação e exportação do Unreal Engine 4 da Epic Games para gerar movimento em personagens do MetaHuman usando o conector do Unreal Engine 4 do Omniverse.

 
Adicione emoções à sua animação.
Adicione emoções à sua animação.

Controle De Emoção

Traga a Emoção

O Audio2Face oferece a capacidade de escolher e animar as emoções de personagens em uma piscada de olhos. A rede AI manipula automaticamente o rosto, os olhos, a boca, a língua e o movimento da cabeça para corresponder ao alcance emocional selecionado e ao nível de intensidade personalizado, ou, infere automaticamente a emoção diretamente a partir do clipe de áudio.

Veja o Audio2Face em Ação

Criaturas e Alienígenas

Impulsione a animação facial de criaturas e alienígenas fantásticos. Aqui temos a Digital Mark impulsionando o comportamento do alienígena.

Misty, o Chatbot Animado

Apresentado no GTC no segundo trimestre de 2020, Misty é um bot meteorológico interativo que é impulsionado pelo Audio2Face em tempo de execução. Demonstramos o redirecionamento de uma malha humana realista para uma malha estilizada de personagem para ser usada como um agente de serviço interativo.

Omniverse Machinima

Revelado durante o lançamento da GeForce Série 30, o Audio2Face é visto na demonstração do Omniverse Machinima. A animação facial é reconhecidamente complexa e de altíssimo custo. O Audio2Face automatiza a animação facial detalhada para democratizar o processo de criação de conteúdo 3D.   

O NVIDIA Omniverse está me ajudando a alcançar resultados mais naturais para meus humanos digitais e acelerando o meu workflow para que eu possa gastar mais tempo no processo criativo.

— Anderson Rohr, Artista 3D

Experimente o NVIDIA Omniverse Hoje Mesmo

Encontre a licença ideal para o seu workflow 3D e comece a usar o Omniverse imediatamente.

nvidia-omniverse-creators-3c33-D

Criadores

Download e Criações Gratuitos

O Omniverse funciona como um hub para conectar e aprimorar perfeitamente aplicações de criação 3D, unificando elementos artísticos, bibliotecas e ferramentas para um workflow sem interrupções e permitindo que os artistas alcancem novos níveis de liberdade criativa.

Desenvolvedores

Desenvolvedores

Desenvolvimento e Distribuição Gratuitos

O Omniverse foi desenvolvido pensando em desenvolvedores e oferece a eles a capacidade de personalizar os workflows 3D em todas as camadas para criar conectores, extensões, aplicações e microsserviços do Omniverse com facilidade.

nvidia-omniverse-enterprise-3c33-D

Empresarial

Teste Gratuito I Licença Anual

O Omniverse Enterprise transforma workflows complexos de design para empresas de todos os portes. Ele permite a colaboração em tempo real com vários usuários e locais, usando diversas aplicações com dados centralizados do projeto.

Como Instalar o Omniverse Audio2Face

Faça Download do NVIDIA Omniverse
Abra o Inicializador do Omniverse

2

Após a instalação, abra o inicializador do Omniverse.

Localize

3

Localize "Omniverse Audio2Face" na seção "Apps" (Aplicações), clique em "Install" (Instalar) e em "Launch" (Abrir).

Requisitos de Sistema
Elemento Especificações Mínimas
Sistema Operacional Compatível Windows 10 de 64 bits (versão 1909 e superior)
CPU Intel I7, AMD Ryzen
(2,5 GHz ou mais)
Núcleos da CPU 4 ou mais
RAM 16GB ou mais
Armazenamento SSD de 500GB ou mais
GPU Qualquer GPU RTX
VRAM 6GB ou mais
Versão Mínima do Driver de Vídeo Veja os drivers mais atuais aqui
Observação: o Omniverse foi desenvolvido para ser executado em qualquer máquina com tecnologia RTX. Para obter o melhor desempenho, recomendamos o uso da GeForce RTX 3070, NVIDIA RTX A4000, 8Gb ou mais.

Veja Tutoriais Passo a Passo

Descubra Mais Aplicações do Omniverse

Descubra o pacote completo de aplicações e conectores do NVIDIA Omniverse ou experimente nossas recomendações abaixo.

Create

Acelere a criação avançada de mundos com a USD da Pixar e monte, simule e renderize cenas de modo interativo em tempo real.

Code

Um ambiente de desenvolvimento integrado para desenvolvedores e usuários avançados criarem facilmente extensões, aplicações ou microsserviços do Omniverse.

Machinima

Reformule, recrie e redefina as animações narrativas de videogames com um kit de ferramentas com tecnologia fornecida por AI para criadores.

View

Faça a revisão colaborativa de projetos de design com essa poderosa ferramenta de visualização fotorrealista e fisicamente precisa.

Participe da Nossa Comunidade

Acesse os Tutoriais

Aproveite centenas de tutoriais e sessões gratuitos ou o treinamento para iniciantes e saiba como começar a usar a USD

Seja um Omnivore

Venha fazer parte da nossa comunidade! Assista a nossas livestreams semanais na Twitch e converse conosco no canal do Discord e nos fóruns.

Receba Suporte Técnico

Problemas? Faça perguntas nos fóruns para receber dicas rápidas de especialistas no Omniverse ou consulte a documentação da plataforma.

Mostre Seu Trabalho

Criou uma obra-prima no Omniverse? Envie-a para a Galeria Omniverse, uma fonte de inspiração para você e para outras pessoas.

Fale Conosco

Fique por dentro últimas notícias sobre o NVIDIA Omniverse.