Omniverse Audio2Face

O Omniverse Audio2Face é uma aplicação com tecnologia fornecida por AI que gera animações faciais expressivas a partir de uma fonte de áudio.

REQUISITOS DE SISTEMA

PRÉ-VISUALIZAÇÃO DO ACESSO ANTECIPADO DO AUDIO2FACE

O Audio2Face simplifica a animação de um personagem 3D para que corresponda a qualquer faixa de narração, seja de personagens para um jogo, filme, assistentes digitais em tempo real ou apenas para diversão. Você pode usar para aplicações interativas em tempo real ou como uma ferramenta de criação de animação facial tradicional. Execute os resultados ao vivo ou posteriormente: é você quem decide.

O Acesso Antecipado da Aplicação Omniverse Audio2Face estará disponível em breve.

Audio2Face simplifies animation of a 3D character to match any voice-over track.

COMO FUNCIONA

A Aplicação Omniverse Audio2Face é baseada em um artigo original da Pesquisa na NVIDIA. Audio2Face é pré-carregado com “Digital Mark”, um modelo de personagem 3D que pode ser animado com sua trilha de áudio, então começar é simples. Basta selecionar seu áudio e carregá-lo na aplicação. A tecnologia alimenta a entrada de áudio em uma Rede Neural Profunda pré-treinada e a saída da rede conduz a animação facial do seu personagem em tempo real. Os usuários têm a opção de editar vários parâmetros de pós-processamento para editar a performance do personagem. A saída da rede então direciona os vértices 3D da malha do seu personagem para criar a animação facial. Os resultados que você vê nesta página são, principalmente, saídas brutas do Audio2Face com poucos ou nenhum parâmetro de pós-processamento editados.

(Observação: o suporte direto ao blendshape será lançado posteriormente)

VEJA O AUDIO2FACE EM AÇÃO

Idiomas

Audio2Face será capaz de processar qualquer idioma facilmente. Estamos adicionando mais e mais idiomas periodicamente. Confira esses testes em Inglês, Francês, Italiano e Russo.

Misty, o Chat Bot Animado

Apresentada no GTC Spring 2020, Misty é um bot meteorológico interativo que é impulsionado pelo Audio2Face em tempo de execução. Demonstramos o redirecionamento de uma malha humana realista para uma malha de caracteres estilizada para uso como um agente de serviço interativo.

Omniverse Machinima

Revelado durante o lançamento da série GeForce 30, Audio2Face é visto na demonstração do Omniverse Machinima. A animação facial é notoriamente complexa e tem um custo proibitivo. Audio2Face automatiza animações faciais detalhadas para democratizar o processo de criação de conteúdo 3D.

PRÓXIMOS RECURSOS - TRANSFERÊNCIA DE PERSONAGEM

Rostos Humanos

Audio2Face pode usar qualquer trilha de áudio orientada por diálogo e, eventualmente, ter a capacidade de redirecionar para qualquer rosto humano 3D, seja realista ou estilizado. Assista a este teste enquanto mudamos de Digital Mark para Rain.

Criaturas e Alienígenas

Esse recurso permite que você redirecione e conduza a animação facial de criaturas fantásticas e alienígenas. Aqui temos a Digital Mark conduzindo o desempenho do Alienígena.

DÊ UMA OLHADA MAIS PROFUNDA DO AUDIO2FACE

Assista a esta visão geral técnica apresentada no GTC 2020.

ASSISTA SOB DEMANDA

Requisitos do Sistema
Elemento	Especificações Mínimas
Sistema Operacional Compatível	Windows 10 64-bit, 1909 and up
CPU	Intel I7, AMD Ryzen
Núcleos da CPU	4 ou mais
RAM	16GB ou mais
Armazenamento	500GB SSD ou mais
GPU	Qualquer GPU RTX
VRAM	6GB ou mais
Versão Mínima do Driver de Vídeo	455.28 (Linux), 456.71 (Windows)
Nota: Omniverse é construído para funcionar em qualquer máquina com RTX. Para um desempenho ideal, recomendamos o uso de GeForce RTX 2080, Quadro RTX 5000 ou superior. Para obter os drivers mais recentes, visite aqui.

SUPORTE

FÓRUNS

DOCUMENTATION

TUTORIALS

Vamos Juntos Inventar o Futuro

Descubra como a colaboração e simulação de próxima geração estão aproximando o futuro de criativos, inovadores e empresas em todos os setores.

Registre-se no NVIDIA GTC 2021 para sessões gratuitas >

Enter the Omniverse

Deep dive into the platform through a series of GTC webinars hosted by Omniverse experts in various industries.

LEARN MORE

Mais Aplicações Omniverse

As aplicações Omniverse são desenvolvidas com o propósito de aprimorar workflows específicos. Veja-as em ação.

View

Design colaborativo, visualização imersiva e renderização fotorrealística para arquitetura, engenharia e construção.

SAIBA MAIS

Create

Acelere a construção avançada de mundos e monte, simule e renderize cenas na Pixar USD em tempo real de forma interativa.

SAIBA MAIS

Kaolin

Simplifique e acelere a pesquisa de deep learning em 3D usando a biblioteca Kaolin PyTorch da NVIDIA com esta poderosa ferramenta de visualização.

SAIBA MAIS

Machinima

Remixar, recriar e redefinir a narrativa de um videogame animado com um kit de ferramentas alimentado por AI para jogadores.

SAIBA MAIS

Isaac Sim

Importe, construa e teste robôs em um ambiente 3D fotorrealístico e de física de alta fidelidade.

SAIBA MAIS