NVIDIA Omniverse Audio2Face

Beta

Omniverse Audio2Face

Crie animações faciais expressivas instantaneamente a partir de uma fonte de áudio usando AI generativas.

Comece Agora

Áudio para Animação Facilitado com AI Generativa

A versão beta do Omniverse™ Audio2Face é uma aplicação de referência que simplifica a animação de personagens 3D para que ela corresponda à faixa de dublagem, seja na animação de personagens de um game ou filme, de assistentes digitais em tempo real ou só por diversão. Use a aplicação para interações em tempo real ou como ferramenta tradicional de criação de animações faciais. Gere os resultados em tempo real ou deixe-os para depois, a escolha é sua.

O Audio2Face simplifica a animação de personagens 3D para corresponder a qualquer faixa de dublagem.

Como Funciona

O Audio2Face está pré-carregado com o "Digital Mark", um modelo de personagem 3D que pode ser animado com uma faixa de áudio. Para começar, é simples: selecione o áudio e faça o upload. A entrada de áudio é introduzida em uma Rede Neural Profunda pré-treinada, e a saída impulsiona os vértices 3D da malha do personagem para criar a animação facial em tempo real. Também existe a opção de editar vários parâmetros de pós-processamento para editar o comportamento do personagem. Os resultados exibidos nesta página são, na maioria, saídas brutas do Audio2Face com pouco ou nenhum parâmetro de pós-processamento editado.

Aplicação Omniverse Audio2Face
 
O Audio2Face gera a animação facial por uma entrada de áudio.

Entrada de Áudio

Use uma Gravação ou Crie uma Animação em Tempo Real

Basta gravar uma faixa de áudio de voz, inserir na aplicação e ver o rosto 3D ganhar vida. Você pode até mesmo gerar animações faciais em tempo real usando um microfone.

O Audio2Face é capaz de processar qualquer idioma facilmente. E estamos sempre atualizando com cada vez mais idiomas.  

Transferência entre Personagens

Troca Facial Instantânea

O Audio2Face permite que você redirecione para qualquer rosto 3D humano ou similar ao humano, seja de forma realista ou estilizada.  Isso permite fazer uma troca de personagens imediata, seja humano ou animal, em apenas alguns cliques.

 
Anime qualquer rosto de personagem com o Audio2Face
 
Use várias instâncias para gerar animações faciais para mais de um personagem

Dimensione o Resultado

Crie a Sua Expressão ou a Expressão de Todos ao Mesmo Tempo

É fácil executar várias instâncias do Audio2Face com quantos personagens você quiser em uma cena, todas animadas a partir das mesmas faixas de áudio ou de áudios diferentes. Dê vida e som ao diálogo entre uma dupla, uma batalha musical entre um trio, um quarteto sincronizado e muito mais. Além disso, é possível aumentar ou reduzir o nível de expressão facial de cada rosto e gerar vários arquivos de animação em massa a partir de várias fontes de áudio.

Controle de Emoção

Demonstre Toda a Emoção

O Audio2Face permite escolher e animar as emoções dos seus personagens em um piscar de olhos. A rede AI manipula automaticamente o rosto, os olhos, a boca, a língua e o movimento da cabeça para corresponder ao leque de emoções selecionado e ao nível de intensidade personalizado ou inferir automaticamente a emoção diretamente a partir do clipe de áudio.

 
Adicione emoções à sua animação.
 
Adicione emoções à sua animação.

Crédito do Elemento Artístico: Blender Studio

Conversão de Dados

Conecte-se e Converta

A atualização mais recente do Omniverse Audio2Face agora permite conversão por blendshape e opções de exportação de blendweight. Além disso, a aplicação agora é compatível com importação e exportação com Blendshapes para Blender e Unreal Engine da Epic Games para gerar movimento em personagens usando seus respectivos Conectores Omniverse.

Veja o Audio2Face em Ação

Saiba Mais
Anime qualquer personagem ou criatura com o Audio2Face

Criaturas e Alienígenas

Impulsione a animação facial de criaturas e alienígenas fantásticos. Aqui temos a Digital Mark impulsionando o comportamento do alienígena.

Combine o Audio2Face com a AI conversacional para uma experiência de chatbot.

Misty, o Chatbot Animado

Apresentado no GTC no segundo trimestre de 2020, Misty é um bot meteorológico interativo que é impulsionado pelo Audio2Face em tempo de execução. Demonstramos o redirecionamento de uma malha humana realista para uma malha estilizada de personagem para ser usada como um agente de serviço interativo.

O Audio2Face funciona com o Omniverse Machinima.

Omniverse Machinima

Revelado durante o lançamento da GeForce Série 30, o Audio2Face é visto na demonstração do Omniverse Machinima. A animação facial é reconhecidamente complexa e de altíssimo custo. O Audio2Face automatiza a animação facial detalhada para democratizar o processo de criação de conteúdo 3D.   

O NVIDIA Omniverse está me ajudando a alcançar resultados mais naturais para meus humanos digitais e acelerando o meu workflow para que eu possa gastar mais tempo no processo criativo.

— Anderson Rohr, Artista 3D

Experimente o NVIDIA Omniverse Hoje Mesmo

Encontre a licença ideal para o seu workflow 3D e comece a usar o Omniverse imediatamente.

Comece Agora
nvidia-omniverse-creators-3c33-D

Criadores

Download e Criações Gratuitos

O Omniverse funciona como um hub para conectar e aprimorar perfeitamente aplicações de criação 3D, unificando elementos artísticos, bibliotecas e ferramentas para um workflow sem interrupções e permitindo que os artistas alcancem novos níveis de liberdade criativa.

Saiba Mais
Desenvolvedores

Desenvolvedores

Desenvolvimento e Distribuição Gratuitos

O Omniverse foi desenvolvido pensando em desenvolvedores e oferece a eles a capacidade de personalizar os workflows 3D em todas as camadas para criar conectores, extensões, aplicações e microsserviços do Omniverse com facilidade.

Saiba Mais
nvidia-omniverse-enterprise-3c33-D

Empresarial

Teste Gratuito I Licença Anual

O Omniverse Enterprise transforma workflows complexos de design para empresas de todos os portes. Ele permite a colaboração em tempo real com vários usuários e locais, usando diversas aplicações com dados centralizados do projeto.

Saiba Mais

Como Instalar o Omniverse Audio2Face

Faça Download do NVIDIA Omniverse
Abra o Inicializador do Omniverse

Etapa 2

Após a instalação, abra o inicializador do Omniverse.

Localize

Etapa 3

Localize "Omniverse Audio2Face" na seção "Apps" (Aplicações), clique em "Install" (Instalar) e em "Launch" (Abrir).

Requisitos de Sistema
Elemento Especificações Mínimas Especificações Mínimas
Sistema Operacional Compatível Windows 10 (Versão 1903 e superior) Windows 10 (Versão 1903 e superior)
CPU Intel Core i5 de 10ª Geração
AMD Ryzen 5 de 5ª Geração		 Intel Core i7 de 13ª Geração
AMD Ryzen 7 de 7ª Geração
RAM 16 GB 32 GB
Armazenamento SSD de 250 GB SSD de 250 GB
GPU GPUs RTX com 8 GB GeForce RTX 4070 Ti, NVIDIA RTX A4500 ou superior
Versão Mínima do Driver de Vídeo Veja os drivers mais atuais aqui Veja os drivers mais atuais aqui

Veja Tutoriais Passo a Passo

Descubra Mais Aplicações do Omniverse

Descubra o pacote completo de aplicações e conectores do NVIDIA Omniverse ou experimente nossas recomendações abaixo.

Criar

Codificar

Um ambiente de desenvolvimento integrado para desenvolvedores e usuários avançados criarem facilmente extensões, aplicações ou microsserviços do Omniverse.

Saiba Mais
Machinima

Machinima

Reformule, recrie e redefina as animações narrativas de videogames com um Kit de Ferramentas com tecnologia fornecida por AI para criadores.

Saiba Mais
USD Composer

USD Composer

Acelere a criação avançada de mundos com a USD da Pixar e monte, simule e renderize cenas de modo interativo em tempo real.

Saiba Mais
USD Presenter

USD Presenter

Faça a revisão colaborativa de projetos de design com essa poderosa ferramenta de visualização fotorrealista e fisicamente precisa.

Saiba Mais

Participe da Nossa Comunidade

Acesse os Tutoriais

Aproveite centenas de tutoriais e sessões gratuitos ou o treinamento para iniciantes e saiba como começar a usar a USD. 

Central de Recursos

Seja um Omnivore

Venha fazer parte da nossa comunidade! Assista a nossas livestreams semanais na Twitch e converse conosco no canal do Discord e nos fóruns.

Calendário de Livestreams

Receba Suporte Técnico

Problemas? Faça perguntas nos fóruns para receber dicas rápidas de especialistas no Omniverse ou consulte a documentação da plataforma.

Fóruns

Mostre Seu Trabalho

Criou uma obra-prima no Omniverse? Envie-a para a Galeria Omniverse, uma fonte de inspiração para você e para outras pessoas.

Galeria Omniverse

Confira todas as sessões inspiradoras do GTC on demand.

A Conferência para Desenvolvedores para a Era da AI e do Metaverso

Confira todas as sessões inspiradoras do GTC on demand.

A Conferência para Desenvolvedores para a Era da AI e do Metaverso

Conecte seus mundos criativos a um universo de possibilidades com o NVIDIA Omniverse.

  •

    Omniverse de Um Artista: Como Criar Mundos Virtuais Fotorrealistas em Larga Escala
    • Gabriele Leone, Diretor de Arte Sênior, NVIDIA

    Ouça os artistas ambientais especialistas da NVIDIA e veja como 30 artistas construíram uma icônica demonstração de vários mundos em três meses. Mergulhe em um workflow com Adobe Substance 3D Painter, Photoshop, Autodesk 3ds Max, Maya, Blender, Modo, Maxon Zbrush, SideFX Houdini e NVIDIA Omniverse Create, e veja como os artistas criaram uma cena enorme que demonstra as tecnologias mais atuais de NVIDIA RTX, AI e física.

    Veja os Detalhes >

  •

    A Próxima Evolução do Universal Scene Description (USD) para Criar Mundos Virtuais
    • Aaron Luk, Gerente Sênior de Engenharia, Omniverse, NVIDIA

    O Universal Scene Description é mais do que apenas um formato de arquivo. Esse framework de composição de mundos aberto, potente e facilmente extensível tem APIs para criar, editar, consultar, renderizar, simular e colaborar em mundos virtuais. A NVIDIA continua investindo em ajudar a desenvolver o USD para workflows além de mídia e entretenimento para possibilitar o metaverso industrial e a próxima onda de AI. Participe desta sessão para ver por que entramos "com tudo" no USD, nosso roteiro de desenvolvimento de USD, e saiba mais sobre nossos projetos e iniciativas recentes na NVIDIA e em nosso ecossistema de parceiros.

    Veja os Detalhes >

  •

    Bases do Metaverso: HTML para Mundos Virtuais 3D
    • Michael Kass, Engenheiro Sênior de Destaque, NVIDIA
    • Rev Lebaredian, Vice-Presidente de Tecnologia de Simulação e Engenharia do Omniverse, NVIDIA
    • Guido Quaroni, Diretor Sênior de Engenharia da 3D & Immersive, Adobe
    • Steve May, Vice-Presidente, CTO, Pixar
    • Mason Sheffield, Diretor Sênior de Tecnologia Criativa, Lowe's Innovation Labs, Lowe's
    • Natalya Tatarchuk, Profissional Destacado por Conhecimentos Técnicos e Arquiteta-Chefe, Inovação Gráfica e Arte Profissional, Unity
    • Matt Sivertson, Vice-Presidente e Arquiteto-Chefe, Mídia e Entretenimento, Autodesk
    • Mattias Wikenmalm, Especialista Sênior, Volvo Cars

    Participe desta sessão para ouvir um painel de líderes técnicos reconhecidos falarem sobre o Universal Scene Description (USD) como padrão para a evolução 3D da internet: o metaverso. Esses participantes ilustres discutirão por que estão investindo ou adotando o USD e quais avanços tecnológicos precisam ser feitos para podermos utilizar todo o seu verdadeiro potencial.

    Veja os Detalhes >

  •

    Como Criar Elementos Artísticos USD 3D Prontos para Simulação
    • Renato Gasoto, Engenheiro de Robótica e AI, NVIDIA 
    • Beau Perschall, Diretor, Omniverse Sim Data Ops, NVIDIA

    A próxima onda de setores e AI exige a criação de mundos virtuais fisicamente precisos indistinguíveis da realidade. Criar mundos virtuais é difícil, e o universo atual de elementos artísticos 3D é insatisfatório, com apenas a representação visual de um objeto. Seja criando digital twins ou mundos virtuais para treinar e testar veículos ou robôs autônomos, os elementos artísticos 3D precisam de muito mais propriedades técnicas, exigindo a necessidade de desenvolvimento e adoção de novos processos, técnicas e ferramentas. A NVIDIA está apresentando uma nova classe de elementos artísticos 3D chamados "SimReady", os componentes básicos dos mundos virtuais. Os elementos artísticos SimReady são mais do que apenas objetos 3D, pois englobam propriedades físicas, comportamentos e workflows precisos, além de fluxos de dados conectados criados com base no Universal Scene Description (USD). Mostraremos como começar a usar os elementos artísticos USD SimReady e apresentaremos as ferramentas e as técnicas necessárias para desenvolver e testar esses elementos.

    Veja os Detalhes >

  •

    Como a Computação Espacial Está Indo para a Hiperescala
    • Omer Shapira, Engenheiro Sênior, Omniverse, NVIDIA

    Os recentes avanços em pipelines de computação possibilitaram saltos na tecnologia centrada no corpo humano, como realidade virtual (VR) com ray tracing total. Simultaneamente, os gargalos de rede diminuíram ao ponto de tornar realidade o streaming de pixels diretamente dos data centers para os HMDs. Confira a palestra para descobrir o potencial da computação centrada no corpo humano na escala do data center e quais aplicações, experiências e novas ciências ela possibilita.

    Veja os Detalhes >

Confira as Sessões
Três headshots com fundos escuros variando entre cinza escuro e roxo escuro. O headshot à esquerda mostra um homem de camisa cinza com uma faixa dourada que diz Stephen Jones, NVIDIA. O headshot do meio mostra uma mulher de camisa vermelha com uma faixa dourada que diz Anima Anandkumar, NVIDIA. O headshot à direita mostra um homem de camisa preta e colarinho cinza com uma faixa dourada que diz Ian Buck, NVIDIA.

Fale Conosco

Discord
Discord
Instagram
Instagram
LinkedIn
LinkedIn
Medium
Medium
Twitch
Twitch
Twitter
Twitter
YouTube
YouTube

Fique por dentro últimas notícias sobre o NVIDIA Omniverse.

Inscreva-se
Produtos
Recursos
Comunidade