NVIDIA Omniverse Audio2Face

Omniverse Audio2Face

Omniverse Audio2Face es una aplicación con tecnología de IA que genera animación facial expresiva desde simplemente una fuente de audio.

Descargar beta abierta

Animación facial fácil gracias a la IA

Audio2Face simplifica la animación de un personaje 3D para que coincida con cualquier pista de voz, tanto si estás animando personajes para un juego, para una película, como para asistentes digitales en tiempo real o simplemente por diversión. Puedes usar la aplicación para aplicaciones interactivas en tiempo real o como una herramienta tradicional de creación de animaciones faciales. Ejecuta los resultados en directo o prepáralos fuera, tú eliges.

Audio2Face simplifies animation of a 3D character to match any voice-over track.

Cómo funciona

La aplicación Omniverse Audio2Face se basa en un original artículo de investigación de NVIDIA. Audio2Face viene cargado con "Digital Mark", un modelo de personaje 3D que se puede animar con tu pista de audio, por lo que empezar es muy sencillo. Solo tienes que seleccionar el audio y cargarlo en la aplicación. La tecnología alimenta la entrada de audio en una red neuronal profunda pre-entrenada y la salida de la red impulsa la animación facial de tu personaje en tiempo real. Los usuarios tienen la opción de editar varios parámetros de procesamiento posterior para editar el rendimiento del personaje. A continuación, la salida de la red impulsa los vértices 3D de la malla de personaje para crear la animación facial. Los resultados que se muestran en esta página son principalmente salidas raw de Audio2Face con pocos o ningún parámetro de procesamiento posterior editado.

(Nota: La compatibilidad con Direct Blendshape se lanzará en una fecha posterior)

Omniverse Audio2Face App
 
Audio2Face genera animación facial a través de la entrada de audio.

ENTRADA DE AUDIO

Utiliza una grabación o anima en directo

Solo tienes que grabar una pista de audio por voz, introducirla en la aplicación y ver cómo tu cara 3D cobra vida. Incluso puedes generar animaciones faciales en directo a través de un micrófono.

Audio2Face podrá procesar cualquier idioma fácilmente. Y estamos actualizándolo continuamente para incluir cada vez más idiomas. Echa un vistazo a estas pruebas en inglés, francés, italiano y ruso.

TRANSFERENCIA DE PERSONAJES

Haz que cualquier cara cobre vida

Audio2Face te permite utilizar cualquier cara humana o parecida en 3D, ya sea realista o estilizada. Mira esta prueba mientras reconvertimos de Digital Mark a Rain.

 
Omniverse View incluye el renderizador RTX
 
Utiliza varias instancias para generar animación facial para más de un personaje.

VARIAS INSTANCIAS

Actúa en solitario o en grupo

Es fácil ejecutar varias instancias de Audio2Face con tantos personajes en escena como quieras, todos animados a partir de la misma pista de audio o con pistas diferentes. Insufla vida y sonido en un diálogo entre un dueto, una actuación a capella de un trío, un cuarteto sincronizado y mucho más.

CONTROL DE EMOCIONES

Añádele emoción

Audio2Face te permite elegir y animar las emociones de tu personaje: la red manipula automáticamente el rostro, los ojos, la boca, la lengua y el movimiento de la cabeza para que coincida con el espectro emocional seleccionado.

Añade emociones a la animación.

Ver Audio2Face en acción

Animate any character or creature with Audio2Face

Criaturas y alienígenas

Impulsa la animación facial de criaturas fantásticas y alienígenas. Aquí tenemos a Digital Mark impulsando el rendimiento del alienígena.

Combine Audio2Face with conversational AI for a chatbot experience.

MIsty, el bot de chat animado

Presentado en GTC Spring 2020, Misty es un bot climático interactivo impulsado por Audio2Face en tiempo de ejecución. Hemos demostrado que reconvertir una malla humana realista a una malla de caracteres estilizada se utilizará como agente de servicio interactivo.

Audio2Face works with Omniverse Machinima.

Omniverse Machinima

Presentado durante el lanzamiento de GeForce serie 30. Audio2Face se ve en la demostración deOmniverse Machinima. La animación facial es notoriamente compleja y prohibitiva en costes. Audio2Face automatiza la animación facial detallada para democratizar el proceso de creación de contenido 3D.

Empieza a usar Omniverse AUDIO2FACE

Omniverse View funciona en cualquier dispositivo NVIDIA RTX, desde un portátil hasta un centro de datos. Descarga Omniverse para empezar.

Download NVIDIA Omniverse

1

Descarga NVIDIA Omniverse y ejecuta la instalación.

Open the Omniverse Launcher

2

Una vez instalado, abre el iniciador de Omniverse.

Find Audio2Face in the Apps section and click Install

3

Busca Audio2Face en la sección Aplicaciones y haz clic en Instalar. Después, iníciala.

Obtén una visión más profunda de Audio2Face

Mira este resumen técnico presentado en la GTC 2020.

VISIONADO BAJO DEMANDA
Requisitos del sistema
Elemento Especificaciones mínimas
SO compatible Windows 10 de 64 bits 1909 y versiones posteriores
CPU Intel i7, AMD Ryzen
2,5 GHz o más
Núcleos de CPU 4 o más
RAM 16 GB o más
Almacenamiento 500 GB o más
GPU Cualquier GPU RTX
VRAM 6 GB o más
Versión mínima del controlador de vídeo 455.28 (Linux), 456.71 (Windows)
Nota: Omniverse se ha creado para ejecutarse en cualquier máquina con tecnología RTX. Para obtener un rendimiento óptimo, te recomendamos que utilices GeForce RTX 2080, Quadro RTX 5000 o posterior. Para ver los últimos controladores, ve aquí.

Soporte

Únete a los foros de Omniverse
Consulta la documentación y las guías de soporte de Omniverse
Ve las formaciones y los tutoriales en vídeo de Omniverse.

INVENTEMOS
EL FUTURO JUNTOS

Descubre cómo la colaboración y la simulación de última generación posiciona a creadores, innovadores y empresas de todos los sectores a la vanguardia de su campo.

Registrarse en NVIDIA GTC 2021 para participar en las sesiones gratuitas >

Enter the Omniverse

Deep dive into the platform through a series of GTC webinars hosted by Omniverse experts in various industries.

LEARN MORE

Más aplicaciones de Omniverse

Las aplicaciones Omniverse están diseñadas especialmente para mejorar los flujos de trabajo específicos. Verlas en acción.

nvidia-omniverse-view-64

Ver

Diseño colaborativo, visualización envolvente y renderizado fotoreal para arquitectura, ingeniería y construcción

MÁS INFORMACIÓN
nvidia-omniverse-create-64

Crear

Acelera la creación de mundo avanzado y ensambla y simula interactivamente, y renderiza escenas en Pixar USD en tiempo real.

MÁS INFORMACIÓN
nvidia-omniverse-kaolin-icon-64

Kaolin

Simplifica y acelera la investigación en Deep Learning en 3D utilizando la biblioteca Kaolin PyTorch de NVIDIA con esta potente herramienta de visualización.

MÁS INFORMACIÓN
Machinima

Machinima

Remezcla, vuelve a crear y redefine la narración de videojuegos animados con un kit de herramientas con tecnología de IA para jugadores.

MÁS INFORMACIÓN
Isaac Sim

Isaac Sim

Importa, crea y prueba los robots en un entorno de 3D físico de calidad fotoreal y de alta fidelidad.

MÁS INFORMACIÓN
Drive Sim

DRIVE Sim

Aprovecha una experiencia de simulación para el desarrollo de vehículos autónomos prácticamente indistinguible de la realidad.

MÁS INFORMACIÓN