NVIDIA Omniverse Audio2Face

Omniverse Audio2Face

Genere rápida y fácilmente animaciones faciales expresivas a partir de una fuente de audio con la tecnología Deep Learning AI de NVIDIA.

DESCARGAR BETA ABIERTA

Animación facial simplificada para la IA

Audio2Face simplifica la animación de un personaje 3D para que coincida con cualquier pista de voz en off, tanto si estás animando personajes para un juego, película, asistentes digitales en tiempo real como si es simplemente por diversión. Puedes usar la aplicación para aplicaciones interactivas en tiempo real o como una herramienta de creación de animación facial tradicional. Ejecuta los resultados en directo o prepáralos fuera, tú eliges.

Audio2Face simplifica la animación de un carácter 3D para que coincida con cualquier pista de voz en OFF.

Cómo funciona

Audio2Face está precargado con "Digital Mark", un modelo de personaje 3D que se puede animar con tu pista de audio, por lo que comenzar es simple: solo tienes que seleccionar tu audio y cargarlo. La entrada de audio se incorpora a una red neuronal profunda previamente entrenada y la salida impulsa los vértices 3D de la malla del personaje para crear la animación facial en tiempo real. También tienes la opción de editar varios parámetros de postprocesamiento para editar el rendimiento de tu personaje. Los resultados que ves en esta página son en su mayoría salidas sin procesar de Audio2Face con pocos o ningún parámetro de postprocesamiento editado.

Aplicación Omniverse Audio2Face
 
Audio2Face genera animación facial a través de la entrada de audio.

ENTRADA DE AUDIO

Utiliza una grabación o anima en directo

Solo tienes que grabar una pista de audio por voz, introducirla en la aplicación y ver cómo tu cara 3D cobra vida. Incluso puedes generar animaciones faciales en directo a través de un micrófono.

Audio2Face podrá procesar cualquier idioma fácilmente. Y estamos actualizándolo continuamente para incluir cada vez más idiomas. Echa un vistazo a estas pruebas en inglés, francés, italiano y ruso.

TRANSFERENCIA DE PERSONAJES

Intercambio de caras en un instante

Audio2Face te permite utilizar cualquier cara humana o similar en 3D, ya sea realista o estilizada. Mira esta prueba mientras reconvertimos de Digital Mark a un rinoceronte que canta.

 
Anima cualquier cara de personaje con Audio2Face
 
Utiliza varias instancias para generar animación facial para más de un personaje.

VARIAS INSTANCIAS

Exprésate a ti mismo o a todos a la vez

Es fácil ejecutar varias instancias de Audio2Face con tantos personajes en escena como quieras, todos animados a partir de la misma pista de audio o con pistas diferentes. Da vida y sonido en un diálogo entre un dueto, una actuación a capella de un trío, un cuarteto sincronizado y mucho más. Además, puedes marcar hacia arriba o hacia abajo el nivel de expresión facial en cada cara.

CONTROL DE EMOCIONES

Añádele emoción

Audio2Face te da la capacidad de elegir y animar las emociones de tu personaje en muy poco tiempo. La red manipula automáticamente el movimiento de la cara, los ojos, la boca, la lengua y la cabeza para que coincida con el rango emocional seleccionado y con diversos grados de intensidad.

Característica próximamente.

Añade emociones a la animación.

Ve Audio2Face en acción

Anima a cualquier personaje o criatura con Audio2Face

Criaturas y alienígenas

Impulsa la animación facial de criaturas fantásticas y alienígenas. Aquí tenemos a Digital Mark impulsando el rendimiento del alienígena.

Combina Audio2Face con IA conversacional para una experiencia de chatbot.

Misty, el bot de chat animado

Presentado en GTC Spring 2020, Misty es un bot meteorológico interactivo que es impulsado por Audio2Face en tiempo de ejecución. Demostramos la reconversión de una malla humana realista a una malla de caracteres estilizada para ser utilizada como un agente de servicio interactivo.

Audio2Face funciona con Omniverse Machinima.

Omniverse Machinima

Presentado durante el lanzamiento de la GeForce serie 30, Audio2Face se ve en la demostración de Omniverse Machinima. La animación facial es notoriamente compleja y de coste prohibitivo. Audio2Face automatiza la animación facial detallada para democratizar el proceso de creación de contenido 3D.   

SUMÉRGETE EN EL ÚLTIMO CONTENIDO DE OMNIVERSE

EMPIEZA A USAR OMNIVERSE AUDIO2FACE

Omniverse Machinima funciona en cualquier dispositivo NVIDIA RTX, desde un portátil hasta un centro de datos. Descarga Omniverse para empezar a explorar lo que puedes hacer.

Descarga NVIDIA Omniverse

1

Descarga NVIDIA Omniverse y ejecuta la instalación.

Abre el iniciador de Omniverse

2

Una vez instalada, abre el iniciador de Omniverse.

Busca Audio2Face en la sección Aplicaciones y haz clic en Instalar

3

Busca Audio2Face en la sección Aplicaciones y haz clic en Instalar y, a continuación, en Iniciar.

Obtén una visión más profunda de Audio2Face

Mira esta descripción técnica presentada en GTC 2020.

VER BAJO DEMANDA
Requisitos del sistema
Elemento Especificaciones mínimas
Sistema operativo compatible Windows 10 de 64 bits (versión 1909 y posterior)
CPU Intel i7, AMD Ryzen
2,5 GHz o más
Núcleos de CPU 4 o posterior
RAM 16 GB como mínimo
Almacenamiento 500 GB SSD o superior
GPU Cualquier GPU RTX
VRAM 6 GB como mínimo
Mín. versión de controlador de vídeo Mira los últimos controladores aquí
Nota: Omniverse se ha creado para ejecutarse en cualquier máquina con tecnología RTX. Para obtener un rendimiento óptimo, te recomendamos que utilices GeForce RTX 3070, NVIDIA RTX A4000, 8 Gb o superior.

Soporte

Únete a los foros de Omniverse
Consulta la documentación y las guías de soporte
Ver cursos y tutoriales de vídeo sobre Omniverse

Introduce el Omniverse

Sumergirnos en la plataforma a través de una serie de seminarios web, que cuentan con expertos de Omniverse en diversos sectores.

MÁS INFORMACIÓN

Más aplicaciones de Omniverse

Las aplicaciones Omniverse están diseñadas especialmente para mejorar los flujos de trabajo específicos. Verlas en acción.

View

View

Revisa de forma colaborativa proyectos de diseño con esta potente herramienta de visualización fotorrealista y físicamente precisa.

MÁS INFORMACIÓN
Create

Create

Acelera la creación de mundo avanzado y ensambla y simula interactivamente, y renderiza escenas en Pixar USD en tiempo real.

MÁS INFORMACIÓN
Kaolin

Kaolin

Simplifica y acelera la investigación en Deep Learning en 3D utilizando la biblioteca Kaolin PyTorch de NVIDIA con esta potente herramienta de visualización.

MÁS INFORMACIÓN
Machinima

Machinima

Remezcla, vuelve a crear y redefine la narración de videojuegos animados con un kit de herramientas con tecnología de IA para creadores de RTX.

MÁS INFORMACIÓN
Isaac Sim

Isaac Sim

Importa, crea y prueba los robots en un entorno de 3D físico de calidad fotorrealista y de alta fidelidad.

MÁS INFORMACIÓN
Controlador SIM

DRIVE Sim

Aprovecha una experiencia de simulación para el desarrollo de vehículos autónomos prácticamente indistinguible de la realidad.

MÁS INFORMACIÓN

REGÍSTRATE PARA PODER DESCARGAR

Productos
Recursos
Comunidad