NVIDIA Omniverse Audio2Face

Omniverse Audio2Face

Omniverse Audio2Face es una aplicación con tecnología de IA que genera animación facial expresiva desde simplemente una fuente de audio.

REQUISITOS DEL SISTEMA

Vista rápida: versión preliminar de acceso anticipado de Audio2Face

Audio2Face simplifica la animación de un personaje 3D para que coincida con cualquier pista de voz, tanto si estás animando personajes para un juego, para una película, como para asistentes digitales en tiempo real o simplemente por diversión. Puedes usar la aplicación para aplicaciones interactivas en tiempo real o como una herramienta tradicional de creación de animaciones faciales. Ejecuta los resultados en directo o prepáralos fuera, tú eliges.

El acceso anticipado a la aplicación Omniverse Audio2Face estará disponible en breve.

Audio2Face simplifies animation of a 3D character to match any voice-over track.

Cómo funciona

La aplicación Omniverse Audio2Face se basa en un original artículo de investigación de NVIDIA. Audio2Face viene cargado con "Digital Mark", un modelo de personaje 3D que se puede animar con tu pista de audio, por lo que empezar es muy sencillo. Solo tienes que seleccionar el audio y cargarlo en la aplicación. La tecnología alimenta la entrada de audio en una red neuronal profunda pre-entrenada y la salida de la red impulsa la animación facial de tu personaje en tiempo real. Los usuarios tienen la opción de editar varios parámetros de procesamiento posterior para editar el rendimiento del personaje. A continuación, la salida de la red impulsa los vértices 3D de la malla de personaje para crear la animación facial. Los resultados que se muestran en esta página son principalmente salidas raw de Audio2Face con pocos o ningún parámetro de procesamiento posterior editado.

(Nota: La compatibilidad con Direct Blendshape se lanzará en una fecha posterior)

Omniverse Audio2Face App

Ver Audio2Face en acción

Idiomas

Idiomas

Audio2Face podrá procesar cualquier idioma fácilmente. Vamos a añadir cada vez más idiomas de forma periódica. Echa un vistazo a estas pruebas en inglés, francés, italiano y ruso.

MIsty, el bot de chat animado

MIsty, el bot de chat animado

Presentado en GTC Spring 2020, Misty es un bot climático interactivo impulsado por Audio2Face en tiempo de ejecución. Hemos demostrado que reconvertir una malla humana realista a una malla de caracteres estilizada se utilizará como agente de servicio interactivo.

Omniverse Machinima

Omniverse Machinima

Presentado durante el lanzamiento de GeForce serie 30. Audio2Face se ve en la demostración de Omniverse Machinima. La animación facial es notoriamente compleja y prohibitiva en costes. Audio2Face automatiza la animación facial detallada para democratizar el proceso de creación de contenido 3D.

Próximas funciones: transferencia de personajes

Caras humanas

Caras humanas

Audio2Face puede utilizar cualquier pista de audio basada en diálogos y, eventualmente, tener la capacidad de reconvertirla en cualquier cara humana en 3D, ya sea realista o estilizada. Mira esta prueba mientras reconvertimos de Digital Mark a Rain.

Criaturas y alienígenas

Criaturas y alienígenas

Esta función te permite reconvertir y dirigir animaciones faciales de criaturas fantásticas y alienígenas. Aquí tenemos a Digital Mark impulsando el rendimiento del alienígena.

Obtén una visión más profunda de Audio2Face

Mira este resumen técnico presentado en la GTC 2020.

VISIONADO BAJO DEMANDA
Requisitos del sistema
Elemento Especificaciones mínimas
SO compatible Windows 10 de 64 bits, 1909 o más
CPU Intel i7, AMD Ryzen
Núcleos de CPU 4 o más
RAM 16 GB o más
Almacenamiento 500 GB o más
GPU Cualquier GPU RTX
VRAM 6 GB o más
Versión mínima del controlador de vídeo 455.28 (Linux), 456.71 (Windows)
Nota: Omniverse se ha creado para ejecutarse en cualquier equipo con tecnología de RTX. Para obtener un rendimiento óptimo, te recomendamos que utilices GeForce RTX 2080, Quadro RTX 5000 o posterior. Para obtener los controladores más recientes, visita Descargas de controladores de NVIDIA. Para Quadro, selecciona "Quadro New Feature Driver (QNF)".

Soporte

Únete a los foros de Omniverse
Consulta la documentación y las guías de soporte de Omniverse
Ve las formaciones y los tutoriales en vídeo de Omniverse.

INVENTEMOS
EL FUTURO JUNTOS

Descubre cómo la colaboración y la simulación de última generación posiciona a creadores, innovadores y empresas de todos los sectores a la vanguardia de su campo.

Registrarse en NVIDIA GTC 2021 para participar en las sesiones gratuitas >

Enter the Omniverse

Deep dive into the platform through a series of GTC webinars hosted by Omniverse experts in various industries.

LEARN MORE

Más aplicaciones de Omniverse

Las aplicaciones Omniverse están diseñadas especialmente para mejorar los flujos de trabajo específicos. Verlas en acción.

nvidia-omniverse-view-64

Ver

Diseño colaborativo, visualización envolvente y renderizado fotoreal para arquitectura, ingeniería y construcción

MÁS INFORMACIÓN
nvidia-omniverse-create-64

Crear

Acelera la creación de mundo avanzado y ensambla y simula interactivamente, y renderiza escenas en Pixar USD en tiempo real.

MÁS INFORMACIÓN
nvidia-omniverse-kaolin-icon-64

Kaolin

Simplifica y acelera la investigación en Deep Learning en 3D utilizando la biblioteca Kaolin PyTorch de NVIDIA con esta potente herramienta de visualización.

MÁS INFORMACIÓN
nvidia-omniverse-machinima-64

Machinima

Remezcla, vuelve a crear y redefine la narración de videojuegos animados con un kit de herramientas con tecnología de IA para jugadores.

MÁS INFORMACIÓN
nvidia-omniverse-isaac-sim-icon-64

Isaac Sim

Importa, crea y prueba los robots en un entorno de 3D físico de calidad fotoreal y de alta fidelidad.

MÁS INFORMACIÓN