NVIDIA Omniverse Audio2Face

Omniverse Audio2Face

Omniverse Audio2Face es una aplicación con IA que genera expresivas animaciones faciales a partir de una fuente de audio.

Animación Facial Fácil a Través de IA

Audio2Face simplifica la animación de un personaje 3D para que coincida con cualquier pista de narración, ya sean personajes de un juego, película, asistentes digitales en tiempo real o simplemente por diversión. Puede usarlo para aplicaciones interactivas en tiempo real o como una herramienta tradicional de creación de animación facial. Ejecute los resultados en vivo o más tarde: usted decide.

El Acceso Anticipado de la Aplicación Omniverse Audio2Face llegará pronto.

CÓMO FUNCIONA

La aplicación Omniverse Audio2Face se basa en un artículo de investigación original de NVIDIA. Audio2Face viene precargado con "Digital Mark", un modelo de personaje en 3D que puede animarse con su pista de audio, por lo que comenzar es simple. Simplemente seleccione su audio y cárguelo en la aplicación. La tecnología alimenta la entrada de audio a una red neuronal profunda previamente entrenada y la salida de la red impulsa la animación facial de tu personaje en tiempo real. Los usuarios tienen la opción de editar varios parámetros de posprocesamiento para editar la interpretación del personaje. La salida de la red luego maneja los vértices 3D de la malla de su personaje para crear la animación facial. Los resultados que ve en esta página son en su mayoría salidas sin procesar de Audio2Face con pocos o ningún parámetro de posprocesamiento editado.

(Nota: el soporte directo de blendshape se lanzará en una fecha posterior)

Omniverse Audio2Face App
 
Audio2Face generates facial animation through audio input.

ENTRADA DE AUDIO

Utilice una Grabación o Anime en Vivo

Simplemente grabe una pista de audio de voz, ingrese en la aplicación y vea cómo su rostro 3D cobra vida. Incluso puedes generar animaciones faciales en vivo a través de un micrófono.

Audio2Face podrá procesar cualquier idioma fácilmente. Y estamos actualizando continuamente con más y más idiomas. Consulte estas pruebas en inglés, francés, italiano y ruso.

TRANSFERENCIA DE CARACTERES

Haz que Cualquier Rostro Cobre Vida

Audio2Face te permite redirigir a cualquier rostro humano en 3D, ya sea realista o estilizado. Vea esta prueba mientras reorientamos de Digital Mark a Rain.

 
Omniverse View includes RTX Renderer
 
Use multiple instances to generate facial animation for more than one character.

MÚLTIPLES INSTANCIAS

Acto Solista o Coro

Es fácil ejecutar varias instancias de Audio2Face con tantos personajes en una escena como desee, todos animados de la misma o diferentes pistas de audio. Respire vida y sonido en un diálogo entre un dúo, un canto entre un trío, un cuarteto sincronizado, y más.

CONTROLE EMOCIONAL

Trae el Drama

Audio2Face te da la capacidad de elegir y animar las emociones de tu personaje: la red manipula automáticamente el movimiento de la cara, los ojos, la boca, la lengua y la cabeza para que coincida con tu rango emocional seleccionado.

Disponibilidad muy brevemente

Add emotions to your animation.

Vea Audio2Face en Acción

Criaturas y Extraterrestres

Impulsa la animación facial de criaturas fantásticas y extraterrestres. Aquí tenemos a Digital Mark impulsando el desempeño del Alien.

Misty, el Bot de Chat Animado

Presentada en GTC Spring 2020, Misty es un bot meteorológico interactivo impulsado por Audio2Face en tiempo de ejecución. Demostramos la reorientación de una malla humana realista a una malla de caracteres estilizada para ser utilizada como un agente de servicio interactivo.

Omniverse Machinima

Presentado durante el lanzamiento de la serie GeForce 30, Audio2Face se ve en la demostración de Omniverse Machinima. La animación facial es notoriamente compleja y tiene un costo prohibitivo. Audio2Face automatiza la animación facial detallada para democratizar el proceso de creación de contenido 3D.

Comenzar a Usar Omniverse AUDIO2FACE

funciona en cualquier dispositivo NVIDIA RTX, desde la laptop hasta el data center. Descarga Omniverse para comenzar.

Download NVIDIA Omniverse

1

Descarga NVIDIA Omniverse y ejecuta el instalador.

Open the Omniverse Launcher

2

Una vez instalado, abre el ejecutador de Omniverse.

Find Audio2Face in the Apps section and click Install

3

Busque Audio2Face en la Sección de aplicaciones y haga clic en Instalar, luego en Iniciar.

OBTENGA UNA MIRADA MÁS PROFUNDA A AUDIO2FACE

Vea esta descripción general técnica presentada en GTC 2020.

Sumérjase en los Últimos Avances en Colaboración y Simulación Virtual

Vea cómo Omniverse puede transformar su workflow de animación de personajes en 3D en nuestras principales sesiones de GTC de 2021, ahora disponibles bajo demanda.

Requisitos del Sistema
Elemento Especificaciones Mínimas
Compatibilidad con OS Windows 10 64-bit 1909 o más
CPU Intel I7, AMD Ryzen
2.5GHz o más
CPU Cores 4 o más
RAM 16Gb o más
Almacenamiento SSD de 500Gb o superior
GPU Cualquier GPU RTX
VRAM 6Gb o más
Versión de Driver de Video Mínimaa 455.28 (Linux), 456.71 (Windows)
Nota: Omniverse está diseñado para ejecutarse en cualquier máquina con tecnología RTX. Para un rendimiento ideal, recomendamos utilizar GeForce RTX 2080, Quadro RTX 5000 o superior. Para obtener los controladores más recientes, visite aquí.

SOPORTE

Enter the Omniverse

Deep dive into the platform through a series of GTC webinars hosted by Omniverse experts in various industries.

Más Aplicaciones de Omniverse

Las aplicaciones Omniverse están diseñadas específicamente para mejorar workflows específicos. Véalos en acción.

nvidia-omniverse-view-64

View

Revise de forma colaborativa proyectos de diseño con esta potente herramienta de visualización fotorrealista y físicamente precisa.

nvidia-omniverse-create-64

Create

Acelera la construcción de mundos avanzados y ensambla, simula y renderiza escenas de forma interactiva en Pixar USD en tiempo real.

nvidia-omniverse-kaolin-icon-64

Kaolin

Simplifique y acelere la investigación de deep learning en 3D utilizando la biblioteca Kaolin PyTorch de NVIDIA con esta poderosa herramienta de visualización.

Machinima

Machinima

Mezcla, recrea y redefine la narración de videojuegos animados con un kit de herramientas con tecnología de inteligencia artificial para jugadores.

Isaac Sim

Isaac Sim

Importe, cree y pruebe robots en un entorno 3D de física fotorrealista y de alta fidelidad.

Drive Sim

DRIVE Sim

Aproveche una experiencia de simulación para el desarrollo de vehículos autónomos que es prácticamente indistinguible de la realidad.