NVIDIA Omniverse Audio2Face

Omniverse Audio2Face

Omniverse Audio2Face è un'applicazione basata su IA che genera un'animazione facciale espressiva da una sola sorgente audio.

REQUISITI DI SISTEMA

Anteprima: accesso anticipato ad Audio2Face

Audio2Face semplifica l'animazione di un personaggio 3D abbinandolo a qualsiasi traccia vocale, nelle animazioni di personaggi di gioco, film, assistenti digitali in tempo reale o solo per divertimento. Puoi utilizzare l'app per applicazioni interattive in tempo reale o come strumento di creazione di animazioni facciali. Esegui i risultati in tempo reale o preparali per dopo.

L'accesso anticipato all'app Omniverse Audio2Face sarà presto disponibile.

Audio2Face simplifies animation of a 3D character to match any voice-over track.

Come funziona

L'app Omniverse Audio2Face si basa su un documento originale di NVIDIA Research. Audio2Face è precaricato con "Digital Mark", un modello di personaggio 3D che può essere animato con una traccia audio, per cui iniziare è molto semplice. Basta selezionare l'audio e caricarlo nell'app. La tecnologia alimenta l'input audio in una rete neurale profonda pre-addestrata e l'output della rete genera l'animazione facciale del personaggio in tempo reale. È possibile modificare vari parametri post-elaborazione per alterare le prestazioni del personaggio. L'output della rete genera quindi i vertici 3D del mesh del personaggio per creare l'animazione facciale. I risultati che vedi in questa pagina sono principalmente output non elaborati generati da Audio2Face con parametri di post-elaborazione poco o non modificati.

Nota: il supporto per blendshape diretto verrà rilasciato in un secondo momento.

Omniverse Audio2Face App

Vedi Audio2Face in azione

Lingue

Lingue

Audio2Face è in grado di elaborare qualsiasi lingua facilmente. Stiamo aggiungendo sempre più lingue. Guarda questi test in inglese, francese, italiano e russo.

Misty, il chatbot animato

Misty, il chatbot animato

Presentato al GTC della primavera 2020, Misty è un bot meteo interattivo basato su Audio2Face in fase di esecuzione. Abbiamo mostrato il retargeting da un mesh umano realistico a un mesh di personaggi stilizzati da utilizzare come operatore di assistenza interattivo.

Omniverse Machinima

Omniverse Machinima

Presentato durante il lancio di GeForce serie 30, Audio2Face è visibile nella demo di Omniverse Machinima. L'animazione facciale è notoriamente complessa e molto costosa. Audio2Face automatizza l'animazione facciale dettagliata per democratizzare il processo di creazione di contenuti 3D. /p>

Funzionalità in arrivo - Trasferimento personaggi

Volti umani

Volti umani

Audio2Face può utilizzare qualsiasi traccia audio basata su dialoghi ed eventualmente eseguire il retargeting di qualsiasi volto umano in 3D, realistico o stilizzato. Guarda questo test di retargeting da Digital Mark a Rain.

Creature e alieni

Creature e alieni

È possibile eseguire il retargeting e guidare l'animazione facciale di creature fantastiche e alieni. Qui abbiamo Digital Mark che guida le prestazioni di Alien.

Uno sguardo più approfondito a Audio2Face

Guarda questa panoramica tecnica presentata al GTC 2020.

GUARDA ON-DEMAND
Requisiti di sistema
Elemento Specifiche minime
SO supportati Windows 10 64-bit, 1909 o superiore
CPU Intel I7, AMD Ryzen
Core CPU 4 o superiore
RAM 16 GB o superiore
Spazio di archiviazione 500 GB o superiore
GPU Qualsiasi GPU RTX
VRAM 6 GB o superiore
Minimo Versione più aggiornata dei driver 455,28 (Linux), 456,71 (Windows)
Nota: Omniverse è stato progettato per essere eseguito su qualsiasi computer basato su RTX. Per prestazioni ottimali, si consiglia di utilizzare GeForce RTX 2080, Quadro RTX 5000 o superiore. Per i driver più recenti, visita Download dei driver NVIDIA. Per Quadro, seleziona "Quadro New Feature Driver (QNF)".

Assistenza

Partecipa ai forum di Omniverse
Consulta la documentazione di supporto e le guide di Omniverse
Guarda i tutorial video e i corsi di formazione di Omniverse.

INVENTIAMO
IL FUTURO INSIEME

Scopri come la collaborazione e la simulazione di nuova generazione stanno rendendo il futuro più vicino per creativi, innovatori e aziende in tutti i settori.

Registrati alle sessioni gratuite del GTC 2021 di NVIDIA >

Enter the Omniverse

Deep dive into the platform through a series of GTC webinars hosted by Omniverse experts in various industries.

LEARN MORE

Altre app Omniverse

Le app Omniverse sono progettate appositamente per migliorare flussi di lavoro specifici. Guardale in azione.

nvidia-omniverse-view-64

View

Design collaborativo, visualizzazione immersiva e rendering fotorealistico per architettura, ingegneria e costruzioni

SCOPRI DI PIÙ
nvidia-omniverse-create-64

Create

Accelera la creazione di mondi avanzati e assembla, simula ed esegue il rendering di scene in Pixar USD in tempo reale.

SCOPRI DI PIÙ
nvidia-omniverse-kaolin-icon-64

Kaolin

Semplifica e accelera la ricerca 3D deep learning con la libreria NVIDIA PyTorch Kaolin e questo potente strumento di visualizzazione.

SCOPRI DI PIÙ
nvidia-omniverse-machinima-64

Machinima

Cambia gli abbinamenti, ricrea e ridefinisci la narrazione animata dei videogame con un kit di strumenti basato su IA per i giocatori.

SCOPRI DI PIÙ
nvidia-omniverse-isaac-sim-icon-64

Isaac Sim

Importa, costruisci e collauda i robot in un ambiente 3D fisico ad alta fedeltà e fotorealistico.

SCOPRI DI PIÙ