Omniverse Audio2Face

Genera rapidamente e facilmente animazioni facciali espressive da una semplice sorgente audio con la tecnologia AI Deep Learning di NVIDIA.

SCARICA LA OPEN BETA

REQUISITI DI SISTEMA | GUIDA ALLA CONFIGURAZIONE

L'animazione facciale diventa semplice con l'IA

Audio2Face semplifica l'animazione di un personaggio 3D abbinandolo a qualsiasi traccia vocale, nelle animazioni di personaggi di gioco, film, assistenti digitali in tempo reale o solo per divertimento. Puoi utilizzare l'app per applicazioni interattive in tempo reale o come strumento di creazione di animazioni facciali. Esegui i risultati in tempo reale o preparali per dopo.

Come funziona

Audio2Face è precaricato con "Digital Mark", un modello di personaggio 3D che può essere animato con una traccia audio, per cui iniziare è molto semplice: seleziona la sorgente audio e caricala. L'input audio viene quindi trasmesso a una rete neurale profonda pre-addestrata e l'output genera i vertici 3D del mesh del personaggio per creare l'animazione facciale in tempo reale. È anche possibile modificare vari parametri post-elaborazione per alterare le prestazioni del personaggio. I risultati che vedi in questa pagina sono principalmente output non elaborati generati da Audio2Face con parametri di post-elaborazione poco o non modificati.

INPUT AUDIO

Usa una registrazione o l'animazione in tempo reale

Registra semplicemente una traccia audio, inseriscila nell'app e guarda il tuo volto in 3D prendere vita. Puoi anche generare animazioni dei volti in tempo reale con il microfono.

Audio2Face è in grado di elaborare qualsiasi lingua facilmente. Nuove lingue vengono aggiunte costantemente. Guarda questi test in inglese, francese, italiano e russo.

TRASFERIMENTO DI PERSONAGGI

Scambio di volto in un istante

Audio2Face permette di eseguire il retargeting di qualsiasi volto umano o in 3D, realistico o stilizzato. Guarda questo test di retargeting da Digital Mark a Rhino!.

PIÙ ISTANZE

L'espressione senza limiti

È facile eseguire più istanze di Audio2Face con tutti i personaggi che vuoi in una scena, il tutto animato dalla stessa o da diverse tracce audio. Infondi vita e suono in un dialogo tra due, un trio, un quartetto sincronizzato e non solo. Inoltre, puoi aumentare o ridurre il livello di espressione facciale su ciascun volto.

CONTROLLO DELLE EMOZIONI

Nel vivo della scena

Audio2Face ti offre la possibilità di scegliere e animare le emozioni del tuo personaggio: la rete manipola automaticamente il volto, gli occhi, la bocca, la lingua e il movimento della testa in base alla gamma emotiva selezionata.

La funzionalità sarà disponibile prossimamente.

Vedi Audio2Face in azione

Anima qualsiasi personaggio o creatura con Audio2Face

Creature e alieni

Animazione dei volti di creature fantastiche e alieni. Qui abbiamo Digital Mark che guida le prestazioni di Alien.

Abbina Audio2Face all'intelligenza artificiale conversazionale per un'esperienza chatbot.

Misty, il chatbot animato

Presentato alla GTC della primavera 2020, Misty è un bot meteo interattivo basato su Audio2Face in fase di esecuzione. Abbiamo mostrato il retargeting da un mesh umano realistico a un mesh di personaggi stilizzati da utilizzare come operatore di assistenza interattivo.

Omniverse Machinima

Presentato durante il lancio di GeForce serie 30, Audio2Face è visibile nella demo di Omniverse Machinima. L'animazione facciale è notoriamente complessa e molto costosa. Audio2Face automatizza l'animazione facciale dettagliata per democratizzare il processo di creazione di contenuti 3D.

IMMERGITI NEGLI ULTIMI CONTENUTI OMNIVERSE

INIZIA SUBITO CON OMNIVERSE AUDIO2FACE

Omniverse Machinima funziona su qualsiasi dispositivo NVIDIA RTX, dal laptop al data center. Scarica Omniverse per esplorare tutte le possibilità.

Scarica NVIDIA Omniverse ed esegui l'installazione.

Una volta installato, avvia Omniverse.

Individua Audio2Face nella sezione Apps e fai clic su Install, quindi avvia l'applicazione.

SCARICA

Uno sguardo più approfondito a Audio2Face

Guarda questa panoramica tecnica presentata alla GTC 2020.

GUARDA ON-DEMAND

Requisiti di sistema
Elemento	Specifiche minime
SO supportati	Windows 10 a 64 bit (versione 1909 e successive)
CPU	Intel I7, AMD Ryzen 2,5 GHz o superiore
Core CPU	4 o superiore
RAM	16 GB o superiore
Storage	SSD da 500 GB o superiore
GPU	Qualsiasi GPU RTX
VRAM	6 GB o superiore
Versione minima Versione più aggiornata dei driver	Vedi i driver più recenti qui
Nota: Omniverse è stato progettato per essere eseguito su qualsiasi computer con RTX. Per prestazioni ottimali, si consiglia di utilizzare GeForce RTX 3070, NVIDIA RTX A4000, 8Gb o superiore.