NVIDIA Omniverse Audio2Face

Omniverse Audio2Face

Genera rapidamente e facilmente animazioni facciali espressive da una semplice sorgente audio con la tecnologia AI Deep Learning di NVIDIA.

L'animazione facciale diventa semplice con l'IA

Audio2Face semplifica l'animazione di un personaggio 3D abbinandolo a qualsiasi traccia vocale, nelle animazioni di personaggi di gioco, film, assistenti digitali in tempo reale o solo per divertimento. Puoi utilizzare l'app per applicazioni interattive in tempo reale o come strumento di creazione di animazioni facciali. Esegui i risultati in tempo reale o preparali per dopo.

Come funziona

Audio2Face è precaricato con "Digital Mark", un modello di personaggio 3D che può essere animato con una traccia audio, per cui iniziare è molto semplice: seleziona la sorgente audio e caricala. L'input audio viene quindi trasmesso a una rete neurale profonda pre-addestrata e l'output genera i vertici 3D del mesh del personaggio per creare l'animazione facciale in tempo reale. È anche possibile modificare vari parametri post-elaborazione per alterare le prestazioni del personaggio. I risultati che vedi in questa pagina sono principalmente output non elaborati generati da Audio2Face con parametri di post-elaborazione poco o non modificati.

App NVIDIA Omniverse Audio2Face
 
Audio2Face genera animazioni dei volti con un input audio.

INPUT AUDIO

Usa una registrazione o l'animazione in tempo reale

Registra semplicemente una traccia audio, inseriscila nell'app e guarda il tuo volto in 3D prendere vita. Puoi anche generare animazioni dei volti in tempo reale con il microfono.

Audio2Face è in grado di elaborare qualsiasi lingua facilmente. Nuove lingue vengono aggiunte costantemente. Guarda questi test in inglese, francese, italiano e russo.

TRASFERIMENTO DI PERSONAGGI

Scambio di volto in un istante

Audio2Face permette di eseguire il retargeting di qualsiasi volto umano o in 3D,  realistico o stilizzato. Guarda questo test di retargeting da Digital Mark  a Rhino!.

 
Anima qualsiasi volto con Audio2Face
 
Usa più istanze per generare l'animazione dei volti di più personaggi.

PIÙ ISTANZE

L'espressione senza limiti

È facile eseguire più istanze di Audio2Face con tutti i personaggi che vuoi in una scena, il tutto animato dalla stessa o da diverse tracce audio. Infondi vita e suono in un dialogo tra due, un trio, un quartetto sincronizzato e non solo. Inoltre, puoi aumentare o ridurre il livello di espressione facciale su ciascun volto.

CONTROLLO DELLE EMOZIONI

Nel vivo della scena

Audio2Face ti offre la possibilità di scegliere e animare le emozioni del tuo personaggio: la rete manipola automaticamente il volto, gli occhi, la bocca, la lingua e il movimento della testa in base alla gamma emotiva selezionata.

La funzionalità sarà disponibile prossimamente.

Aggiungi emozioni alla tua animazione.

Vedi Audio2Face in azione

Creature e alieni

Animazione dei volti di creature fantastiche e alieni. Qui abbiamo Digital Mark che guida le prestazioni di Alien.

Misty, il chatbot animato

Presentato alla GTC della primavera 2020, Misty è un bot meteo interattivo basato su Audio2Face in fase di esecuzione. Abbiamo mostrato il retargeting da un mesh umano realistico a un mesh di personaggi stilizzati da utilizzare come operatore di assistenza interattivo.

Omniverse Machinima

Presentato durante il lancio di GeForce serie 30, Audio2Face è visibile nella demo di Omniverse Machinima. L'animazione facciale è notoriamente complessa e molto costosa. Audio2Face automatizza l'animazione facciale dettagliata per democratizzare il processo di creazione di contenuti 3D.   

IMMERGITI NEGLI ULTIMI CONTENUTI OMNIVERSE

INIZIA SUBITO CON OMNIVERSE AUDIO2FACE

Omniverse Machinima funziona su qualsiasi dispositivo NVIDIA RTX, dal laptop al data center. Scarica Omniverse per esplorare tutte le possibilità.

Scarica NVIDIA Omniverse

1

Scarica NVIDIA Omniverse ed esegui l'installazione.

Apri il programma di avvio di Omniverse

2

Una volta installato, avvia Omniverse.

Individua Audio2Face nella sezione Apps e fai clic su Install.

3

Individua Audio2Face nella sezione Apps e fai clic su Install, quindi avvia l'applicazione.

Uno sguardo più approfondito a Audio2Face

Guarda questa panoramica tecnica presentata alla GTC 2020.

Requisiti di sistema
Elemento Specifiche minime
SO supportati Windows 10 a 64 bit (versione 1909 e successive)
CPU Intel I7, AMD Ryzen
2,5 GHz o superiore
Core CPU 4 o superiore
RAM 16 GB o superiore
Storage SSD da 500 GB o superiore
GPU Qualsiasi GPU RTX
VRAM 6 GB o superiore
Versione minima Versione più aggiornata dei driver Vedi i driver più recenti qui
Nota: Omniverse è stato progettato per essere eseguito su qualsiasi computer con RTX. Per prestazioni ottimali, si consiglia di utilizzare GeForce RTX 3070, NVIDIA RTX A4000, 8Gb o superiore.

Supporto

Entra in Omniverse

Immergiti nella piattaforma attraverso una serie di webinar del GTC tenuti dagli esperti di Omniverse in vari settori industriali.

Altre app Omniverse

Le app Omniverse sono progettate appositamente per migliorare flussi di lavoro specifici. Guardale in azione.

View

View

Rivedi in modo collaborativo i progetti con un potente strumento di visualizzazione fisicamente accurato e fotorealistico.

Create

Create

Accelera la creazione di mondi avanzati e assembla, simula ed esegue il rendering di scene in Pixar USD in tempo reale.

Kaolin

Kaolin

Semplifica e accelera la ricerca 3D deep learning con la libreria NVIDIA PyTorch Kaolin e questo potente strumento di visualizzazione.

Machinima

Machinima

Cambia gli abbinamenti, ricrea e ridefinisci la narrazione animata dei videogame con un kit di strumenti basato su IA per gli autori RTX.

Isaac Sim

Isaac Sim

Importa, costruisci e collauda i robot in un ambiente 3D fisico ad alta fedeltà e fotorealistico.

Drive Sim

DRIVE Sim

Sfrutta un'esperienza di simulazione per lo sviluppo di veicoli autonomi praticamente indistinguibile dalla realtà.