NVIDIA Omniverse Audio2Face

BETA

Omniverse Audio2Face

Genera rapidamente e facilmente animazioni facciali espressive da una semplice sorgente audio con la tecnologia AI Deep Learning di NVIDIA.

L'animazione facciale diventa semplice

Omniverse Audio2Face Beta semplifica l'animazione di un personaggio 3D abbinandolo a qualsiasi traccia vocale, nelle animazioni di personaggi di gioco, film, assistenti digitali in tempo reale o solo per divertimento. Puoi utilizzare l'app per applicazioni interattive in tempo reale o come strumento di creazione di animazioni facciali. Esegui i risultati in tempo reale o preparali per dopo.

Come funziona

Audio2Face è precaricato con "Digital Mark", un modello di personaggio 3D che può essere animato con una traccia audio, per cui iniziare è molto semplice: seleziona la sorgente audio e caricala. L'input audio viene quindi trasmesso a una rete neurale profonda pre-addestrata e l'output genera i vertici 3D del mesh del personaggio per creare l'animazione facciale in tempo reale. È anche possibile modificare vari parametri post-elaborazione per alterare le prestazioni del personaggio. I risultati che vedi in questa pagina sono principalmente output non elaborati generati da Audio2Face con parametri di post-elaborazione poco o non modificati.

App Omniverse Audio2Face
 
Audio2Face genera animazioni dei volti con un input audio.

INPUT AUDIO

Usa una registrazione o l'animazione in tempo reale

Registra semplicemente una traccia audio, inseriscila nell'app e guarda il tuo volto in 3D prendere vita. Puoi anche generare animazioni dei volti in tempo reale con il microfono.

Audio2Face è in grado di elaborare qualsiasi lingua facilmente. Nuove lingue vengono aggiunte costantemente.  

TRASFERIMENTO DI PERSONAGGI

Scambio di volto in un istante

Audio2Face permette di eseguire il retargeting di qualsiasi volto umano o in 3D, realistico o stilizzato. Guarda questo test di retargeting da Digital Marka Rhino!

 
Anima qualsiasi volto con Audio2Face
 
Usa più istanze per generare l'animazione dei volti di più personaggi.

OUTPUT SCALABILE

L'espressione senza limiti

È facile eseguire più istanze di Audio2Face con tutti i personaggi che vuoi in una scena, il tutto animato dalla stessa o da diverse tracce audio. Infondi vita e suono in un dialogo tra due, un trio, un quartetto sincronizzato e non solo. Inoltre, puoi aumentare o ridurre il livello di espressione facciale su ciascun volto e produrre in batch più file di animazione da più origini audio.

CONVERSIONE DEI DATI

Connessione e conversione

L'ultimo aggiornamento di Omniverse Audio2Face consente la conversione di blendshape e opzioni di esportazione blendweight. Inoltre, l'app ora supporta l'esportazione/importazione con Epic Games Unreal Engine 4 per generare movimento sui personaggi MetaHuman utilizzando Omniverse Unreal Engine 4 Connector.

 
Aggiungi emozioni alla tua animazione.
Aggiungi emozioni alla tua animazione.

CONTROLLO DELLE EMOZIONI

Nel vivo della scena

Audio2Face offre la possibilità di scegliere e animare le emozioni del tuo personaggio in un batter d'occhio. La rete manipola automaticamente il volto, gli occhi, la bocca, la lingua e il movimento della testa in base alla gamma emotiva selezionata oppure determina automaticamente le emozioni a partire direttamente dalla clip audio.

Vedi Audio2Face in azione

Creature e alieni

Animazione dei volti di creature fantastiche e alieni. Qui abbiamo Digital Mark che guida le prestazioni di Alien.

Misty, il chatbot animato

Presentato alla GTC della primavera 2020, Misty è un bot meteo interattivo basato su Audio2Face in fase di esecuzione. Abbiamo mostrato il retargeting da un mesh umano realistico a un mesh di personaggi stilizzati da utilizzare come operatore di assistenza interattivo.

Omniverse Machinima

Presentato durante il lancio di GeForce serie 30, Audio2Face è visibile nella demo di Omniverse Machinima. L'animazione facciale è notoriamente complessa e molto costosa. Audio2Face automatizza l'animazione facciale dettagliata per democratizzare il processo di creazione di contenuti 3D.   

NVIDIA Omniverse mi sta aiutando a raggiungere risultati più naturali per i miei personaggi umani digitali e ad accelerare il mio flusso di lavoro in modo da poter dedicare più tempo al processo creativo.

— Anderson Rohr, Artista 3D

Scopri NVIDIA Omniverse oggi stesso

Trova la licenza giusta per il tuo flusso di lavoro 3D e inizia subito a esplorare Omniverse.

nvidia-omniverse-creators-3c33-D

Autori

Download e creazione gratuiti

Omniverse funge da hub centrale per collegare e migliorare facilmente le applicazioni creative 3D, unificando risorse, librerie e strumenti per un flusso di lavoro davvero ininterrotto che permette agli artisti di raggiungere nuovi livelli di libertà creativa.

Sviluppatori

Sviluppatori

Sviluppo e distribuzione gratuiti

Omniverse è progettato pensando agli sviluppatori e offre loro la possibilità di personalizzare i flussi di lavoro 3D a ogni livello, per creare facilmente nuovi connettori, estensioni, applicazioni e microservizi Omniverse.

nvidia-omniverse-enterprise-3c33-D

Aziende

Prova gratuita I Licenza annuale

Omniverse Enterprise trasforma flussi di lavoro di progettazione complessi per aziende di ogni dimensione. Consente la collaborazione in tempo reale con più utenti e posizioni, impiegando più applicazioni che utilizzano dati di progetto centralizzati.

Come installare Omniverse Audio2Face

Scarica NVIDIA Omniverse

1

Scarica NVIDIA Omniverse ed esegui l'installazione.

Apri il programma di avvio di Omniverse

2

Una volta installato, avvia Omniverse.

Individua Audio2Face nella sezione Apps e fai clic su Install.

3

Individua Omniverse Audio2Face nella sezione Apps e fai clic su Install, quindi avvia l'applicazione.

Requisiti di sistema
Elemento Specifiche minime
SO supportati Windows 10 a 64 bit (versione 1909 e successive)
CPU Intel I7, AMD Ryzen
2,5 GHz o superiore
Core CPU 4 o superiore
RAM 16 GB o superiore
Storage SSD da 500 GB o superiore
GPU Qualsiasi GPU RTX
VRAM 6 GB o superiore
Versione minima del driver video Vedi i driver più recenti qui
Nota: Omniverse è stato progettato per essere eseguito su qualsiasi computer con RTX. Per prestazioni ottimali, si consiglia di utilizzare GeForce RTX 3070, NVIDIA RTX A4000, 8Gb o superiore.

Tutorial dettagliati

Scopri altre app Omniverse

Scopri la suite completa di app e connettori NVIDIA Omniverse o prova i nostri consigli sotto.

Create

Accelera la creazione di mondi avanzati con Pixar USD e assembla, simula ed esegue il rendering di scene in tempo reale.

Code

Un ambiente di sviluppo integrato (IDE) per sviluppatori e utenti esperti per creare facilmente estensioni, app o microservizi Omniverse.

Machinima

Cambia gli abbinamenti, ricrea e ridefinisci la narrazione animata dei videogame con un kit di strumenti basato su IA per gli autori.

View

Rivedi in modo collaborativo i progetti con un potente strumento di visualizzazione fisicamente accurato e fotorealistico.

Entra a far parte della nostra community

Accedi ai tutorial

Approfitta di centinaia di tutorial, sessioni o corsi di formazione per principianti tutti gratuiti per iniziare con USD.

Diventa un Omnivore

Unisciti alla nostra community! Partecipa ai nostri live streaming settimanali su Twitch e interagisci con noi su Discord e nei nostri forum.

Assistenza tecnica

Stai riscontrando problemi? Pubblica le tue domande nei forum per ricevere assistenza rapida dagli esperti di Omniverse o consulta la documentazione della piattaforma

Mostra il tuo lavoro

Ha creato un capolavoro in Omniverse? Invialo alla Omniverse Gallery, dove puoi trovare ispirazione e ispirare gli altri.

Seguici

Ricevi le ultime notizie su NVIDIA Omniverse.