NVIDIA Omniverse Audio2Face

BETA

Omniverse Audio2Face

Genera rapidamente e facilmente animazioni facciali espressive da una semplice sorgente audio con la tecnologia AI Deep Learning di NVIDIA.

L'animazione facciale diventa semplice

Omniverse Audio2Face Beta è un’applicazione di riferimento che semplifica l'animazione di un personaggio 3D abbinandolo a qualsiasi traccia vocale, nelle animazioni di personaggi di gioco, film, assistenti digitali in tempo reale o solo per divertimento. Puoi utilizzare l'app per applicazioni interattive in tempo reale o come strumento di creazione di animazioni facciali. Esegui i risultati in tempo reale o preparali per dopo.

Come funziona

Audio2Face è precaricato con "Digital Mark", un modello di personaggio 3D che può essere animato con una traccia audio, per cui iniziare è molto semplice: seleziona la sorgente audio e caricala. L'input audio viene quindi trasmesso a una rete neurale profonda pre-addestrata e l'output genera i vertici 3D del mesh del personaggio per creare l'animazione facciale in tempo reale. È anche possibile modificare vari parametri post-elaborazione per alterare le prestazioni del personaggio. I risultati che vedi in questa pagina sono principalmente output non elaborati generati da Audio2Face con parametri di post-elaborazione poco o non modificati.

App Omniverse Audio2Face
 
Audio2Face genera animazioni dei volti con un input audio.

Input audio

Usa una registrazione o l'animazione in tempo reale

Registra semplicemente una traccia audio, inseriscila nell'app e guarda il tuo volto in 3D prendere vita. Puoi anche generare animazioni dei volti in tempo reale con il microfono.

Audio2Face è in grado di elaborare qualsiasi lingua facilmente. Nuove lingue vengono aggiunte costantemente.  

Trasferimento di personaggi

Scambio di volto in un istante

Audio2Face permette di eseguire il retargeting di qualsiasi volto umano o in 3D, realistico o stilizzato. Guarda questo test di retargeting da Digital Marka Rhino!

 
Anima qualsiasi volto con Audio2Face
 
Usa più istanze per generare l'animazione dei volti di più personaggi.

Output scalabile

L'espressione senza limiti

È facile eseguire più istanze di Audio2Face con tutti i personaggi che vuoi in una scena, il tutto animato dalla stessa o da diverse tracce audio. Infondi vita e suono in un dialogo tra due, un trio, un quartetto sincronizzato e non solo. Inoltre, puoi aumentare o ridurre il livello di espressione facciale su ciascun volto e produrre in batch più file di animazione da più origini audio.

Conversionne dei dati

Connessione e conversione

L'ultimo aggiornamento di Omniverse Audio2Face consente la conversione di blendshape e opzioni di esportazione blendweight. Inoltre, l'app ora supporta l'esportazione/importazione con Epic Games Unreal Engine 4 per generare movimento sui personaggi MetaHuman utilizzando Omniverse Unreal Engine 4 Connector.

 
Aggiungi emozioni alla tua animazione.
Aggiungi emozioni alla tua animazione.

Controllo delle emozioni

Nel vivo della scena

Audio2Face offre la possibilità di scegliere e animare le emozioni del tuo personaggio in un batter d'occhio. La rete manipola automaticamente il volto, gli occhi, la bocca, la lingua e il movimento della testa in base alla gamma emotiva selezionata oppure determina automaticamente le emozioni a partire direttamente dalla clip audio.

Vedi Audio2Face in azione

Creature e alieni

Animazione dei volti di creature fantastiche e alieni. Qui abbiamo Digital Mark che guida le prestazioni di Alien.

Misty, il chatbot animato

Presentato alla GTC della primavera 2020, Misty è un bot meteo interattivo basato su Audio2Face in fase di esecuzione. Abbiamo mostrato il retargeting da un mesh umano realistico a un mesh di personaggi stilizzati da utilizzare come operatore di assistenza interattivo.

Omniverse Machinima

Presentato durante il lancio di GeForce serie 30, Audio2Face è visibile nella demo di Omniverse Machinima. L'animazione facciale è notoriamente complessa e molto costosa. Audio2Face automatizza l'animazione facciale dettagliata per democratizzare il processo di creazione di contenuti 3D.   

NVIDIA Omniverse mi sta aiutando a raggiungere risultati più naturali per i miei personaggi umani digitali e ad accelerare il mio flusso di lavoro in modo da poter dedicare più tempo al processo creativo.

— Anderson Rohr, Artista 3D

Scopri NVIDIA Omniverse oggi stesso

Trova la licenza giusta per il tuo flusso di lavoro 3D e inizia subito a esplorare Omniverse.

nvidia-omniverse-creators-3c33-D

Autori

Download e creazione gratuiti

Omniverse funge da hub centrale per collegare e migliorare facilmente le applicazioni creative 3D, unificando risorse, librerie e strumenti per un flusso di lavoro davvero ininterrotto che permette agli artisti di raggiungere nuovi livelli di libertà creativa.

Sviluppatori

Sviluppatori

Sviluppo e distribuzione gratuiti

Omniverse è progettato pensando agli sviluppatori e offre loro la possibilità di personalizzare i flussi di lavoro 3D a ogni livello, per creare facilmente nuovi connettori, estensioni, applicazioni e microservizi Omniverse.

nvidia-omniverse-enterprise-3c33-D

Aziende

Prova gratuita I Licenza annuale

Omniverse Enterprise trasforma flussi di lavoro di progettazione complessi per aziende di ogni dimensione. Consente la collaborazione in tempo reale con più utenti e posizioni, impiegando più applicazioni che utilizzano dati di progetto centralizzati.

Come installare Omniverse Audio2Face

Scarica NVIDIA Omniverse

1

Scarica NVIDIA Omniverse ed esegui l'installazione.

Apri il programma di avvio di Omniverse

2

Una volta installato, avvia Omniverse.

Individua Audio2Face nella sezione Apps e fai clic su Install.

3

Individua Omniverse Audio2Face nella sezione Apps e fai clic su Install, quindi avvia l'applicazione.

Requisiti di sistema
Elemento Specifiche minime
SO supportati Windows 10 a 64 bit (versione 1909 e successive)
CPU Intel I7, AMD Ryzen
2,5 GHz o superiore
Core CPU 4 o superiore
RAM 16 GB o superiore
Storage SSD da 500 GB o superiore
GPU Qualsiasi GPU RTX
VRAM 6 GB o superiore
Versione minima del driver video Vedi i driver più recenti qui
Nota: Omniverse è stato progettato per essere eseguito su qualsiasi computer con RTX. Per prestazioni ottimali, si consiglia di utilizzare GeForce RTX 3070, NVIDIA RTX A4000, 8Gb o superiore.

Tutorial dettagliati

Scopri altre app Omniverse

Scopri la suite completa di app e connettori NVIDIA Omniverse o prova i nostri consigli sotto.

Create

Accelera la creazione di mondi avanzati con Pixar USD e assembla, simula ed esegue il rendering di scene in tempo reale.

Code

Un ambiente di sviluppo integrato (IDE) per sviluppatori e utenti esperti per creare facilmente estensioni, app o microservizi Omniverse.

Machinima

Cambia gli abbinamenti, ricrea e ridefinisci la narrazione animata dei videogame con un kit di strumenti basato su IA per gli autori.

View

Rivedi in modo collaborativo i progetti con un potente strumento di visualizzazione fisicamente accurato e fotorealistico.

Entra a far parte della nostra community

Accedi ai tutorial

Approfitta di centinaia di tutorial, sessioni o corsi di formazione per principianti tutti gratuiti per iniziare con USD.

Diventa un Omnivore

Unisciti alla nostra community! Partecipa ai nostri live streaming settimanali su Twitch e interagisci con noi su Discord e nei nostri forum.

Assistenza tecnica

Stai riscontrando problemi? Pubblica le tue domande nei forum per ricevere assistenza rapida dagli esperti di Omniverse o consulta la documentazione della piattaforma

Mostra il tuo lavoro

Ha creato un capolavoro in Omniverse? Invialo alla Omniverse Gallery, dove puoi trovare ispirazione e ispirare gli altri.

Seguici

Ricevi le ultime notizie su NVIDIA Omniverse.