Omniverse Audio2Face

Omniverse Audio2Face è un'applicazione basata su IA che genera un'animazione facciale espressiva da una sola sorgente audio.

Scarica la Open Beta

REQUISITI DI SISTEMA | Guida alla configurazione

Animazione dei volti semplice con l'IA

Audio2Face semplifica l'animazione di un personaggio 3D abbinandolo a qualsiasi traccia vocale, nelle animazioni di personaggi di gioco, film, assistenti digitali in tempo reale o solo per divertimento. Puoi utilizzare l'app per applicazioni interattive in tempo reale o come strumento di creazione di animazioni facciali. Esegui i risultati in tempo reale o preparali per dopo.

Audio2Face simplifies animation of a 3D character to match any voice-over track.

Come funziona

L'app Omniverse Audio2Face si basa su un documento originale di NVIDIA Research. Audio2Face è precaricato con "Digital Mark", un modello di personaggio 3D che può essere animato con una traccia audio, per cui iniziare è molto semplice. Basta selezionare l'audio e caricarlo nell'app. La tecnologia alimenta l'input audio in una rete neurale profonda pre-addestrata e l'output della rete genera l'animazione facciale del personaggio in tempo reale. È possibile modificare vari parametri post-elaborazione per alterare le prestazioni del personaggio. L'output della rete genera quindi i vertici 3D del mesh del personaggio per creare l'animazione facciale. I risultati che vedi in questa pagina sono principalmente output non elaborati generati da Audio2Face con parametri di post-elaborazione poco o non modificati.

Nota: il supporto per blendshape diretto verrà rilasciato in un secondo momento.

INPUT AUDIO

Usa una registrazione o l'animazione in tempo reale

Registra semplicemente una traccia audio, inseriscila nell'app e guarda il tuo volto in 3D prendere vita. Puoi anche generare animazioni dei volti in tempo reale con il microfono.

Audio2Face è in grado di elaborare qualsiasi lingua facilmente. Nuove lingue vengono aggiunte costantemente. Guarda questi test in inglese, francese, italiano e russo.

TRASFERIMENTO DI PERSONAGGI

Dai vita a qualsiasi volto

Audio2Face permette di eseguire il retargeting di qualsiasi volto umano o in 3D, realistico o stilizzato. Guarda questo test di retargeting da Digital Mark a Rain.

PIÙ ISTANZE

Solista o in coro

È facile eseguire più istanze di Audio2Face con tutti i personaggi che vuoi in una scena, il tutto animato dalla stessa o da diverse tracce audio. Infondi vita e suono in un dialogo tra due, un trio, un quartetto sincronizzato e non solo.

CONTROLLO DELLE EMOZIONI

Nel vivo della scena

Audio2Face ti offre la possibilità di scegliere e animare le emozioni del tuo personaggio: la rete manipola automaticamente il volto, gli occhi, la bocca, la lingua e il movimento della testa in base alla gamma emotiva selezionata.

La funzionalità sarà disponibile prossimamente.

Vedi Audio2Face in azione

Animate any character or creature with Audio2Face

Creature e alieni

Animazione dei volti di creature fantastiche e alieni. Qui abbiamo Digital Mark che guida le prestazioni di Alien.

Combine Audio2Face with conversational AI for a chatbot experience.

Misty, il chatbot animato

Presentato al GTC della primavera 2020, Misty è un bot meteo interattivo basato su Audio2Face in fase di esecuzione. Abbiamo mostrato il retargeting da un mesh umano realistico a un mesh di personaggi stilizzati da utilizzare come operatore di assistenza interattivo.

Omniverse Machinima

Presentato durante il lancio di GeForce serie 30 Audio2Face è visibile nella demo di Omniverse Machinima L'animazione facciale è notoriamente complessa e molto costosa. Audio2Face automatizza l'animazione facciale dettagliata per democratizzare il processo di creazione di contenuti 3D.

Inizia subito con Omniverse AUDIO2FACE

Omniverse Create funziona su qualsiasi dispositivo NVIDIA RTX, dal laptop al data center. Scarica Omniverse per iniziare.

Scarica NVIDIA Omniverse ed esegui l'installazione.

Una volta installato, avvia Omniverse.

Find Audio2Face in the Apps section and click Install

Individua Audio2Face nella sezione Apps e fai clic su Install, quindi avvia l'applicazione.

Scarica la Open Beta

Uno sguardo più approfondito a Audio2Face

Guarda questa panoramica tecnica presentata al GTC 2020.

GUARDA ON-DEMAND

Requisiti di sistema
Elemento	Specifiche minime
SO supportati	Windows 10 64-bit 1909 e superiore
CPU	Intel I7, AMD Ryzen 2,5 GHz o superiore
Core CPU	4 o superiore
RAM	16 GB o superiore
Spazio di archiviazione	500 GB o superiore
GPU	Qualsiasi GPU RTX
VRAM	6 GB o superiore
Minimo Versione più aggiornata dei driver	455,28 (Linux), 456,71 (Windows)
Nota: Omniverse è stato progettato per essere eseguito su qualsiasi computer con RTX. Per prestazioni ottimali, si consiglia di utilizzare GeForce RTX 2080, Quadro RTX 5000 o superiore. Per i driver più recenti, leggi qui.