NVIDIA Omniverse Audio2Face

Omniverse Audio2Face

Omniverse Audio2Face è un'applicazione basata su IA che genera un'animazione facciale espressiva da una sola sorgente audio.

Anteprima: accesso anticipato ad Audio2Face

Audio2Face semplifica l'animazione di un personaggio 3D abbinandolo a qualsiasi traccia vocale, nelle animazioni di personaggi di gioco, film, assistenti digitali in tempo reale o solo per divertimento. Puoi utilizzare l'app per applicazioni interattive in tempo reale o come strumento di creazione di animazioni facciali. Esegui i risultati in tempo reale o preparali per dopo.

L'accesso anticipato all'app Omniverse Audio2Face sarà presto disponibile.

Come funziona

L'app Omniverse Audio2Face si basa su un documento originale di NVIDIA Research. Audio2Face è precaricato con "Digital Mark", un modello di personaggio 3D che può essere animato con una traccia audio, per cui iniziare è molto semplice. Basta selezionare l'audio e caricarlo nell'app. La tecnologia alimenta l'input audio in una rete neurale profonda pre-addestrata e l'output della rete genera l'animazione facciale del personaggio in tempo reale. È possibile modificare vari parametri post-elaborazione per alterare le prestazioni del personaggio. L'output della rete genera quindi i vertici 3D del mesh del personaggio per creare l'animazione facciale. I risultati che vedi in questa pagina sono principalmente output non elaborati generati da Audio2Face con parametri di post-elaborazione poco o non modificati.

Nota: il supporto per blendshape diretto verrà rilasciato in un secondo momento.

Omniverse Audio2Face App

Vedi Audio2Face in azione

Lingue

Audio2Face è in grado di elaborare qualsiasi lingua facilmente. Stiamo aggiungendo sempre più lingue. Guarda questi test in inglese, francese, italiano e russo.

Misty, il chatbot animato

Presentato al GTC della primavera 2020, Misty è un bot meteo interattivo basato su Audio2Face in fase di esecuzione. Abbiamo mostrato il retargeting da un mesh umano realistico a un mesh di personaggi stilizzati da utilizzare come operatore di assistenza interattivo.

Omniverse Machinima

Presentato durante il lancio di GeForce serie 30, Audio2Face è visibile nella demo di Omniverse Machinima. L'animazione facciale è notoriamente complessa e molto costosa. Audio2Face automatizza l'animazione facciale dettagliata per democratizzare il processo di creazione di contenuti 3D. /p>

Funzionalità in arrivo - Trasferimento personaggi

Volti umani

Audio2Face può utilizzare qualsiasi traccia audio basata su dialoghi ed eventualmente eseguire il retargeting di qualsiasi volto umano in 3D, realistico o stilizzato. Guarda questo test di retargeting da Digital Mark a Rain.

Creature e alieni

È possibile eseguire il retargeting e guidare l'animazione facciale di creature fantastiche e alieni. Qui abbiamo Digital Mark che guida le prestazioni di Alien.

Uno sguardo più approfondito a Audio2Face

Guarda questa panoramica tecnica presentata al GTC 2020.

Requisiti di sistema
Elemento Specifiche minime
SO supportati Windows 10 64-bit, 1909 o superiore
CPU Intel I7, AMD Ryzen
Core CPU 4 o superiore
RAM 16 GB o superiore
Spazio di archiviazione 500 GB o superiore
GPU Qualsiasi GPU RTX
VRAM 6 GB o superiore
Minimo Versione più aggiornata dei driver 455,28 (Linux), 456,71 (Windows)
Nota: Omniverse è stato progettato per essere eseguito su qualsiasi computer basato su RTX. Per prestazioni ottimali, si consiglia di utilizzare GeForce RTX 2080, Quadro RTX 5000 o superiore. Per i driver più recenti, visita Download dei driver NVIDIA. Per Quadro, seleziona "Quadro New Feature Driver (QNF)".

Assistenza

INVENTIAMO
IL FUTURO INSIEME

Scopri come la collaborazione e la simulazione di nuova generazione stanno rendendo il futuro più vicino per creativi, innovatori e aziende in tutti i settori.

Enter the Omniverse

Deep dive into the platform through a series of GTC webinars hosted by Omniverse experts in various industries.

Altre app Omniverse

Le app Omniverse sono progettate appositamente per migliorare flussi di lavoro specifici. Guardale in azione.

nvidia-omniverse-view-64

View

Design collaborativo, visualizzazione immersiva e rendering fotorealistico per architettura, ingegneria e costruzioni

nvidia-omniverse-create-64

Create

Accelera la creazione di mondi avanzati e assembla, simula ed esegue il rendering di scene in Pixar USD in tempo reale.

nvidia-omniverse-kaolin-icon-64

Kaolin

Semplifica e accelera la ricerca 3D deep learning con la libreria NVIDIA PyTorch Kaolin e questo potente strumento di visualizzazione.

nvidia-omniverse-machinima-64

Machinima

Cambia gli abbinamenti, ricrea e ridefinisci la narrazione animata dei videogame con un kit di strumenti basato su IA per i giocatori.

nvidia-omniverse-isaac-sim-icon-64

Isaac Sim

Importa, costruisci e collauda i robot in un ambiente 3D fisico ad alta fedeltà e fotorealistico.