NVIDIA Omniverse Audio2Face

Omniverse Audio2Face

Omniverse Audio2Face è un'applicazione basata su IA che genera un'animazione facciale espressiva da una sola sorgente audio.

Scarica la Open Beta

Animazione dei volti semplice con l'IA

Audio2Face semplifica l'animazione di un personaggio 3D abbinandolo a qualsiasi traccia vocale, nelle animazioni di personaggi di gioco, film, assistenti digitali in tempo reale o solo per divertimento. Puoi utilizzare l'app per applicazioni interattive in tempo reale o come strumento di creazione di animazioni facciali. Esegui i risultati in tempo reale o preparali per dopo.

Audio2Face simplifies animation of a 3D character to match any voice-over track.

Come funziona

L'app Omniverse Audio2Face si basa su un documento originale di NVIDIA Research. Audio2Face è precaricato con "Digital Mark", un modello di personaggio 3D che può essere animato con una traccia audio, per cui iniziare è molto semplice. Basta selezionare l'audio e caricarlo nell'app. La tecnologia alimenta l'input audio in una rete neurale profonda pre-addestrata e l'output della rete genera l'animazione facciale del personaggio in tempo reale. È possibile modificare vari parametri post-elaborazione per alterare le prestazioni del personaggio. L'output della rete genera quindi i vertici 3D del mesh del personaggio per creare l'animazione facciale. I risultati che vedi in questa pagina sono principalmente output non elaborati generati da Audio2Face con parametri di post-elaborazione poco o non modificati.

Nota: il supporto per blendshape diretto verrà rilasciato in un secondo momento.

Omniverse Audio2Face App
 
Audio2Face genera animazioni dei volti con un input audio.

INPUT AUDIO

Usa una registrazione o l'animazione in tempo reale

Registra semplicemente una traccia audio, inseriscila nell'app e guarda il tuo volto in 3D prendere vita. Puoi anche generare animazioni dei volti in tempo reale con il microfono.

Audio2Face è in grado di elaborare qualsiasi lingua facilmente. Nuove lingue vengono aggiunte costantemente. Guarda questi test in inglese, francese, italiano e russo.

TRASFERIMENTO DI PERSONAGGI

Dai vita a qualsiasi volto

Audio2Face permette di eseguire il retargeting di qualsiasi volto umano o in 3D, realistico o stilizzato. Guarda questo test di retargeting da Digital Mark a Rain.

 
Omniverse View include il renderer RTX
 
Usa più istanze per generare l'animazione dei volti di più personaggi.

PIÙ ISTANZE

Solista o in coro

È facile eseguire più istanze di Audio2Face con tutti i personaggi che vuoi in una scena, il tutto animato dalla stessa o da diverse tracce audio. Infondi vita e suono in un dialogo tra due, un trio, un quartetto sincronizzato e non solo.

CONTROLLO DELLE EMOZIONI

Nel vivo della scena

Audio2Face ti offre la possibilità di scegliere e animare le emozioni del tuo personaggio: la rete manipola automaticamente il volto, gli occhi, la bocca, la lingua e il movimento della testa in base alla gamma emotiva selezionata.

Aggiungi emozioni alla tua animazione.

Vedi Audio2Face in azione

Animate any character or creature with Audio2Face

Creature e alieni

Animazione dei volti di creature fantastiche e alieni. Qui abbiamo Digital Mark che guida le prestazioni di Alien.

Combine Audio2Face with conversational AI for a chatbot experience.

Misty, il chatbot animato

Presentato al GTC della primavera 2020, Misty è un bot meteo interattivo basato su Audio2Face in fase di esecuzione. Abbiamo mostrato il retargeting da un mesh umano realistico a un mesh di personaggi stilizzati da utilizzare come operatore di assistenza interattivo.

Audio2Face works with Omniverse Machinima.

Omniverse Machinima

Presentato durante il lancio di GeForce serie 30 Audio2Face è visibile nella demo di Omniverse Machinima L'animazione facciale è notoriamente complessa e molto costosa. Audio2Face automatizza l'animazione facciale dettagliata per democratizzare il processo di creazione di contenuti 3D.

Inizia subito con Omniverse AUDIO2FACE

Omniverse Create funziona su qualsiasi dispositivo NVIDIA RTX, dal laptop al data center. Scarica Omniverse per iniziare.

Download NVIDIA Omniverse

1

Scarica NVIDIA Omniverse ed esegui l'installazione.

Open the Omniverse Launcher

2

Una volta installato, avvia Omniverse.

Find Audio2Face in the Apps section and click Install

3

Individua Audio2Face nella sezione Apps e fai clic su Install, quindi avvia l'applicazione.

Uno sguardo più approfondito a Audio2Face

Guarda questa panoramica tecnica presentata al GTC 2020.

GUARDA ON-DEMAND
Requisiti di sistema
Elemento Specifiche minime
SO supportati Windows 10 64-bit 1909 e superiore
CPU Intel I7, AMD Ryzen
2,5 GHz o superiore
Core CPU 4 o superiore
RAM 16 GB o superiore
Spazio di archiviazione 500 GB o superiore
GPU Qualsiasi GPU RTX
VRAM 6 GB o superiore
Minimo Versione più aggiornata dei driver 455,28 (Linux), 456,71 (Windows)
Nota: Omniverse è stato progettato per essere eseguito su qualsiasi computer con RTX. Per prestazioni ottimali, si consiglia di utilizzare GeForce RTX 2080, Quadro RTX 5000 o superiore. Per i driver più recenti, leggi qui.

Assistenza

Partecipa ai forum di Omniverse
Consulta la documentazione di supporto e le guide di Omniverse
Guarda i tutorial video e i corsi di formazione di Omniverse.

INVENTIAMO
IL FUTURO INSIEME

Scopri come la collaborazione e la simulazione di nuova generazione stanno rendendo il futuro più vicino per creativi, innovatori e aziende in tutti i settori.

Registrati alle sessioni gratuite del GTC 2021 di NVIDIA >

Enter the Omniverse

Deep dive into the platform through a series of GTC webinars hosted by Omniverse experts in various industries.

LEARN MORE

Altre app Omniverse

Le app Omniverse sono progettate appositamente per migliorare flussi di lavoro specifici. Guardale in azione.

nvidia-omniverse-view-64

View

Design collaborativo, visualizzazione immersiva e rendering fotorealistico per architettura, ingegneria e costruzioni

SCOPRI DI PIÙ
nvidia-omniverse-create-64

Create

Accelera la creazione di mondi avanzati e assembla, simula ed esegue il rendering di scene in Pixar USD in tempo reale.

SCOPRI DI PIÙ
nvidia-omniverse-kaolin-icon-64

Kaolin

Semplifica e accelera la ricerca 3D deep learning con la libreria NVIDIA PyTorch Kaolin e questo potente strumento di visualizzazione.

SCOPRI DI PIÙ
Machinima

Machinima

Cambia gli abbinamenti, ricrea e ridefinisci la narrazione animata dei videogame con un kit di strumenti basato su IA per i giocatori.

SCOPRI DI PIÙ
Isaac Sim

Isaac Sim

Importa, costruisci e collauda i robot in un ambiente 3D fisico ad alta fedeltà e fotorealistico.

SCOPRI DI PIÙ
Drive Sim

DRIVE Sim

Sfrutta un'esperienza di simulazione per lo sviluppo di veicoli autonomi praticamente indistinguibile dalla realtà.

SCOPRI DI PIÙ