NVIDIA Omniverse Audio2Face

Omniverse Audio2Face

Omniverse Audio2Face ist eine KI-gestützte Anwendung, die ausdrucksstarke Gesichtsanimationen aus einer einzigen Audioquelle generiert.

Open Beta herunterladen

Einfache Gesichtsanimation mit KI

Audio2Face erleichtert die Animation eines 3D-Charakters zur Abstimmung auf beliebige Voice-Over-Tracks, sowohl bei der Animation von Charakteren in Spielen, Filmen, für digitale Echtzeit-Helfer und auch einfach nur zum Spaß. Sie können die App für interaktive Echtzeitanwendungen oder als traditionelles Tool zur Erstellung von Gesichtsanimationen verwenden. Ob Sie die Ergebnisse direkt live nutzen oder sie verfeinern und festsetzen, ist Ihnen überlassen.

Audio2Face simplifies animation of a 3D character to match any voice-over track.

Funktionsweise

Die Omniverse Audio2Face-App basiert auf einem von NVIDIA Research erstellten Dokument. Bei Audio2Face ist „Digital Mark“ vorinstalliert – ein 3D-Charaktermodell, das anhand Ihrer Audiospur animiert werden kann, was den Einstieg erleichtert. Wählen Sie einfach Ihre Audiospur aus und laden Sie diese in der App.  Die Technologie speist die Audioeingabe in ein vortrainiertes Deep Neural Network ein. Die Ausgabe des Netzwerks steuert die Gesichtsanimationen des Charakters in Echtzeit.  Nutzer haben die Möglichkeit, eine Reihe Nachbearbeitungsparametern zu verändern, um die Animationen des Charakters anzupassen. Die Ausgabe des Netzwerks steuert die 3D-Scheitelpunkte im Mesh des Charakters und erstellt so die Gesichtsanimationen. Die Ergebnisse, die Sie auf dieser Seite sehen, entsprechen überwiegend Rohausgaben von Audio2Face, bei denen nur wenige bis gar keine Nachbearbeitungsparameter angepasst wurden.

(Hinweis: Unterstützung für Direct blendshape wird zu einem späteren Zeitpunkt veröffentlicht.)

Omniverse Audio2Face App
 
Audio2Face generiert Gesichtsanimationen über Audioeingaben.

AUDIOEINGABE

Eine Aufzeichnung verwenden oder Live animieren

Nehmen Sie einfach eine Sprachspur auf, laden Sie sie in die App und sehen Sie, wie Ihr 3D-Gesicht lebendig wird. Sie können sogar Live-Gesichtsanimationen über ein Mikrofon generieren.

Audio2Face wird in der Lage sein, mit Leichtigkeit jede Sprache zu verarbeiten. Und wir bieten laufend Updates mit immer mehr Sprachen. Sehen Sie sich diese Tests auf Englisch, Französisch, Italienisch und Russisch an.

CHARAKTERÜBERTRAGUNG

Jedes Gesicht zum Leben erwecken

Mit Audio2Face können Sie alles zu einem menschlichen oder menschenähnlichen 3D-Gesicht übertragen – egal ob realistisch oder stilisiert. In diesem Testbeispiel sehen Sie die Übertragung von Digital Mark auf Rain.

 
Omniverse View umfasst RTX-Renderer
 
Generieren Sie mithilfe mehrerer Instanzen eine Gesichtsanimation für mehr als einen Charakter. Image Right

MEHRERE INSTANZEN

Solo-Akt oder ein Chor

Mit Audio2Face können Sie ganz einfach mehrere Instanzen mit beliebig vielen Figuren in einer Szene ausführen – alle werden über dieselbe oder unterschiedliche Audiospuren animiert. Hauchen Sie einem Dialog zwischen einem Duo, einem Gesangswettbewerb zwischen einem Trio, einem synchronen Quartett und mehr Leben und Ton ein.

EMOTIONSSTEUERUNG

Jetzt kommt Drama ins Spiel

Mit Audio2Face können Sie die Emotionen Ihrer Figur auswählen und animieren. Das Netzwerk verändert automatisch Gesicht, Augen, Mund, Zunge und Kopfbewegungen, damit sie zum ausgewählten emotionalen Bereich passen.

Die Funktion ist demnächst erhältlich.

Fügen Sie Ihren Animationen Emotionen hinzu.

Audio2Face in Aktion

Animate any character or creature with Audio2Face

Kreaturen und Aliens

Beleben Sie die Gesichtsanimation von Fantasiewesen und Aliens. Hier steuert Digital Mark die Animationen des Aliens.

Combine Audio2Face with conversational AI for a chatbot experience.

Misty – der animierte Chat-Bot

Misty, zuerst vorgestellt auf der GTC im Frühjahr 2020, ist ein interaktiver Wetter-Bot, der in Echtzeit von Audio2Face gesteuert wird. Daran konnten wir die Übertragung von einem realistischen menschlichen Mesh auf das Mesh eines stilisierten Charakters demonstrieren, der als interaktiver Service-Agent verwendet werden kann.

Audio2Face works with Omniverse Machinima.

Omniverse Machinima

Audio2Face wurde zum ersten Mal bei der Veröffentlichung der GeForce 30-Serie als Teil der Omniverse Machinima-Demo gezeigt. Gesichter zu animieren gilt als äußerst komplex und kostenintensiv. Audio2Face automatisiert detaillierte Gesichtsanimationen, um die Erstellung von 3D-Inhalten zugänglicher zu machen.

Erste Schritte mit Omniverse AUDIO2FACE

Omniverse Create funktioniert auf allen NVIDIA RTX-Geräten – vom Notebook bis zum Rechenzentrum. Laden Sie Omniverse herunter um loszulegen.

Download NVIDIA Omniverse

1

Laden Sie NVIDIA Omniverse herunter und führen Sie die Installation aus.

Open the Omniverse Launcher

2

Öffnen Sie nach der Installation den Omniverse Launcher.

Find Audio2Face in the Apps section and click Install

3

Suchen Sie im Abschnitt „Apps“ nach „Audio2Face“ und klicken Sie auf „Install“ und anschließend auf „Launch“.

Werfen Sie einen genaueren Blick auf Audio2Face

Hier finden Sie eine technische Übersicht von der GTC 2020.

ON-DEMAND ANSEHEN
Systemanforderungen
Element Mindestanforderungen
Unterstütztes Betriebssystem Windows 10 64-Bit 1909 und höher
CPU Intel i7, AMD Ryzen
2,5 GHz oder höher
CPU-Recheneinheiten 4 oder höher
RAM Mindestens 16 GB
Datenspeicher Mindestens 500 GB
Grafikprozessor Alle RTX-GPUs
VRAM Mindestens 6 GB
Min. Videotreiber in der Version 455.28 (Linux), 456.71 (Windows)
Hinweis: Omniverse kann auf jedem RTX-Grafikprozessor ausgeführt werden. Um eine optimale Leistung zu erzielen, empfehlen wir die Verwendung von GeForce RTX 2080, Quadro RTX 5000 oder höher. Die neuesten Treiber finden Sie hier.

Support

Treten Sie den Omniverse-Foren bei
Weitere Informationen finden Sie in der Supportdokumentation und den Anleitungen für Omniverse
Omniverse-Videotutorials und -schulungen ansehen.

Betreten Sie das Omniversum

Lernen Sie die Details der Plattform in einer Reihe von GTC-Webinaren kennen, die von Omniverse-Experten aus verschiedenen Branchen präsentiert werden.

MEHR ERFAHREN

Weitere Omniverse-Apps

Omniverse-Apps sind speziell auf die Verbesserung spezifischer Arbeitsabläufe zugeschnitten. Erleben Sie sie in Aktion.

nvidia-omniverse-view-64

View

Mit diesem leistungsstarken, physikalisch korrekten und fotorealistischen Visualisierungstool können Sie Konstruktionsprojekte im Team überprüfen.

MEHR ERFAHREN
nvidia-omniverse-create-64

Create

Beschleunigen Sie fortschrittliches Worldbuilding und stellen Sie Szenen in Pixar USD in Echtzeit interaktiv zusammen und simulieren und rendern Sie diese.

MEHR ERFAHREN
nvidia-omniverse-kaolin-icon-64

Kaolin

Mit diesem leistungsstarken Visualisierungstool vereinfachen und beschleunigen Sie die Erforschung von 3D-Deep Learning mit der NVIDIA Kaolin PyTorch-Bibliothek.

MEHR ERFAHREN
Machinima

Machinima

Das Storytelling von Videospielen können Sie mit einem KI-gestützten Toolkit für Gamer völlig neu mischen, erstellen und definieren.

WEITERE INFORMATIONEN
Isaac Sim

Isaac Sim

Importieren, erstellen und testen Sie Roboter in einer fotorealistischen und hochgradig präzisen physikalischen 3D-Umgebung.

WEITERE INFORMATIONEN
Drive Sim

DRIVE Sim

Nutzen Sie eine Simulation für die Entwicklung autonomer Fahrzeuge, die virtuell kaum von der Realität zu unterscheiden ist.

WEITERE INFORMATIONEN

MELDEN SIE SICH FÜR DEN DOWNLOAD AN

Produkte
Ressourcen
Community