NVIDIA Omniverse Audio2Face

Omniverse Audio2Face

Omniverse Audio2Face ist eine KI-gestützte Anwendung, die ausdrucksstarke Gesichtsanimationen aus einer einzigen Audioquelle generiert.

SYSTEMANFORDERUNGEN

Vorgeschmack: Audio2Face Early Access-Preview

Audio2Face erleichtert die Animation eines 3D-Charakters zur Abstimmung auf beliebige Voice-Over-Tracks, sowohl bei der Animation von Charakteren in Spielen, Filmen, für digitale Echtzeit-Helfer und auch einfach nur zum Spaß. Sie können die App für interaktive Echtzeitanwendungen oder als traditionelles Tool zur Erstellung von Gesichtsanimationen verwenden. Ob Sie die Ergebnisse direkt live nutzen oder sie verfeinern und festsetzen, ist Ihnen überlassen.

Die Omniverse Audio2Face-App ist bald im Early Access verfügbar.

Audio2Face simplifies animation of a 3D character to match any voice-over track.

Funktionsweise

Die Omniverse Audio2Face-App basiert auf einem von NVIDIA Research erstellten Dokument. Bei Audio2Face ist „Digital Mark“ vorinstalliert – ein 3D-Charaktermodell, das anhand Ihrer Audiospur animiert werden kann, was den Einstieg erleichtert. Wählen Sie einfach Ihre Audiospur aus und laden Sie diese in der App.  Die Technologie speist die Audioeingabe in ein vortrainiertes Deep Neural Network ein. Die Ausgabe des Netzwerks steuert die Gesichtsanimationen des Charakters in Echtzeit.  Nutzer haben die Möglichkeit, eine Reihe Nachbearbeitungsparametern zu verändern, um die Animationen des Charakters anzupassen. Die Ausgabe des Netzwerks steuert die 3D-Scheitelpunkte im Mesh des Charakters und erstellt so die Gesichtsanimationen. Die Ergebnisse, die Sie auf dieser Seite sehen, entsprechen überwiegend Rohausgaben von Audio2Face, bei denen nur wenige bis gar keine Nachbearbeitungsparameter angepasst wurden.

(Hinweis: Unterstützung für Direct blendshape wird zu einem späteren Zeitpunkt veröffentlicht.)

Omniverse Audio2Face App

Audio2Face in Aktion

Sprachen

Sprachen

Audio2Face wird in der Lage sein, mit Leichtigkeit jede Sprache zu verarbeiten. Es werden regelmäßig weitere Sprachen hinzugefügt. Sehen Sie sich diese Tests auf Englisch, Französisch, Italienisch und Russisch an.

Misty – der animierte Chat-Bot

Misty – der animierte Chat-Bot

Misty, zuerst vorgestellt auf der GTC im Frühjahr 2020, ist ein interaktiver Wetter-Bot, der in Echtzeit von Audio2Face gesteuert wird. Daran konnten wir die Übertragung von einem realistischen menschlichen Mesh auf das Mesh eines stilisierten Charakters demonstrieren, der als interaktiver Service-Agent verwendet werden kann.

Omniverse Machinima

Omniverse Machinima

Audio2Face wurde zum ersten Mal bei der Veröffentlichung der GeForce 30-Serie als Teil der Omniverse Machinima-Demo gezeigt. Gesichter zu animieren gilt als äußerst komplex und kostenintensiv. Audio2Face automatisiert detaillierte Gesichtsanimationen, um die Erstellung von 3D-Inhalten zugänglicher zu machen.

Zukünftige Funktionen – Charakterübertragung

Menschliche Gesichter

Menschliche Gesichter

Audio2Face kann die Audiospur jedes Dialogs verwenden und die Animationen auf jedes menschliche 3D-Gesicht übertragen, ob realistisch oder stilisiert. In diesem Testbeispiel sehen Sie die Übertragung von Digital Mark auf Rain.

Kreaturen und Aliens

Kreaturen und Aliens

Mit dieser Funktion können Gesichtsanimation auf fantastische Kreaturen und Aliens übertragen werden. Hier steuert Digital Mark die Animationen des Aliens.

Werfen Sie einen genaueren Blick auf Audio2Face

Hier finden Sie eine technische Übersicht von der GTC 2020.

ON-DEMAND ANSEHEN
Systemanforderungen
Element Mindestanforderungen
Unterstütztes Betriebssystem Windows 10 64-Bit, 1909 oder höher
CPU Intel i7, AMD Ryzen
CPU-Recheneinheiten 4 oder höher
RAM Mindestens 16 GB
Datenspeicher Mindestens 500 GB
Grafikprozessor Alle RTX-GPUs
VRAM Mindestens 6 GB
Min. Videotreiber in der Version 455.28 (Linux), 456.71 (Windows)
Hinweis: Omniverse ist für die Ausführung auf beliebigen RTX-gestützten Computern ausgelegt. Für eine optimale Leistung empfehlen wir die Verwendung von GeForce RTX 2080, Quadro RTX 5000 oder höher. Aktuelle Treiber finden Sie unter NVIDIA Treiber Downloads. Wählen Sie für Quadro „Quadro New Feature Driver (QNF)“ aus.

Support

Treten Sie den Omniverse-Foren bei
Weitere Informationen finden Sie in der Supportdokumentation und den Anleitungen für Omniverse
Omniverse-Videotutorials und -schulungen ansehen.

GESTALTEN WIR
GEMEINSAM DIE ZUKUNFT

Erfahren Sie, wie Zusammenarbeit und Simulation der nächsten Generation Erstellern, Innovatoren und Unternehmen die Zukunft näher bringen.

Für kostenlose Sessions zur NVIDIA GTC 2021 anmelden >

Betreten Sie das Omniversum

Lernen Sie die Details der Plattform in einer Reihe von GTC-Webinaren kennen, die von Omniverse-Experten aus verschiedenen Branchen präsentiert werden.

MEHR ERFAHREN

Weitere Omniverse-Apps

Omniverse-Apps sind speziell auf die Verbesserung spezifischer Arbeitsabläufe zugeschnitten. Erleben Sie sie in Aktion.

nvidia-omniverse-view-64

View

Gemeinsames Design, immersive Visualisierung und fotorealistisches Rendering für Architektur, Ingenieurwesen und Konstruktion

MEHR ERFAHREN
nvidia-omniverse-create-64

Create

Beschleunigen Sie fortschrittliches Worldbuilding und stellen Sie Szenen in Pixar USD in Echtzeit interaktiv zusammen und simulieren und rendern Sie diese.

MEHR ERFAHREN
nvidia-omniverse-kaolin-icon-64

Kaolin

Mit diesem leistungsstarken Visualisierungstool vereinfachen und beschleunigen Sie die Erforschung von 3D-Deep Learning mit der NVIDIA Kaolin PyTorch-Bibliothek.

MEHR ERFAHREN
nvidia-omniverse-machinima-64

Machinima

Das Storytelling von Videospielen können Sie mit einem KI-gestützten Toolkit für Gamer völlig neu mischen, erstellen und definieren.

MEHR ERFAHREN
nvidia-omniverse-isaac-sim-icon-64

Isaac Sim

Importieren, erstellen und testen Sie Roboter in einer fotorealistischen und hochgradig präzisen physikalischen 3D-Umgebung.

MEHR ERFAHREN