NVIDIA Omniverse Audio2Face

BETA

Omniverse Audio2Face

Generieren Sie schnell und einfach ausdrucksstarke Gesichtsanimationen aus nur einer Audioquelle mit NVIDIAs Deep-Learning-KI-Technologie.

Gesichtsanimation leicht gemacht

Omniverse Audio2Face Beta erleichtert die Animation eines 3D-Charakters zur Abstimmung auf beliebige Voice-Over-Tracks, sowohl bei der Animation von Charakteren in Spielen, Filmen, für digitale Echtzeit-Helfer als auch einfach nur zum Spaß. Sie können die App für interaktive Echtzeitanwendungen oder als traditionelles Erstellungstool für Gesichtsanimationen verwenden. Führen Sie die Ergebnisse live aus oder fertigen Sie sie vor, es liegt ganz an Ihnen.

Funktionsweise

Audio2Face ist mit „Digital Mark“ vorinstalliert – einem 3D-Charaktermodell, das mit Ihrer Tonspur animiert werden kann, sodass der Einstieg ganz einfach ist – wählen Sie einfach Ihr Audio aus und laden Sie es hoch. Die Audioeingabe wird dann in ein vorab trainiertes Deep Neural Network eingespeist und die Ausgabe steuert die 3D-Scheitelpunkte Ihres Charaktermeshs, um die Gesichtsanimation in Echtzeit zu erstellen. Sie haben auch die Möglichkeit, verschiedene Nachbearbeitungsparameter zu bearbeiten, um die Leistung Ihres Charakters zu verändern. Die Ergebnisse, die Sie auf dieser Seite sehen, sind meist Rohausgaben von Audio2Face mit wenig bis gar keinen bearbeiteten Nachbearbeitungsparametern.

Omniverse Audio2Face-App
 
Audio2Face generiert Gesichtsanimationen über Audioeingaben.

AUDIOEINGABE

Eine Aufzeichnung verwenden oder Live animieren

Nehmen Sie einfach eine Sprachspur auf, laden Sie sie in die App und sehen Sie, wie Ihr 3D-Gesicht lebendig wird. Sie können sogar Live-Gesichtsanimationen über ein Mikrofon generieren.

Audio2Face ist in der Lage, mit Leichtigkeit jede Sprache zu verarbeiten. Und wir bieten laufend Updates mit immer mehr Sprachen.  

CHARAKTERÜBERTRAGUNG

Face Swap im Handumdrehen

Mit Audio2Face können Sie alles zu einem menschlichen oder menschenähnlichen 3D-Gesicht übertragen – egal ob realistisch oder stilisiert. In diesem Testbeispiel sehen Sie die Übertragung von Digital Mark auf ein Nashorn!

 
Animieren Sie jedes Charaktergesicht mit Audio2Face
 
Generieren Sie mithilfe mehrerer Instanzen eine Gesichtsanimation für mehr als eine Figur.

AUSGABE SKALIEREN

Lass Sie sich selbst sprechen – oder alle auf einmal

Mit Audio2Face können Sie ganz einfach mehrere Instanzen mit beliebig vielen Figuren in einer Szene ausführen – alle werden über dieselbe oder unterschiedliche Audiospuren animiert. Erwecken Sie den Dialog zwischen einem Duo, den Wettstreit zwischen einem Trio oder einem Quartett zum Leben und genießen Sie den Klang – und noch mehr. Außerdem können Sie die Mimik der einzelnen Gesichter verstärken oder abschwächen und mehrere Animationsdateien aus verschiedenen Audioquellen im Batch ausgeben.

DATENKONVERTIERUNG

Verbinden und Konvertieren

Das neueste Update für Omniverse Audio2Face ermöglicht jetzt Blendshape-Konvertierung und auch Blendweight-Exportoptionen. Außerdem unterstützt die App jetzt den Export-Import mit Epic Games Unreal Engine 4, um Bewegung auf MetaHuman-Charakteren mit dem Unreal Engine 4 Omniverse Connector zu generieren.

 
Fügen Sie Ihren Animationen Emotionen hinzu.
Fügen Sie Ihren Animationen Emotionen hinzu.

EMOTIONSSTEUERUNG

Jetzt kommt Drama ins Spiel

Audio2Face gibt Ihnen die Möglichkeit, die Emotionen Ihres Charakters im Handumdrehen auszuwählen und zu animieren. Das KI-Netzwerk verändert automatisch Gesicht, Augen, Mund, Zunge und Kopfbewegungen in unterschiedlicher Intensität, damit sie zum ausgewählten emotionalen Bereich passen, oder leitet automatisch Emotionen direkt aus dem Audioclip ab.

Audio2Face in Aktion erleben

Kreaturen und Aliens

Beleben Sie die Gesichtsanimation von Fantasiewesen und Aliens. Hier steuert Digital Mark die Animationen des Aliens.

Misty der animierte Chat-Bot

Misty wurde auf der GTC Spring 2020 vorgestellt und ist ein interaktiver Wetter-Bot, der von Audio2Face in der Laufzeit gesteuert wird. Wir haben das Retargeting von einem realistischen menschlichen Netz zu einem stilisierten Charakternetz demonstriert, das als interaktiver Service-Agent verwendet werden kann.

Omniverse Machinima

Audio2Face wurde während der Einführung der GeForce 30-Serie vorgestellt und ist in der Omniverse Machinima-Demo zu sehen. Gesichtsanimation ist bekanntermaßen komplex und kostenintensiv. Audio2Face automatisiert detaillierte Gesichtsanimationen, um den Prozess der Erstellung von 3D-Inhalten zu demokratisieren.   

NVIDIA Omniverse hilft mir dabei, natürlichere Ergebnisse für meine digitalen Menschen zu erzielen und meinen Workflow zu beschleunigen, sodass ich mehr Zeit für den kreativen Prozess aufwenden kann.

– Anderson Rohr | 3D-Künstler

Erleben Sie NVIDIA Omniverse noch heute

Finden Sie die richtige Lizenz für Ihren 3D-Workflow und beginnen Sie sofort mit der Erkundung von Omniverse.

nvidia-omniverse-creators-3c33-D

Creators

Kostenlos herunterladen und erstellen

Omniverse fungiert als zentraler Hub für die nahtlose Verbindung und Verbesserung von kreativen 3D-Anwendungen, wobei Assets, Bibliotheken und Tools vereinheitlicht werden, was einen wirklich unterbrechungsfreien Workflow gewährleistet und es Künstlern ermöglicht, neue Höhen der kreativen Freiheit zu erreichen.

Entwickler

Entwickler

Kostenlos entwickeln und verteilen

Omniverse wurde mit Blick auf Entwickler kreiert und bietet ihnen die Möglichkeit, ihre 3D-Workflows auf jeder Ebene anzupassen, womit sich ganz einfach neue Anschlüsse, Erweiterungen, Anwendungen und Microservices für Omniverse erstellen lassen.

nvidia-omniverse-enterprise-3c33-D

Enterprise

Kostenlose Testversion I Jahreslizenz

Omniverse Enterprise transformiert komplexe Design-Workflows für Organisationen jeder Größenordnung. Es ermöglicht die Zusammenarbeit mit mehreren Benutzern und Standorten in Echtzeit, indem auf verschiedene Anwendungen mit zentralisierten Projektdaten zurückgegriffen wird.

Installation von Omniverse Audio2Face

NVIDIA Omniverse herunterladen

1

Laden Sie NVIDIA Omniverse herunter, und führen Sie die Installation aus.

Öffnen Sie den Omniverse-Launcher

2

Öffnen Sie nach der Installation den Omniverse Launcher.

Suchen Sie im Abschnitt „Apps“ nach „Audio2Face“ und klicken Sie auf „Install“.

3

Suchen Sie im Abschnitt „Apps“ nach „Omniverse Audio2Face“ und klicken Sie auf „Install“ und anschließend auf „Launch“.

Systemanforderungen
Element Mindest-Systemanforderungen
Unterstütztes Betriebssystem Windows 10 64-Bit (Version 1909 und höher)
CPU Intel i7, AMD Ryzen
Mindestens 2,5 GHz
CPU-Recheneinheiten 4 oder höher
RAM Mindestens 16 GB
Datenspeicher SSD mit mindestens 500 GB
Grafikprozessor Alle RTX-GPUs
VRAM Mindestens 6 GB
Mindestens Videotreiber in der Version Die neuesten Treiber finden Sie hier.
Hinweis: Omniverse kann auf jedem RTX-Grafikprozessor ausgeführt werden. Um optimale Leistung zu erzielen, empfehlen wir die Verwendung von GeForce RTX 3070, NVIDIA RTX A4000, 8 GB oder höher.

Gehen Sie mit Schritt-für-Schritt-Tutorials ins Detail

Entdecken Sie weitere Omniverse-Apps

Entdecken Sie die vollständige Suite der NVIDIA Omniverse-Apps und -Verbindungen oder testen Sie die folgenden Empfehlungen.

Create

Beschleunigen Sie fortschrittliches Worldbuilding mit Pixar USD, stellen Sie Szenen in Echtzeit interaktiv zusammen und simulieren und rendern Sie diese.

Code

Eine integrierte Entwicklungsumgebung, mit der Entwickler und Power-User ihre Erweiterungen, Apps oder Microservices für Omniverse ganz einfach erstellen können.

Machinima

Das Storytelling von Videospielen können Sie mit einem KI-gestützten Toolkit für Ersteller völlig neu mischen, erstellen und definieren.

View

Mit diesem leistungsstarken, physikalisch korrekten und fotorealistischen Visualisierungstool können Sie Konstruktionsprojekte im Team überprüfen.

Teil unserer Community werden

Zugriff auf Tutorials

Nutzen Sie Hunderte kostenloser Tutorials, Sessions oder unser Anfängertraining, um mit USD loszulegen

Werden Sie zum Omnivore

Teil unserer Community werden Nehmen Sie an unseren wöchentlichen Livestreams auf Twitch teil und verbinden Sie sich mit uns auf Discord und unseren Foren.

Bitten Sie den technischen Support um Hilfe

Probleme? Stellen Sie Ihre Fragen in den Foren, um sich schnell von Omniverse-Experten beraten zu lassen, oder lesen Sie die Dokumentation für die Plattform.

Zeigen Sie Ihre Projekte

Haben Sie ein Omniverse-Meisterwerk geschaffen? Reichen Sie es in der Omniverse-Galerie ein, in der Sie sich inspirieren lassen und andere inspirieren können.

Verbinden Sie sich mit uns

Bleiben Sie auf dem Laufenden bei den neuesten News von NVIDIA Omniverse.