NVIDIA Omniverse Audio2Face

Omniverse Audio2Face

Generieren Sie schnell und einfach ausdrucksstarke Gesichtsanimationen aus nur einer Audioquelle mit NVIDIAs Deep-Learning-KI-Technologie.

OPEN BETA HERUNTERLADEN

SYSTEMANFORDERUNGEN  | LEITFADEN FÜR DIE EINRICHTUNG

Gesichtsanimation leicht gemacht – mit KI

Audio2Face erleichtert die Animation eines 3D-Charakters zur Abstimmung auf beliebige Voice-Over-Tracks, sowohl bei der Animation von Charakteren in Spielen, Filmen, für digitale Echtzeit-Helfer als auch einfach nur zum Spaß. Sie können die App für interaktive Echtzeitanwendungen oder als traditionelles Erstellungstool für Gesichtsanimationen verwenden. Führen Sie die Ergebnisse live aus oder fertigen Sie sie vor, es liegt ganz an Ihnen.

Audio2Face erleichtert die Animation eines 3D-Charakters zur Abstimmung auf beliebige Voice-Over-Tracks.

Funktionsweise

Audio2Face ist mit „Digital Mark“ vorinstalliert – einem 3D-Charaktermodell, das mit Ihrer Tonspur animiert werden kann, sodass der Einstieg ganz einfach ist – wählen Sie einfach Ihr Audio aus und laden Sie es hoch. Die Audioeingabe wird dann in ein vorab trainiertes Deep Neural Network eingespeist und die Ausgabe steuert die 3D-Scheitelpunkte Ihres Charaktermeshs, um die Gesichtsanimation in Echtzeit zu erstellen. Sie haben auch die Möglichkeit, verschiedene Nachbearbeitungsparameter zu bearbeiten, um die Leistung Ihres Charakters zu verändern. Die Ergebnisse, die Sie auf dieser Seite sehen, sind meist Rohausgaben von Audio2Face mit wenig bis gar keinen bearbeiteten Nachbearbeitungsparametern.

Omniverse Audio2Face-App
 
Audio2Face generiert Gesichtsanimationen über Audioeingaben.

AUDIOEINGABE

Eine Aufzeichnung verwenden oder Live animieren

Nehmen Sie einfach eine Sprachspur auf, laden Sie sie in die App und sehen Sie, wie Ihr 3D-Gesicht lebendig wird. Sie können sogar Live-Gesichtsanimationen über ein Mikrofon generieren.

Audio2Face ist in der Lage, mit Leichtigkeit jede Sprache zu verarbeiten. Und wir bieten laufend Updates mit immer mehr Sprachen. Sehen Sie sich diese Tests auf Englisch, Französisch, Italienisch und Russisch an.

CHARAKTERÜBERTRAGUNG

Face Swap im Handumdrehen

Mit Audio2Face können Sie alles zu einem menschlichen oder menschenähnlichen 3D-Gesicht übertragen – egal ob realistisch oder stilisiert. In diesem Testbeispiel sehen Sie die Übertragung von Digital Mark auf ein singendes Nashorn!

 
Animieren Sie jedes Charaktergesicht mit Audio2Face
 
Generieren Sie mithilfe mehrerer Instanzen eine Gesichtsanimation für mehr als eine Figur.

MEHRERE INSTANZEN

Lass Sie sich selbst sprechen – oder alle auf einmal

Mit Audio2Face können Sie ganz einfach mehrere Instanzen mit beliebig vielen Figuren in einer Szene ausführen – alle werden über dieselbe oder unterschiedliche Audiospuren animiert. Erwecken Sie den Dialog zwischen einem Duo, den Wettstreit zwischen einem Trio oder einem Quartett zum Leben und zum Klang – das und noch mehr. Außerdem können Sie die Mimik der einzelnen Gesichter verstärken oder abschwächen.

EMOTIONSSTEUERUNG

Jetzt kommt Drama ins Spiel

Audio2Face gibt Ihnen die Möglichkeit, die Emotionen Ihres Charakters im Handumdrehen auszuwählen und zu animieren. Das Netzwerk verändert automatisch Gesicht, Augen, Mund, Zunge und Kopfbewegungen in unterschiedlicher Intensität.

Die Funktion ist demnächst erhältlich.

Fügen Sie Ihren Animationen Emotionen hinzu.

Audio2Face in Aktion erleben

Animieren Sie jede Figur oder Kreatur mit Audio2Face

Kreaturen und Aliens

Beleben Sie die Gesichtsanimation von Fantasiewesen und Aliens. Hier steuert Digital Mark die Animationen des Aliens.

Kombinieren Sie Audio2Face mit Konversations-KI für ein Chatbot-Erlebnis.

Misty der animierte Chat-Bot

Misty wurde auf der GTC Spring 2020 vorgestellt und ist ein interaktiver Wetter-Bot, der von Audio2Face in der Laufzeit gesteuert wird. Wir haben das Retargeting von einem realistischen menschlichen Netz zu einem stilisierten Charakternetz demonstriert, das als interaktiver Service-Agent verwendet werden kann.

Audio2Face arbeitet mit Omniverse Machinima.

Omniverse Machinima

Audio2Face wurde während der Einführung der GeForce 30-Serie vorgestellt und ist in der Omniverse Machinima-Demo zu sehen. Gesichtsanimation ist bekanntermaßen komplex und kostenintensiv. Audio2Face automatisiert detaillierte Gesichtsanimationen, um den Prozess der Erstellung von 3D-Inhalten zu demokratisieren.    

TAUCHEN SIE EIN IN DIE NEUESTEN OMNIVERSE-INHALTE

ERSTE SCHRITTE MIT OMNIVERSE AUDIO2FACE

Omniverse Machinima funktioniert auf jedem System mit NVIDIA RTX – vom Notebook bis hin zum Rechenzentrum. Laden Sie Omniverse herunter, und entdecken Sie Ihre Möglichkeiten.

NVIDIA Omniverse herunterladen

1

Laden Sie NVIDIA Omniverse herunter, und führen Sie die Installation aus.

Öffnen Sie den Omniverse-Launcher

2

Öffne nach der Installation den Omniverse Launcher.

Suchen Sie im Abschnitt „Apps“ nach „Audio2Face“ und klicken Sie auf „Install“.

3

Suchen Sie im Abschnitt „Apps“ nach „Audio2Face“ und klicken Sie auf „Install“ und anschließend auf „Launch“.

Erhalten Sie einen tieferen Einblick in Audio2Face

Sehen Sie sich diesen technischen Überblick an, der auf der GTC 2020 präsentiert wurde.

ON-DEMAND ANSEHEN
Systemanforderungen
Element Mindest-Systemanforderungen
Unterstütztes Betriebssystem Windows 10 64-Bit (Version 1909 und höher)
CPU Intel i7, AMD Ryzen
Mindestens 2,5 GHz
CPU-Recheneinheiten 4 oder höher
RAM Mindestens 16 GB
Datenspeicher SSD mit mindestens 500 GB
Grafikprozessor Alle RTX-GPUs
VRAM Mindestens 6 GB
Mindestens Videotreiber in der Version Die neuesten Treiber finden Sie hier.
Hinweis: Omniverse kann auf jedem RTX-Grafikprozessor ausgeführt werden. Um optimale Leistung zu erzielen, empfehlen wir die Verwendung von GeForce RTX 3070, NVIDIA RTX A4000, 8 GB oder höher.

Support

Trete den Omniverse-Foren bei
Weitere Informationen finden Sie in der Supportdokumentation und den Anleitungen
Omniverse-Videotutorials und -schulungen ansehen

Betreten Sie das Omniversum

Lernen Sie die Details der Plattform in einer Reihe von GTC-Webinaren kennen, die von Omniverse-Experten aus verschiedenen Branchen präsentiert werden.

MEHR INFORMATIONEN 

Weitere Omniverse-Apps

Omniverse-Apps sind speziell auf die Verbesserung spezifischer Arbeitsabläufe zugeschnitten. Erleben Sie sie in Aktion.

Anzeigen

Anzeigen

Mit diesem leistungsstarken, physikalisch korrekten und fotorealistischen Visualisierungstool können Sie Konstruktionsprojekte im Team überprüfen.

MEHR INFORMATIONEN 
Erstellen

Erstellen

Beschleunigen Sie fortschrittliches Worldbuilding und stellen Sie Szenen in Pixar USD in Echtzeit interaktiv zusammen und simulieren und rendern Sie diese.

MEHR INFORMATIONEN 
Kaolin

Kaolin

Mit diesem leistungsstarken Visualisierungstool vereinfachen und beschleunigen Sie die Erforschung von 3D-Deep Learning mit der NVIDIA Kaolin PyTorch-Bibliothek.

MEHR INFORMATIONEN 
Machinima

Machinima

Das Storytelling von Videospielen können Sie mit einem KI-gestützten Toolkit für RTX-Ersteller völlig neu mischen, erstellen und definieren.

MEHR INFORMATIONEN 
Isaac Sim

Isaac Sim

Importieren, erstellen und testen Sie Roboter in einer fotorealistischen und hochgradig präzisen physikalischen 3D-Umgebung.

MEHR INFORMATIONEN 
Drive Sim

DRIVE Sim

Nutzen Sie ein Simulationserlebnis für die autonome Fahrzeugentwicklung, das praktisch nicht von der Realität zu unterscheiden ist.

MEHR INFORMATIONEN 

MELDEN SIE SICH FÜR DEN DOWNLOAD AN

Produkte
Ressourcen
Community