Omniverse Audio2Face

Die Omniverse Audio2Face-App basiert auf einem von NVIDIA Research erstellten Dokument. Bei Audio2Face ist „Digital Mark“ vorinstalliert – ein 3D-Charaktermodell, das anhand Ihrer Audiospur animiert werden kann, was den Einstieg erleichtert. Wählen Sie einfach Ihre Audiospur aus und laden Sie diese in der App.  Die Technologie speist die Audioeingabe in ein vortrainiertes Deep Neural Network ein. Die Ausgabe des Netzwerks steuert die Gesichtsanimationen des Charakters in Echtzeit.  Nutzer haben die Möglichkeit, eine Reihe Nachbearbeitungsparametern zu verändern, um die Animationen des Charakters anzupassen. Die Ausgabe des Netzwerks steuert die 3D-Scheitelpunkte im Mesh des Charakters und erstellt so die Gesichtsanimationen. Die Ergebnisse, die Sie auf dieser Seite sehen, entsprechen überwiegend Rohausgaben von Audio2Face, bei denen nur wenige bis gar keine Nachbearbeitungsparameter angepasst wurden.

(Hinweis: Unterstützung für Direct blendshape wird zu einem späteren Zeitpunkt veröffentlicht.)