Als das Team mit dem Aufbau einer baukastenbasierten Anwendung mit Omniverse begann, erkannte es schnell einige Vorteile – vor allem durch die modulare Erweiterbarkeit von Omniverse und die Verwendung vorhandener Komponenten als Bausteine.
„Die Entwicklung von FlixiVerse mit Omniverse Kit war ein Riesenspaß. Es bietet einen gebrauchsfertigen Echtzeit-3D-Renderer, der Raytrace kann, sodass vieles von dem, was wir implementieren mussten, von Anfang an vorhanden war. Die Erweiterung des Basisprojekts war einfach, da die gesamte Entwicklung in Python erfolgt“ , so Nikolas Ladas, Software Engineer bei Sony Pictures Animation.
Vieles von dem, was FlixiVerse tut, kommt von Kit-Plugins. Dazu gehören die Benutzeroberfläche, die Arbeit mit USD-Daten, die Kommunikation mit Nucleus für die Speicherung und das Streaming der Anwendung über das Netzwerk mit webRTC. Das Hinzufügen eines Plugins zu FlixiVerse war so einfach wie das Hinzufügen einer Zeile in der Konfigurationsdatei des Projekts. Für Code, den SPA selbst schreiben musste, wurde auf die Dokumentation und die verschiedenen Beispielprojekte zurückgegriffen.
Die OpenUSD-Architektur (Universal Scene Description) von Omniverse beschleunigte die Entwicklung und die Interoperabilität mit der bestehenden Pipeline von Sony. Das Team nutzte Erweiterungen aus der Omniverse-Erweiterungsbibliothek, wie z. B. den Scene Optimizer, mit dem es auf einfache Weise Funktionen zur Umwandlung komplexer 3D-Szenen in leichtgewichtige Darstellungen hinzufügen konnte, was Wochen an Entwicklungszeit sparte. Nucleus fügt Funktionen für den Dateitransfer und die automatische Aktualisierung hinzu und zieht Modelle aus Autodesk Maya.
„Wir haben ein Skript entwickelt, das Omniverse-Befehle verwendet, um das, was in Maya live ist, in Omniverse Nucleus zu exportieren“, sagt Katsambas. „Früher hat es Tage gedauert, die Dateien vorzubereiten und zu exportieren. Jetzt dauert es nur noch Minuten."
Um die Steuerung der Kamera zu vereinfachen, hat das Team einen Playstation-Controller integriert, mit dem sich die Kamera leicht durch die Szene bewegen lässt. Außerdem gibt es eine benutzerdefinierte Oberfläche, über die die Künstler Licht, Schatten, Kamerawinkel und vieles mehr anpassen können. Jetzt können sie diese Informationen in die Produktion einfließen lassen und so die Erstellung von Aufnahmen beschleunigen und optimieren.
Regisseur Joaquim Dos Santos ist ein Filmemacher mit einem Hintergrund in Storyboarding, der FlixiVerse während der Vorproduktion für den neuesten Film des Studios, Spider-Man: Across the Spider-Verse, verwendete. „FlixiVerse war für Joaquims Prozess von unschätzbarem Wert. Jetzt kann er sich mit einem Game-Controller in 3D bewegen, Schnappschüsse machen, Modelle verschieben und seinen Workflow beschleunigen. Außerdem können die Produktionsdesigner das Pre-Production-Design in einer 3D-Welt sehen, um sich Inspirationen und Designideen zu holen“, so Katsambas weiter.
Bei der Vorproduktion von „Spider-Man“ verwendete das Team eine Kombination aus einem internen Tool namens Flixi und der Omniverse-App FlixiVerse. Am Ende der Vorproduktion lag die Anzahl der Storyboard-Panels für den Film bei 450.000 – das sind im Durchschnitt fast viermal so viele Iterationen wie bei früheren Filmen.
Was die nächsten Schritte angeht, so erklärt Katsambas, dass das Team die Entwicklung von FlixiVerse fortsetzen will und dass dies erst der Anfang ist. „Wir kratzen nur an der Oberfläche“, sagte er. „Uns gefällt die Idee von Omniverse Nucleus, und es gibt viele Möglichkeiten, zu erkunden, wie wir es kreativ nutzen können, z. B. die Verbindung neuer Anwednungen für Motion Capturing, um die Inszenierung von Charakteren zu beschleunigen, und Look-Dev-Tools.“