Sony Pictures Animation

2D- und 3D-Welten mit NVIDIA Omniverse Enterprise zusammenbringen

Ziel

Sony Pictures Animation hat große Fortschritte bei der Verbesserung des Vorproduktionsablaufs gemacht, sodass die Künstler des Studios mehr Kontrolle und Kreativität bei der Übertragung ihrer 2D-Storyboards in den 3D-Bereich haben. Das Unternehmen entwickelte eine Anwendung namens FlixiVerse auf NVIDIA Omniverse™ und nutzte die vorhandenen Funktionen der Plattform wie OpenUSD und die automatischen Update-Funktionen von Nucleus. Dadurch konnten die Künstler ihre 3D-Modelle in wenigen Minuten einfach in Nucleus verschieben und mithilfe eines Spiel-Controllers durch 3D-Szenen navigieren, um die Kamera zu steuern.

Kunde

Sony Pictures Animation

Anwendungsfall

Medien und Unterhaltung

Technologie

NVIDIA Omniverse Enterprise
NVIDIA RTXTM
FlixiVerse
Universal Scene Description (OpenUSD)

Sony Pictures Animation nutzte NVIDIA Omniverse, um eine interne Anwendung namens FlixiVerse zu entwickeln, die es Künstlern und Regisseuren ohne 3D-Kenntnisse ermöglicht, sich in einer 3D-Umgebung zurechtzufinden, bessere kreative Entscheidungen zu treffen und den Vorproduktions-Workflow zu beschleunigen.


  • Deutliche Optimierung für den Vorproduktions-Workflow.
  • Zeit für 4-mal mehr Aufnahme-Iterationen im Vergleich zu früher.

  • FlixiVerse synchronisiert Dateien automatisch innerhalb von Minuten im Vergleich zu Tagen im Vergleich zu früheren Workflows.
  • Die Verwendung der Omniverse-Erweiterungsbibliothek spart Wochen an Entwicklungszeit.

Bildnachweis: Mit freundlicher Genehmigung von Sony Pictures Animation

Das Studio entwickelte FlixiVerse, eine auf Omniverse Enterprise und NVIDIA RTX basierende App, die es 2D-Künstlern ermöglicht, kreative Workflows mit mehr Iterationen und einfacheren Übergängen in 3D-Umgebungen zu beschleunigen.

Das Studio konzentriert sich auf das Frontend der Animationsvorproduktion und arbeitet mit dem Schwesterstudio Sony Pictures Imageworks für die Filmproduktion zusammen. So kann sich das Team auf Stil und Innovation beim Storyboarding, visuelle Entwicklung und den Schnitt konzentrieren, während es eng an der endgültigen Produktion zusammenarbeitet. Ein durchschnittlicher 90-minütiger Film enthält rund 120.000 Storyboards mit über 2000 Aktualisierungen des Drehbuchs und 25.000 einzigartigen Designs.

Um den nachgelagerten Künstlern so viel kreative Freiheit wie möglich zu bieten, begann Sony Pictures Animation, neue Wege zur Optimierung des Vorproduktionsablaufs zu erforschen.

„Wenn Künstler an Storyboard-Panels arbeiten, arbeiten sie hauptsächlich an 2D-Zeichnungen. Es sieht wunderschön aus und funktioniert hervorragend als Storyboard, aber die Umstellung dieser 2D-Panels in einen 3D-Raum kann eine Herausforderung sein. Oft funktioniert eine Aufnahme in 3D nicht oder ein Kamerawinkel kann nicht erreicht werden. Darüber hinaus können 2D-Panels den kreativen Ausdruck in Szenen wie z. B. Actionaufnahmen einschränken“, so Yiotis Katsambas, Executive Director of Technology bei Sony Pictures Animation.

„Wir wollten Künstlern mehr Kontrolle beim Umstieg in die 3D-Umgebung geben. Wir wollten ihnen keine Grenzen setzen, sondern Technologie implementieren, die ihnen gestattet, die für sie sinnvollen Tools und Apps zu verwenden, während wir ihnen gleichzeitig so viel Flexibilität bieten wie möglich.“

Bildnachweis: Mit freundlicher Genehmigung von Sony Pictures Animation

Bildnachweis: Mit freundlicher Genehmigung von Sony Pictures Animation

Ein Portal in die dritte Dimension

Das Ziel war es, Künstlern und Regisseuren, die keine professionellen 3D-Kenntnisse haben, eine vereinfachte 3D-Ansicht zu bieten, damit sie fundiertere kreative Entscheidungen treffen und das Layout in einem 3D-Raum iterieren können. Über diese Brücke könnten Produktionsteams zudem Daten aus der 3D-Vorproduktion erfassen, wie Objektiv- und Kamerainformationen, um den Übergang in die Produktion zu unterstützen.

Das Team hat einiges ausprobiert, um dies zu lösen, einschließlich der Entwicklung einer Desktop-App. Schon damals standen sie vor Herausforderungen, wie z. B. dass die Aktualisierung der Modelle Tage dauerte, dass die Künstler nicht mit den 3D-Tools vertraut waren oder dass die Rechner nicht leistungsfähig genug waren, um die Desktop-Anwendungen auszuführen.

Dann wandten sie sich dem Aufbau von Omniverse zu, nachdem sie eine Demo aufNVIDIA GTC gesehen hatten. Ein kleines Team unter der Leitung des Ingenieurs Nikolas Ladas begann mit der Entwicklung einer internen Anwendung namens FlixiVerse, die das „Portal zur dritten Dimension“ sein sollte.

FlixiVerse ermöglicht es dem Storyboarding-Team, mit einem einfachen Viewer durch eine 3D-Umgebung zu navigieren, sodass jeder eine Szene betreten und in 3D iterieren kann. FlixiVerse synchronisiert Dateien automatisch innerhalb von Minuten und nicht erst nach Tagen, wie es beim vorherigen Workflow der Fall war. Es ist außerdem webbasiert und nutzt einen Pool von PCs im Studio sowie einen Server, der von NVIDIA RTX 6000 GPUs angetrieben wird. Das macht es den Künstlern leicht, in einem Browser zu arbeiten und zu prüfen, ohne dass sie leistungsstarke Rechner benötigen.

Beschleunigung der App-Entwicklung mit vorhandenen Komponenten und Erweiterungen

Als das Team mit dem Aufbau einer baukastenbasierten Anwendung mit Omniverse begann, erkannte es schnell einige Vorteile – vor allem durch die modulare Erweiterbarkeit von Omniverse und die Verwendung vorhandener Komponenten als Bausteine.

„Die Entwicklung von FlixiVerse mit Omniverse Kit war ein Riesenspaß. Es bietet einen gebrauchsfertigen Echtzeit-3D-Renderer, der Raytrace kann, sodass vieles von dem, was wir implementieren mussten, von Anfang an vorhanden war. Die Erweiterung des Basisprojekts war einfach, da die gesamte Entwicklung in Python erfolgt“ , so Nikolas Ladas, Software Engineer bei Sony Pictures Animation.

Vieles von dem, was FlixiVerse tut, kommt von Kit-Plugins. Dazu gehören die Benutzeroberfläche, die Arbeit mit USD-Daten, die Kommunikation mit Nucleus für die Speicherung und das Streaming der Anwendung über das Netzwerk mit webRTC. Das Hinzufügen eines Plugins zu FlixiVerse war so einfach wie das Hinzufügen einer Zeile in der Konfigurationsdatei des Projekts. Für Code, den SPA selbst schreiben musste, wurde auf die Dokumentation und die verschiedenen Beispielprojekte zurückgegriffen.

Die OpenUSD-Architektur (Universal Scene Description) von Omniverse beschleunigte die Entwicklung und die Interoperabilität mit der bestehenden Pipeline von Sony. Das Team nutzte Erweiterungen aus der Omniverse-Erweiterungsbibliothek, wie z. B. den Scene Optimizer, mit dem es auf einfache Weise Funktionen zur Umwandlung komplexer 3D-Szenen in leichtgewichtige Darstellungen hinzufügen konnte, was Wochen an Entwicklungszeit sparte. Nucleus fügt Funktionen für den Dateitransfer und die automatische Aktualisierung hinzu und zieht Modelle aus Autodesk Maya.

„Wir haben ein Skript entwickelt, das Omniverse-Befehle verwendet, um das, was in Maya live ist, in Omniverse Nucleus zu exportieren“, sagt Katsambas. „Früher hat es Tage gedauert, die Dateien vorzubereiten und zu exportieren. Jetzt dauert es nur noch Minuten."

Um die Steuerung der Kamera zu vereinfachen, hat das Team einen Playstation-Controller integriert, mit dem sich die Kamera leicht durch die Szene bewegen lässt. Außerdem gibt es eine benutzerdefinierte Oberfläche, über die die Künstler Licht, Schatten, Kamerawinkel und vieles mehr anpassen können. Jetzt können sie diese Informationen in die Produktion einfließen lassen und so die Erstellung von Aufnahmen beschleunigen und optimieren.

Regisseur Joaquim Dos Santos ist ein Filmemacher mit einem Hintergrund in Storyboarding, der FlixiVerse während der Vorproduktion für den neuesten Film des Studios, Spider-Man: Across the Spider-Verse, verwendete. „FlixiVerse war für Joaquims Prozess von unschätzbarem Wert. Jetzt kann er sich mit einem Game-Controller in 3D bewegen, Schnappschüsse machen, Modelle verschieben und seinen Workflow beschleunigen. Außerdem können die Produktionsdesigner das Pre-Production-Design in einer 3D-Welt sehen, um sich Inspirationen und Designideen zu holen“, so Katsambas weiter.

Bei der Vorproduktion von „Spider-Man“ verwendete das Team eine Kombination aus einem internen Tool namens Flixi und der Omniverse-App FlixiVerse. Am Ende der Vorproduktion lag die Anzahl der Storyboard-Panels für den Film bei 450.000 – das sind im Durchschnitt fast viermal so viele Iterationen wie bei früheren Filmen.

Was die nächsten Schritte angeht, so erklärt Katsambas, dass das Team die Entwicklung von FlixiVerse fortsetzen will und dass dies erst der Anfang ist. „Wir kratzen nur an der Oberfläche“, sagte er. „Uns gefällt die Idee von Omniverse Nucleus, und es gibt viele Möglichkeiten, zu erkunden, wie wir es kreativ nutzen können, z. B. die Verbindung neuer Anwednungen für Motion Capturing, um die Inszenierung von Charakteren zu beschleunigen, und Look-Dev-Tools.“

Beginnen Sie mit der Entwicklung interoperabler 3D-Workflows und OpenUSD-Anwendungen.