Sony Pictures Animation

Combinez les mondes 2D et 3D avec NVIDIA Omniverse Enterprise

Objectif

Sony Pictures Animation a considérablement amélioré son workflow de pré-production, permettant à ses artistes d'avoir un meilleur contrôle et davantage de liberté créatrice lors de la transition entre leurs storyboards 2D et un espace 3D. Le studio a développé une application appelée FlixiVerse sur NVIDIA Omniverse™ et a tiré parti des fonctionnalités existantes de la plateforme, telles qu'OpenUSD et les capacités de mise à jour automatique de Nucleus. Cela a permis aux artistes de déplacer facilement leurs modèles 3D vers Nucleus en quelques minutes et ils ont également la possibilité de naviguer dans des scènes 3D à l'aide d'une manette de jeu pour manipuler la caméra.

Client

Sony Pictures Animation

Utilisation

Multimédia et divertissement

Technologie

NVIDIA Omniverse Enterprise
NVIDIA RTX™
FlixiVerse
Universal Scene Description (OpenUSD)

Sony Pictures Animation s'est appuyée sur NVIDIA Omniverse pour développer une application interne appelée FlixiVerse qui permet aux artistes et aux réalisateurs qui ne maîtrisent pas la 3D de naviguer facilement dans un environnement 3D, de prendre des décisions mieux éclairées en matière de créativité et d’accélérer le workflow de pré-production.


  • Optimisation importante du workflow de pré-production.
  • Quatre fois plus d'itérations de prises de vue par rapport aux films précédents.

  • FlixiVerse synchronise automatiquement les fichiers en quelques minutes au lieu de quelques jours comme le faisait le précédent workflow.
  • La bibliothèque d'extensions Omniverse nous a permis de gagner des semaines de développement.

Crédit d'image : image publiée avec l'aimable autorisation de Sony Pictures Animation

Le studio a développé FlixiVerse, une application basée sur Omniverse Enterprise et accélérée par NVIDIA RTX qui permet aux artistes 2D d'accélérer leurs workflows créatifs en apportant davantage d'itérations et des transitions plus faciles dans les environnements 3D.

Le studio se concentre sur le frontend de la pré-production des animations, en collaboration avec le studio affilié Sony Pictures Imageworks pour la production des longs métrages. Cela permet à l'équipe de se concentrer sur le style et l'innovation en matière de scénarisation, de développement visuel et de montage, tout en collaborant étroitement sur la production finale. En moyenne, un film de 90 minutes comporte environ 120 000 planches, plus de 2 000 mises à jour du scénario et 25 000 conceptions uniques.

Sony Pictures Animation a commencé à explorer de nouveaux moyens d'optimiser son workflow de pré-production afin d'offrir aux artistes intervenant en aval la plus grande liberté de création possible.

"Lorsque les artistes travaillent sur des planches de storyboard, ils travaillent principalement sur des dessins en 2D. Ces dessins sont magnifiques et font très bien l'affaire pour un storyboard, mais la transition de ces planches 2D dans un espace 3D peut s'avérer délicate. Il arrive souvent qu'une prise de vue ne convienne pas en 3D ou qu'un angle de caméra ne puisse pas être obtenu. En outre, les planches 2D peuvent limiter l'expression créative, dans des plans d'action, par exemple", explique Yiotis Katsambas, directeur exécutif de la technologie chez Sony Pictures Animation.

"Nous avions le sentiment que nous devions donner aux artistes davantage de contrôle lors du passage dans un environnement 3D. Nous ne voulions pas limiter les artistes, au contraire, nous voulions mettre en place une technologie qui leur permette d'utiliser les outils et les applications qui leur conviennent, tout en leur donnant le plus de flexibilité possible."

Crédit d'image : image publiée avec l'aimable autorisation de Sony Pictures Animation

Crédit d'image : image publiée avec l'aimable autorisation de Sony Pictures Animation

Un portail vers la troisième dimension

L'objectif était d'immerger les artistes et les réalisateurs qui ne maîtrisent pas la 3D dans une vue 3D simplifiée afin qu'ils puissent prendre des décisions mieux éclairées en matière de créativité et apporter des itérations sur la mise en page dans un espace 3D. Cette passerelle permettrait également aux équipes de production de capturer des données de pré-production 3D, telles que des informations sur les objectifs et les caméras, pour faciliter la transition vers la production.

L'équipe a essayé plusieurs solutions, notamment en créant une application de bureau. Malgré cela, elle a été confrontée à des difficultés, comme des modèles dont la mise à jour prenait des jours, des artistes qui ne maîtrisaient pas les outils 3D ou des machines qui n'étaient pas assez puissantes pour exécuter les applications de bureau.

Elle s'est alors tournée vers Omniverse après avoir vu une démo au NVIDIA GTC. Une petite équipe dirigée par l'ingénieur Nikolas Ladas a commencé à développer une application interne appelée FlixiVerse qui allait devenir son "portail vers la troisième dimension."

FlixiVerse permet à l'équipe de scénaristes de naviguer facilement dans un environnement 3D à l'aide d'un simple visualiseur, de sorte que tout le monde peut accéder à une scène et apporter des itérations en 3D. FlixiVerse synchronise automatiquement les fichiers en quelques minutes au lieu de quelques jours comme le faisait le workflow précédent. Il s'agit également d'un outil Web et s'appuie sur un parc informatique interne au studio ainsi que sur un serveur équipé de GPU NVIDIA RTX 6000. Les artistes peuvent ainsi créer et apporter des modifications dans un navigateur, sans avoir besoin de machines puissantes.

Accélérer le développement d'applications avec les composants et les extensions existants

Lorsqu'elle a commencé à développer une application basée sur un kit avec Omniverse, l'équipe a rapidement découvert quelques avantages, principalement grâce à l'extensibilité modulaire d'Omniverse et à l'utilisation de composants existants disponibles en tant qu'éléments de construction.

"Nous avons pris beaucoup de plaisir à développer Flixiverse à l'aide du kit Omniverse. Celui-ci fournit un moteur de rendu 3D en temps réel prêt à l'emploi, capable de lancer des rayons, de sorte qu'une grande partie de ce que nous devions implémenter était déjà en place dès le départ. L'extension du projet de base a été facile, puisque tout le développement se fait en Python", explique Nikolas Ladas, ingénieur logiciel chez Sony Pictures Animation.

Une grande partie des fonctionnalités de FlixiVerse est fournie par les plugins du kit, notamment l'interface utilisateur, le travail avec les données USD, la communication avec Nucleus pour le stockage et la diffusion de l'application sur le réseau à l'aide de webRTC. L'ajout d'un plugin à Flixiverse était aussi simple que d'ajouter une ligne au fichier de configuration du projet. Pour le code que SPA devait écrire elle-même, l'équipe s'est basée sur la documentation et les différents exemples de projets.

L'architecture OpenUSD (Universal Scene Description) d'Omniverse a permis d'accélérer le développement et l'interopérabilité avec le pipeline existant de Sony. L'équipe a utilisé des extensions de la bibliothèque d'extensions d'Omniverse, telles que Scene Optimizer, qui leur a permis d'ajouter facilement des fonctionnalités pour convertir des scènes 3D complexes en représentations légères, ce qui a permis de gagner des semaines de développement. Nucleus vient ajouter des fonctionnalités de transfert de fichiers et de mise à jour automatique, en extrayant des modèles d'Autodesk Maya.

"Nous avons créé un script qui utilise les commandes Omniverse pour extraire ce qui est en direct dans Maya et l'exporter vers Omniverse Nucleus", précise M. Katsambas. "Auparavant, il fallait des jours pour préparer et exporter les fichiers. Aujourd'hui, cela ne prend que quelques minutes."

Pour simplifier le contrôle de la caméra, l'équipe a intégré une manette PlayStation afin de pouvoir déplacer facilement la caméra dans la scène. Une interface personnalisée permet également aux artistes de régler les éclairages, les ombres, les angles de la caméra, etc. Ils peuvent désormais intégrer ces informations dans la production et accélérer et optimiser la préparation des prises de vue.

Le réalisateur Joaquim Dos Santos est un cinéaste spécialiste des storyboards qui a utilisé FlixiVerse pendant la préproduction du dernier film du studio, Spider-Man: Across the Spider-Verse. "FlixiVerse a été d'une aide inestimable pour Joaquim. Il peut désormais se déplacer en 3D à l'aide d'une manette de jeu, prendre des photos, déplacer des modèles et accélérer son workflow. En outre, les designers de production peuvent visualiser la conception de pré-production dans un monde en 3D pour trouver de l'inspiration et des idées de conception", poursuit M. Katsambas.

L'équipe a utilisé en combinaison un outil interne appelé Flixi et son application Omniverse FlixiVerse lors de la préproduction de Spider-Man: Across the Spider-Verse. À la fin de la préproduction, on comptait plus de 450 000 planches de storyboard, soit près de 4 fois plus d'itérations que le nombre moyen des films précédents.

À l'avenir, M. Katsambas explique que son équipe prévoit de poursuivre le développement de FlixiVerse et que ce n'est qu'un début. "Nous en sommes encore au stade embryonnaire", a-t-il confié. "Le concept proposé par Omniverse Nucleus nous plaît et il existe de nombreuses possibilités d'explorer comment nous pouvons l'utiliser de manière créative, par exemple en connectant de nouvelles applications de capture de mouvement afin d'accélérer la mise en scène des personnages, ainsi que des outils de développement visuel."

Commencez à développer des workflows 3D interopérables et des applications OpenUSD.