Lorsqu'elle a commencé à développer une application basée sur un kit avec Omniverse, l'équipe a rapidement découvert quelques avantages, principalement grâce à l'extensibilité modulaire d'Omniverse et à l'utilisation de composants existants disponibles en tant qu'éléments de construction.
"Nous avons pris beaucoup de plaisir à développer Flixiverse à l'aide du kit Omniverse. Celui-ci fournit un moteur de rendu 3D en temps réel prêt à l'emploi, capable de lancer des rayons, de sorte qu'une grande partie de ce que nous devions implémenter était déjà en place dès le départ. L'extension du projet de base a été facile, puisque tout le développement se fait en Python", explique Nikolas Ladas, ingénieur logiciel chez Sony Pictures Animation.
Une grande partie des fonctionnalités de FlixiVerse est fournie par les plugins du kit, notamment l'interface utilisateur, le travail avec les données USD, la communication avec Nucleus pour le stockage et la diffusion de l'application sur le réseau à l'aide de webRTC. L'ajout d'un plugin à Flixiverse était aussi simple que d'ajouter une ligne au fichier de configuration du projet. Pour le code que SPA devait écrire elle-même, l'équipe s'est basée sur la documentation et les différents exemples de projets.
L'architecture OpenUSD (Universal Scene Description) d'Omniverse a permis d'accélérer le développement et l'interopérabilité avec le pipeline existant de Sony. L'équipe a utilisé des extensions de la bibliothèque d'extensions d'Omniverse, telles que Scene Optimizer, qui leur a permis d'ajouter facilement des fonctionnalités pour convertir des scènes 3D complexes en représentations légères, ce qui a permis de gagner des semaines de développement. Nucleus vient ajouter des fonctionnalités de transfert de fichiers et de mise à jour automatique, en extrayant des modèles d'Autodesk Maya.
"Nous avons créé un script qui utilise les commandes Omniverse pour extraire ce qui est en direct dans Maya et l'exporter vers Omniverse Nucleus", précise M. Katsambas. "Auparavant, il fallait des jours pour préparer et exporter les fichiers. Aujourd'hui, cela ne prend que quelques minutes."
Pour simplifier le contrôle de la caméra, l'équipe a intégré une manette PlayStation afin de pouvoir déplacer facilement la caméra dans la scène. Une interface personnalisée permet également aux artistes de régler les éclairages, les ombres, les angles de la caméra, etc. Ils peuvent désormais intégrer ces informations dans la production et accélérer et optimiser la préparation des prises de vue.
Le réalisateur Joaquim Dos Santos est un cinéaste spécialiste des storyboards qui a utilisé FlixiVerse pendant la préproduction du dernier film du studio, Spider-Man: Across the Spider-Verse. "FlixiVerse a été d'une aide inestimable pour Joaquim. Il peut désormais se déplacer en 3D à l'aide d'une manette de jeu, prendre des photos, déplacer des modèles et accélérer son workflow. En outre, les designers de production peuvent visualiser la conception de pré-production dans un monde en 3D pour trouver de l'inspiration et des idées de conception", poursuit M. Katsambas.
L'équipe a utilisé en combinaison un outil interne appelé Flixi et son application Omniverse FlixiVerse lors de la préproduction de Spider-Man: Across the Spider-Verse. À la fin de la préproduction, on comptait plus de 450 000 planches de storyboard, soit près de 4 fois plus d'itérations que le nombre moyen des films précédents.
À l'avenir, M. Katsambas explique que son équipe prévoit de poursuivre le développement de FlixiVerse et que ce n'est qu'un début. "Nous en sommes encore au stade embryonnaire", a-t-il confié. "Le concept proposé par Omniverse Nucleus nous plaît et il existe de nombreuses possibilités d'explorer comment nous pouvons l'utiliser de manière créative, par exemple en connectant de nouvelles applications de capture de mouvement afin d'accélérer la mise en scène des personnages, ainsi que des outils de développement visuel."