Quando il team ha iniziato a costruire un'applicazione basata su kit con Omniverse, ha subito realizzato alcuni vantaggi, principalmente attraverso l'estensibilità modulare di Omniverse e l'utilizzo di componenti esistenti disponibili come blocchi costitutivi.
"Costruire Flixiverse utilizzando Omniverse Kit è stato uno spasso. Offre un renderizzatore 3D in tempo reale pronto all'uso in grado di effettuare ray-tracing, quindi molto di ciò che dovevamo implementare era lì fin dall'inizio. Espandere il progetto di base è stato facile poiché tutto lo sviluppo è in Python", ha detto Nikolas Ladas, ingegnere software di Sony Pictures Animation.
Molto di ciò che fa FlixiVerse proviene dai plugin del kit. Ciò include l'interfaccia utente, il lavoro con i dati USD, la comunicazione con Nucleus per l'archiviazione e lo streaming dell'applicazione sulla rete utilizzando webRTC. Aggiungere un plugin a Flixiverse è stato semplice come aggiungere una linea al file di configurazione del progetto. Per il codice che SPA aveva il compito di scrivere, è bastato guardare alla documentazione e ai vari progetti di esempio.
L'architettura OpenUSD (Universal Scene Description) di Omniverse ha avviato lo sviluppo e l'interoperabilità con la pipeline esistente di Sony. Il team ha utilizzato estensioni dalla libreria di estensioni di Omniverse, come Scene Optimizer, permettendo di aggiungere facilmente funzionalità per convertire scene 3D complesse in rappresentazioni leggere, risparmiando settimane di tempo di sviluppo. Nucleus aggiunge funzionalità di trasferimento di file e aggiornamento automatico, estraendo i modelli da Autodesk Maya.
"Abbiamo creato uno script che utilizzava i comandi Omniverse per prendere ciò che è live in Maya ed esportarlo in Omniverse Nucleus", ha affermato Katsambas. "In precedenza, ci volevano giorni per preparare ed esportare i file. Ora bastano pochi minuti."
Per semplificare il controllo della videocamera, il team ha integrato un controller PlayStation in modo da poterla spostare facilmente sulla scena. C'è anche un'interfaccia personalizzata che consente agli artisti di ottimizzare luci, ombreggiature, angoli di ripresa e altro ancora. Ora possono portare queste informazioni in produzione e aiutare ad accelerare e ottimizzare la preparazione delle inquadrature.
Il regista Joaquim Dos Santos è un filmmaker con un background nello storyboarding che ha utilizzato FlixiVerse durante la pre-produzione dell'ultimo film dello studio, Spider-Man: Across the Spider-Verse. "FlixiVerse si è rivelato uno strumento prezioso per Joaquim, ora può muoversi in 3D utilizzando un controller di gioco, scattare istantanee, spostare modelli e accelerare il suo flusso di lavoro. Inoltre, i designer di produzione possono visualizzare il design di pre-produzione in un mondo 3D per trarre ispirazione e idee", continua Katsambas.
Il team ha utilizzato una combinazione di uno strumento interno chiamato Flixi e la loro app Omniverse FlixiVerse nella pre-produzione per Spider-Man: Across the Spider-Verse. Alla fine della pre-produzione, il numero finale dei pannelli di storyboard per il film era di oltre 450.000, ovvero quasi il quadruplo delle iterazioni rispetto al numero medio dei film precedenti.
In futuro, Katsambas spiega che intende continuare a sviluppare FlixiVerse e che questo è solo l'inizio. "Questa è solo la punta dell'iceberg", ha detto. "Ci piace l'idea di Omniverse Nucleus e ci sono molte opportunità da esplorare su come utilizzarlo in modo creativo, come collegare nuove applicazioni per mo-cap per accelerare la rappresentazione dei personaggi e gli strumenti di look-dev."