Sony Pictures Animation

Collegare i mondi 2D e 3D con NVIDIA Omniverse Enterprise

Obiettivo

Sony Pictures Animation ha fatto passi da giganti nel migliorare il flusso di lavoro di pre-produzione, consentendo agli artisti di avere un maggiore controllo e creatività nel passaggio dallo storyboard in 2D allo uno spazio 3D. Ha sviluppato un'applicazione chiamata FlixiVerse su NVIDIA Omniverse™, sfruttando le funzionalità esistenti della piattaforma come OpenUSD e le funzionalità di aggiornamento automatico di Nucleus. Questo ha permesso agli artisti di spostare facilmente i loro modelli 3D su Nucleus in pochi minuti e di spostarsi tra le scene 3D utilizzando un controller di gioco per manipolare la videocamera.

Cliente

Sony Pictures Animation

Scenario di utilizzo

Media e intrattenimento

Tecnologia

NVIDIA Omniverse Enterprise
NVIDIA RTX™
FlixiVerse
Universal Scene Description (OpenUSD)

Sony Pictures Animation ha sfruttato NVIDIA Omniverse per sviluppare un’applicazione interna chiamata FlixiVerse, che consente ad artisti e registi non 3D di navigare facilmente in un ambiente 3D, prendendo decisioni creative più informate e accelerando il flusso di lavoro di pre-produzione.


  • Ottimizzazione significativa per il flusso di lavoro di pre-produzione.
  • Tempo per il quadruplo delle iterazioni delle inquadrature rispetto ai film precedenti.

  • FlixiVerse sincronizza i file automaticamente in pochi minuti anziché giorni rispetto al flusso di lavoro precedente.
  • L'utilizzo della libreria di estensioni Omniverse ha consentito di risparmiare settimane di tempo di sviluppo.

Crediti immagine: per gentile concessione di Sony Pictures Animation

Lo studio ha sviluppato FlixiVerse, un’app basata su Omniverse Enterprise e con NVIDIA RTX, che consente agli artisti 2D di accelerare i flussi di lavoro creativi con più iterazioni e transizioni più semplici in ambienti 3D.

Lo studio si concentra sul front-end della pre-produzione di animazione, collaborando con lo studio gemello Sony Pictures Imageworks per la produzione di lungometraggi. Questo consente al team di concentrarsi sullo stile e sull'innovazione nello storyboard, nello sviluppo visuale e nel lavoro di revisione, collaborando a stretto contatto sulla produzione finale. In media un film di 90 minuti avrà circa 120.000 storyboard, con oltre 2000 aggiornamenti dello script e 25.000 design unici.

Per fornire agli artisti a valle la massima libertà creativa possibile, Sony Pictures Animation ha iniziato a esplorare nuovi modi per ottimizzare il flusso di lavoro di pre-produzione. "

Quando gli artisti lavorano su pannelli di storyboard, lavorano principalmente su disegni 2D. Ha un aspetto bellissimo e funziona alla grande come storyboard, ma la transizione di queste tavole 2D in uno spazio 3D può essere impegnativa. Spesso un'inquadratura non funziona in 3D o non è possibile ottenere un angolo di ripresa. Inoltre, le tavole 2D possono limitare l'espressione creativa in scene come quelle d'azione." dice Yiotis Katsambas, direttore esecutivo della tecnologia di Sony Pictures Animation. 

"Pensavamo di dover dare agli artisti un maggiore controllo sul passaggio all'ambiente 3D, non volevamo limitarli. Volevamo implementare una tecnologia che consentisse loro di utilizzare strumenti e app che fossero comprensibili per gli artisti, offrendo al contempo la massima flessibilità possibile."

Crediti immagine: per gentile concessione di Sony Pictures Animation

Crediti immagine: per gentile concessione di Sony Pictures Animation

Un portale verso la terza dimensione

L'obiettivo era di far immergere artisti e registi poco pratici di 3D in una visione 3D semplificata in modo che potessero prendere decisioni creative più informate e iterare in base al layout in uno spazio 3D. Raggiungere questo collegamento consentirebbe anche ai team di produzione di acquisire dati dalla pre-produzione 3D, come le informazioni sulle lenti e la videocamera, per facilitare la transizione alla produzione.

Il team ha provato in diversi modi ad affrontare questo problema, compresa la creazione di un'app desktop. Anche allora, ha dovuto affrontare sfide come l'aggiornamento dei modelli che richiedeva giorni, gli artisti che non avevano familiarità con gli strumenti 3D o non avevano macchine abbastanza potenti per eseguire le applicazioni desktop.

Dopo aver visto una demo al GTC di NVIDIA, hanno poi rivolto la loro attenzione su Omniverse. Un piccolo team guidato dall'ingegnere Nikolas Ladas ha iniziato a sviluppare un'applicazione interna chiamata FlixiVerse, che sarebbe stata il loro "portale verso la terza dimensione".

FlixiVerse consente al team di storyboarding di navigare facilmente in un ambiente 3D utilizzando un semplice visore, in modo che chiunque possa entrare in una scena e iterare in 3D. FlixiVerse sincronizza i file automaticamente in pochi minuti anziché giorni rispetto al flusso di lavoro precedente. Inoltre, è basata sul web, sfruttando un pool di PC presso lo studio, oltre a un server basato su GPU NVIDIA RTX 6000. In questo modo, è facile per gli artisti lavorare e revisionare in un browser senza bisogno di macchine potenti.

Accelerare lo sviluppo di app con componenti ed estensioni esistenti

Quando il team ha iniziato a costruire un'applicazione basata su kit con Omniverse, ha subito realizzato alcuni vantaggi, principalmente attraverso l'estensibilità modulare di Omniverse e l'utilizzo di componenti esistenti disponibili come blocchi costitutivi.

"Costruire Flixiverse utilizzando Omniverse Kit è stato uno spasso. Offre un renderizzatore 3D in tempo reale pronto all'uso in grado di effettuare ray-tracing, quindi molto di ciò che dovevamo implementare era lì fin dall'inizio. Espandere il progetto di base è stato facile poiché tutto lo sviluppo è in Python", ha detto Nikolas Ladas, ingegnere software di Sony Pictures Animation.

Molto di ciò che fa FlixiVerse proviene dai plugin del kit. Ciò include l'interfaccia utente, il lavoro con i dati USD, la comunicazione con Nucleus per l'archiviazione e lo streaming dell'applicazione sulla rete utilizzando webRTC. Aggiungere un plugin a Flixiverse è stato semplice come aggiungere una linea al file di configurazione del progetto. Per il codice che SPA aveva il compito di scrivere, è bastato guardare alla documentazione e ai vari progetti di esempio.

L'architettura OpenUSD (Universal Scene Description) di Omniverse ha avviato lo sviluppo e l'interoperabilità con la pipeline esistente di Sony. Il team ha utilizzato estensioni dalla libreria di estensioni di Omniverse, come Scene Optimizer, permettendo di aggiungere facilmente funzionalità per convertire scene 3D complesse in rappresentazioni leggere, risparmiando‌ settimane di tempo di sviluppo. Nucleus aggiunge funzionalità di trasferimento di file e aggiornamento automatico, estraendo i modelli da Autodesk Maya.

"Abbiamo creato uno script che utilizzava i comandi Omniverse per prendere ciò che è live in Maya ed esportarlo in Omniverse Nucleus", ha affermato Katsambas. "In precedenza, ci volevano giorni per preparare ed esportare i file. Ora bastano pochi minuti."

Per semplificare il controllo della videocamera, il team ha integrato un controller PlayStation in modo da poterla spostare facilmente sulla scena. C'è anche un'interfaccia personalizzata che consente agli artisti di ottimizzare luci, ombreggiature, angoli di ripresa e altro ancora. Ora possono portare queste informazioni in produzione e aiutare ad accelerare e ottimizzare la preparazione delle inquadrature.

Il regista Joaquim Dos Santos è un filmmaker con un background nello storyboarding che ha utilizzato FlixiVerse durante la pre-produzione dell'ultimo film dello studio, Spider-Man: Across the Spider-Verse. "FlixiVerse si è rivelato uno strumento prezioso per Joaquim, ora può muoversi in 3D utilizzando un controller di gioco, scattare istantanee, spostare modelli e accelerare il suo flusso di lavoro. Inoltre, i designer di produzione possono visualizzare il design di pre-produzione in un mondo 3D per trarre ispirazione e idee", continua Katsambas.

Il team ha utilizzato una combinazione di uno strumento interno chiamato Flixi e la loro app Omniverse FlixiVerse nella pre-produzione per Spider-Man: Across the Spider-Verse. Alla fine della pre-produzione, il numero finale dei pannelli di storyboard per il film era di oltre 450.000, ovvero quasi il quadruplo delle iterazioni rispetto al numero medio dei film precedenti.

In futuro, Katsambas spiega che intende continuare a sviluppare FlixiVerse e che questo è solo l'inizio. "Questa è solo la punta dell'iceberg", ha detto. "Ci piace l'idea di Omniverse Nucleus e ci sono molte opportunità da esplorare su come utilizzarlo in modo creativo, come collegare nuove applicazioni per mo-cap per accelerare la rappresentazione dei personaggi e gli strumenti di look-dev."

Inizia a sviluppare flussi di lavoro 3D interoperabili e applicazioni OpenUSD.