Ao começar a criar uma aplicação baseada em kit com o Omniverse, a equipe percebeu rapidamente algumas vantagens, principalmente por meio da extensibilidade modular do Omniverse e do uso de componentes existentes disponíveis como base.
“Construir o Flixiverse usando o Kit Omniverse foi incrível. Ele oferece um renderizador 3D em tempo real pronto para uso que pode usar ray tracing, portanto, muito do que tivemos que implementar estava lá desde o início. Estender o projeto base foi fácil, pois todo o desenvolvimento é em Python.” disse Nikolas Ladas, engenheiro de software da Sony Pictures Animation.
Muito do que o FlixiVerse faz vem de plug-ins de kit. Isso inclui UI, trabalho com dados USD, comunicação com Nucleus para armazenamento e streaming da aplicação pela rede usando webRTC. Adicionar um plugin ao Flixiverse foi tão simples quanto adicionar uma linha ao arquivo de configuração do projeto. Para o código que o próprio SPA teve que escrever, eles consultaram a documentação e os vários projetos de exemplo.
A arquitetura OpenUSD (Universal Scene Description) do Omniverse deu início ao desenvolvimento e à interoperabilidade com o pipeline existente da Sony. A equipe usou extensões da biblioteca de extensões Omniverse, como Scene Optimizer, que permitiu adicionar facilmente funcionalidade para converter cenas 3D complexas em representações leves, economizando semanas no tempo de desenvolvimento. O Nucleus adiciona funcionalidade de transferência de arquivos e atualizações automáticas, extraindo modelos do Autodesk Maya.
“Criamos um script que usaria comandos do Omniverse para pegar o que está ativo no Maya e exportá-lo para o Omniverse Nucleus”, disse Katsambas. "Anteriormente, levava dias para preparar e exportar arquivos. Agora leva apenas alguns minutos."
Para simplificar o controle da câmera, a equipe integrou um controle PlayStation para que pudessem mover facilmente a câmera pela cena. Há também uma interface personalizada que permite que seus artistas ajustem luzes, sombreamento, ângulos de câmera e muito mais. Agora eles podem colocar essas informações em produção e ajudar a acelerar e otimizar a produção de tomadas.
O diretor Joaquim dos Santos é um cineasta com experiência em storyboard que utilizou o FlixiVerse durante a pré-produção do último filme do estúdio, Homem-Aranha: Através do Aranhaverso. “O FlixiVerse foi inestimável para o processo de Joaquim, agora ele pode se movimentar em 3D usando um controlador de game, tirar fotos, mover modelos e acelerar seu workflow. Além disso, os designers de produção podem ver o design de pré-produção em um mundo 3D para obter inspiração e ideias de design”, continuou Katsambas.
A equipe usou uma combinação de uma ferramenta interna chamada Flixi e sua aplicação Omniverse FlixiVerse na pré-produção de Homem-Aranha: Através do Aranhaverso. No final da pré-produção, a contagem final de painéis de storyboard do filme ultrapassou 450.000, demonstrando quase 4 vezes mais iterações do que a contagem média dos filmes anteriores.
Para os próximos passos, Katsambas explica que planejam continuar desenvolvendo o FlixiVerse e que isso é apenas o começo. “Estamos apenas arranhando a superfície”, disse ele. “Gostamos da ideia do Omniverse Nucleus e há muitas oportunidades para explorar como podemos usá-lo de forma criativa, como conectar novas aplicações para mo-cap para acelerar a preparação de personagens e ferramentas de desenvolvimento de aparência.”