Al comenzar a crear una aplicación basada en un kit con Omniverse, el equipo rápidamente se dio cuenta de algunas ventajas, principalmente a través de la extensibilidad modular de Omniverse y el uso de componentes existentes disponibles como bases.
“Construir Flixiverse usando Omniverse Kit fue una maravilla. Le brinda un renderizador 3D en tiempo real listo para usar que puede ray tracing, por lo que mucho de lo que tuvimos que implementar estuvo ahí desde el principio. Ampliar el proyecto base fue fácil ya que todo el desarrollo se realiza en Python”. dijo Nikolas Ladas, ingeniero de software de Sony Pictures Animation.
Gran parte de lo que hace FlixiVerse proviene de complementos del kit. Esto incluye la interfaz de usuario, trabajar con datos USD, comunicarse con Nucleus para almacenamiento y transmitir la aplicación a través de la red mediante webRTC. Agregar un complemento a Flixiverse fue tan simple como agregar una línea al archivo de configuración del proyecto. Para el código que SPA tuvo que escribir ellos mismos, buscaron la documentación y los diversos proyectos de ejemplo.
La arquitectura OpenUSD (Universal Scene Description) de Omniverse inició el desarrollo y la interoperabilidad con el pipeline existente de Sony. El equipo utilizó extensiones de la biblioteca de extensiones Omniverse, como Scene Optimizer, que les permitió agregar fácilmente funciones para convertir escenas 3D complejas en representaciones livianas, lo que ahorró semanas en tiempo de desarrollo. Nucleus agrega funcionalidad de transferencia de archivos y actualizaciones automáticas, extrayendo modelos de Autodesk Maya.
"Creamos un script que usaría comandos de Omniverse para tomar lo que está activo en Maya y exportarlo a Omniverse Nucleus", dijo Katsambas. "Antes, preparar y exportar archivos llevaba días. Ahora sólo lleva unos minutos".
Para simplificar el control de la cámara, el equipo integró un controlador de PlayStation para poder mover fácilmente la cámara por la escena. También hay una interfaz personalizada que permite a sus artistas modificar las luces, las sombras, los ángulos de la cámara y más. Ahora pueden incorporar esta información a producción y ayudar a acelerar y optimizar la creación de tomas.
El director Joaquim Dos Santos es un cineasta con experiencia en guiones gráficos que utilizó FlixiVerse durante la preproducción de la última película del estudio, Spider-Man: Across the Spider-Verse. “FlixiVerse fue invaluable para el proceso de Joaquim; ahora puede moverse en 3D usando un controlador de game, tomar instantáneas, mover modelos y acelerar su workflow. Además, los diseñadores de producción pueden ver el diseño de preproducción en un mundo 3D para inspirarse e ideas de diseño”, continuó Katsambas.
El equipo utilizó una combinación de una herramienta interna llamada Flixi y su aplicación Omniverse FlixiVerse en la preproducción de Spider-Man: Across the Spider-Verse. Al final de la preproducción, el recuento final de paneles del guión gráfico de la película superó los 450.000, lo que demuestra casi cuatro veces más iteraciones que el recuento promedio de películas anteriores.
Para los próximos pasos, Katsambas explica que planean continuar desarrollando FlixiVerse y que esto es solo el comienzo. "Sólo estamos arañando la superficie", afirmó. "Nos gusta la idea de Omniverse Nucleus y hay muchas oportunidades para explorar cómo podemos usarlo creativamente, como conectar nuevas aplicaciones de mo-cap para acelerar la puesta en escena de los personajes y herramientas de desarrollo de apariencia".