Sony Pictures Animation

Unificación de los universos 2D y 3D con NVIDIA Omniverse Enterprise

Objetivo

Sony Pictures Animation ha hecho grandes progresos en la mejora de su flujo de trabajo de preproducción, permitiendo a sus artistas tener un mayor control y creatividad en la transición de sus storyboards 2D a un espacio 3D. Han desarrollado una aplicación denominada FlixiVerse en NVIDIA Omniverse™ y han utilizado características de la plataforma, como OpenUSD y capacidades de actualización automática de Nucleus. Gracias a esto, los artistas pueden trasladar fácilmente sus modelos 3D a Nucleus en cuestión de minutos y navegar por las escenas 3D con un mando de videojuego para manipular la cámara.

Cliente

Sony Pictures Animation

Caso de uso

Medios audiovisuales y entretenimiento

Tecnología

NVIDIA Omniverse Enterprise
NVIDIA RTX™
FlixiVerse
Universal Scene Description (OpenUSD)

Sony Pictures Animation ha utilizado NVIDIA Omniverse para desarrollar una aplicación interna llamada FlixiVerse, que permite a artistas y directores sin conocimientos de 3D navegar fácilmente por un entorno 3D, tomar decisiones creativas mejor informadas y acelerar el flujo de trabajo de preproducción.


  • Optimización significativa para el flujo de preproducción.
  • Tiempo para 4 veces más iteraciones de tomas en comparación con películas anteriores.

  • FlixiVerse sincroniza archivos automáticamente en minutos en lugar de días en comparación con el flujo de trabajo anterior. El
  • uso de la biblioteca de extensiones Omniverse supuso un ahorro de semanas en tiempo de desarrollo.

Crédito de la imagen: cortesía de Sony Pictures Animation

El estudio ha desarrollado FlixiVerse, una aplicación basada en Omniverse Enterprise y con tecnología NVIDIA RTX, que permite a los artistas que trabajan en entornos 2D acelerar los flujos de trabajo creativos con más iteraciones y transiciones más sencillas a entornos 3D.

El estudio se centra en la preproducción de animación y colabora con el estudio afín Sony Pictures Imageworks para la producción de largometrajes. Esto permite que su equipo se centre en el estilo y la innovación del storyboard, el desarrollo visual y la edición, mientras colabora estrechamente en la producción final. Por término medio, una película de 90 minutos tendrá alrededor de 120 000 storyboards, con más de 2000 actualizaciones del guion y 25 000 diseños únicos.

Para ofrecer a los artistas de la fase final la mayor libertad creativa posible, Sony Pictures Animation ha empezado a explorar nuevas formas de optimizar su flujo de trabajo de preproducción.

"Cuando los artistas trabajan en paneles de storyboard, lo hacen sobre todo en dibujos 2D. Quedan muy bonitos y funcionan muy bien como storyboard, pero la transición de estos paneles 2D a un espacio 3D puede ser todo un reto. A menudo, una toma no funciona en 3D, o no se puede lograr un ángulo de cámara. Además, los paneles 2D pueden limitar la expresión creativa en escenas como las de acción", afirma Yiotis Katsambas, director ejecutivo de tecnología de Sony Pictures Animation.

"Teníamos la sensación de que necesitábamos dar a los artistas más control sobre su transición al entorno 3D. No queríamos limitarlos, sino poner a su disposición una tecnología que les permitiera utilizar las herramientas y aplicaciones que les resultaran más útiles, pero dándoles la máxima flexibilidad posible"

Crédito de la imagen: cortesía de Sony Pictures Animation

Crédito de la imagen: cortesía de Sony Pictures Animation

Portal a la tercera dimensión

El objetivo consistía en sumergir a los artistas y directores sin conocimientos de 3D en una vista 3D simplificada para que pudieran tomar decisiones creativas mejor informadas e iterar sobre el diseño en un espacio 3D. Lograr este puente también permitiría a los equipos de producción capturar datos de la preproducción 3D, como objetivos e información de cámara, para facilitar la transición a la producción.

El equipo probó varias formas de conseguirlo, incluida la creación de una aplicación de escritorio. Aun así, se enfrentaron a desafíos como que los modelos tardaban días en actualizarse, los artistas no estaban familiarizados con las herramientas 3D o no disponían de máquinas lo bastante potentes para ejecutar las aplicaciones de escritorio.

Tras ver una demostración en NVIDIA GTC, decidieron desarrollar Omniverse. Un pequeño equipo dirigido por el ingeniero Nikolas Ladas comenzó a desarrollar una aplicación interna llamada FlixiVerse que sería su "portal a la tercera dimensión".

FlixiVerse permite al equipo de creación de storyboards navegar fácilmente por un entorno 3D mediante un sencillo visor, de modo que cualquiera puede entrar en una escena e iterar en 3D. FlixiVerse sincroniza automáticamente los archivos en minutos frente a los días que tardaba el flujo de trabajo anterior. Además, está basado en la web, así que utiliza un grupo de ordenadores del estudio, junto con un servidor con varias GPU NVIDIA RTX 6000. Esto facilita a los artistas el trabajo y la revisión en un navegador sin necesidad de máquinas potentes

.

Aceleración del desarrollo de aplicaciones con componentes y extensiones existentes

Al empezar a crear una aplicación basada en un kit con Omniverse, el equipo se dio cuenta rápidamente de algunas ventajas, principalmente gracias a la extensibilidad modular de Omniverse y al uso de componentes existentes disponibles como bloques de construcción.

"Crear Flixiverse con Omniverse Kit fue una pasada. Te proporciona un renderizador 3D en tiempo real listo para usar que puede realizar trazados de rayos, así que mucho de lo que teníamos que implementar estaba ahí desde el principio. Ampliar el proyecto base fue fácil, ya que todo el desarrollo se hace en Python", comenta Nikolas Ladas, ingeniero de software en Sony Pictures Animation. Gran parte de lo que hace FlixiVerse proviene de los complementos del kit. Esto incluye la interfaz de usuario, el trabajo con datos USD, la comunicación con Nucleus para el almacenamiento y la transmisión de la aplicación a través de la red usando webRTC.

Añadir un complemento a Flixiverse era tan sencillo como añadir una línea al archivo de configuración del proyecto. Para el código que SPA tenía que escribir, consultaron la documentación y los diversos proyectos de ejemplo.

La arquitectura OpenUSD (Universal Scene Description) de Omniverse comenzó el desarrollo y la interoperabilidad con el proceso existente de Sony. El equipo utilizó extensiones de la biblioteca de extensiones de Omniverse, como Scene Optimizer, que les permitió añadir fácilmente funciones para convertir escenas 3D complejas en representaciones ligeras, l‌o que conllevó un ahorro de semanas en tiempo de desarrollo. Nucleus añade funciones de transferencia de archivos y actualización automática, extrayendo modelos de Autodesk Maya.

"Creamos un script que usa comandos de Omniverse para exportar lo que está en Maya a Omniverse Nucleus", comenta Katsambas. "Antes tardábamos días en preparar y exportar los archivos. Ahora solo se tarda unos minutos".

Para simplificar el control de la cámara, el equipo integró un mando de PlayStation para poder moverla fácilmente por la escena. También hay una interfaz personalizada que permite a los artistas ajustar luces, sombras, ángulos de cámara y mucho más. Ahora pueden trasladar esta información a la producción y acelerar y optimizar la creación de tomas.

El director Joaquim Dos Santos es un cineasta con experiencia en la realización de storyboards que utilizó FlixiVerse durante la preproducción de la última película del estudio, Spider-Man: cruzando el multiverso. “FlixiVerse fue imprescindible para el proceso de Joaquim; ahora se podía mover en 3D con un mando de vieojuego, hacer capturas y acelerar su flujo de trabajo. Además, los diseñadores de producción pudieron ver el diseño de preproducción en 3D para inspirarse y conseguir ideas de diseño”, continúa Katsambas.

El equipo utilizó una combinación de la herramienta interna llamada Flixi y su aplicación de Omniverse FlixiVerse en preproducción para Spider-Man: cruzando el multiverso. Al final de la preproducción, el recuento final de paneles de storyboards para la película superaba los 450 000, lo que supone casi 4 veces más iteraciones que el promedio de películas anteriores.

En cuanto a los próximos pasos, Katsambas explica que piensan seguir desarrollando FlixiVerse y que esto es solo el principio. "Solo estamos arañando la superficie", dijo. "Nos atrae la idea de Omniverse Nucleus, y hay muchas oportunidades para explorar cómo podemos usarlo de forma creativa, como la conexión de nuevas aplicaciones para la captura de movimientos que aceleren la puesta en escena de los personajes, y herramientas de desarrollo de aspectos".

Comience a desarrollar flujos de trabajo 3D interoperables y aplicaciones OpenUSD.