Hola, soy Andrew Edelsten, Technical Director de Deep Learning en NVIDIA. Llevo trabajando en la compañía desde 2010 y en los últimos dos años, mi equipo ha estado trabajando con los compañeros de NVIDIA Research para crear DLSS.
Estamos entusiasmados de lanzar esta semana DLSS para Battlefield V y Metro Exodus, tras el lanzamiento en su día para Final Fantasy XV: Windows Edition y 3DMark Port Royal. Ha habido muchas preguntas y queríamos responder a aquellas que más nos habéis hecho.
P: ¿Qué es el DLSS?
R: Deep Learning Super Sampling (DLSS) es una tecnología de NVIDIA RTX que utiliza el poder de la Inteligencia Artificial para mejorar la tasa de frames en juegos con una carga gráfica intensa. Con DLSS, los jugadores pueden usar resoluciones y ajustes más altos manteniendo una tasa de frames estable.
P: ¿Cómo funciona el DLSS?
R: Lo primero que hace el equipo de DLSS es extraer frames suavizados del juego en cuestión y luego, por cada uno de esos frames, creamos un “frame perfecto” que encaje usando super sampling o renderizado por acumulación. Estos frames emparejados, son enviados a la supercomputadora de NVIDIA. La supercomputadora entrena el modelo de DLSS para reconocer detalles suavizados y generar imágenes de alta calidad anti aliased que encajen con el “frame perfecto” lo máximo posible. Luego repetimos el proceso, pero esta vez entrenamos al modelo para generar píxeles adicionales en vez de implementar un AA. Esto tiene como consecuencia el aumento de resolución en el input. Combinando ambas técnicas, permite a la GPU renderizar a la resolución completa del monitor con una tasa de frames más elevada.
P: ¿Dónde provee el DLSS de más beneficio? ¿Por qué no está disponible en todas las resoluciones?
R: Los resultados del DLSS varían un poco porque cada juego tiene características diferentes basadas en el motor, la complejidad del contenido y el tiempo invertido en entrenar. Nuestra supercomputadora nunca duerme, nosotros continuamos entrenando para mejorar la red neuronal de deep learning incluso después del lanzamiento del juego. Cuando tenemos listas mejoras en la calidad de imagen, las servimos a los usuarios a través de actualizaciones de drivers y software de NVIDIA.
DLSS está diseñado para aumentar la tasa de frames en cargas pesadas para la GPU (por ejemplo: cuando la tasa de frames es baja y tu GPU está trabajando a máxima capacidad sin cuellos de botella u otras limitaciones). Si tu juego ya está funcionando con una tasa de frames alta, el tiempo de renderizado de tu GPU puede ser más breve que el de la ejecución de DLSS. En este caso, DLSS no está disponible porque no mejoraría la tasa de frames. Sin embargo, si tu juego tiene un alto uso de la GPU (por ejemplo: una tasa de frames por debajo de 60), DLSS ofrece un aumento óptimo de rendimiento. Puedes ajustar esto en la configuración del juego para maximizar la ganancia. (Nota: 60 FPS es una estimación, el número exacto varía entre juegos y los ajustes gráficos que estén activados.)
Si lo explicamos de manera más técnica, DLSS necesito una cantidad exacta de tiempo de uso de la GPU por frame para ejecutar la red neuronal de deep learning. Por eso, juegos que se ejecutan con tasas de frames bajas (y por tanto una carga de trabajo fija menor) o en alta resolución (mayor ahorro de pixel shading), se benefician más del DLSS. Para juegos que tienen una tasa de frames alta o menos resolución, el DSS puede no aumentar el rendimiento. Cuando el tiempo de renderizado de frames de la GPU es más corto de lo que tarda en ejecutarse el modelo de DLSS, no activamos DLSS. Sólo activamos DLSS en casos donde recibirás una ganancia de rendimiento. La disponibilidad de DLSS es específica por juegos y depende de tu GPU y la resolución del juego elegida.
P: Algunas personas mencionan que hay frames borrosos. ¿Puedes explicarlo?
R: DLSS es una tecnología nueva y estamos trabajando duro para perfeccionarlo.
Hemos construido DLSS para escalar los Tensor Core de la arquitectura Turing y ofrecer el máximo beneficio cuando la carga de la GPU es alta. Por eso, nos centramos en altas resoluciones durante el desarrollo (donde la carga de la GPU es más elevada) siendo 4K (3840x2160) el objetivo de entrenamiento más común. Ejecutarlo a 4K es beneficioso cuando hablamos de calidad de imagen por el alto número de píxeles del input. Normalmente, en 4K DLSS tenemos entre 3,5 y 5,5 millones de píxeles desde los que generamos el frame final. Mientras, en 1920x1080 solo tenemos alrededor de 1 a 1,5 millones de píxeles. A menos datos de referencia, mayor es el desafío para que el DLSS detecte elementos en el input frame y prediga el frame final.
Hemos visto capturas de pantalla y estamos escuchando el feedback de la comunidad sobre DLSS en resoluciones más bajas y nos estamos centrando en ellas para priorizarlas. Estamos añadiendo más información de entrenamiento y algunas técnicas nuevas para mejorar la calidad de la imagen. Continuaremos con el entrenamiento de las redes neuronales de deep learning por lo cual irá mejorando con el paso del tiempo.
P: ¿Por qué no usáis un escalado TAA en cambio?
R: Dependiendo de la resolución, los ajustes de calidad de vídeo y la implementación, habrá quienes prefieran TAA en unos juegos y DLSS en otros.
La industria del videojuego ha usado TAA durante muchos años y sabemos que puede fallar en determinados aspectos. TAA se genera con múltiples frames y puede sufrir ghosting en escenas con mucho movimiento o parpadeos, dos aspectos que DLSS tienden a manejar mejor.
P: ¿Cuándo va a llegar la próxima actualización de DLSS para Battlefield V y Metro Exodus?
R: Estamos trabajando en mejorar constantemente la calidad de imagen. Recientemente, hemos actualizado los cores de DLSS para que puedas recibir las últimas actualizaciones del modelo al momento, cuando se lance el juego. Así que asegúrate de tener nuestro último Game Ready Driver (418.91 o superior) instalado.
Para Battlefield V, pensamos que DLSS ofrece una gran mejora en 4K y resolución 2560x1440 con mejoras de hasta el 40% manteniendo una calidad de imagen, pero también escuchamos a la comunidad. En nuestro siguiente avance, nos estamos centrando en probar y entrenar para mejorar la calidad de imagen en 1920x1080 y también para monitores ultra panorámicos (por ejemplo: 3440 x 1440). La experiencia actual en esta resolución no está donde queremos que esté.
Para Metro Exodus, tenemos una actualización en camino que mejora la definición de DLSS además de la calidad de imagen general en todas las soluciones. Una mejora que no pudo ser posible incorporar el día de lanzamiento. También estamos entrenando el DLSS en secciones más grandes del juego y una vez estas actualizaciones estén listas, verás otro aumento de calidad. Por último, estamos mirando otros fallos reportados, como el HDR y lo actualizaremos tan pronto estén disponibles las soluciones.
Gracias por todo vuestro feedback hasta la fecha, seguid dejándonos vuestros comentarios en la página de feedback.