NVIDIA DLSS 2.0:AI 渲染的一大躍進

Andrew Burnes 發表於 2020年3月23日 | Featured Stories GeForce RTX GPUs NVIDIA DLSS NVIDIA RTX

從遊戲內的物理效果動畫模擬,乃至即時渲染和人工智慧輔助直播功能,人工智慧為遊戲體驗帶來了全面性的革新。NVIDIA 藉由深度學習超高取樣 (DLSS) 重新定義人工智慧超解析度即時渲染技術,這項技術將渲染的像素數量減少,再使用人工智慧打造銳利、解析度更高的影像。最新的 DLSS 2.0 版讓我們的願景獲得重大突破。

DLSS 2.0 是一套經過改良的全新深度學習類神經網路,透過 GeForce RTX GPU 搭載的專門人工智慧處理器「Tensor 核心」驅動,不只提升畫面播放速率,同時也能產生精美、銳利的遊戲影像。如此一來,玩家就有更多效能空間讓光線追蹤設定得以充分發揮,並提升輸出解析度。

DLSS 2.0 比原版多出了數個關鍵的增強功能:

  • 卓越影像畫質:DLSS 2.0 提供接近原生解析度的影像畫質,但渲染像素的數量卻只有原本的四分之一至一半。運用全新的時間混疊回饋技術,可產生更銳利的影像細節,並改善每幅畫面之間的穩定度。

  • 在所有 GeForce RTX GPU 和解析度設定下都能提供優質縮放效果:全新的人工智慧網路可以更有效率地應用 Tensor 核心,執行速度是原本的 2 倍。如此一來便能提升畫面播放速率,也能除去先前對 GPU、設定和解析度的限制。

  • 所有遊戲適用單一網路:原版的 DLSS 需要為每一部新遊戲個別訓練人工智慧網路。DLSS 2.0 使用不專屬於特定遊戲的內容訓練,因此是一套適用所有遊戲的通用網路。這表示我們能夠加快這項技術與遊戲的整合速度,最終推出更多支援 DLSS 的遊戲。

  • 可自訂選項:DLSS 2.0 提供 3 種影像畫質模式:「畫質」、「平衡」、「效能」,這些選項能夠控制遊戲的內部渲染解析度,如「效能」模式最高可以達到 4 倍超解析度 (如:1080 p 可以升級成 4K)。這表示使用者可以有更多選擇,效能也能更進一步提升。

《Deliver Us the Moon》:DLSS 2.0 大幅提升效能,但同時維持 (在某些情況下甚至提升) 影像畫質。

NVIDIA DLSS 2.0 現已支援《Deliver Us the Moon》《德軍總部:血氣方剛 (Wolfenstein: Youngblood) 》;今天新增支援《機甲爭霸戰 5:傭兵 (MechWarrior 5: Mercenaries) 》,且即將透過遊戲修補程式於 3 月 26 日支援《控制 (Control) 》。此外,Unreal Engine 4 的開發人員現在也可以透過 DLSS 開發人員計畫使用 DLSS 2.0,讓他們能在全世界最熱門的遊戲引擎內加速部署。如果你是開發人員,請前往此處深入瞭解。

DLSS 2.0:一窺幕後技術

DLSS 深度神經網路採用我們的神經網路繪圖框架 NGX,並在 NVIDIA DGX 超級電腦上進行訓練。

DLSS 2.0 主要輸入兩種內容至人工智慧網路中:

  1. 由遊戲引擎渲染出來的低解析度、有鋸齒影像
  2. 同樣由遊戲引擎生成,同一幅影像的低解析度動態向量

動態向量讓我們知道場景中的物件在每幅畫面中會往哪個方向移動。 我們可以將這些向量套用至先前的高解析度輸出內容中,進而預測下一幅畫面的狀況。 我們將此流程稱為「時間混疊回饋」,因為我們是運用過去的資料預測未來。

NVIDIA DLSS 2.0 架構

這是一種特殊類型的人工智慧網路,又稱為卷積自動編碼器,將目前低解析度的畫面與先前高解析度的畫面比對,逐像素判斷如何替目前畫面生成更高畫質的版本。

在訓練過程中,輸出影像將與兩幅已離線渲染完成、超高解析度的 16K 參考影像比較,再將兩者間的差異傳回至網路,以便網路繼續學習並改善成果。 這個流程會在超級電腦上重複數萬次,直到網路能夠可靠地輸出高畫質、高解析度影像為止。

網路訓練完成後,NGX 會透過 Game Ready 驅動程式和 OTA 更新在你的 GeForce RTX PC 或筆記型電腦上提供人工智慧模型。 Turing 的 Tensor 核心能提供高達 110 Teraflop 的專用人工智慧效能,讓 DLSS 網路能夠即時與繪圖密集的 3D 遊戲同步運作。 在 Turing 和 Tensor 核心問世前,這樣的功能本來完全不可能實現。

DLSS 2.0 實際執行狀況

讓我們來看看,DLSS 2.0 技術如何改善首批四款遊戲的效能和影像畫質:《控制》《Deliver Us The Moon》《機甲爭霸戰 5:傭兵》德軍總部:血氣方剛》

《控制》

Remedy Entertainment 的《控制》是 2019 年最佳單人遊戲之一,也是其中一款技術最先進的遊戲,採用一系列光線追蹤效果,讓繪圖擬真度提升至全新境界。

《控制》原先發布時就已搭載前一版 DLSS,使用影像處理演算法將畫面播放速率提升超過 70%。自 3 月 26 日起,Remedy Entertainment 將釋出更新,內含全新可下載劇情內容和最新人工智慧技術 DLSS 2.0

Remedy Entertainment 的技術總監 Mika Vehkala 表示:「我們企圖在《控制》中打造具備驚人視覺效果、令人身歷其境的世界。《控制》自發行起即採用即時光線追蹤技術與 NVIDIA DLSS,讓遊戲視覺絢爛迷人,而升級使用 DLSS 2.0 後,更讓遊戲畫質提升至全新境界。」

在我們的測試中,1920x1080 和 2560x1440 的解析度下,DLSS 2.0 的畫質模式能提升高達 76% 的效能。 在 4K (3840x2160) 解析度下,效能模式可將遊戲效能提升 2 至 3 倍,讓使用 GeForce RTX 2060 的玩家能用可暢玩遊戲的畫面播放速率,執行最高設定。

儘管原版的 DLSS 技術在《控制》中也能為大部分場景提升效能並提供絕佳影像畫質,但遇到有動態物件的區域時,通常不太流暢。相較之下 DLSS 2.0 能夠更有效地處理這些狀況,如下方這幅旋轉風扇的影像所示。

使用 DLSS 2.0 畫質模式在 1080p 下的截圖

最新版本的 DLSS 也能在細節有進步空間的地方提升影像畫質。 下方另一張範例影像,也示範升級版 DLSS 2.0 相較原版 DLSS 有哪些進步。

使用 DLSS 2.0 畫質模式在 1440p 下的截圖

此外,圖章上的文字和其他細節也有所改善,提升了影像畫質及擬真度。

使用 DLSS 2.0 畫質模式在 1440p 下的截圖

你也能在下方的海報與地圖等質地平坦的遊戲物件中,發現清晰度與銳利度獲得顯著提升

使用 DLSS 2.0 畫質模式在 1080p 下的截圖

若要取得搭載 DLSS 2.0 的《控制》,請下載並安裝我們全新的 Game Ready 驅動程式,並於 3 月 26 日下載最新的《控制》遊戲更新。然後在遊戲內啟動 DLSS,依序選取顯示解析度以及 DLSS 渲染解析度,選項分別為畫質模式、平衡模式與效能模式,與其他支援 DLSS 2.0 的遊戲一樣。

《Deliver Us The Moon》

KeokeN Interactive 的太空與月球冒險遊戲《Deliver Us The Moon》去年新增支援光線追蹤特效與 DLSS 2.0,增強了遊戲的美感與效能。

KeokeN Interactive 的執行長與遊戲總監 Koen Deetman 表示:「啟用 DLSS 後,《Deliver Us The Moon》的畫質獲得超乎想像的顯著提升。加上即時光線追蹤技術以及 DLSS 賦予的大幅效能提升,讓我們的玩家能夠享受原汁原味的終極《Deliver Us The Moon》遊戲體驗。」

《Deliver Us The Moon》加入令人驚豔的光線追蹤效果和 NVIDIA DLSS

在《Deliver Us The Moon》中啟用 NVIDIA DLSS 2.0 後,效能大幅提升 60%

DLSS 2.0 在整個遊戲過程中,利用《Deliver Us The Moon》內建的時間混疊反鋸齒技術,提供卓越影像畫質與原生解析度遊戲體驗。若仔細觀察,你可以發現 DLSS 2.0 為畫面帶來細膩的改善,欄杆的擬真度和其他精緻細節都獲得提升:

《Deliver Us The Moon》加入令人驚豔的光線追蹤效果和 NVIDIA DLSS

在其他狀況下,DLSS 2.0 能夠提供顯著的影像畫質提升,包含繁複的鐵鍊圍欄畫質變得更好,且時間混疊穩定性更加卓越 (即使玩家移動視角也能看到清晰畫面)。

《Deliver Us The Moon》加入令人驚豔的光線追蹤效果和 NVIDIA DLSS

有了 DLSS 2.0,遊戲內眾多電腦螢幕和表面上的細小文字也能以更高清晰度呈現出更多細節。

《Deliver Us The Moon: Fortuna》中的 NVIDIA DLSS

《機甲爭霸戰 5:傭兵》

Piranha Games 的《機甲爭霸戰 5:傭兵》也是最新加入 NVIDIA DLSS 2.0 的遊戲,且如同其他獲得 DLSS 增強的遊戲一樣,效能因此大幅提升,使用畫質模式錄製時可增加高達 75% 的效能:

Piranha Games 的總裁 Russ Bullock 表示:「NVIDIA DLSS 2.0 基本上讓我們的玩家在不犧牲影像畫質的前提下,無痛進行效能提升。有了 NVIDIA 的全新 SDK,加入這項技術變得相當簡單,因此我們想都不用想,就決定在《機甲爭霸戰 5》中新增這項技術支援。」

在許多情況下,NVIDIA DLSS 2.0 也能提升影像畫質。 在下方使用畫質模式以 1440p 擷取的比較圖中,可發現 DLSS 為機甲的精細零件增添銳利的細節,展現出機甲損耗、破損的地方。 此外,DLSS 也讓建築上方的鐵鍊圍欄更加穩定,提高遊戲畫面擬真度。

在這張使用畫質模式以 1080p 擷取的範例中,可發現 DLSS 在提升畫面播放速率的同時,仍維持同樣銳利、清晰的影像畫質。 也請注意穀倉上的精緻線條細節,以及稻田的擬真度。

最後,再以這張使用畫質模式以 1080p 擷取的圖片為例,DLSS 回復了牆壁頂端的護欄,使得牆壁以及大門側面區域的微小細節都更加銳利。

《德軍總部:血氣方剛》

Bethesda 與 Machine Games 的 《德軍總部:血氣方剛》是第一款搭載 Vulkan 並採用光線追蹤和 DLSS 2.0 的遊戲。

《德軍總部:血氣方剛》一推出就締造極佳表現,而 DLSS 2.0 讓遊戲速度更快:

MachineGames 的技術長暨《德軍總部:血氣方剛》的開發人員 Jin Kjellin 表示:「我們非常希望遊戲在視覺效果以及效能上皆能有傑出表現。加入 NVIDIA DLSS 讓我們能在兩者間皆獲得最佳效果,在擁有最高效能的情況下,依然能夠體驗卓越影像畫質。」

DLSS 能夠維持細節,並同時改善特定區塊的影像畫質。在下方範例中,與《德軍總部:血氣方剛》的最高畫質 TAA 模式相比,啟用 DLSS 2.0 後,畫面右邊的柵欄還有中央建築上的水管都更加清晰細膩:

其他區塊的畫質也獲得顯著提升。 舉例來說,在我們的第二幅遊戲截圖比較圖中,可以發現右邊建築的細節明顯增加,而屋頂的天線也更加清晰可見,整幅場景的畫質均獲得提升。

DLSS 能持續學習

Turing 架構讓我們在遊戲繪圖技術領域開創出兩大突破:即時光線追蹤與 NVIDIA DLSS 技術。 光線追蹤將真實感提升至全新境界,而 DLSS 提升了畫面播放速率,讓你能夠享受這些經過光線追蹤的視覺效果。

NVIDIA DLSS 2.0 則讓影像畫質和效能獲得更大幅的進步,同時也讓遊戲整合變得更加輕鬆,使玩家能夠在更多遊戲內享受這項技術。 多虧有人工智慧的強大功能,讓我們的 DLSS 網路能持續發展及改善。

歡迎本週在《機甲爭霸戰 5》《控制》中試試我們的最新技術,並鎖定 GeForce.com,掌握即將推出的 DLSS 遊戲資訊和技術進展相關新知。