對開發寫實風格的遊戲開發者來說,總是得在即時運算的效能與視覺寫實度之間做出取捨。隨著 GeForce RTX 50 系列的登場,NVIDIA 正式推出 DLSS 5 技術,透過創新的「3D 引導神經運算」(3D-Guided Neural Rendering),能依據遊戲內容為基礎,利用 AI 即時運算準確且穩定地為原本受限於效能而被迫簡化的細節。
本篇將深入 DLSS 5 的背後技術,探索如何透過 AI 模型,把即時的遊戲畫面帶往更接近好萊塢視覺品質的過程。
從 2001 年 GeForce 3 的可程式化著色器、2006 年 GeForce 8800 GTX 的 CUDA,2018 年 GeForce RTX 2080 Ti 的即時光線追蹤,以及 2025 年 GeForce RTX 5090 的路徑追蹤與神經著色器,NVIDIA 一直致力於提供遊戲開發者所需的繪圖運算能力。
但要達到好萊塢等級的寫實度依然遙不可及。好萊塢視覺特效每一格的畫面,可能需要耗費數小時甚至數天來計算,但遊戲開發者卻需要每秒提供 60 格以上的畫面,加上流的暢體驗。傳統上,遊戲開發者必須犧牲其藝術性以達到即時效能。例如,數萬根的髮絲被簡化以幾何模型取代,或是像皮膚這樣複雜、多層次的材質,則無法在遊戲裡重現其深度。
與其為場景添加更多細節,一種實現「寫實」的替代方法應運而生—生成式 AI。透過學習物理世界中複雜的光影模式,生成式模型能夠產生傳統算圖難以呈現的寫實光影效果,例如逆光下的髮絲,或是光線如何自然地在人類皮膚等複雜、多層次材質中產生散射。
但是,傳統的生成式模型龐大、緩慢,而且本質上具有隨機性:當給予同一個文字提示十次時,標準的擴散式模型會輸出十種完全不同的結果。但遊戲需要絕對的像素一致性、固定的角色身分,不可能讓同一個遊戲角色在在幾毫秒內隨機變形。
2018 年首次發布的 NVIDIA DLSS 成為利用 AI 提升效能的標準,從最初的超高取樣,到影格與多影格生成。結合起來,現今的 DLSS 4.5 技術套件可以利用 AI 繪製螢幕上可見 24 個像素中的其中 23 個。
先前的 DLSS 技術專注於重建現有場景資料以提供更高解析度的圖像、額外影格或更乾淨的光線追蹤。但具備 3D 引導神經運算的 DLSS 5 跨出下一步,利用 AI 生成豐富的光影和材質細節,還原那些因效能限制而被迫放棄的細節。
並且,與其用文字提示來生成,3D 引導神經運算使用遊戲引擎內,藝術家設計的圖形、紋理與光影緩衝區為基礎,而 DLSS 5 作為繪圖流程的最終階段,將為場景注入栩栩如生的光影與材質。NVIDIA 為此研發出一個全新的即時 AI 模型,並解決了三個基本的工程挑戰:維持美術意圖、確保時間性的穩定,以及達成毫秒級的執行速度。
首先是畫面的穩定性方面,在處理相同的輸入影格(Input frame)時可提供一致的輸出。它以藝術家和遊戲引擎的原始影格為基礎,該模型會分析畫面裡的物體、材質、空間關係與光源,直接錨定於原始影格上,透過訓練來識別引擎資料,例如色彩、表面反照率、詳細光影與表面法線。
其次,DLSS 5 提供即時、逐幀的時間穩定性。不同於影片生成模型,DLSS 5 採用嚴格的一幀進、一幀出的模型。透過直接利用遊戲引擎的動態預測(Motion Vector),確保每一個生成的影格都是穩定的,即使玩家移動時也能消除視覺上的閃爍、游移或漂移。
讓圖像更加寫實終究是一個創意決定,DLSS 5 也把藝術指導的工具直接交到開發者手中。DLSS 5 讓開發團隊可以不用擔心運算力與 VRAM 是否足夠,就能為畫面加入更多細節。它加入了不同的模型與控制項,讓他們能以美術專業的角度去安排哪些效果要應用在何處。而這對玩家來說,只是一個簡單的開關切換。
以下方的拉麵師傅為例,原始的臉部比例與造型,在 DLSS 5 啟用後,增強了光線反應與材質細節。環境光遮蔽(Ambient occlusion)在頭巾周圍明確增加了深度,而光線透過增強的次表面散射(SSS)自然地穿透他的耳朵。這些效果提升了角色與場景寫實度,卻沒有改變拉麵師傅本身的臉型與五官。點此查看 4K 原始比較圖。
DLSS 5 ON
透過 DLSS 5 SDK,開發者有多種模型可供選擇,搭配不同的參數權重會產生不同的輸出,來挑選最適合其遊戲的模型。
這樣的「模型選擇」可以套用於整個遊戲,或者可以在不同場景中混合使用。例如,藝術家可以為茂密的戶外樹葉選擇 A 模型,為戲劇性的室內場景選擇 B 模型。也可以在遊玩過程和過場動畫中混合搭配不同的模型。
DLSS 5 也提供了結構強度(Structure Intensity)與色調強度(Tone Intensity)調整。結構強度控制高頻細節,例如 AO、反射與次表面散射。這項控制讓開發者能更有更大彈性來增加遊戲的真實感。開發者可以決定將此值設為零以顯示原始影格,或增加設定進行色調調整,自由選擇多種方案。
DLSS 5 ON
為了確保增強效果僅應用於預期的位置,DLSS 5 也具備語意 AI 遮罩功能,可自動識別場景物體,允許開發者增強環境的提升,同時抑制對角色的影響。此外,引擎級別的遮罩允許藝術家隔離特定的道具或資產群組,例如玻璃器皿、水滴或樹葉,並對遊戲的特定元素應用自訂的光影微調,而不會改變周圍的元素。
DLSS 5 將隨著《NBA 2K27》於太平洋時間 9 月 3 日晚上 9 點起,提供給 GeForce RTX 50 系列 PC 和筆記型電腦玩家,以及 NVIDIA 的雲端服務「GeForce NOW」Ultimate 會員也可使用搭載 GeForce RTX 5080 遊戲裝置進行串流遊玩。
Right
要在《NBA 2K27》中啟用 DLSS 5,玩家需要下載將於太平洋時間 9 月 3 日晚上 9 點發布的新 GeForce Game Ready 驅動程式。並在遊戲內選擇「影像設定」(Video Settings),並開啟「DLSS 神經運算」(DLSS Neural Rendering)。玩家可依個人喜好配置其他 DLSS 超高取樣、畫格生成與 NVIDIA Reflex 選項,在遊玩過程中,則可按快捷鍵 F9 來切換 DLSS 5。
NVIDIA 也提供一系列顯卡與效能成效比較。在《NBA 2K27》中使用全套 DLSS 技術,在 4K 解析度搭配遊戲內的超級(Ultra)預設值與光線追蹤下,GeForce RTX 5090 玩家可藉由 DLSS 5 享受高達每秒 370 幀的終極體驗。
在 2560x1440 解析度下,GeForce RTX 玩家可在超級預設值的情況下,在 GeForce RTX 5090 上可達超快的 590 幀,GeForce RTX 5080 上可達 410 幀,GeForce RTX 5070 Ti 可達 350 幀,GeForce RTX 5070 上高達 260 幀。
NVIDIA 應用深度學習研究總監 Edward Liu 與內容技術總監 Gabriele Leone,也透過一系列範例解說 DLSS 3D 引導神經運算以及其風格化控制是如何運作的,有興趣的朋友請觀看下方影片。