對開發寫實風格的遊戲開發者來說,總是得在即時運算的效能與視覺寫實度之間做出取捨。隨著 GeForce RTX 50 系列的登場,NVIDIA 正式推出 DLSS 5 技術,透過創新的「3D 引導神經運算」(3D-Guided Neural Rendering),能依據遊戲內容為基礎,利用 AI 即時運算準確且穩定地為原本受限於效能而被迫簡化的細節。
本篇將深入 DLSS 5 的背後技術,探索如何透過 AI 模型,把即時的遊戲畫面帶往更接近好萊塢視覺品質的過程。
從 2001 年 GeForce 3 的可程式化著色器、2006 年 GeForce 8800 GTX 的 CUDA,2018 年 GeForce RTX 2080 Ti 的即時光線追蹤,以及 2025 年 GeForce RTX 5090 的路徑追蹤與神經著色器,NVIDIA 一直致力於提供遊戲開發者所需的繪圖運算能力。
但要達到好萊塢等級的寫實度依然遙不可及。好萊塢視覺特效每一格的畫面,可能需要耗費數小時甚至數天來計算,但遊戲開發者卻需要每秒提供 60 格以上的畫面,加上流的暢體驗。傳統上,遊戲開發者必須犧牲其藝術性以達到即時效能。例如,數萬根的髮絲被簡化以幾何模型取代,或是像皮膚這樣複雜、多層次的材質,則無法在遊戲裡重現其深度。
與其為場景添加更多細節,一種實現「寫實」的替代方法應運而生—生成式 AI。透過學習物理世界中複雜的光影模式,生成式模型能夠產生傳統算圖難以呈現的寫實光影效果,例如逆光下的髮絲,或是光線如何自然地在人類皮膚等複雜、多層次材質中產生散射。
但是,傳統的生成式模型龐大、緩慢,而且本質上具有隨機性:當給予同一個文字提示十次時,標準的擴散式模型會輸出十種完全不同的結果。但遊戲需要絕對的像素一致性、固定的角色身分,不可能讓同一個遊戲角色在在幾毫秒內隨機變形。
2018 年首次發布的 NVIDIA DLSS 成為利用 AI 提升效能的標準,從最初的超高取樣,到影格與多影格生成。結合起來,現今的 DLSS 4.5 技術套件可以利用 AI 繪製螢幕上可見 24 個像素中的其中 23 個。
先前的 DLSS 技術專注於重建現有場景資料以提供更高解析度的圖像、額外影格或更乾淨的光線追蹤。但具備 3D 引導神經運算的 DLSS 5 跨出下一步,利用 AI 生成豐富的光影和材質細節,還原那些因效能限制而被迫放棄的細節。
並且,與其用文字提示來生成,3D 引導神經運算使用遊戲引擎內,藝術家設計的圖形、紋理與光影緩衝區為基礎,而 DLSS 5 作為繪圖流程的最終階段,將為場景注入栩栩如生的光影與材質。NVIDIA 為此研發出一個全新的即時 AI 模型,並解決了三個基本的工程挑戰:維持美術意圖、確保時間性的穩定,以及達成毫秒級的執行速度。
首先是畫面的穩定性方面,在處理相同的輸入影格(Input frame)時可提供一致的輸出。它以藝術家和遊戲引擎的原始影格為基礎,該模型會分析畫面裡的物體、材質、空間關係與光源,直接錨定於原始影格上,透過訓練來識別引擎資料,例如色彩、表面反照率、詳細光影與表面法線。
其次,DLSS 5 提供即時、逐幀的時間穩定性。不同於影片生成模型,DLSS 5 採用嚴格的一幀進、一幀出的模型。透過直接利用遊戲引擎的動態預測(Motion Vector),確保每一個生成的影格都是穩定的,即使玩家移動時也能消除視覺上的閃爍、游移或漂移。
讓圖像更加寫實終究是一個創意決定,DLSS 5 也把藝術指導的工具直接交到開發者手中。DLSS 5 讓開發團隊可以不用擔心運算力與 VRAM 是否足夠,就能為畫面加入更多細節。它加入了不同的模型與控制項,讓他們能以美術專業的角度去安排哪些效果要應用在何處。而這對玩家來說,只是一個簡單的開關切換。
以下方的拉麵師傅為例,原始的臉部比例與造型,在 DLSS 5 啟用後,增強了光線反應與材質細節。環境光遮蔽(Ambient occlusion)在頭巾周圍明確增加了深度,而光線透過增強的次表面散射(SSS)自然地穿透他的耳朵。這些效果提升了角色與場景寫實度,卻沒有改變拉麵師傅本身的臉型與五官。點此查看 4K 原始比較圖。
DLSS 5 ON
透過 DLSS 5 SDK,開發者有多種模型可供選擇,搭配不同的參數權重會產生不同的輸出,來挑選最適合其遊戲的模型。
這樣的「模型選擇」可以套用於整個遊戲,或者可以在不同場景中混合使用。例如,藝術家可以為茂密的戶外樹葉選擇 A 模型,為戲劇性的室內場景選擇 B 模型。也可以在遊玩過程和過場動畫中混合搭配不同的模型。
DLSS 5 也提供了結構強度(Structure Intensity)與色調強度(Tone Intensity)調整。結構強度控制高頻細節,例如 AO、反射與次表面散射。這項控制讓開發者能更有更大彈性來增加遊戲的真實感。開發者可以決定將此值設為零以顯示原始影格,或增加設定進行色調調整,自由選擇多種方案。
DLSS 5 ON
為了確保增強效果僅應用於預期的位置,DLSS 5 也具備語意 AI 遮罩功能,可自動識別場景物體,允許開發者增強環境的提升,同時抑制對角色的影響。此外,引擎級別的遮罩允許藝術家隔離特定的道具或資產群組,例如玻璃器皿、水滴或樹葉,並對遊戲的特定元素應用自訂的光影微調,而不會改變周圍的元素。