潘胤余:若以傳統 OBJ 等由點、線、面組成的模型標準來看,3DGS 其實不適合直接當作傳統的 3D 模型來使用。在實地拍攝時,它確實有幾個明顯的罩門:
首先是光照環境的限制。只要是鏡頭上看不清楚、過於黑暗的地方,演算法就無法精準捕捉,因此產生大量雜訊。有一次我想拍攝鹿港老街的古蹟,為了避開人潮特地等到晚上十點,但暗巷裡漆黑一片;後來我改用 RAW 檔格式拍攝,利用 RAW 檔保留的暗部細節,先讓軟體進行特徵對齊,完成後再調回原本的色彩,才有效減少了 3DGS 裡暗部的懸浮雜訊。此外,現場若有閃爍的燈光,如店家招牌燈、效果燈,也會導致採集的光影不理想。
其次是動態物體。這可以說是 3DGS 的災難,因為如果在拍攝過程中有物體移動(例如風吹導致樹葉搖晃),後製算圖時該區域就會變成一片模糊;若現場一直有人流經過,地面也會留下重疊的殘影痕跡。
還有一種是大面積無紋理的表面。例如大白牆、特寫畫面,或是隧道裡不斷重複的軌道與牆面。這會導致軟體無法找到特徵點進行對齊,算圖引擎會無法辨識當前照片到底屬於場景的哪一段。面對這類缺乏特徵的情境,我們在拍攝時就必須額外搭配標記點來輔助定位。
潘胤余:其實檔案本身的資料量還好,最吃緊的絕對是記憶體 — 包含顯卡的顯存(VRAM)以及系統記憶體(RAM)。整個解算過程極度依賴顯示卡。即使是規模不大的場景,顯存需求也經常超過 12GB,通常需要 RTX 5080 以上等級的顯卡才能負荷;若是更龐大的模型,甚至需要 24GB 以上的顯存。為了順利運算,我們甚至會需要與其他公司合作,借用高階顯卡來執行。
系統記憶體與硬碟的讀取速度同樣非常關鍵。我舉個實際的例子:早期在處理大量照片運算時,電腦常常算到一半就直接強制關機。後來除錯過程中才發現,因為我把照片存放在傳統的硬碟裡,讀寫速度完全跟不上運算需求;直到把檔案搬到高速 SSD 後,才順利解決這個問題。
此外,當場景較大、設定的迭代次數較多時,一旦系統記憶體被耗盡,就算讓它運算再久,畫面品質也不會再提升。因此,我們現在對於硬體配置的策略非常明確:就是直接把記憶體插滿、換上最高速的 SSD,並配置最強的 GPU 來因應。
潘胤余:這部分非常有趣,我們之所以做這些實驗,核心目的是為了「說服客戶」。因為許多影視領域的客戶覺得 3DGS 技術「很炫」,但會質疑它的實際用途;若僅僅作為場景的數位備份,大家不一定願意買單,所以我們必須持續為它尋找、測試各種實際的應用情境。
就技術面而言,AI 在生成或解析影片時的第一原理,是先計算畫面的深度,進而判斷虛擬角色與場景的相對位置。而 3DGS 最大的優勢之一,就是它能直接匯出精準深度圖(Depth Map)。當我們將這些深度資訊輸入 AI 工具時,AI 就能清晰理解空間中的牆面、轉角與距離,精準地將人物完美融入場景中。
以我們近期測試的滑板場景為例,場地包含了碗池與溜滑梯等複雜的弧線結構。我刻意在拍攝時邊移動、邊旋轉鏡頭,然後將這種高難度的動態運鏡交給幾款主流的 AI 影片生成模型(如 SeeDance、Wan 3.0、MiniMax H3 等),測試它們能否精準追蹤旋轉的鏡頭,並讓生成的虛擬角色在裡面流暢地滑板與翻板。測試後發現,雖然各家模型各有優缺點,但都能很好地理解複雜環境的鏡頭語言,效果非常優異。我們未來也會持續深入探索這樣的結合方向。
潘胤余:老實說,目前的整體環境其實滿具挑戰性的。當前影視產業面臨 AI 短影音興起的衝擊,大家對製作預算與效益難免產生疑慮:究竟是否還需要投入大量資金製作特效?還是直接用 AI 生成就好?
面對這些挑戰,我們更專注於尋求解決方案。我們曾舉辦座談會與業內人士交流,展示 3DGS 在前期與後期的龐大助益。例如在前期勘景,目前多數製片仍習慣看平面照片開會,少數會使用 360 度相機;但若能透過 3DGS,團隊在開拍前就能精準掌握空間大小、距離,甚至預先設定廣角或緊湊的鏡頭供攝影師參考。此外,我們也與特效公司合作,將 3DGS 場景放上虛擬棚的 LED 螢幕,背景能隨攝影機運鏡即時旋轉,我認為這是未來非常有潛力的導入切入點。
目前我們仍在積極拓展客戶群,也和夢想動畫合作,採取「先掃描保存」的策略 —— 等未來進入後期行銷或特效製作有實際需求時,再來討論檔案的授權費用。現在也透過這種「先拍攝、後推廣」的方式,成功與多個劇組展開合作了。
潘胤余:為此,我們其實經歷過一段摸索與取捨。如果面對一般個人客戶(例如只想做空間掃描案子),以影視產業的高規格來報價,往往會超出他們的預期;但若為了接案而接,對團隊來說又無法獲得合理的商業回報。
因此,我們現在的定位非常明確:鎖定有「高精準度需求」的高端或企業客戶,才能確保專業品質與合理的利潤空間。在這樣的挑戰下,我們也將觸角拓展到跨領域的客戶,例如科技產業。隨著近年機器人技術的快速發展,企業非常需要建立極度擬真的數位孿生(Digital Twin)環境,用來訓練機器人在工廠內行走與操作機台。
因為 3DGS 呈現的視覺效果遠優於傳統的光達雷達,現在的機器人不僅需要理解物理的幾何碰撞,更需要透過極致擬真的「視覺演算法」來辨識環境與物體。這讓 3DGS 變得非常適合用於機器人的視覺模擬訓練,最近也有不少科技公司主動與我們洽談合作。這類跨領域的需求,也讓我們深刻看見 3DGS 在影視產業之外,還有非常龐大的商業潛力。
想掌握更多 3DGS 技術在影視與跨領域的實戰應用與最新動態,請持續關注起步走影像。
深耕影視特效多年,代表參與作品包含《我們與惡的距離》、《通靈少女》、《女孩上場 2》及《再見 1987》等知名影集。2019 年創立「起步走影像」,除承接視覺特效與片頭動畫外,團隊更專注於新技術的實踐與整合。近年積極將 3D 掃描(3DGS)與生成式 AI 導入影像合成工作流,致力於打破傳統製程框架,為影像創作帶來突破性的細膩度與未來感。