近年來,各大 3D 軟體與算圖引擎相繼支援 3DGS(3D 高斯濺射)場景掃描技術,象徵著此技術正為影視製作帶來深刻的流程革新。在這波技術浪潮中,引起我們注意的是「起步走影像」。他們近兩年不僅陸續釋出多支在地景點的 3DGS 掃描測試,更將該技術結合生成式 AI、特效製作,並實際投入影視專案的製作。
本次特別專訪起步走創辦人,同時也是「綠野仙蹤電影特效公司」的視覺指導 — 潘胤余。透過他的視角,帶領讀者一探團隊如何站在技術前沿,推動 3DGS 整合至專業影視特效工作流。
潘胤余:起步走影像成立於 2019 年。在此之前,我主要負責綠野仙蹤電影特效的營運業務。當時的業務主要集中在電視與電影等視覺特效製作,因此成立起步走影像製作,目的是希望在綠野仙蹤與起步走之間劃分清晰的業務範疇。我希望將起步走定位得更具彈性,能承接片頭設計以及動態設計等專案。
雖然兩家公司的業務有些重疊,但起步走影像從一開始就更偏重於新技術的實踐與整合。至於為何選擇 3DGS 作為起步走的核心,這其實是必然的結果。因為我們持續嘗試新技術,自然較早踏入這個領域。在影視產業中,環境重構與數位資產長期存在一個痛點:傳統建模非常耗時,而光達(LiDAR)掃描雖然精準,但掃描回來的檔案仍需大量修補破面,且修補後的效果也不一定符合所需的氛圍。
當我們發現 3DGS 技術時,憑藉累積二十年的經驗,第一個念頭便是:這項技術能夠直接應用於影視產業。於是,我們將其導入工作流程,並開始嘗試將其發展成一項業務,讓大家了解我們能以電影級的標準,將場景轉化為數位資產,這就是我們最初的出發點。
潘胤余:我剛開始是在研究如何利用光達掃描來還原場景,但它一直無法有效率地解決問題。所以當 3DGS 的論文剛發表不久時,我便在一些開源論壇上關注到它,並開始嘗試如何讓它的質感達到我們的需求。
初期測試時,我把畫面給同事看,他們的第一個問題就是:「能不能達到 4K?能不能再更清晰?」當時我們遇到許多瓶頸,因為 3DGS 生成出來的成果帶有許多橢圓形的泡泡感,細節無法直接作為影視特效的素材,因此我們不斷研究如何讓它更銳利、更精緻。
會這麼努力想克服這些瓶頸,是因為在特效製作中,我們一直缺乏一種能將現場完整保留下來(包含材質與光影),並達到極致寫實的技術。而 3DGS 恰好能直接捕捉材質與環境反射,所以當時我們就思考,如果能將這個工作流程導入特效合成,就能夠讓視覺特效看起來更真實。
潘胤余:最大的差異在於,光達是透過發射光束並接收反射的時間差,來算出幾何物件的座標與空間。優點是空間與距離能精準達到毫米等級,但它缺乏材質與光影色彩,呈現出來的只是大量的點。當要把點連成點、線、面時,會受限於物理特性。例如照到玻璃時,雖然能看到後方的物體,一旦光束被玻璃擋下,便無法穿透重建後方細節。
而 3DGS 則是以光影為導向,它的作業方式等於是透過在現場拍攝大量的照片或影片,再反算重建出整個空間。系統會利用空中許多帶有顏色、透明度的橢圓形體填滿空間,當旋轉到特定角度時,這些橢圓形體就會呈現出對應的畫面。
潘胤余:我們拍攝時不會只使用單一設備,而是根據場景狀況靈活調整。之所以會一直上傳不同景點的 3DGS 影片,也是希望透過不同的場景來測試各種器材。因為每個場景的條件不同,我們想挑戰面對不同環境時,如何運用相應的技術來完美還原現場。
針對大規模或結構複雜的場景,我們會使用手持光達來精準建構大範圍的骨架,再搭配單眼相機補拍細節與材質。但某些場景會有環境限制,手持光達也有物理極限(例如拍到一半電池耗盡需關機、更換等);若使用相機,就比較能夠長時間拍攝,也方便隨時更換電池。
若空間較小、有特殊光源限制或無法自由移動,我們就會改用 360 度相機搭配單眼來捕捉細節。回到電腦後,再透過多通道對齊數據進行拼合。我們一直在嘗試使用手機、360 相機、運動相機或各式相機來還原畫面,測試各項設備的極限,進而研究出不同場景最適用的器材組合。
潘胤余: 拍攝時現場還是會有行人。早期拍攝時,我會盡量挑選冷門時段,只要有人經過,我就站在原地等待,等對方離開後再繼續拍攝。
但有些想拍的地點人潮絡繹不絕,後來我們研究國外論壇,發現可以製作遮罩,在運算前把不需要的人圈選起來排除。所以現在拍攝時,我們已經不再擔心畫面裡是否有人,都是直接以遮罩將行人去除即可。
潘胤余:《再見1987》的製片先前就曾與我合作過幾部作品,包括《女孩上場2》以及客家電視台的《都市開基祖》。製作《女孩上場2》時,我們就開始運用 3D 掃描技術,例如將整個球場或現場觀眾掃描下來,製作成數位孿生(Digital Twin),作為特效背景的素材。這部作品的成果很不錯,也入圍了第 59 屆電視金鐘獎戲劇類節目視覺特效獎。
到了《都市開基祖》時,技術已經成熟到可以實務應用,我們便將 3DGS 帶入劇組。當時製片沒有特別要求具體用途,只是全力配合並安排時間讓我們進行場景掃描。後來他提出能否將這些資料用於宣傳,例如邀請曾參與捷運開挖的人員戴上 VR 頭顯,透過沉浸式體驗,重溫當年施工的隧道場景。
面對《再見1987》的時候,我們認為如果 3DGS 只用來做數位備份未免可惜,它絕對還有更多發揮空間。因此,我們向製片提案,希望將特效製作與 3DGS 深度結合。製片也非常支持,給予我們很大的空間去發揮與嘗試。
潘胤余:勘景後,我們會迅速掃描場景,並在開會時直接展示 3DGS 檔案。當燈光或場務組詢問綠幕尺寸時,我能在 3D 空間中直接拉出模型、調整角度展示,讓大家瞬間達成共識,就像在虛擬空間預先取景與抓鏡位。
以劇中的戰俘營為例,現場搭了六、七頂帳篷。當時製片問我綠幕需要多大?是否要針對每頂帳篷各放一塊?或者乾脆搭建一個像辦喜宴那樣的大型棚架並蓋上綠布?面對這些問題,我直接做出模擬畫面,讓團隊一眼確認需測量的範圍與距離,大幅提升了跨部門的溝通與執行效率。
潘胤余:早期我們預估的拍攝時間比較長,但在測試中發現「光影變化」是個大問題。一旦拍攝時間拉長,太陽移動會導致陰影偏移,掃描出來的成果就會出現不同透明度的重疊殘影。出於對細節的追求,我們必須盡可能加快掃描速度。
以《再見1987》這個場景為例,我們大約在一天內就完成拍攝,後續的畫面整理與資料對齊則約需幾天到一週的時間。實務協作上,我們會安排在製片組去勘景的當天,順道完成拍攝作業,並事先請劇組工作人員配合現場淨空。
以傳統視覺特效的流程來看,《再見1987》的特效並不特別困難。但我希望能將 3DGS 流程導入劇組,所以花了許多功夫說服大家,證明這項技術確實能為團隊帶來實質效益。
潘胤余 / 起步走影像製作創辦人
潘胤余:從「材質與光影」的還原度來看,3DGS 是非常適合影視產業的技術。不過,早期我們透過照片重建環境時,也在思考光達與 3DGS 能否互相融合。因為 3DGS 生成的成果,本質上是懸浮在空中的粒子(橢圓形泡泡),缺少實體的幾何結構;如果要在 3D 軟體裡做物理碰撞測試,物體會直接穿透過去。但我們做特效時,會希望場景至少能具備牆面或地板的實體特性,以便進行物理模擬。
因此,我們開始研究如何將光達生成的點雲與 3DGS 結合。後來發現,已經有廠商提早佈局,針對這個痛點開發出「結合 3DGS 的手持光達設備」。他們將光達測得的距離數據,與攝影機捕捉的影像完美融合,藉此精準綁定 3DGS 的粒子位置。看到這項新技術時,我們深受震撼,也意識到這種「兼具精準物理空間與極致光影材質」的整合,絕對是未來必須深入研究的方向。