最新活動

3DGS 導入台劇製作,革新影視製作流程?專訪起步走影像潘胤余

近年來,各大 3D 軟體與算圖引擎相繼支援 3DGS(3D 高斯濺射)場景掃描技術,象徵著此技術正為影視製作帶來深刻的流程革新。在這波技術浪潮中,引起我們注意的是「起步走影像」。他們近兩年不僅陸續釋出多支在地景點的 3DGS 掃描測試,更將該技術結合生成式 AI、特效製作,並實際投入影視專案的製作。

本次特別專訪起步走創辦人,同時也是「綠野仙蹤電影特效公司」的視覺指導 — 潘胤余。透過他的視角,帶領讀者一探團隊如何站在技術前沿,推動 3DGS 整合至專業影視特效工作流。


請跟我們分享「起步走影像製作」的成立背景,為何以「3DGS」技術為主要特色?

潘胤余:起步走影像成立於 2019 年。在此之前,我主要負責綠野仙蹤電影特效的營運業務。當時的業務主要集中在電視與電影等視覺特效製作,因此成立起步走影像製作,目的是希望在綠野仙蹤與起步走之間劃分清晰的業務範疇。我希望將起步走定位得更具彈性,能承接片頭設計以及動態設計等專案。

雖然兩家公司的業務有些重疊,但起步走影像從一開始就更偏重於新技術的實踐與整合。至於為何選擇 3DGS 作為起步走的核心,這其實是必然的結果。因為我們持續嘗試新技術,自然較早踏入這個領域。在影視產業中,環境重構與數位資產長期存在一個痛點:傳統建模非常耗時,而光達(LiDAR)掃描雖然精準,但掃描回來的檔案仍需大量修補破面,且修補後的效果也不一定符合所需的氛圍。

當我們發現 3DGS 技術時,憑藉累積二十年的經驗,第一個念頭便是:這項技術能夠直接應用於影視產業。於是,我們將其導入工作流程,並開始嘗試將其發展成一項業務,讓大家了解我們能以電影級的標準,將場景轉化為數位資產,這就是我們最初的出發點。

高雄美麗島站 3DGS 三視圖。(圖 / 潘胤余提供)

大概從前年開始留意到 3D 軟體、算圖引擎紛紛支援 3DGS 技術。請問您大概是多久前開始接觸到 3DGS 的?對它的第一個想法是什麼?

潘胤余:我剛開始是在研究如何利用光達掃描來還原場景,但它一直無法有效率地解決問題。所以當 3DGS 的論文剛發表不久時,我便在一些開源論壇上關注到它,並開始嘗試如何讓它的質感達到我們的需求。

初期測試時,我把畫面給同事看,他們的第一個問題就是:「能不能達到 4K?能不能再更清晰?」當時我們遇到許多瓶頸,因為 3DGS 生成出來的成果帶有許多橢圓形的泡泡感,細節無法直接作為影視特效的素材,因此我們不斷研究如何讓它更銳利、更精緻。

會這麼努力想克服這些瓶頸,是因為在特效製作中,我們一直缺乏一種能將現場完整保留下來(包含材質與光影),並達到極致寫實的技術。而 3DGS 恰好能直接捕捉材質與環境反射,所以當時我們就思考,如果能將這個工作流程導入特效合成,就能夠讓視覺特效看起來更真實。

《再見1987》在苗栗出磺坑礦業歷史旁場景的 3DGS 畫面。(圖 / 潘胤余提供)

3DGS 和一般光達掃描的點雲資料,最大的差異是什麼?

潘胤余:最大的差異在於,光達是透過發射光束並接收反射的時間差,來算出幾何物件的座標與空間。優點是空間與距離能精準達到毫米等級,但它缺乏材質與光影色彩,呈現出來的只是大量的點。當要把點連成點、線、面時,會受限於物理特性。例如照到玻璃時,雖然能看到後方的物體,一旦光束被玻璃擋下,便無法穿透重建後方細節。

而 3DGS 則是以光影為導向,它的作業方式等於是透過在現場拍攝大量的照片或影片,再反算重建出整個空間。系統會利用空中許多帶有顏色、透明度的橢圓形體填滿空間,當旋轉到特定角度時,這些橢圓形體就會呈現出對應的畫面。

《再見1987》在苗栗出磺坑礦業歷史旁場景的 3DGS 畫面。(圖 / 潘胤余提供)

關於 3DGS 現場拍攝流程?大概使用哪些設備以及拍攝規格?

潘胤余:我們拍攝時不會只使用單一設備,而是根據場景狀況靈活調整。之所以會一直上傳不同景點的 3DGS 影片,也是希望透過不同的場景來測試各種器材。因為每個場景的條件不同,我們想挑戰面對不同環境時,如何運用相應的技術來完美還原現場。

針對大規模或結構複雜的場景,我們會使用手持光達來精準建構大範圍的骨架,再搭配單眼相機補拍細節與材質。但某些場景會有環境限制,手持光達也有物理極限(例如拍到一半電池耗盡需關機、更換等);若使用相機,就比較能夠長時間拍攝,也方便隨時更換電池。

若空間較小、有特殊光源限制或無法自由移動,我們就會改用 360 度相機搭配單眼來捕捉細節。回到電腦後,再透過多通道對齊數據進行拼合。我們一直在嘗試使用手機、360 相機、運動相機或各式相機來還原畫面,測試各項設備的極限,進而研究出不同場景最適用的器材組合。


觀察你們的 3DGS 影片中大多沒有行人,實際拍攝時現場的行人該怎麼處理?

潘胤余: 拍攝時現場還是會有行人。早期拍攝時,我會盡量挑選冷門時段,只要有人經過,我就站在原地等待,等對方離開後再繼續拍攝。

但有些想拍的地點人潮絡繹不絕,後來我們研究國外論壇,發現可以製作遮罩,在運算前把不需要的人圈選起來排除。所以現在拍攝時,我們已經不再擔心畫面裡是否有人,都是直接以遮罩將行人去除即可。


最初是怎麼參與《再見1987》的製作?

潘胤余:《再見1987》的製片先前就曾與我合作過幾部作品,包括《女孩上場2》以及客家電視台的《都市開基祖》。製作《女孩上場2》時,我們就開始運用 3D 掃描技術,例如將整個球場或現場觀眾掃描下來,製作成數位孿生(Digital Twin),作為特效背景的素材。這部作品的成果很不錯,也入圍了第 59 屆電視金鐘獎戲劇類節目視覺特效獎。

到了《都市開基祖》時,技術已經成熟到可以實務應用,我們便將 3DGS 帶入劇組。當時製片沒有特別要求具體用途,只是全力配合並安排時間讓我們進行場景掃描。後來他提出能否將這些資料用於宣傳,例如邀請曾參與捷運開挖的人員戴上 VR 頭顯,透過沉浸式體驗,重溫當年施工的隧道場景。

《都市開基祖》現場拍攝畫面(圖 / 潘胤余提供)

面對《再見1987》的時候,我們認為如果 3DGS 只用來做數位備份未免可惜,它絕對還有更多發揮空間。因此,我們向製片提案,希望將特效製作與 3DGS 深度結合。製片也非常支持,給予我們很大的空間去發揮與嘗試。

《再見1987》在台南岸內影視基地的拍攝片場(圖 / 潘胤余提供)

實際導入劇組後,3DGS 技術可以帶來什麼助益?

潘胤余:勘景後,我們會迅速掃描場景,並在開會時直接展示 3DGS 檔案。當燈光或場務組詢問綠幕尺寸時,我能在 3D 空間中直接拉出模型、調整角度展示,讓大家瞬間達成共識,就像在虛擬空間預先取景與抓鏡位。

以劇中的戰俘營為例,現場搭了六、七頂帳篷。當時製片問我綠幕需要多大?是否要針對每頂帳篷各放一塊?或者乾脆搭建一個像辦喜宴那樣的大型棚架並蓋上綠布?面對這些問題,我直接做出模擬畫面,讓團隊一眼確認需測量的範圍與距離,大幅提升了跨部門的溝通與執行效率。

《再見1987》營區 3DGS 畫面
《再見1987》在台南岸內影視基地的拍攝片場(圖 / 潘胤余提供)

從拍攝到產生 3DGS 場景,大概耗時多長時間完成?

潘胤余:早期我們預估的拍攝時間比較長,但在測試中發現「光影變化」是個大問題。一旦拍攝時間拉長,太陽移動會導致陰影偏移,掃描出來的成果就會出現不同透明度的重疊殘影。出於對細節的追求,我們必須盡可能加快掃描速度。

以《再見1987》這個場景為例,我們大約在一天內就完成拍攝,後續的畫面整理與資料對齊則約需幾天到一週的時間。實務協作上,我們會安排在製片組去勘景的當天,順道完成拍攝作業,並事先請劇組工作人員配合現場淨空。

《再見1987》在台南岸內影視基地的拍攝片場(圖 / 潘胤余提供)

以傳統視覺特效的流程來看,《再見1987》的特效並不特別困難。但我希望能將 3DGS 流程導入劇組,所以花了許多功夫說服大家,證明這項技術確實能為團隊帶來實質效益。

潘胤余 / 起步走影像製作創辦人

跟光達掃描的點雲資料相比,3DGS 是否更適合影視產業的應用?

潘胤余:從「材質與光影」的還原度來看,3DGS 是非常適合影視產業的技術。不過,早期我們透過照片重建環境時,也在思考光達與 3DGS 能否互相融合。因為 3DGS 生成的成果,本質上是懸浮在空中的粒子(橢圓形泡泡),缺少實體的幾何結構;如果要在 3D 軟體裡做物理碰撞測試,物體會直接穿透過去。但我們做特效時,會希望場景至少能具備牆面或地板的實體特性,以便進行物理模擬。

因此,我們開始研究如何將光達生成的點雲與 3DGS 結合。後來發現,已經有廠商提早佈局,針對這個痛點開發出「結合 3DGS 的手持光達設備」。他們將光達測得的距離數據,與攝影機捕捉的影像完美融合,藉此精準綁定 3DGS 的粒子位置。看到這項新技術時,我們深受震撼,也意識到這種「兼具精準物理空間與極致光影材質」的整合,絕對是未來必須深入研究的方向。



3DGS 目前在實務操作上有哪些較不擅長處理的情境?例如在面對較為昏暗的場景時,拍攝紀錄上是否會比較困難?

潘胤余:若以傳統 OBJ 等由點、線、面組成的模型標準來看,3DGS 其實不適合直接當作傳統的 3D 模型來使用。在實地拍攝時,它確實有幾個明顯的罩門:

首先是光照環境的限制。只要是鏡頭上看不清楚、過於黑暗的地方,演算法就無法精準捕捉,因此產生大量雜訊。有一次我想拍攝鹿港老街的古蹟,為了避開人潮特地等到晚上十點,但暗巷裡漆黑一片;後來我改用 RAW 檔格式拍攝,利用 RAW 檔保留的暗部細節,先讓軟體進行特徵對齊,完成後再調回原本的色彩,才有效減少了 3DGS 裡暗部的懸浮雜訊。此外,現場若有閃爍的燈光,如店家招牌燈、效果燈,也會導致採集的光影不理想。

以《黑白清道夫》為例,起步走團隊利用掃描技術解決了「實體場景拍完即拆」的痛點。若未來籌拍續集需重現舊場景,劇組便能直接將數位檔案載入虛擬棚合成,或透過綠幕拍攝進行畫面疊加。這種將場景轉化為永續數位資產的作法,正是團隊積極向業界推廣的核心應用。(圖 / 潘胤余提供)

其次是動態物體。這可以說是 3DGS 的災難,因為如果在拍攝過程中有物體移動(例如風吹導致樹葉搖晃),後製算圖時該區域就會變成一片模糊;若現場一直有人流經過,地面也會留下重疊的殘影痕跡。

還有一種是大面積無紋理的表面。例如大白牆、特寫畫面,或是隧道裡不斷重複的軌道與牆面。這會導致軟體無法找到特徵點進行對齊,算圖引擎會無法辨識當前照片到底屬於場景的哪一段。面對這類缺乏特徵的情境,我們在拍攝時就必須額外搭配標記點來輔助定位。


針對 3DGS 龐大的資料量與運算需求,在電腦硬體上最吃重的是哪一部分?

潘胤余:其實檔案本身的資料量還好,最吃緊的絕對是記憶體 — 包含顯卡的顯存(VRAM)以及系統記憶體(RAM)。整個解算過程極度依賴顯示卡。即使是規模不大的場景,顯存需求也經常超過 12GB,通常需要 RTX 5080 以上等級的顯卡才能負荷;若是更龐大的模型,甚至需要 24GB 以上的顯存。為了順利運算,我們甚至會需要與其他公司合作,借用高階顯卡來執行。

系統記憶體與硬碟的讀取速度同樣非常關鍵。我舉個實際的例子:早期在處理大量照片運算時,電腦常常算到一半就直接強制關機。後來除錯過程中才發現,因為我把照片存放在傳統的硬碟裡,讀寫速度完全跟不上運算需求;直到把檔案搬到高速 SSD 後,才順利解決這個問題。

此外,當場景較大、設定的迭代次數較多時,一旦系統記憶體被耗盡,就算讓它運算再久,畫面品質也不會再提升。因此,我們現在對於硬體配置的策略非常明確:就是直接把記憶體插滿、換上最高速的 SSD,並配置最強的 GPU 來因應。


近期發佈的 3DGS 影片也加入了 AI 生成技術,未來還有哪些特別想探索的方向?

潘胤余:這部分非常有趣,我們之所以做這些實驗,核心目的是為了「說服客戶」。因為許多影視領域的客戶覺得 3DGS 技術「很炫」,但會質疑它的實際用途;若僅僅作為場景的數位備份,大家不一定願意買單,所以我們必須持續為它尋找、測試各種實際的應用情境。

就技術面而言,AI 在生成或解析影片時的第一原理,是先計算畫面的深度,進而判斷虛擬角色與場景的相對位置。而 3DGS 最大的優勢之一,就是它能直接匯出精準深度圖(Depth Map)。當我們將這些深度資訊輸入 AI 工具時,AI 就能清晰理解空間中的牆面、轉角與距離,精準地將人物完美融入場景中。

以我們近期測試的滑板場景為例,場地包含了碗池與溜滑梯等複雜的弧線結構。我刻意在拍攝時邊移動、邊旋轉鏡頭,然後將這種高難度的動態運鏡交給幾款主流的 AI 影片生成模型(如 SeeDance、Wan 3.0、MiniMax H3 等),測試它們能否精準追蹤旋轉的鏡頭,並讓生成的虛擬角色在裡面流暢地滑板與翻板。測試後發現,雖然各家模型各有優缺點,但都能很好地理解複雜環境的鏡頭語言,效果非常優異。我們未來也會持續深入探索這樣的結合方向。

AI 生成角色(圖 / 潘胤余提供)

怎麼觀察目前 3DGS 在國內影視產業的接受度?期待未來會如何發展?

潘胤余:老實說,目前的整體環境其實滿具挑戰性的。當前影視產業面臨 AI 短影音興起的衝擊,大家對製作預算與效益難免產生疑慮:究竟是否還需要投入大量資金製作特效?還是直接用 AI 生成就好?

面對這些挑戰,我們更專注於尋求解決方案。我們曾舉辦座談會與業內人士交流,展示 3DGS 在前期與後期的龐大助益。例如在前期勘景,目前多數製片仍習慣看平面照片開會,少數會使用 360 度相機;但若能透過 3DGS,團隊在開拍前就能精準掌握空間大小、距離,甚至預先設定廣角或緊湊的鏡頭供攝影師參考。此外,我們也與特效公司合作,將 3DGS 場景放上虛擬棚的 LED 螢幕,背景能隨攝影機運鏡即時旋轉,我認為這是未來非常有潛力的導入切入點。

目前我們仍在積極拓展客戶群,也和夢想動畫合作,採取「先掃描保存」的策略 —— 等未來進入後期行銷或特效製作有實際需求時,再來討論檔案的授權費用。現在也透過這種「先拍攝、後推廣」的方式,成功與多個劇組展開合作了。


對此服務進行計價及商業規劃?

潘胤余:為此,我們其實經歷過一段摸索與取捨。如果面對一般個人客戶(例如只想做空間掃描案子),以影視產業的高規格來報價,往往會超出他們的預期;但若為了接案而接,對團隊來說又無法獲得合理的商業回報。

因此,我們現在的定位非常明確:鎖定有「高精準度需求」的高端或企業客戶,才能確保專業品質與合理的利潤空間。在這樣的挑戰下,我們也將觸角拓展到跨領域的客戶,例如科技產業。隨著近年機器人技術的快速發展,企業非常需要建立極度擬真的數位孿生(Digital Twin)環境,用來訓練機器人在工廠內行走與操作機台。

因為 3DGS 呈現的視覺效果遠優於傳統的光達雷達,現在的機器人不僅需要理解物理的幾何碰撞,更需要透過極致擬真的「視覺演算法」來辨識環境與物體。這讓 3DGS 變得非常適合用於機器人的視覺模擬訓練,最近也有不少科技公司主動與我們洽談合作。這類跨領域的需求,也讓我們深刻看見 3DGS 在影視產業之外,還有非常龐大的商業潛力。

想掌握更多 3DGS 技術在影視與跨領域的實戰應用與最新動態,請持續關注起步走影像。


受訪者

潘胤余

起步走影像創辦人、綠野仙蹤電影特效視覺指導


深耕影視特效多年,代表參與作品包含《我們與惡的距離》、《通靈少女》、《女孩上場 2》及《再見 1987》等知名影集。2019 年創立「起步走影像」,除承接視覺特效與片頭動畫外,團隊更專注於新技術的實踐與整合。近年積極將 3D 掃描(3DGS)與生成式 AI 導入影像合成工作流,致力於打破傳統製程框架,為影像創作帶來突破性的細膩度與未來感。

文章授權聲明

  • 專訪
  • 文章為映CG所有,如需轉載請標明出處
當 AI 覺醒,科技之島將誕生什麼神話?《矽利克 SILIQ》以 360 度 XR 重構台灣科幻想像

相關文章