導演陳芯宜繼《無法離開的人》後,再度以《雲在兩千米》獲得第 82 屆威尼斯影展最佳沉浸式體驗大獎。本片由公共電視企劃出品,改編自吳明益小說《苦雨之地》裡的同名短篇。延續導演長年對記憶與身體感知的探索、帶著觀眾走入山林,展開一段追尋摯愛足跡的旅程。
本片將新穎的 3D Gaussian Splatting (以下簡稱 3DGS)技術融入走動式 VR,打造兼具感官體驗與電影情感敘事的新作。映CG 專訪導演陳芯宜、程式設計與視覺統籌黃郁傑,揭開幕後團隊彼此砥礪,反覆試錯突破瓶頸的歷程。
我會不停提問,如何讓 VR 空間活起來?夥伴們就會想出各種解法。
導演陳芯宜
2022 年,《無法離開的人》於威尼斯影展傳來捷報,獲得沉浸式競賽單元最大獎,不久陳芯宜就在公視節目部製作人李淑屏邀約下,開啟新的創作計畫。她表示:「我是吳明益的書迷,當時一聽到要改編《雲在兩千米》,便二話不說馬上答應了。」
《苦雨之地》總共由六則短篇組成。其中貫穿全書的設定,是在近未來世界中,隨著網路病毒侵襲冒出的「雲端裂縫」空間,存放著屬於死者的記憶檔案。《雲在兩千米》裡,律師「關」在小說家妻子驟逝後,收到一把開啟妻子雲端空間的鑰匙,於其中發現一篇未竟的小說,為了更加理解妻子,關根據小說的線索,深入高山,尋找已在臺灣絕跡多年的雲豹。
陳芯宜於 2023 下半年投入劇本寫作,複雜的人物視角與知識背景,讓她足足花費半年時間反覆調整:「光是引導觀眾進入故事的說書人或引路人,就有好幾次變動。最初我想從妻子角度說故事,也試過阿豹奶奶的角度,最後選擇了關的視角,讓觀眾從未知的開始投入旅程,隨著主角一同迷路。」
她曾和吳明益碰面,考究小說創作動機與人物背景。吳明益對影像的轉譯抱持開放態度,在陳芯宜因改編而難以取捨,徵詢吳明益什麼是不能割捨的核心時,吳明益提了雲端裂縫空間,和主角在花園偶遇孔雀的場景。經歷影像上的改編和取捨,關鍵的孔雀羽毛最後化為開啟妻子檔案的鑰匙,在 VR 裡扮演重要的象徵。
導演歷年的 VR 作品皆透過劇場般的感知,打破生與死的存在邊界。而《雲在兩千米》對記憶的追尋,和她第一部 VR 作品《留給未來的殘影》(2018)產生了互文。片中以「生前記憶續存服務」打開敘事,觀者將隨著瀕死的男子選擇三段回憶,與飾演主角的編舞家周書毅一同穿梭於虛實之境。
「如果你仔細聆聽,會發現《留給未來的殘影》的旁白被植入了雲端列裂縫裡。」她透露,《留給未來的殘影》的旁白敘述者是由莫子儀擔任,文本中的三段記憶,記錄了短片主角的故事。在《雲在兩千米》敲定演員人選後,她決定將莫子儀過去的旁白收錄進新作,讓作品世界觀彼此呼應。
團隊對雲端裂縫最初的想像,是猶如迷宮般的空間,曾花費半年進行技術測試。陳芯宜說道:「吳明益老師筆下的空間,是由不斷向下的樓梯構成,於盡頭延伸出門與字句。當我們確認無法在真實體感上打造出向下的樓梯,就轉往平面發展。」他們從建築開始打造空間,像捏雕塑一樣,慢慢地植入聲音與牆上的字句,塑像也就逐漸成型。
《雲在兩千米》小說描繪了三位角色彼此追尋的歷程,投射出奇幻後設視角;而在 VR 裡,我們則將從上帝視角看著關戴上頭顯,身旁將折射出他瀏覽妻子檔案的身影,恍惚間無法分辨虛實。
陳芯宜說,她在《留給未來的殘影》就曾安排人物戴上頭顯,當時的拍攝道具也還留著,此次就在新作裡沿用。「我很喜歡從新的媒體去講述它本身的特性,再編寫到故事裡面。就好比在《留給未來的殘影》裡,周書毅要上傳自己的記憶時,他會走來與觀眾對視,劃起一根火柴,觀眾也不曉得自己是片中的角色,抑或是那台機器本身。但與觀眾眼神的交會、近距離的火,卻會引發觀眾的情感反應,這樣的曖昧與模糊性,剛好能夠把觀眾帶進場域裡,正是 VR 的迷人之處。」
到了第二部 VR《無法離開的人》,一開頭等在蠟像館的導覽員「坤伯」,也宛如留存於 VR 裡的遊魂,在虛擬世界中像個引路人等待後人前來,才有辦法把政治受難者的故事流傳下去。
在《雲在兩千米》裡頭,陳芯宜再度擴寫了她對媒材的思考。小說裡的雲端空間,源自駭客寄來的網站,一經點擊便會跳出遊戲式的畫面,在電腦螢幕中呈現延伸的異境,整體仍是平面媒體的思維。但團隊在改編時朝向立體思考,讓這個異境在 VR 裡展開,成為觀眾能夠身歷其境的場景,更讓主角戴上頭顯、進入下一層關卡,甚至透過 VR 回望自己。
《雲在兩千米》與前兩部作品最大的不同,是採用走動式 VR (6-DOF)展演規格,觀眾能夠自行遊走、旋轉蹲下,近距離探索空間裡的細節。
此次嘗試源於《無法離開的人》展演期間的觀察,陳芯宜發現許多觀眾在體驗這部作品時,會想要伸手碰觸眼前的物品:「當物品的位置被設計得當,會自動引發身體想觸碰、進一步靠近場景的慾望;加上 VR 技術總監全明遠曾向我們展示新的掃描技術,種種背景之下,讓團隊決定挑戰下一個技術層次與說故事的可能。」
談及走動式 VR 帶來的轉變,導演直言,它打開了團隊痛苦的開端。 2022 年起,她和全明遠、製片宋沁諠就不斷關注各類新技術發展,一邊進行掃描技術的測試。他們一方面驚喜於 NeRF(神經輻射場技術)掃描對於還原真實場景的細膩度,但另一方面卻苦惱這項技術十分耗費電腦效能,完全無法依照劇本打造作品,讓團隊一度陷入沮喪,甚至曾經考慮回歸到定點觀看(3-DOF)的模式。
直到 2023 年,一次海外行程讓團隊看到了新契機。
該年 8 月,3DGS 於全球電腦圖學盛會 SIGGRAPH 上發表問世。緊接著 9 月,陳芯宜飛往威尼斯國際影展擔任「沉浸式競賽」單元評審團主席,並帶著《雲在兩千米》參與威尼斯影展市場展。一行人在杜拜轉機的空檔,全明遠分享 3DGS 的製作影像,這才找到技術突破口。
她回憶道:「當時還不曉得該如何運用 3DGS,不過,這次發現仍為我們帶來一絲曙光。」有趣的是,他們也在市場展結識了黃郁傑,他也同樣正隨著周東彥《放開你的頭腦》團隊遠赴威尼斯參加市場展,在陳芯宜導演邀約下,加入《雲在兩千米》製作。
整體而言,《無法離開的人》的製作流程比較偏電影的製程,《雲在兩千米》則轉向遊戲引擎的運用,再加上團隊運用了四、五種掃描技術與 3D 建模,技術整合的難度前所未見,這意味著團隊需要自己摸索並適應陌生的工作流程。
陳芯宜進一步分析道:「譬如在《無法離開的人》中,如果我想要剪掉兩秒的畫面,只需要將不同面向的空間影片都剪去兩秒,再進行縫合,即可構築出剪輯後的 VR 空間。但在《雲在兩千米》裡,遊戲引擎時間軸裡的所有元素皆環環相扣,假設場景中有一百個物件、視覺效果、燈光、材質、聲音等各種元素,就必須逐一重新設 Key,進行細微的調整,這讓製作變得更困難。」
這次,團隊在燈光方面也面臨全新挑戰。過去他們習慣以電影的感知布置實景燈光,然而遊戲引擎中則是截然不同的邏輯,陳芯宜為了與工程師們有共同的語言,便請技術美術林依依從零開始教學,讓陳芯宜得以摸索 Unreal Engine 光源參數的設定,才與團隊一起打造出理想的燈光與色感。
走入片中霧林,映入眼簾的是遍地青苔,抬頭則仰望高聳入雲的巨木。陳芯宜分享,重建森林場景也是一大難題:「劇本總共寫了十個場景,當其它場景都有掃描或建模的解決方案時,森林場景一直到最後階段才找到怎麼做的方案。臺灣的霧林帶非常特殊,不僅空氣潮濕、樹皮表面也長滿了青苔與附生植物,我們無法透過 CG 去重建這樣的場景與空氣感。」
另外也因為 CG 資料庫中缺乏臺灣的樹種,團隊決定深入兩千米高山,掃描霧林帶中的紅檜、臺灣杉與附生植物。原著小說背景位於大武山上,徒步需耗時七天六夜之久,考量到登山的難度與時長,團隊在徵詢臺大森林環境暨資源學系林政道副教授與社團法人雲豹復育研究會理事長姜博仁博士等學者的意見後,改至太平山掃描相同的樹種。過程中,陳芯宜和攝影師廖敬堯、全明遠等人輪流抓起攝影機,環繞著一棵一棵大樹遊走掃描,將眼前的場景資料全數收錄,再交由全明遠一棵棵拼湊出整片森林。
擔任本片的程式設計、視覺統籌的黃郁傑,已在 XR 領域深耕多年,擅長電腦圖形運算、技術美術、動態捕捉與多人連線互動、互動式 VR 等內容。
黃郁傑分享:「我的創作背景是從軟體技術、遊戲引擎領域出發,雖然過去也長期在 VR 領域耕耘,但我們彼此所走的路徑卻是大相逕庭。」
進入劇組後,他先讀完整本 3DGS 研究論文,鑽研背後的運作原理。當時影視產業在 3D 投影領域上,大多聚焦 Photogrammetry(攝影測量法)和 NeRF 等技術,關於 3DGS 的工具生態系統還不完善,團隊依舊想挑戰看看,因此在初期階段就自己寫程式,將 3DGS 導入到遊戲引擎使用。
3DGS 的原理是經過電腦即時運算,解算出大量點狀高斯橢球,以潑濺形式將實體照片重聚為 3D 場景,也能成功保存 Photogrammetry 難以捕捉到的細節。不需長時間算圖和建模,就能快速重建場景,近期已成為許多影像處理軟體廣泛導入的技術。黃郁傑補充,Photogrammetry 的問題是影像表面細節容易被磨平,導致需要重新打光,3DGS 則是能把物體原始的光感神韻保存起來。
「 我們很難描述 3DGS 的光影狀態,它就好比是把物體的『靈光』儲存起來的過程 」。黃郁傑說明,相較於舊有的 Mesh(網格面)建模形式, 3DGS 最大的優點是能夠保存場景實拍外觀,同時又能捕捉物體幽微的光影質地。將其運用在 VR 裡,就能再現故事氛圍,從細小的葉片到雲霧閃電,讓觀者沉浸其中。
我們在製作過程中,一直來回討論這件事:如何拍攝出更具物體靈魂的影像存在?
《雲在兩千米》視覺統籌黃郁傑
團隊曾討論是否能使用 3DGS 拍攝整部片的人物角色,但是因為當時的技術僅能解算 3DGS 靜態影像,還無法解算動態的 4DGS,所以團隊決定以 4DViews 重現主要人物。但電影開場的路人群眾、妻子在雲端裂縫說故事等場景,則是使用 3DGS 影像呈現。
在真人實拍掃描階段,黃郁傑另外建立了一套定位預覽系統。4DViews 攝影棚的有效拍攝範圍僅有直徑三公尺的圓形區域,一場戲的走位往往超出這個範圍,必須拆解成數個拍攝定位點分段錄製,再於虛擬空間中重新組合。該系統將這些定位點置入引擎的場景裡,並把三公尺的拍攝範圍實際畫出來,現場技術人員只要切換段落,演員便能立即看到自己當下位在虛擬空間的哪個位置、與周遭物件的相對關係為何;後續再透過排練,掌握表演時的視線方向。
森林的後期處理也是一大工程。黃郁傑分享,森林素材拍攝完成後,仍與劇情及體驗上的需求有落差,無法直接使用,為此他開發出數款剪貼工具供全明遠運用。他也和林依依合作,在大面積場景的燈光佈局裡,融入粒子與特效:「重要的是,如何讓這些粒子系統與特效和諧的存在於場景裡,去服務敘事上的情緒。」
他補充,由於樹林是在白天時間上山掃描,使得場景整體相對明亮。為了強化霧林的陰鬱感,他們導入引擎中既有的體積霧(Volumetric Fog ),並透過壓暗整體光線、局部調亮去建構幽暗的氛圍,打造出魔幻的飄動光感。
團隊碰到的另一個大問題是, 3DGS 難以製作出動態影像,於是團隊就試著建立序列檔來解決困境。黃郁傑表示:「我們先拍攝好幾格的 3DGS ,接著一幀幀地重播(play back)去開發引擎中的播放器,使得序列之間產生良好的疊加效果。此外,由於播放過程中會出現閃爍問題,團隊做了過渡效果的優化來提升影像的流暢度。」
《雲在兩千米》於威尼斯影展參展期間,斬獲不少好評。甚至有觀眾讚賞道:「宛如走入了安德烈塔可夫斯基的電影」。
陳芯宜分享,由於雲端裂縫的世界是死的、不會流動的。在團隊小組討論時,便集思廣益尋找讓空間「活起來」的方法,讓觀眾感受到時間的流動與呼吸,因此埋藏在空間中的細節便是關鍵,這也是仰賴團隊成員的貢獻,才能打造出完整世界觀。「其實光是在一般作品裡,要把敘事說到完美已經自顧不暇,我們則是花費兩年時光雕琢所有細節,這或許正是作品脫穎而出的理由。」
在這座 VR 迷宮裡,一切體驗都是如夢似幻的。踏入森林時,會聞到木材與爐火的香氣,一股清風也緩緩拂來,彷彿剛從樹梢吹落。
被問及此,陳芯宜眼睛發亮地說,團隊追求的是一種幽微的感知,從焚香點香的時間到風力大小,都曾做過無數次沙盤推演:「我們不希望觀眾明確感受到『有人刻意在製造氣流與氣味』,當觀眾自問一切是否為幻覺時,作品的營造才算是成功。」
黃郁傑則說,團隊曾在 VR 場景中打造出許多細膩的視覺效果,從雲端裂縫裡的空氣稜鏡特效,到林依依所製作的水痕與青苔,皆能讓觀眾在離開 VR 世界後,依然殘留強烈的體感。他欣慰地說:「觀眾一摘下頭顯便道出這句好評,我才發覺,原來我們的努力都被看見了。」
訪談尾聲,他們也分享各自的創作展望。陳芯宜目前正在開發新作《碎為微塵之後》,並思索更多元的展演可能性。
「人在生命旅程中本就是孤獨的,我第一次抵達威尼斯影展體驗 VRChat 時,看到了臨時的集體性在其中成形,我們卸下頭顯後仍會產生『 與剛剛體驗時身邊的人是夥伴 』的錯覺。究竟人類何時會寄望群聚,何時又將回歸孤獨?這會是我想在未來探尋的方向。」她說。
圍繞這個話題,黃郁傑同樣提到了 VR 的互動性。他認為,團隊的創作脈絡仍偏藝術導向,其實是一種反傳統遊戲語言的選擇:「本片不是在追求關卡的突破,或是要帶來強烈刺激感,和遊戲透過動作觸發關卡、逐步推進的邏輯仍然有區別。所以我會去思考,它究竟還能往哪些意義上前進?」
他陷入沉思,反覆推敲兩者之間的邏輯差異,試圖找到創作平衡點,也希望拓展更多元的體感潛能。
我們卸下頭顯後,仍會產生『 與身邊人是夥伴 』的錯覺。究竟人類何時會寄望群聚,何時又將回歸孤獨?這是我想在未來探尋的方向。
導演陳芯宜
北師美術館「雲在兩千米」大展將展至 2026 年 10 月 11 日,完整電影創作歷程與手稿,皆於二樓 VR 幕後工作區公開,詳情請至官方臉書查詢。
作品形式橫跨電影、紀錄片、電視劇集、VR 等。2022 年 VR《無法離開的人》榮獲第 79 屆威尼斯國際影展-沉浸式內容競賽單元「最佳體驗大獎」,並受邀擔任第 80 屆威尼斯國際影展沉浸式內容競賽單元評審團主席。其他重要作品有 VR《留給未來的殘影》、紀錄片《行者》、劇情長片《流浪神狗人》、《我叫阿銘啦》、劇集《四樓的天堂》等。2025 年改編吳明益短篇小說之 VR《雲在兩千米》,再次獲第 82 屆威尼斯國際影展-沉浸式內容競賽單元「最佳體驗大獎」(Venice Immersive Grand Prize)。
臺大資工所碩士。具多年即時圖形與互動開發經驗,長期以軟體開發、互動設計與視覺設計等角色,參與 XR、線上虛擬展演、音像投影演出、生成式藝術等複合型態創作。專業領域涵蓋即時電腦圖形運算、技術美術、動態捕捉與多人連線互動等。2022 年與涅所共同創辦 Protoworld 平台(AppWorks Accelerator # 25);於 2024 – 2025 年間兼任 NAXS Studio 技術總監。近期參與製作包含《雲在兩千米》、《Sense of Nowhere》、《Dark Rooms》、《夕陽小鎮虛擬音樂節—燒胎祭》、《放開你的頭腦》等。