最新活動
「它就好比是把物體靈光儲存起來的過程」《雲在兩千米》以 3DGS 打造一座記憶森林，探索 VR 體感新維度：專訪導演陳芯宜、視覺統籌黃郁傑
即便是朝夕相處的家人，有時也難以深入其內心世界，體會他們的所見所聞。當生命戛然而止 ，逝者所落下的遺物，該如何拼湊與解讀？
導演陳芯宜繼《無法離開的人》後，再度以《雲在兩千米》獲得第 82 屆威尼斯影展最佳沉浸式體驗大獎。本片由公共電視企劃出品，改編自吳明益小說《苦雨之地》裡的同名短篇。延續導演長年對記憶與身體感知的探索、帶著觀眾走入山林，展開一段追尋摯愛足跡的旅程。
本片將新穎的 3D Gaussian Splatting （以下簡稱 3DGS）技術融入走動式 VR，打造兼具感官體驗與電影情感敘事的新作。映CG 專訪導演陳芯宜、程式設計與視覺統籌黃郁傑，揭開幕後團隊彼此砥礪，反覆試錯突破瓶頸的歷程。
我會不停提問，如何讓 VR 空間活起來？夥伴們就會想出各種解法。
導演陳芯宜
魔幻寫實手法探詢記憶，小說與電影宇宙的交錯
2022 年，《無法離開的人》於威尼斯影展傳來捷報，獲得沉浸式競賽單元最大獎，不久陳芯宜就在公視節目部製作人李淑屏邀約下，開啟新的創作計畫。她表示：「我是吳明益的書迷，當時一聽到要改編《雲在兩千米》，便二話不說馬上答應了。」
《苦雨之地》總共由六則短篇組成。其中貫穿全書的設定，是在近未來世界中，隨著網路病毒侵襲冒出的「雲端裂縫」空間，存放著屬於死者的記憶檔案。《雲在兩千米》裡，律師「關」在小說家妻子驟逝後，收到一把開啟妻子雲端空間的鑰匙，於其中發現一篇未竟的小說，為了更加理解妻子，關根據小說的線索，深入高山，尋找已在臺灣絕跡多年的雲豹。
陳芯宜於 2023 下半年投入劇本寫作，複雜的人物視角與知識背景，讓她足足花費半年時間反覆調整：「光是引導觀眾進入故事的說書人或引路人，就有好幾次變動。最初我想從妻子角度說故事，也試過阿豹奶奶的角度，最後選擇了關的視角，讓觀眾從未知的開始投入旅程，隨著主角一同迷路。」
她曾和吳明益碰面，考究小說創作動機與人物背景。吳明益對影像的轉譯抱持開放態度，在陳芯宜因改編而難以取捨，徵詢吳明益什麼是不能割捨的核心時，吳明益提了雲端裂縫空間，和主角在花園偶遇孔雀的場景。經歷影像上的改編和取捨，關鍵的孔雀羽毛最後化為開啟妻子檔案的鑰匙，在 VR 裡扮演重要的象徵。
頭顯中的後設性，要從生涯第一部 VR 說起
導演歷年的 VR 作品皆透過劇場般的感知，打破生與死的存在邊界。而《雲在兩千米》對記憶的追尋，和她第一部 VR 作品《留給未來的殘影》（2018）產生了互文。片中以「生前記憶續存服務」打開敘事，觀者將隨著瀕死的男子選擇三段回憶，與飾演主角的編舞家周書毅一同穿梭於虛實之境。
「如果你仔細聆聽，會發現《留給未來的殘影》的旁白被植入了雲端列裂縫裡。」她透露，《留給未來的殘影》的旁白敘述者是由莫子儀擔任，文本中的三段記憶，記錄了短片主角的故事。在《雲在兩千米》敲定演員人選後，她決定將莫子儀過去的旁白收錄進新作，讓作品世界觀彼此呼應。
團隊對雲端裂縫最初的想像，是猶如迷宮般的空間，曾花費半年進行技術測試。陳芯宜說道：「吳明益老師筆下的空間，是由不斷向下的樓梯構成，於盡頭延伸出門與字句。當我們確認無法在真實體感上打造出向下的樓梯，就轉往平面發展。」他們從建築開始打造空間，像捏雕塑一樣，慢慢地植入聲音與牆上的字句，塑像也就逐漸成型。
《雲在兩千米》小說描繪了三位角色彼此追尋的歷程，投射出奇幻後設視角；而在 VR 裡，我們則將從上帝視角看著關戴上頭顯，身旁將折射出他瀏覽妻子檔案的身影，恍惚間無法分辨虛實。
陳芯宜說，她在《留給未來的殘影》就曾安排人物戴上頭顯，當時的拍攝道具也還留著，此次就在新作裡沿用。「我很喜歡從新的媒體去講述它本身的特性，再編寫到故事裡面。就好比在《留給未來的殘影》裡，周書毅要上傳自己的記憶時，他會走來與觀眾對視，劃起一根火柴，觀眾也不曉得自己是片中的角色，抑或是那台機器本身。但與觀眾眼神的交會、近距離的火，卻會引發觀眾的情感反應，這樣的曖昧與模糊性，剛好能夠把觀眾帶進場域裡，正是 VR 的迷人之處。」
到了第二部 VR《無法離開的人》，一開頭等在蠟像館的導覽員「坤伯」，也宛如留存於 VR 裡的遊魂，在虛擬世界中像個引路人等待後人前來，才有辦法把政治受難者的故事流傳下去。
在《雲在兩千米》裡頭，陳芯宜再度擴寫了她對媒材的思考。小說裡的雲端空間，源自駭客寄來的網站，一經點擊便會跳出遊戲式的畫面，在電腦螢幕中呈現延伸的異境，整體仍是平面媒體的思維。但團隊在改編時朝向立體思考，讓這個異境在 VR 裡展開，成為觀眾能夠身歷其境的場景，更讓主角戴上頭顯、進入下一層關卡，甚至透過 VR 回望自己。
反覆試錯衝撞，走動式 VR 開啟新格局
《雲在兩千米》與前兩部作品最大的不同，是採用走動式 VR （6-DOF）展演規格，觀眾能夠自行遊走、旋轉蹲下，近距離探索空間裡的細節。
此次嘗試源於《無法離開的人》展演期間的觀察，陳芯宜發現許多觀眾在體驗這部作品時，會想要伸手碰觸眼前的物品：「當物品的位置被設計得當，會自動引發身體想觸碰、進一步靠近場景的慾望；加上 VR 技術總監全明遠曾向我們展示新的掃描技術，種種背景之下，讓團隊決定挑戰下一個技術層次與說故事的可能。」
談及走動式 VR 帶來的轉變，導演直言，它打開了團隊痛苦的開端。 2022 年起，她和全明遠、製片宋沁諠就不斷關注各類新技術發展，一邊進行掃描技術的測試。他們一方面驚喜於 NeRF（神經輻射場技術）掃描對於還原真實場景的細膩度，但另一方面卻苦惱這項技術十分耗費電腦效能，完全無法依照劇本打造作品，讓團隊一度陷入沮喪，甚至曾經考慮回歸到定點觀看（3-DOF）的模式。
直到 2023 年，一次海外行程讓團隊看到了新契機。
該年 8 月，3DGS 於全球電腦圖學盛會 SIGGRAPH 上發表問世。緊接著 9 月，陳芯宜飛往威尼斯國際影展擔任「沉浸式競賽」單元評審團主席，並帶著《雲在兩千米》參與威尼斯影展市場展。一行人在杜拜轉機的空檔，全明遠分享 3DGS 的製作影像，這才找到技術突破口。
她回憶道：「當時還不曉得該如何運用 3DGS，不過，這次發現仍為我們帶來一絲曙光。」有趣的是，他們也在市場展結識了黃郁傑，他也同樣正隨著周東彥《放開你的頭腦》團隊遠赴威尼斯參加市場展，在陳芯宜導演邀約下，加入《雲在兩千米》製作。
從電影語彙轉向遊戲引擎，重新開發陌生工作流
整體而言，《無法離開的人》的製作流程比較偏電影的製程，《雲在兩千米》則轉向遊戲引擎的運用，再加上團隊運用了四、五種掃描技術與 3D 建模，技術整合的難度前所未見，這意味著團隊需要自己摸索並適應陌生的工作流程。
陳芯宜進一步分析道：「譬如在《無法離開的人》中，如果我想要剪掉兩秒的畫面，只需要將不同面向的空間影片都剪去兩秒，再進行縫合，即可構築出剪輯後的 VR 空間。但在《雲在兩千米》裡，遊戲引擎時間軸裡的所有元素皆環環相扣，假設場景中有一百個物件、視覺效果、燈光、材質、聲音等各種元素，就必須逐一重新設 Key，進行細微的調整，這讓製作變得更困難。」
這次，團隊在燈光方面也面臨全新挑戰。過去他們習慣以電影的感知布置實景燈光，然而遊戲引擎中則是截然不同的邏輯，陳芯宜為了與工程師們有共同的語言，便請技術美術林依依從零開始教學，讓陳芯宜得以摸索 Unreal Engine 光源參數的設定，才與團隊一起打造出理想的燈光與色感。
走入片中霧林，映入眼簾的是遍地青苔，抬頭則仰望高聳入雲的巨木。陳芯宜分享，重建森林場景也是一大難題：「劇本總共寫了十個場景，當其它場景都有掃描或建模的解決方案時，森林場景一直到最後階段才找到怎麼做的方案。臺灣的霧林帶非常特殊，不僅空氣潮濕、樹皮表面也長滿了青苔與附生植物，我們無法透過 CG 去重建這樣的場景與空氣感。」
另外也因為 CG 資料庫中缺乏臺灣的樹種，團隊決定深入兩千米高山，掃描霧林帶中的紅檜、臺灣杉與附生植物。原著小說背景位於大武山上，徒步需耗時七天六夜之久，考量到登山的難度與時長，團隊在徵詢臺大森林環境暨資源學系林政道副教授與社團法人雲豹復育研究會理事長姜博仁博士等學者的意見後，改至太平山掃描相同的樹種。過程中，陳芯宜和攝影師廖敬堯、全明遠等人輪流抓起攝影機，環繞著一棵一棵大樹遊走掃描，將眼前的場景資料全數收錄，再交由全明遠一棵棵拼湊出整片森林。
