By accepting you will be accessing a service provided by a third-party external to https://www.incgmedia.com/

皮克斯電影《元素方城市》動畫技術解析-看起來自然美麗的畫面,隱藏複雜的 AI、機器學習與動畫工具開發

由韓裔美籍導演彼得孫執導的《元素方城市》是皮克斯最新力作,故事敘述風、土、水、火居民構成的城市裡,火熱的女子小炎與隨波逐流的男子水弟相遇,在解決漏水問題之際意外擦出愛的火花,卻又必須面臨層層考驗。導演透過不同元素居民的互動,講述了移民社會的種族議題。其中火、水等流體的動畫製作是本作的一大亮點,看似簡單的擬真流體效果,背後卻暗藏強大的技術力與創造力,外媒採訪了皮克斯的 VFX 總監 Sanjay Bakshi,暢聊團隊如何開發新工具,打造充滿奇想的「元素」世界觀。


《元素方城市》最重要的視覺效果是什麼?在技術與藝術層面上做了哪些努力?

Sanjay Bakshi:《元素方城市》是個非常有野心的計畫,大部分鏡頭都牽涉到 VFX 的運用,加上劇情有許多關於水、火不同元素的互動,將這些創意呈現於畫面中,是部門的首要任務。儘管過往皮克斯電影都有爆炸或火災的畫面,但要做一部以火、水等流體效果為主角的電影,最大的挑戰就是如何透過 Houdini 流體模擬創造多變的效果。主角小炎由火生成,但當她有不同情感(哭、笑、憤怒)時,該如何透過火的變化去傳達這些情緒,引發觀眾的共鳴,這是一個極大的技術挑戰。當然困難的不只是火焰效果,水也是一種流體模擬,水弟的所有行為都必須像水一般流動自如,且吸引觀眾的目光。 

動畫團隊根據導演彼得孫開發水弟的視覺風格,最終創作了水弟現在的外觀

與過去做 VFX 相比,有什麼變化嗎? 

Sanjay Bakshi:不斷突破動畫的可能性,對技術團隊來說是一件令人興奮的事。當然視覺藝術部門一開始會繪製許多設計,為動畫奠定美術方向,但火、水這些流體動態,需透過電腦模擬才能顯現其效果。因此我們召集了動畫師、特效藝術家和著色藝術家,組成一個獨特的視覺開發團隊,將創意點子以電腦模擬的方式視覺化,在寫實與卡通風格不斷平衡,創造許多圖像,為電影奠定視覺風格。 

如何打造出更風格化的視覺風格? 

Sanjay Bakshi:針對火跟水,團隊有不同做法,但最核心的思維是希望這些流體的動態感是真實的,它必須透過模擬生成,不能是短暫的循環動畫。在一些遊戲中,遊戲開發團隊會為了容量去設計一些能循環播放的流體效果,然而這種動態會不像真實的火焰。

在《元素方城市》中,小炎身上有一條輪廓線,用來定義她的頭部與身體,可將她與其他場景物件和角色區分,她身體有一條動態的邊界,展現她的形狀。我們將同樣的設計放在水弟身上,我們稱之為「a meniscus」(凹彎液面)。

至於水弟,頭部是水的模擬,團隊盡可能保持相同的形狀,水弟頭上三根獨特的手指,則是一個持續運行的模擬,當水弟靜止不動一秒鐘時,才會形成。再來他的身體不僅是表面折射,還有體內折射,團隊還創造氣泡,讓水看起來更具流動性。至於臉部只會確保眼睛下方沒有太多的氣泡,因為會看起來很奇怪。總而言之,團隊創造只有水才有的效果,並隨機分配於水弟的身上,感覺宛如水一般的自由流動。 

小炎的角色視覺開發過程

 聊聊在 SIGGRAPH 上分享的「Volumetric Neural Style Transfer 體積神經風格轉換」的火焰技術?

Sanjay Bakshi:對我們來說,是一個非常令人興奮的發現。「Volumetric Neural Style Transfer 體積神經風格轉換」火焰技術在先前報告中曾提到,並在幾年前引起動畫圈的注意,它假設有一個從Houdini中產生的火焰流體模擬,優點在於逼真、沒有循環、看不到任何模式、動態十足。它能模擬出燃燒碎片飛出來的效果,動態頻率也近似火,然而它卻不像插畫、且無秩序。這是該技術為我們帶來的效果,於是團隊給它一些繪製好的圖像,要求這些圖像能轉化成模擬,團隊混合該技術產生的結果,產出動態流體效果更完整的模擬、更有秩序、更像插畫,讓小炎的火焰既有真實火焰的逼真,卻又不凌亂。 


在與迪士尼技術團隊交談過後,迪士尼現在對 AI 的使用,更偏向在道德許可下的應用,透過旗下皮克斯、迪士尼的既有版權圖像訓練 AI,能聊聊這部分的想法? 

Sanjay Bakshi:沒錯,之所以會非常放心使用「Volumetric Neural Style Transfer 體積神經風格轉換」的火焰技術,主要是因為團隊依然有聘請藝術家手繪一些圖像,再去生成想要的模擬效果,這幾年,我們也使用機器學習進行降噪,都是透過過往電影的有噪渲染版本和無噪版本進行訓練的。 

迪士尼在智慧財產權上非常小心翼翼,不想使用他人財產。旗下的藝術家在公開個人作品時也非常小心,畢竟若是發布以未經許可的技術創作的作品,會引起很大的法律糾紛跟討論。

by 皮克斯 VFX 總監 Sanjay Bakshi
「體積神經風格轉換技術」運用原始的 Pyro 火焰模擬來控制火焰的密度和運動,並將皮克斯藝術家繪製的紋理應用為目標風格。它將畫風融入到動態火焰模擬中,以創造出有特定風格的火焰密度場。皮克斯結合了許多其他傳統技術,大造出火焰角色的最終外觀。

在這部電影中,還有使用其他的新工具或新流程嗎? 

Sanjay Bakshi:團隊為電影建立的動畫工具非常出色,可以控制火焰的動態。之前曾發布相關文章,解釋如何透過曲線網格製作火焰的動畫。該製作流程能在角色身上使用低解析度的網格,還能幫助動畫師打造更精準的動態,塑造一些良好的形狀。基本上在其他電影也使用過,只是在《元素方城市》發揮了它的優勢。 

 《元素方城市》視覺風格偏向 2D,是如何在 3D 創作上打造這種效果?

Sanjay Bakshi:《元素方城市》非常 3D,一切都是流體模擬,背景的物件讓整個世界觀更立體,小炎本身具有透明度,在某些畫面中,背後物件會透出來,這樣的效果讓我們很驚豔!然而本片依然具有 2D 的特點,主要可能是剛剛提到的體積神經風格轉換技術,它是非常 2D 的技術。如果你改變攝影機的視角,就會有 Bug,它只能在固定的攝影機視角下製作具風格化的火焰效果。

再來我們有為角色進行剪影雕刻,這也是非常 2D 的效果,如果移動攝影機,就可能會讓該效果消失,或許還有動畫表演的考量,動畫師將火和水的元素特性,應用於攝影中。最重要的還有風格化的打燈方式。為了使角色和場景融合,燈光團隊使用了很多技巧,包含陰影具有圖像感。他們還使用了 Kuwahara 濾鏡,將遠處的物件轉化為插畫風格,讓整體看起來更 2D。 


《元素方城市》的視覺效果非常複雜,在算圖上有什麼挑戰? 

Sanjay Bakshi:這部片其實非常複雜,但觀賞時其實並不明顯,因為我們不希望觀眾覺得創造這些效果很複雜,而是沉浸在電影情節中。流體算圖非常昂貴,大量消耗 CPU 和 GPU,體積神經風格轉換技術也都是在 GPU 完成的。為了完成這部片,我們建立有比以往更大的算圖農場,使用了更多的存儲空間來存儲每個鏡頭的模擬,甚至投資了一個 GPU 農場,進行體積風格轉換技術。 

延伸閱讀:皮克斯動畫電影《巴斯光年》幕後直擊!導演與製片大談角色塑造與世界觀的建構


資料來源:befores and afters 。文章由映 CG 所有,如需轉載請聯絡我們

《奧本海默》導演:「三位一體核試驗爆炸場面絕無電腦動畫!」以傳統實景拍攝手法搭配 IMAX 攝影機,...
基於 Blender 所開發的新工具-Goo Engine,加速三渲二動漫的創作流程

相關文章

還沒有帳號嗎? 點此立即註冊!

登入您的帳號