隨著 3D 高斯潑濺(3DGS)技術在空間重建領域受到廣泛關注,皮克斯資深數位藝術家 Dylan Sisson 著眼於其在藝術風格化上的潛力。他近日以《A Brush with Reality》一文,分享他透過 KosmoAI 開發的手持空間掃描裝,捕捉皮克斯總部園區,並整合 Houdini、AI Agent 與 RenderMan,探索如何將物理場景轉譯為手繪質感的風格化表現。
身為現任皮克斯動畫工作室 RenderMan 的創意參與負責人的 Dylan Sisson,常年在全球各大 CG 盛會上,引導無數藝術家探索 3D 著色與運算的。
長達二十五年的從業生涯中,Dylan 始終在思考一個核心命題:「我們打造的工具,究竟如何形塑我們創造的藝術?」。他著名的例子莫過於 2000 年發起的「行走茶壺(Walking Teapot)」企劃,他以設計師與雕塑家的身分,為電腦圖學史上的精神圖騰「猶他茶壺(Utah Teapot)」裝上雙腿,將數位雕塑、實體玩具設計與皮克斯特有的幽默感融為一體,使這只發條小玩具化為風靡全球 SIGGRAPH 展會,參與者必定排隊領取的精神小物。
近日,Dylan Sisson 在其最新文章《A Brush with Reality》中,分享了一套他親自摸索出的全新工作流程。
這一切始於香港 SIGGRAPH Asia 演講後的一場偶然相遇。當時 Johnnyfly 找上 Dylan Sisson,希望他測試 KosmoAI 團隊開發的一款新硬體。那時這項設備甚至還未正式問世,但形容它是一根用來捕捉實體世界片段的「魔杖」。Johnny 因為看過 Dylan 平常畫的怪獸創作,很好奇當一位藝術家拿到這樣的技術時,會拿它來做些什麼。幾個月後,Dylan 收到了一款名為 Kosmo 的空間掃描器。
傳統上,要把現實環境放進 3D 工作流程中,需要利用像光學攝影測量(Photogrammetry)、重新拓撲、拆 UV 和貼圖繪製。但 Kosmo 透過 3DGS 高斯潑濺(Gaussian Splats)技術,將空間重構為無數帶有位置、色彩、形狀與透明度的小型半透明橢球體。
這項技術概念本身不算新,但它設備的外觀與便攜性卻是前所未見。加上另一個關鍵拼圖到位—皮克斯 RenderMan 28 正式支援可直接運算高斯潑濺。
於是,Dylan 拿著這根「魔杖」走出辦公室,掃描了皮克斯總部最標誌性的地標—賈伯斯大樓廣場外的巨大跳跳燈與皮克斯球。透過 OpenUSD 直接將這批掃描資料匯入 Houdini 的 Solaris 環境。
在 RederMan 運算 Splats 的畫面
我不需要用手動建模重建整個廣場就可以直接算圖。既然有了這樣的製作流程,身為藝術家的我下一個直覺便是:「如果把它推向更具手繪質感的風格,會發生什麼事?」
Dylan Sisson / 皮克斯動畫工作室 RenderMan 創意參與負責人
Dylan 的核心突破在於不把 3DGS 當成「靜態掃描模型」,而是視為在 Houdini 中可被任意調控的「點資料(Point Data)」。利用 Houdini 工具可以隨意移動它們、縮放大小,或是調整不透明度。以下是他所發展出來的工作流程:
進入 Houdini Solaris 後,每一個高斯橢球體都被解析為具備獨立特徵的點(Point)。Dylan 利用 Houdini 的點運算工具,調節其縮放軸向、旋轉角度與不透明度。當結構被局部放大並打破平滑邊界時,原本物理寫實的掃描結構,便自然碎裂成如同油畫一般的「實體筆觸感」。
起初的嘗試會讓整座賈伯斯大樓、樹木、路燈和皮克斯球全都均勻碎裂,導致畫面失去構圖焦點。為此,Dylan 構建了基於相機視野距離的衰減遮罩(Camera Falloff),讓靠近鏡頭焦點的皮克斯球保持清晰飽滿的形體與光影細節,而背景的建築與遠處樹木則隨距離擴散成隨意的色塊筆觸,精準營造出傳統手繪在層次上的虛實張力。
面對龐大的場景數據,手動微調每個節點會曠日費時。Dylan 撰寫了一份「風格化設計規範文件(Design Document)」,將其作為標準輸入給 AI Agent,規範葉片筆觸的重疊、筆刷如何順應物件的表面,以及遠景空間的抽象化程度。Agent 在流程中扮演技術助理角色,將美術指導的指令轉譯為驅動 Houdini 程序化修改的參數,實現快速運算、數位重繪與精細調整的快速迭代迴圈。
同一個場景,另一種詮釋
省去了耗損細節且費時的網格化(Meshing)與貼圖重構,RenderMan 28 能直接解算帶有自訂著色與材質屬性的潑濺點,不僅完美繼承現場的光影反射與環境陰影,也大幅減輕了傳統高面數幾何體在大規模場景下的運算負擔。
「三個月前,我根本不可能做出這些畫面。這需要空間相機、RenderMan 對高斯潑濺的支援,以及與 Agent 協同美術指導的全新可能。有時候,一場偶然的對話就會為你開啟全新的創作契機。」
Dylan Sisson / 皮克斯動畫工作室 RenderMan 創意參與負責人
隨著本次流程的成功測試,皮克斯動畫工作室內部的實驗小組「The Lab」,更邀請 Dylan 為一個專案掃描手工製作的瓦楞紙板模型—從紙板邊緣的毛邊、折痕、手工旋鈕,甚至連乾涸的膠水反光,都被 3DGS 鉅細靡遺地捕捉下來。
隨後,他們甚至將整個堆滿玩具、美術用品與擺著一台《大白鯊》彈珠檯的「The Lab」,完整掃描並進行風格化,成為一座凝結了創作靈感與溫度的「時空膠囊」。
回顧這場跨界實驗,Dylan Sisson 表示:「這正是在各種新工具交匯融合時,最令我著迷的地方。三個月前,我根本不可能創作出這些畫面——這需要空間掃描設備、高斯潑濺技術支援,以及攜手 AI Agent 進行美術指導的全新協作模式。它們彼此如何嵌合,本身就是一場精采的實驗。」
以下為 Dylan 從皮克斯總部園區到舊金山街角的風格化探索,透過扭曲的點雲與留白手法,實景轉身化為充滿意境的手繪筆觸。
Dylan Sisson 是一位藝術家、國際演講者,現任皮克斯動畫工作室 RenderMan 創意參與負責人(Head of RenderMan Creative Engagement),在此任職已超過 25 年。他的創作將藝術實踐與新興科技緊密連結,涵蓋範疇從算圖、虛擬實境一路延伸至實體物件。他曾在全球超過 50 座城市發表演說,足跡遍及 SIGGRAPH、SXSW、FMX、安錫國際動畫影展、THU 以及 VIEW Conference。他的演講深入探討創作決策、風格化世界,以及形塑藝術生涯的那些出人意料的探索途徑。