By accepting you will be accessing a service provided by a third-party external to https://www.incgmedia.com/

探討多重感知與藝術的可能性,將人類意識上傳的 VR 體驗裝置《Upload Not Complete》

由黑川互動媒體藝術與 PSquare 媒體實驗室,所共同製作的《Upload Not Complete》是以其前身的表演藝術作品《CyberCube》衍生而來,製作團隊以其中提到的意識上傳概念具象化,打造出一個彷彿能夠將人類意識上傳的 VR 體驗裝置,讓我們一起來看這個裝置是如何探討多重感知,又是如何結合藝術激發出更多的可能性,並在 2019 的 SIGGRAPH Asia 榮獲延展實境(Extended Reality, XR)類別最佳科技大獎。


(左起)PSquare 媒體實驗室蔡秉樺、黑川互動設計胡縉祥、張兆慶

黑川互動媒體藝術 & PSquare 媒體實驗室

致力於科技藝術創作,以及互動設計開發的團隊,我們希望用科技做為媒介,打破藝術與設計的界線,讓團隊能夠在藝術創作、研發上面,有更多的可能性。
《Upload Not Complete》官方網站


跟我們聊聊你在《Upload Not Complete》在研究中所參與的工作內容?

​《Upload Not Complete》主要的分工是由胡縉祥負責藝術概念的發想、風扇電流可程式化控制、軟硬體整合介面;張兆慶負責混合實境的視覺開發,以及硬體控制的訊號傳送;PSquare 媒體實驗室蔡秉樺負責無線穿戴裝置的設計、LED 燈的軟硬體設計。

​當初為什麼會想要以「觸覺」來探討藝術的可能性?期待能帶給觀眾什麼樣的體驗和幫助?

這機會來自於 2018 年底的台北數位藝術節策展人「羅禾淋」,以五感作為策展主題,邀請藝術家創作,同時我們也有幸與「社團法人臺灣非視覺美學教育協會」合作,共同以觸覺感知來探討,是否能藉由多重感官的結合,讓觀眾感受到除了視覺、聽覺之外的可能性,以加深沉浸感。例如,體驗時我們讓觀眾看到石頭從風扇中吹出,打到觀眾身上時產生數位的震動,穿戴裝置也因此產生振動。

從創作初期,我們就想做出有別常見的 VR 體驗,希望能夠帶給觀眾不只是一個人的感受作品,而是也能夠和空間、朋友有一些互動與連結。

by 胡縉祥

你們為了這個創作研究了哪些感知能力?

我們在虛擬視覺和聽覺上都做了緊密的配合,在視覺上我們將 VR 頭盔加上立體攝影鏡頭,透過左右眼視覺,讓觀眾看到除了虛擬的 3D 物件外,還能夠看到現實世界,更能夠感受空間的深度,在聽覺也上配合了重拍節奏及裝置環境用 LED 燈來模糊虛實之間的界線,讓整場表演的視覺、聽覺一致,並達到混合實境的效果。而在觸覺方面我們研究了兩個部分,一方面是周圍的八個方向的風扇,配合節目上的時機,有同時吹,有時隨機、有時一一啟動,讓觀眾感受數位空間的空曠感;另一方面也透過振動背心,希望讓觀眾更能夠感受到虛擬空間的影響。

藉由八個方向的風扇吹出的風,建構出可以被「觸摸」到的風場。

研究過程中最大的挑戰是?又是如何去克服?

我們在研究的過程中發現是風扇的觸覺感知是非即時性,不像是燈光有立即性,觀眾對風的感知會有時間上的延遲,為此我們也在時間差上面做了細微的調整
作品中整合了非常多種的軟體、硬體和技術,如Unity整合視覺畫面,但與硬體互動的介面是用 C++ 設計,中間我們用 OSC 協定去溝通,C++ 再透過 Serial 與單晶片控制器溝通,控制風扇電流,以及告訴無線控制器 XBee 振動,
在網站可以看到更多資料。而這些挑戰也好在我們三人經過長時間的默契培養,已有多次緊密的合作,才得以完成。

​可以介紹一下你們是如何製作出,作品中數位空間裡的幾個人物模型?

​2018 年底的第一版本,我們利用深度的攝影機,透過 3D 掃描的方式,將視障的學員掃描成 3D 模型,再到 3D 軟體中修補破面和降低面數,最後再將它放入數位的空間中的橋段,象徵著被上傳的人類意識。後來在 2019 年入圍威尼斯拉古納藝術節時,我們也更進一步,將現場裝置就放上深度攝影機,將每一位互動中的觀眾,即時掃描並錄下 5 秒點雲資料,再自動產生 mesh,合成到數位空間中,讓每一次體驗的觀眾都可以看到過去的觀眾。

透過 3D 掃描或即時錄製點雲的方式,象徵性的表示之前被上傳的意識。

相較於一般的 VR 互動是可以走動的,《Upload Not Complete》 從外觀上看起來起來是比較有空間侷限性的,可以跟我們談一下為甚麼這樣設計?

​裝置的直徑是 3 米,我們透過3個傳感器來捕捉觀眾在空間中的位置,觀眾同樣可以在空間中來回移動,我們思考可能是作品在某些人的體驗中,會產生恐懼感,尤其從原本看的見的現實空間,逐漸轉變成看不見,到最後變成完全的虛擬實境時,觀眾通常會很沒有安全感,但我們也有看過有觀眾非常的好奇,不斷的嘗試觸摸風扇、粒子效果與身上的背心。而我們也樂於看到這樣不同的體驗感受。

從現實逐漸轉為數位的過程,有的人會感到不安,有的人會覺得好奇,也是很有趣的回饋。

VR 通常對於電腦硬體的要求比較高,面對大量的粒子系統和一望無際的場景,在執行上有遇到過什麼樣的困難嗎?

的確,相較於呈現在螢幕上,在 VR 環境中很多的 3D 物件無處口藏,也都需要佔用到電腦的資源,因此在視覺上,大多的視覺效果,我們都是盡量透過程式即時產生,希望能將 GPU 的效能發揮到最大,包含一開始環境光的模擬、風粒子的特效、隧道、數位空間等,在視覺細節大量使用 shader 來即時的處理質感, 不會增加電腦過多的負擔。

運用程式即時產生連續性隨機空曠場景,和各種粒子特效,都非常挑戰 GPU 運算效能。

你認為這套系統可以做什麼樣的延伸應用?

起初我們並不是以延伸應用作為目的,而是單純的藝術創作和技術研發,在有初步成果後,我們認為這樣多感官的體驗,其實應該是沉浸式體驗必備的裝置,如同數位輔助器官一樣,將人的五感透過數位方式模擬呈現,這樣一來,電影「獵殺代理人」,動畫「刀劍神域」這樣的想像世界,將會離我們就會愈來愈近。

 更多 VR 報導

獲獎無數的動畫短片該怎麼做?國外動畫團隊分享 13 個創作技巧
探究動畫廣告的神祕吸引力!企業主、創意端不可不知的「品牌加值術」

相關文章

 
還沒有帳號嗎? 點此立即註冊!

登入您的帳號