WISE Display

國

立 政 治 大 學

‧

Na tiona

l Ch engchi University

依據資料格式來實作 UI (圖 24)以協助現場人員進行監控，資料中會呈現

WISE.local.coordinator 底下所有的 WISE Item，介面中可以清楚看出各個 WISE Item 現在的情形，當 PPS 降低太多便可即時進行障礙排除。

圖 24 : WISE.local.monitor 的圖形介面

4.4 WISE Display

WISE Display 透過 Unity 開發來佈建虛擬場景和虛擬角色，由 Unity 團隊完成並 已在多處應用[10]。顯示系統會主動向 WISE Platform 訂閱頻道，取得資料，統一進

‧ 國

立 政 治 大 學

‧

Na tiona

l Ch engchi University

行即時的影像運算後呈現在 Unity 的角色模組上。還可以套用在不同顏色、身高、體 型的模組上，來代表不同使用者(圖 25)。除了影像呈現外，亦會對角色的動作進行偵 測。當模組接觸了虛擬環境中的物體或其他角色時，便會產生反饋的感覺資料，透過 WISE Platform 傳遞到特定的 WISEItem 上，產生出諸如震動、閃燈的反應。此外，

也負責產生沉浸式應用時的畫面，透過 HDMI 輸出到 VR 螢幕上。

圖 25 : 電子肌膚展演中的不同模組

圖 26 : 角色接觸後產生的資料流所引發的震動效果

‧ 國

立 政 治 大 學

‧

Na tiona

l Ch engchi University

第五章

公開展演 - 電子肌膚

持續不斷地測試與整合後，2016 年 5 月 8 日至 5 月 15 日在台北當代藝術館進行 名為『電子肌膚』[11]的展出。由蔡子傑老師策畫主持、協同陶亞倫老師一起進行團 隊的共同創作，透過沉浸式的虛擬實境與論文中論述的穿戴式系統，讓參與者在虛擬 空間進行互動，並且發揮實質的感覺回饋。體驗中，兩個參與者分別處於兩地、透過 VR(虛擬實境)眼鏡以及 WISE Item，立即將實體身體化為虛擬的身體，投身虛擬空間 進行互動。一切在虛擬空間中的碰觸，也會產生視覺、觸覺、聽覺從而產生感覺的回 饋，使體驗更加真實。

圖 27 : 電子肌膚宣傳海報

‧ 國

立 政 治 大 學

‧

Na tiona

l Ch engchi University

陶亞倫老師的作品概念以「這是一個光的時代，資訊光形成肌膚表層的光膜，身 體的表層細胞如同像素（pixels）一般，形成有機的發光屏幕。當實體身體得以進入 虛擬的光屏之中，形成了模擬真實體感的虛擬身體，這種快速流動的新型態身體，與 網路空間融合成為一種訊息場域，如同資訊的光與電子，從我們肌膚的最外層，滲透 到身體的神經末梢。穿上電子肌膚，進入以光對談的超現實體驗。」透過以身體作為 聲音及視覺效果的產生器，結合 VR(Virtual Reality 虛擬實境)、肢體偵測器及觸覺 感應器等，將實體的身體轉化為虛擬的身體。藉由網路將不同地點的身體，傳輸到雲 端上，形成一個虛擬身體的虛擬社交場域。彼此可以觸摸對方虛擬身體而引發聲音，

實體身體亦會有真實觸覺的感應。以全新的身體直覺出發，開創全新的科技媒體。

‧ 國

立 政 治 大 學

‧

Na tiona

l Ch engchi University

通過對體驗者的問券調查，獲得體驗大眾的感想，其中大多數享受了身臨其境的 體驗，尤其是加上了震動的回饋後有覺得現實世界與虛擬世界結合在一起。實際展出 的同時我們也收集了許多數據資料來分析系統實際應用時的穩固性和擴展彈性，從結 果來看有相當不錯的成績:

5.1 穩固性 Reliability

因應實際展出中 VR 顯示器必頇和主機以 HDMI 線連接，這樣的物理情形限制了移 動範圍，而為了避免用戶過於沉浸於體驗中而被線絆倒發生意外的可能，我們將下半 身移除，只使用了上半身的 7 個 WISE Item：右手腕、右前臂、右上臂、左手腕、左 前臂、左上臂和腰部。其體驗結果是虛擬世界中的姿勢忠實地反映出來，並保持流暢 的動畫效果，平均 PPS 基本都超過 55 PPS，回饋的感覺也相當即時的由 WISE Item 進 行反應，結果可以說是相當符合穿戴式互動展演的高即時需求。

圖 29 : 實際展演中七個節點的平均 PPS 5.2 擴展彈性 Scalability

實際展出的體驗類型可以分類為三種情形 - 單人模式、多人模式、多人異地模 式，透過調整 WISE Middlware 和 WISE Platform 中 WISE.local.coordinator 和

‧ 國

立 政 治 大 學

‧

Na tiona

l Ch engchi University

WISE.cloud.exchanger 的組合，可以方便快速的調整出最適合的架構，也表現了系統 的高擴展彈性。

圖 30 : 單人模式

圖 31 : 多人模式

‧

現階段 Raspberry pi 作為 BLE 和網路的中介平台 WISE Middleware 的角色，是為 了能連結儘可能多的 WISE Item，不過如果節點數不多(少於 9 個)的時候，可以考慮 改為較為普及的智慧型手機。智慧型手機不僅能連接藍牙、無線網路，近年來更有許

‧ 國

立 政 治 大 學

‧

Na tiona

l Ch engchi University

多手機已可支援 VR 顯示，如果能透過串流技術將顯示內容傳遞也可以達成無線化並 取代 VR 眼鏡，在透過無線網路取代有長度限制且礙腳的 HDMI 線，讓線材的限制消失 後就能完整享受全身的沉浸式應用，讓使用者從頭到腳完整投影到虛擬世界之中。

而其餘方面也預期每年都有新的硬體出現，會一代代慢慢的汰舊換新，像

Raspberry Pi 目前已出到第三代，藍牙第五代技術亦準備萌芽。其餘感測晶片也有越 來越多的功能，越來越小的體積。在未來視需求將新增的功能擴充進此平台，經過不 斷地改版加強功能，讓本平台越來越完整，有機會吸引更多人使用。

最後希望能夠結合社群網路，透過社交圈間的吸引力讓穿戴式科技能夠普及，並 再次改變科技生活，尤其當用戶數量多了後便可能出現協議好的標準規範，讓世界上 現存的異質系統更容易透過有力的軟體平台整合，實現萬物聯網、萬眾互動的互動時 代，甚至配合機器人工學，完成遠端遙控機器人的夢想並將之應用在救災方面，相信 在未來，我們的感測技術能夠成為更多科技的基石，發揮更大的影響力，助長科技社 會的發展。

‧

[1] Daniel Roetenberg, Henk Luinge, and Per Slycke, "Xsens MVN: Full 6DOF Human Motion Tracking Using Miniature Inertial Sensors. XSENS Technologies," version Apr 3, 2013.

[2] "Internet of Things Global Standards Initiative". ITU. Retrieved 1 June 2016.

[3] 蘇冠榮, 穿戴式互動展演創新應用與姿態感測技術研究. Jan 2016.

[4] Arduino, https://www.arduino.cc/

[5] Raspberry Pi, https://www.raspberrypi.org/

[6] Specification of the Bluetooth System, Covered Core Package, Version: 4.0; The Bluetooth Special Interest Group: Kirkland, WA, USA, 2010.

[7] Internet of Things (IoT), http://webofthings.org/2016/01/23/wot-vs-iot-12/

[8] Protobuf, https://developers.google.com/protocol-buffers/

[9] CF. Liao, WC. Lu, K. Chen, Zack Grannan; Chang, WC Chang, YK. Hsiao: WISE: A Wearable Platform for Performer-Guided Mixed-Reality Interactive Performance Art : 2016 International Conference on Platform Technology and Service, pp.1-6. IEEE Publisher (2016)

[10] Ya-Lun Tao, Chun-Feng Liao, Hsuan Huang, Ya-Wen Su, Yo-Ja Lin, Pin-Hsin Chen, Tzu-Chieh Tsai, “Step In and Out of the Dreams: Toward an Immersive and Interactive Virtual Experience of Dreams, ” in Adjunct Proc. International Symposium on Wearable Computers (ISWC), Design Exhibition track, Heidelberg, Germany, 2016.

[11] 電子肌膚─未來媒體藝術,

http://www.mocataipei.org.tw/index.php/2012-01-12-03-46-26/2012-01-12-03-47-26/new-e vents/1936-2016-04-11-08-44-13