究(through)」的定義。
而依據研究目的的不同,作品的定位又可另外分為研究效果取向 術科技法,除此之外也練習過與繪圖相關的軟體,如Photoshop、Illustrator 等。而後來考進入了資訊管理學系,因此也實際練習了資訊相關的技術,像是
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
TOUCHiN 公司協助 AR 相關應用的開發,在那邊常為了要滿足公司發展的需 求,做了很多奇奇怪怪的測試小作品,因此接收到不少產業界的刺激。同時也 會接受一些網路上來的案件,或朋友公司的邀約,進行各式各樣的專案工作。
從此以後,AR 便成了我生活與工作中很重要的一部分。
在這半工半讀的研究所生涯裡,大大小小與AR 相關的專案約有 26 個,整 理在附件中,並有附上影片連結。作品的實踐經驗是本研究的分析基礎,如有 興趣歡迎看看我這幾年來累積的作品喔!
‧
無法和後製特效(Post Effect)區別。因此 Ronald T. Azuma 在其 1997 年的研究 裡提出了AR 的定義要素:1. 同時看見現實和虛擬(Combines real and virtual)2. 是 Real-Time 可互動的(Is interactive in real time)3. 存在於現實的三維空間 中(Is registered in three dimensions)。其中第二項定義 Real-Time 指的是畫面是 即時運算的成果,而不能是預先渲染好的,如動畫、電影等。AR 比起電影,
更接近電玩遊戲。
這樣的定義是以資訊技術作為分辨的依據,以避免和電影的後製特效
(Post Effect)混淆。然而本研究想要談論的是美學,因此本章會嘗試以視覺感 受或作品的表現性來定義這些概念。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
關於VR、AR、MR 的定義,早在 1995 年就已經有學者提出(Milgram, P., Takemura, H., Utsumi, A., & Kishino, F., 1995)。平常我們很容易會認為 VR 和 AR 是兩個完全不一樣的東西,而這篇論文最特別的地方,在於把 VR、AR、
MR 放到同一個光譜上,清楚呈現他們之間的關係。
圖 2:Paul Milgram 論文的 RV-Continuum。資料來源:Milgram, P. et al.(1995)
我們可以用「虛擬影像的百分比」來理解這張圖。這張圖裡的最左方代表 的現實環境(Real Environment),也就是 0% 的虛擬;而最右方的代表虛擬環 境(Virtual Environment),表示 100% 虛擬,也是一般俗稱的 Virtual Reality 的 端點。而該研究還再依據虛擬的百分比程度,又隔出AR(Augmented Reality)
和AV(Augmented Virtuality)兩種。而這中間的整個區間,只要同時有「實 體」也有「虛擬」,無論其百分比程度為何,該研究都將之稱為MR(Mixed Reality)。
這些詞彙到了2019 年,只有 VR 的定義沒有改變,AR 和 MR 卻時常混著 用。現代出現MR 詞彙的場合相當多元,甚至時常會有明明是 AR 的東西,但 卻因為MR 的技術比較新,所以為了宣傳效果使用 MR 這個詞。因此至今仍然 容易混淆。
但若仔細觀察,研究者認為AR 和 MR 之間還是有明顯的差異。Mixed Reality 最直接被使用的是在一些「頭戴式裝置」上,多半做成類似眼鏡的造 型,例如Microsoft Hololens 或 Magic Leap。而 AR 則會泛指其他所有可以同時 看到現實和虛擬的裝置上。研究者認為,所謂的「混合實境」其實具有一種目 的性,希望這個虛擬影像是「無所不在、和生活共存」的概念,因此多半做成 日常生活中可以穿戴的眼鏡造型。並且也因為眼鏡的造型,顯示用的鏡片可以 左右兩眼分開成像,因此是立體的視覺。而AR 則多半是透過平板電腦或手機
‧
工具,著重在提供實體物件的額外資訊,以引導操作(Krevelen, D.W.F. V., 2010)。在資訊領域裡,研究的多是辨識技術,如近年的 ARKit、ARCore。在 藝術相關領域中,AR 常用於展覽的研究中,例如開發新的導覽方式(Chang, K.-E. et al., 2014)。目前也有一些關於內容的研究,但大多是在討論 AR 的抽象 概念,例如以AR 將影像置入在實體空間中,討論新的觀看、敘事形式(MacIntyre, B., 2001)。或從動畫、電影延伸至 AR,以寫實主義的角度切入討 論AR 的未來發展的可能性(Ma, J. Y., & Choi, J. S., 2007)。
之所以目前較少研究直接討論AR 的視覺表現,可能是因為目前技術門檻 較高,製作AR 的工具與一般內容創作者熟悉的軟體不同,實際接觸 AR 製作 的仍是技術人員,故研究較多從技術的層面探討(MacIntyre, B., 2001)。而本研
‧
資訊技術觀點出發。例如在Augmented Reality Art 書中有對 AR 的表現形式分 類,將AR 分為 Fiducial、Planar、Locative/GPS、Environmental、Embodied/Wearable 等五種(P. Lichty, 2014)。該篇雖以 Art Form 為題,但實際 上是以辨識技術做為分類的依據。這樣的研究有助於理解技術運作的方式,但
(Informative)、表面放置(Surface)、空間結合(Surrounding)。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 3:虛實關係的三個層級,Informative、Surface、Surrounding。資料來源:研究者自製。
「純資訊」表示以資訊呈現為主,影像內容並不特別與空間結合,例如在 展覽的畫作旁邊提供AR 的文字解說。「表面放置」則是虛擬影像放置在現實空 間的一個平面上,但並不會和空間有近一步的互動,例如掃描到名片會跳出一 個站起來的人物。「空間結合」則是能夠和現實空間有更近一步的互動。
但是之所以會有「虛實關係」的差別,很可能是單純因為現代硬體裝置的 感應能力不足,尤其是Surface 與 Surrounding 兩類的區別。目前也有許多研究 是針對感測能力做強化,例如Project Tango(Google, 2014),或 Niantic
Occlusion(Niantic, 2018)等。若是在未來搭配深度學習技術後,這些辨識問題 有可能被克服,屆時Surface 這種分類可能就不復存在。但因為目前的感測技術 仍然有所限制,並且研究者認為在某些情況下Surface 也有其優美的表現,因此 在本研究中仍分出此類別。
AR 的動作模式
除了「虛實結合」關係外,也經過觀察案例,發現不同專案中觀眾的「操 作行為」也有所不同,或著可以進一步說是「鏡頭」與「拍攝對象」之間的關 係。本研究將其分為固定式(Fixed)、觀察式(Observative)、探索式
(Exploratory)、自拍式(Portrait)。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 4:AR 四種動作模式示意圖,Fixed、Observative、Exploratory、Portrait。資料來源:研究 者自製。
「固定式」指的是攝影機不會移動的類型,常用於展覽或公共場所的大型 互動裝置。這類專案常會在觀眾進入鏡頭畫面時,對其產生某些畫面效果,讓 經過的人覺得有趣。
「觀察式」指的是觀眾拿著裝置,圍繞著物件移動。鏡頭向內從各個角度 觀察一個物件,所以稱為觀察式。目前一般稱為AR 通常會聯想到這種觀察式 的,像是AR 書、AR 卡片等。
「探索式」則是和「觀察式」相反,是一種向外的行為。就像是著名的遊 戲Pokemon GO 那樣的概念,我們知道有很多寶可夢座落在現實世界的某處,
但不確定在哪,所以我們移動,去「探索」,故稱為「探索式」。
「自拍式」則是用手機自拍時,會在臉上套用的特效,也常被稱為AR 濾 鏡(Filter)或 AR 特效(Effect)。在 2018 年後由於 Facebook、Snapchat、
Instagram 等平台各自研發了專屬的 AR 開發工具,這類濾鏡大量在這些社交平 台上出現。其中多半以臉部作為辨識與表現的基礎,大多以社群分享作為主要 目的。
另外要特別說明的是,「自拍式」和「固定式」有些相似,攝影機相對於觀 測對象相對來說皆是靜止不動的,只不過是使用者自己拿著鏡頭。但因為自拍 式大多以臉部為觀測對象,並且有各種不同藉由臉部的動作來操作指令,例如 挑眉、張嘴、閉眼等,甚至在有人做的臉部版本的Flappy Bird(Murtazin, M., 2019)可以藉由眨眼來進行遊戲。這類 AR 作品有其獨樹一格的互動方式與美 學,因此研究者認為應該區別於觀察式,獨立出來討論。
‧
Fixed Observative Exploratory Portrait Informative
Fixed-Informative
Observative- Informative
Exploratory- Informative
Portrait-Informative Surface Fixed-Surface
Observative-Surface
Exploratory-Surface
Portrait-Surface Surrounding
Fixed-Surrounding
Observative- Surrounding
Exploratory- Surrounding
Portrait-Surrounding
表 2:AR 的十二種表現形式表。四種動作模式乘上三種虛實關係,一共十二種的表現模式。
資料來源:研究者自製。
Fixed-Informative
固定式以資訊呈現為主,像是新聞播報、氣象預報等,這種在人物旁邊安 插圖案的設計。這邊的圖形雖然也存在三維空間中,但其注重的是資訊,並不 在乎影像和空間的關係,因此可以被歸類在Fixed-Informative。
圖 5:Today's National Weather Forecast 影片截圖。資料來源:The Weather Channel 的官方 Youtube 影片。
或另外像〔是誰在說話〕(張宜婕,2012)這個互動裝置作品,當你把物件 放上去後,裝置會根據擺放的物件產生一組文字。擴增的是文字,是屬於資 訊,也可以歸類在Fixed-Informative。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 6:2012 年 KT 科藝獎銀獎作品〔是誰在說話〕裝置影片截圖。當觀眾把任何物件放到檯子
上時,底下的螢幕會自動產生論述文字。資料來源:科藝獎官方Youtube 頻道。
Fixed-Surface
這類有很多商業行銷的案例,由於視角是固定的,所以可以知道空間中的 平面為何,並讓影像的角度配合現實環境,以達到虛實整合的效果。但由於影 像指示單純覆蓋在現實影像上,所以影像內容只有透視上的一致,並沒有進一 步和實體空間互動。
圖 7:Lynx 的行銷活動 Even Angel Will Fall(Lynx, 2010)的影片截圖。當使用者進入螢幕的畫
面時,旁邊的VJ 會手動播放天使降臨的動畫。資料來源:Youtube。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
Fixed-Surrounding
如果在影像的處理上再更細緻一點,就可以達到像是真的與環境結合的感 覺。像這個Frozen Planet(BBC, 2012)就藉由在展場中實際擺出場景道具,讓 影像感覺真實存在空間中,而不僅僅是存在一個平面上。
圖 8:BBC 的 Frozen Planet 活動,藉由場景的佈置,影像的視覺表現和空間結合的更緊密。資 料來源:Youtube。
或像Magic Bench(Disney, 2017)則是利用感測技術,讓真人的動作可以 在動畫產生陰影、跟角色互動,讓虛擬物跟環境有更緊密的結合。
圖 9:Magic Bench 案例影片截圖。藉由深度攝影機(Kinect)來偵測觀眾的位置,並且動畫也 設計成會呼應觀眾的動作。圖片來源:Disney Research 官方 Youtube。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
Observative-Informative
最符合這個形式的是Vuforia Chalk(Vuforia, 2017)。這是個方便遠端教學 的工具,使用者可以把手機畫面分享給另一個人,讓別人可以在畫面上畫圖,
以協助障礙排除、教學。這邊的影像確實有存在三維空間中,不過影像的重點 在於指導,是一種資訊的概念,較不重視影像與物件的結合,故歸類在 Observative-Informative。
圖 10:Vuforia Chalk 的操作畫面。資料來源:Vuforia 官方 Youtube。
圖 10:Vuforia Chalk 的操作畫面。資料來源:Vuforia 官方 Youtube。