虛實之間－擴增實境的美學初探 - 政大學術集成

全文

(1)國立政治大學數位內容碩士學位學程 Master’s Program in Digital Content & Technologies National Chengchi University 碩士論文 Master’s Thesis. 政治大. 立虛實之間－擴增實境的美學初探 ‧. ‧ 國. 學 er. io. sit. y. Nat 研究生：黃新. al. n. v i n Ch 指導教授：博士 e n g林玲遠 chi U 李蔡彥博士. 中華民國一零八年六月 June 2019. DOI:10.6814/NCCU201900988.

(2) 謝辭每當看別人的謝辭時，對於裡面描述的辛酸與感謝，總有些不以為然。當自己真的走過了這個過程，才真正明白是怎麼一回事。在政大讀碩士的這六年真的是相當豐富而充實，而且下週就是論文繳交的最後期限，真的是扎扎實實讀好讀滿。以探索研究世界這件事來說，最感謝我的指導教授林玲遠。自己一直以來是個實踐主義者，感覺往後的人生就是當個碼農了。但在老師的引導下，探索了自己意想不到的另一個面向，從沒想過能夠成為今天的自己。或許就像我們時常談到的，生命就是關於遭遇與不確定。如果是這樣，那就感謝偉大的宇宙. 政治大次要感謝叮叮咚的研究團成員。在研究這條路上，生命若是沒有你們相伴，大立概早就放棄了。的力量。但無論如何，都得十分感謝老師。沒有玲遠老師就沒有現在的我。其. ‧ 國. 學. 再來要感謝我的前指導教授黃心健。心健老師是奠定我在新媒體領域實踐. ‧. 技術的恩人，也因為老師的關係才能經歷許多難得的創作實踐經驗。而這些技術與經驗已經成了我生命不可分割的一部分。. sit. y. Nat. al. er. io. 然而這些研究成果，如果沒有一個富足奢侈的日常生活，研究的火苗大概. n. 就會在生存焦慮的風暴中熄滅。首先要感謝總是陪伴在身邊的映君，謝謝妳總. Ch. i n U. v. 在我極端不正常的工作與書寫步調中照顧我，讓我每一天都能充滿能量。也非. engchi. 常感謝我親愛的家人，讓我能夠無後顧之憂的盡情探索自己的生命。另外也很感謝 TOUCHiN 公司，在公司中與大家共事常碰撞出我思想上的火花。特別感謝公司中的廷佑和我討論，激發了關於的 AR 流程的討論。感謝蔡彥老師、感謝詩惠、感謝郁馨老師，能在 X 學院裡面教課與上課，都成為我這篇書寫中的養分。感謝邀請我去演講的 David，感謝 Randy Finch，感謝 Taiwan Virtual Reality Meetup，感謝所有和我 A Week A Project 粉專互動的人們，你們讓我知道我所關注的事情也有其他人關心。感謝這幾年專案製作中的所有夥伴，生活中的物質能夠滿足都是托了各位的福。感謝生命中所有的事物，要感謝的人真的太多了，如有遺漏還請多多包涵。也感謝正閱讀這本論文的你，希望你會喜歡。. DOI:10.6814/NCCU201900988.

(3) 摘要 AR（Augmented Reality，擴增實境）已經發展了一段時間，隨著資訊技術的進步，與手機運算效能的提升，AR 的應用也越來越普及。是時候檢視 AR 的美學層面了。由於 AR 的呈現與資訊技術的發展關係密切，至今 AR 多被視為一種特定的資訊技術實踐，關於 AR 的研究也多半從資訊技術的角度切入，目前較少對於其美學的研究。「虛擬影像和現實環境」的互動關係，是 AR 這種形式最特別的部分。本. 政治大驗，探討 AR 在空間中、時間中、與抽象化的美學概念。立. 研究從美學研究的觀點出發，藉由文獻、當代案例、與研究者自身實踐的經. ‧ 國. 學. 本研究從研究者製作 26 個 AR 相關專案的經驗出發，透過實踐反思，提出「AR 感」的概念，將 AR 視為某一種表現形式。並透過大量的案例觀察，提出. ‧. AR 的十二種表現形式，試圖依不同的視覺表現方式將 AR 分類，試圖促進 AR 在美學層面的思考。並在 AR 的抽象化關係探討中，建議以「替換」而非「擴. y. Nat. n. al. er. io. sit. 增」的概念來思考 AR。. Ch. 關鍵字：擴增實境、新媒體、跨領域、行動研究. engchi. i n U. v. DOI:10.6814/NCCU201900988.

(4) Abstract After decades of development, Augmented Reality (AR) technologies have begun to grow into maturity in recent years. It is time to reflect on its aesthetical dimension. We know that AR is about the relationship between the virtual and the real. Since AR-based applications render a virtual layer on top of reality, people tend to consider it as an ‘enhancement’ – enhancement or augmentation of reality – which would imply a unidirectional, fixed relationship. By re-examining the relationship between the virtual and the real, this paper aims to suggest an aesthetical framework specific to AR media. Except from case study, the researcher’s own practical. 政治大 the real is explored from three aspects: spacial, temporal, and conceptual. A more 立 relational and dynamic understanding of the relationship is delineated and concluded experience as an AR artist is also reflected. The relationship between the virtual and. ‧ 國. 學. as the concept of ‘alternativity’. This discussion would provide new insights into ARbased applications, and let us see the technology from new perspectives.. ‧. n. al. er. io. sit. y. Nat. Keyword: augmented reality, new media, cross-discipline, action research. Ch. engchi. i n U. v. DOI:10.6814/NCCU201900988.

(5) 目錄. 一、. 前言........................................................................................................... 1. 1.. 研究者的姿態：跨領域的實踐者 ............................................................................................ 1. 2.. 本研究的姿態：實務與理論之橋 ............................................................................................ 2. 3.. 實務與理論之河 ....................................................................................................................... 3. 4.. 研究方法：基於實踐導向的分析型研究 ................................................................................. 4. 5.. AR 製作經歷 ............................................................................................................................ 5. 學. 1.. 立. 當代的 AR 考據........................................................................................ 7. ‧ 國. 二、. 政治大. AR 的定義................................................................................................................................ 7 AR 與 MR ..................................................................................................................................... 7. ‧. 近代的 AR 研究 ..................................................................................................................... 9. 3.. AR 的分類.............................................................................................................................. 10. io. sit. y. Nat. 2.. er. AR 的虛實關係 ........................................................................................................................... 10. al. n. v i n Ch AR 的十二種表現模式 ............................................................................................................... 13 engchi U AR 的動作模式 ........................................................................................................................... 11. Fixed-Informative.................................................................................................................... 13 Fixed-Surface .......................................................................................................................... 14 Fixed-Surrounding................................................................................................................... 15 Observative-Informative .......................................................................................................... 16 Observative-Surface ................................................................................................................ 16 Observative-Surronding........................................................................................................... 17 Exploratory-Informative .......................................................................................................... 18 Exploratory-Surface ................................................................................................................ 19 Exploratory-Surrounding ......................................................................................................... 19 Portrait-Informative ................................................................................................................. 20 Portrait-Surface ....................................................................................................................... 21 I. DOI:10.6814/NCCU201900988.

(6) Portrait-Surrounding ................................................................................................................ 21 小結：不同動作模式關注重點不同 ........................................................................................... 22 3.. 問題意識：PSOTT ................................................................................................................ 23. 4.. 研究問題 ................................................................................................................................ 24. 三、 1.. 研究理論：AR 的虛實之間 ................................................................... 25 視覺的擬真－虛擬與現實的縫合 .......................................................................................... 25. 1.1 AR 中的空間 ......................................................................................................................... 25 3D 空間裡的縫合：光影與現實之間的關係 ......................................................................... 25 2D 空間裡的縫合：影像的材質感......................................................................................... 26. 政治大 1.2 AR 中的時間 ......................................................................................................................... 29 立影像置於與空間中的位置...................................................................................................... 27. AR 中的動畫行為 .................................................................................................................. 29. ‧ 國. 學. 2.. 概念的再思考－AR 的擴增與替換........................................................................................ 31. ‧. 2.1 AR 感 .................................................................................................................................... 31 光雕投影 ................................................................................................................................ 31. Nat. sit. y. 街頭錯視畫（Optical illusion street art） ............................................................................... 32 小模型類 ................................................................................................................................ 33. io. n. al. er. 定義 AR 感：一種「關係」的表現形式 ............................................................................... 35. i n U. v. 2.2 AR 的「現實－虛擬」關係 .................................................................................................. 35. Ch. engchi. 「加」的關係......................................................................................................................... 35 「替換」的關係 ..................................................................................................................... 36 隱性的「替換」關係 ............................................................................................................. 36 小結：AR 在虛擬－現實關係的多種可能............................................................................. 38. 四、. 結論......................................................................................................... 40. 五、. 參考資料 ................................................................................................. 43. 中文期刊與研討會論文................................................................................................................... 43 中文網路資料.................................................................................................................................. 43 外文期刊與研討會論文................................................................................................................... 43 II. DOI:10.6814/NCCU201900988.

(7) 外文書籍資料.................................................................................................................................. 44 外文網路資料.................................................................................................................................. 45. 附錄：研究者作品列表 .......................................................................... 47. 立. 政治大. 學 ‧. ‧ 國 io. sit. y. Nat. n. al. er. 六、. Ch. engchi. i n U. v. III. DOI:10.6814/NCCU201900988.

(8) 圖目錄圖 1：實踐與理論、與本研究的關係 .............................................................................................. 3 圖 2：PAUL MILGRAM 論文的 RV-CONTINUUM ................................................................................. 8 圖 3：虛實關係的三個層級，INFORMATIVE、SURFACE、SURROUNDING。 ................................... 11 圖 4：AR 四種動作模式示意圖，FIXED、OBSERVATIVE、EXPLORATORY、PORTRAIT ................... 12 圖 5：TODAY'S NATIONAL WEATHER FORECAST 影片截圖 ................................................................... 13 圖 6：2012 年 KT 科藝獎銀獎作品〔是誰在說話〕裝置影片截圖。 ........................................... 14 圖 7：LYNX 的行銷活動 EVEN ANGEL WILL FALL（LYNX, 2010）的影片截圖 ................................ 14 圖 8：BBC 的 FROZEN PLANET 活動截圖 ........................................................................................ 15 圖 9：MAGIC BENCH 案例影片截圖................................................................................................. 15. 政治大. 圖 10：VUFORIA CHALK 的操作畫面 .............................................................................................. 16 圖 11：MACHINES AR 的遊戲錄影畫面截圖 .................................................................................. 17. 立. 圖 12：2017 HAPPY NEWYELLOW 作品截圖...................................................................................... 17. ‧ 國. 學. 圖 13：CAPTAIN’S CONQUEST 遊戲截圖 .......................................................................................... 18 圖 14：HYPER REALITY 影片截圖 ..................................................................................................... 19 圖 15：EXPLORATORY-SURFACE 案例影片截圖 ............................................................................... 19. ‧. 圖 16：DOOR 案例影片截圖 ........................................................................................................... 20. y. Nat. 圖 17：ASIAN PACIFIC AMERICAN 濾鏡案例截圖 .............................................................................. 20. sit. 圖 18：PORTRAIT-SURFACE 作品案例.............................................................................................. 21. al. er. io. 圖 19：PORTRAIT-SURROUNDING 作品案例截圖 ............................................................................. 22. n. v i n C............................................................................................. 圖 21：有無保留紙質的 2D AR 作品 27 hengchi U 圖 22：F 作品截圖........................................................................................................... 27 圖 20：有影子、沒影子的效果示意 .............................................................................................. 26. IREWORKS. 圖 23：AORUS FACEBOOK 官方粉絲頁上網友們上傳的遊戲截圖 ................................................ 28 圖 24：DOOR 作品截圖................................................................................................................... 28 圖 25：AR 中的動畫行為流程圖 ................................................................................................... 29 圖 26：作品 BOOKWORM 的 BLEND-IN 連續示意圖 ......................................................................... 30 圖 27：GALLERY INVASION 作品截圖 ................................................................................................ 32 圖 28：AXIOMA 作品截圖 ................................................................................................................ 32 圖 29：街頭錯視畫作品案例 ......................................................................................................... 33 圖 30：田中達也作品案例 ............................................................................................................. 34 圖 31：寺田尚樹的作品案例 ......................................................................................................... 34 圖 32：THE HALF KISS 作品截圖 ..................................................................................................... 37 圖 33：在 PUZZLE 關係中的替換流程 ............................................................................................ 37 IV. DOI:10.6814/NCCU201900988.

(9) 表目錄表 1：AR 與 MR 的特性比較表 ....................................................................................................... 9 表 2：AR 的十二種表現形式表 ..................................................................................................... 13. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. V. DOI:10.6814/NCCU201900988.

(10) 一、前言受到當代科學化的研究氛圍影響，分析型的論文中，研究者與研究對象多半會保持距離，以強調其研究的客觀性。然而本研究除了希望能增進大眾對於 AR 的美學理解，也希望能對於創作者有所幫助，因此除了案例分析以外，具體的實踐的經驗是不可或缺的。研究者的實踐經驗是本研究分析的基礎。相較於其他科學化的研究，本研究可能會顯得較為主觀。因此清楚交代研究者自身的經歷與姿態，研究者認為是相當重要的。本章節即為研究者的實踐經歷與研究姿態說明。. 政治大 1. 研究者的姿態：跨領域的實踐者. 立. ‧ 國. 學. 我想，可能我天生體內就流著對「專精」反叛的血，這樣的精神也一路跟著我走入研究生活中。. ‧. 高中時熱衷於吉他演奏，因為技術不錯也時常幫朋友伴奏演出，但當年屬. y. Nat. 於自己的音樂課期末展演，卻選擇以鋼琴自彈自唱。表演當天因為練習不足導. sit. 致演出斷斷續續，最後只能算是勉強演奏完了。演出結束後朋友問我，為什麼. n. al. er. io. 不表演吉他就好了呢？「那多無聊啊」我心想。我會彈吉他是大家已經知道的. v. 事情，那不是太意料之中了嗎？我想要追求的是一種多樣性，一種生命的立體感。. Ch. engchi. i n U. 我在考大學時以藝術為志向，花了不少時間在素描、水彩等術科技法。但後來考進入了資訊管理學系，而也就這樣沈浸在探索數位的結構世界。帶著半吊子的美術和半吊子的程式，碩士就來到了政大的數位內容研究所。在老師的引導下，我一邊進行數位創作，一邊也吸收到不少理論知識。我是一個實踐者。這一路走來，無論是吉他、繪畫、程式設計、或是 AR，我都相當沈浸在製作當下的心流之中，作品完成時的滿足是無可取代的。而學術式的理論探討和過去的實踐經驗有所不同，但也給我相當多啟發，也是「跨領域」的其中一個面向。因此這篇論文是一個嘗試，試著要揉合這兩種不太一樣的姿態。一方面希 1. DOI:10.6814/NCCU201900988.

(11) 望能總結這一路走來關於 AR 研究的心血結晶，另一方面也希望能符合學術研究的某些需求。雖不敢說是多麽深入的研究，但絕對至是真實且誠懇的，這些都是生活中、工作中、創作中認真思考過的問題。希望本研究能對其他 AR 或新媒體領域的創作者有所幫助，或對於那些好奇 AR 是什麼的人，能夠有所幫助。. 2. 本研究的姿態：實務與理論之橋人們常說「畢業等於失業」，雖然是句玩笑話，但這某種程度上表達了大眾認為大學裡的知識是無用的，更別說是碩士的研究了。學術世界中的知識，似乎距離真實世界中的實務需求很遠。我對這個議題的理解來自林玲遠的網路文. 政治大談到，「理論就像藝術品一樣，也有品味的問題。⋯⋯真正具有影響力的理論，立多半能反映學術特有的品味，也就是在富有智性上的趣味的洞見。」因此有些章〈動靜皆宜：淺談圖畫書轉譯動畫的實務與理論〉（2018）。林玲遠在文章中. ‧ 國. 學. 比較注重實務的工作，例如將圖畫書改編成動畫的操作細節，就鮮少被理論家們著墨。但這是代表這些實務的問題，永遠無法滿足學術上的智性要求嗎？並. ‧. 非如此，「可能源於這樣的轉換在實務上太常見，容易被視為理所當然，此中難免含帶許多成見與慣習。所謂的創新，可以來自神來一筆的奇思妙想，但另一. Nat. sit. y. 個重要的來源，是當我們把習以為常的事物拆解開來，細細檢視，然後再拼裝. io. n. al. er. 回去，在這個過程中得到的洞見，往往是創新的契機。」. i n U. v. 無論在藝術或是程式的實踐之中，我都曾體驗到一種美感。像是如何在素. Ch. engchi. 描中畫出確實的輪廓、如何在建模中雕刻出物件的細節、或是如何讓程式中的架構同時兼具彈性和俐落。那是一種屬於工匠式的，在實踐中逐漸淬煉出來的，操作的實務之美。我很享受實際操作所帶來的扎實感，但同時，我也很欣賞理論家的洞見。在研究所老師的引導之下，我接觸到新媒體藝術理論家 Lev Manovich 的新媒體觀點、以及有漫畫界蘇格拉底之稱的 Scott McCloud 與其對於漫畫的獨特思考。那是一種與實務操作有所區別，一種前所未見的思想刺激。這種刺激也啟發我的工作，我開始喜歡在生活與工作之中，尋找洞察與理論化的線索。因此到了這個換我必須要紀錄些什麼的時刻，我希望能夠同時兼具「實踐」與「理論」之美。我可能很貪心，這些通通都是我深受感動的部分，我都 2. DOI:10.6814/NCCU201900988.

(12) 想要試著記錄下來。因此，在這篇論文裡面，我想要嘗試綜合這兩種不同面向的內容，希望同時能對實際的執行有所幫助，也能提出一些新的概念、嘗試達到學術界對於智性的要求。. 3. 實務與理論之河當人們將實務與理論放在一起比較時，這兩個概念似乎是同一條光譜上的兩個極端。但其實其中的「實務」包含了兩種可能性的概念，分別是注重實際價值的「應用」與注重執行的「操作」。而「理論」除了從實務走向概念化之外，在林玲遠的〈動靜皆宜：淺談圖畫書轉譯動畫的實務與理論〉中提到的另一個要素是「智趣」。為了說明本研究的定位，研究者依據這四項要素製成圖以說明：. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 1：實踐與理論、與本研究的關係。資料來源：研究者自製。. 在「畢業即失業」語境底下的「實務」，其實是應用與操作交會的「實務世界」。在實務世界裡面，注重的是效果與效率。而把實務世界中的經驗抽象化，讓經驗能夠把經驗傳承下去，就是「教條世界」。教條世界注重的是規則與步驟，以求該理論能被其他人準確的執行。而林玲遠在文章中提到的「研究」，多半是具有智趣性質的。同時注重智趣與實踐的，就是「實驗世界」，例如實驗性的影片或創作，注重的是創新。而具有智趣性質的理論化知識，就是「學術世界」，注重的是一種追根究柢、高度反思的研究精神。. 3. DOI:10.6814/NCCU201900988.

(13) 這幾個分類剛好可以說明我同時作為一個實踐者，並同時身為研究者的角色。作為一個產業中的實踐者，我平時生活於「實務世界」之中，處理與工作相關的事情，例如程式的撰寫、遊戲引擎的學習等。而為了找到新的 AR 創作的可能，我透過製作 A Week A Project 系列的實驗性作品，實驗各種突發其想的 AR 技術與概念。而這些實踐的經驗多半都是內隱的，難以傳達給他人知道。而本研究便是試圖透過書寫，將這些知識抽象化、教條化，試圖提供實際上的操作教學，或是在概念上能夠對他人有所刺激。而本研究期望能成為這條長河中間的橋樑，試圖滿足各界需求。一方面希望能夠滿足實務世界中對於應用的需求，讓理論不只是高談闊論，而能有實用價值；另一方面也希望能夠提出一些概念性的議題，以激發學者們的對於 AR 的新觀點。. 立. 政治大. 本研究中的所有想法來源，皆是以研究者本人在產業中作為一個創作者，. ‧ 國. 學. 從實務世界中所提取出來的操作性知識。這些知識進一步理論化後，成為第三章中的「AR 製作各項元素」、「空間性」、「時間性」等章節，期望能滿足「教條世界」的需求。而研究者本身在創作的過程中，也前往「實驗世界」嘗試一. ‧. 些不太實用、實驗性質為主的創作，並試著將這些觀點加入理論中，期望能達. sit. y. Nat. 到學術世界的需求。. n. al. er. io. 4. 研究方法：基於實踐導向的分析型研究. Ch. engchi. i n U. v. 本研究是以實踐先行，直接先進行 AR 的創作，並且在實踐的過程中找到問題，再針對問題書寫。由於帶有創作，研究方法與一般傳播領域的研究較不相同。林玲遠、林品婕在〈行動研究於傳播內容設計實務之應用〉對於和創作相關的研究方法有諸多探討（年份未定，預定發表）。與藝術創作相關的研究方法，可以概分為三類：1. 以藝術設計為對象來研究（into）；2. 透過藝術設計做研究（through）；3. 為了藝術設計而研究（for）。以藝術設計為對象來研究（into），是研究藝術作品的歷史、美學等，類似於藝評或是藝術史研究，研究本身不涉及創作行為，多是分析與考古。而為了藝術設計而研究（for），則是針對特定一個主題做研究，但研究的目的是為了 4. DOI:10.6814/NCCU201900988.

(14) 提升最終作品的產出，例如為了畫出栩栩如生的獅子，去研究獅子的生態、行為、解剖學等。而透過藝術設計做研究（through），則是對於創作過程的反思。（林玲遠、林品婕）本研究帶有創作，並有實際的作品產出，因此並非屬於以藝術設計為對象來研究（into）的類型。但作品並非研究的目的，而是用於喚起問題意識的經驗累積過程。研究本身注重在 AR 的設計美學，以及對於 AR 概念的新理解，因此不適用於傳播領域常見的「創作論述」格式，而較符合「透過藝術設計做研究（through）」的定義。而依據研究目的的不同，作品的定位又可另外分為研究效果取向. 政治大. （effective）和共鳴取向（evocative）。效果取向的研究中，作品的目的在於改善現有的東西，或是解決某個問題。而共鳴取向的作品，則期望作品能夠引發. 立. 觀者的某些感受或共鳴，來增進人們對特定議題的理解。（林玲遠、林品婕）. ‧ 國. 學. 而本研究是期望討論 AR 的美學。在討論實際製作方面，帶有效果取向的色彩，期望能夠找到優化 AR 作品的要素。另一方面，由於研究者感受到在產. ‧. 業界、學術界對於 AR 的關注，多半在於其資訊技術的研發，較少人關注美學. y. Nat. 議題。因此在這方面也帶有共鳴取向的色彩，希望能透過論述讓更多人開始關. er. io. sit. 注 AR 的美學或是內容設計。. n. v 5. AR 製作經歷 a l i n Ch engchi U. 我在大學以前曾以藝術創作為志向，因此為了考大學而練過素描、水彩等術科技法，除此之外也練習過與繪圖相關的軟體，如 Photoshop、Illustrator 等。而後來考進入了資訊管理學系，因此也實際練習了資訊相關的技術，像是程式設計、資料庫、網頁前後端等。而在碩士進入了政大的數位內容研究所後，則結合美術與資訊技術，自 2014 年開始進行多媒體互動類的專案，並從 2017 開始發展 AR 系列創作。在開始創作 AR 之前，我比較常使用的技術是以 Unity 3D 為主的多媒體互動程式。2017 開始發展 AR 系列作品後，陸續發表在 Facebook 的粉絲專頁 A Week A Project 上。在連續發了幾個作品後，開始有 AR 相關的工作找上門，並且偶爾會參加一些與 AR/VR 開發相關的活動。並在當年 9 月開始進入 5. DOI:10.6814/NCCU201900988.

(15) TOUCHiN 公司協助 AR 相關應用的開發，在那邊常為了要滿足公司發展的需求，做了很多奇奇怪怪的測試小作品，因此接收到不少產業界的刺激。同時也會接受一些網路上來的案件，或朋友公司的邀約，進行各式各樣的專案工作。從此以後，AR 便成了我生活與工作中很重要的一部分。在這半工半讀的研究所生涯裡，大大小小與 AR 相關的專案約有 26 個，整理在附件中，並有附上影片連結。作品的實踐經驗是本研究的分析基礎，如有興趣歡迎看看我這幾年來累積的作品喔！. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 6. DOI:10.6814/NCCU201900988.

(16) 二、當代的 AR 考據 1. AR 的定義自從 2016 年 HTC 的 VR 設備推出後，整個社會好像興起了一股新媒體熱，每件事情都會試著要和 AR、VR 沾上一點關係，因此各種網路報導、文章中，大量的出現 AR、VR、MR 甚至 XR 等詞彙。然而並非所有的文章都對這些技術有非常精確的理解，因此偶爾會有混淆的狀況，尤其是 AR 和 MR 的界線更是模糊。因此清楚定義這些詞彙之間的關係是重要的，以便於理解本研究所適用的範圍。. 政治大. AR 的基本定義就是可以同時看到現實和虛擬的東西，但這樣定義的話會. 立. 無法和後製特效（Post Effect）區別。因此 Ronald T. Azuma 在其 1997 年的研究. ‧ 國. 學. 裡提出了 AR 的定義要素：1. 同時看見現實和虛擬（Combines real and virtual） 2. 是 Real-Time 可互動的（Is interactive in real time）3. 存在於現實的三維空間中（Is registered in three dimensions）。其中第二項定義 Real-Time 指的是畫面是. ‧. 即時運算的成果，而不能是預先渲染好的，如動畫、電影等。AR 比起電影，. sit. y. Nat. 更接近電玩遊戲。. al. er. io. 這樣的定義是以資訊技術作為分辨的依據，以避免和電影的後製特效. v. n. （Post Effect）混淆。然而本研究想要談論的是美學，因此本章會嘗試以視覺感. Ch. 受或作品的表現性來定義這些概念。. engchi. i n U. AR 與 MR 在 AR 流行幾年後，微軟在 2015 推出了 Holo Lens，並帶來了 MR 這個詞。因為是較晚出現的，因此有些人認為有一種較為新潮的感覺。有一次和我認識的一個資深的多媒體企劃 Kai 碰面，他說要問我關於技術可行性的問題。他展示了他的操作示意投影片給我看，然後問道： Kai：「這樣的技術可以做得到嗎，他算是 AR 還是 MR？」. 我：「可以做到，應該算是 AR，因為比較少和環境的互動」 Kai：「是喔，但是如果我想說他是 MR 可以嗎？這樣感覺比較厲害一點」 7. DOI:10.6814/NCCU201900988.

(17) 關於 VR、AR、MR 的定義，早在 1995 年就已經有學者提出（Milgram, P., Takemura, H., Utsumi, A., & Kishino, F., 1995）。平常我們很容易會認為 VR 和 AR 是兩個完全不一樣的東西，而這篇論文最特別的地方，在於把 VR、AR、 MR 放到同一個光譜上，清楚呈現他們之間的關係。. 政治大. 圖 2：Paul Milgram 論文的 RV-Continuum。資料來源：Milgram, P. et al.（1995）. 立. ‧ 國. 學. 我們可以用「虛擬影像的百分比」來理解這張圖。這張圖裡的最左方代表的現實環境（Real Environment），也就是 0% 的虛擬；而最右方的代表虛擬環境（Virtual Environment），表示 100% 虛擬，也是一般俗稱的 Virtual Reality 的. ‧. 端點。而該研究還再依據虛擬的百分比程度，又隔出 AR（Augmented Reality）. y. Nat. 和 AV（Augmented Virtuality）兩種。而這中間的整個區間，只要同時有「實. er. io. Reality）。. sit. 體」也有「虛擬」，無論其百分比程度為何，該研究都將之稱為 MR（Mixed. al. n. v i n C hVR 的定義沒有改變，AR 這些詞彙到了 2019 年，只有和 MR 卻時常混著 engchi U 用。現代出現 MR 詞彙的場合相當多元，甚至時常會有明明是 AR 的東西，但卻因為 MR 的技術比較新，所以為了宣傳效果使用 MR 這個詞。因此至今仍然容易混淆。但若仔細觀察，研究者認為 AR 和 MR 之間還是有明顯的差異。Mixed Reality 最直接被使用的是在一些「頭戴式裝置」上，多半做成類似眼鏡的造型，例如 Microsoft Hololens 或 Magic Leap。而 AR 則會泛指其他所有可以同時看到現實和虛擬的裝置上。研究者認為，所謂的「混合實境」其實具有一種目的性，希望這個虛擬影像是「無所不在、和生活共存」的概念，因此多半做成日常生活中可以穿戴的眼鏡造型。並且也因為眼鏡的造型，顯示用的鏡片可以左右兩眼分開成像，因此是立體的視覺。而 AR 則多半是透過平板電腦或手機 8. DOI:10.6814/NCCU201900988.

(18) 觀看，需要手持，並且是平面的視覺。因此研究者認為 AR 和 MR 是可以明確區分的： AR 特性裝置視覺立體感視角. MR. 同時看到現實環境和虛擬影像手持裝置、固定裝置. 通常是頭戴式裝置. （非穿戴）. （眼鏡）. 平面視覺. 立體視覺. 第三人稱. 第一人稱. （虛擬攝影機的視角和操作者. （虛擬攝影機的視角與操作者. 的視角不同）. 的視角相同）. 政治大. 表 1：AR 與 MR 的特性比較表。資料來源：研究者自製。. 立. 本研究在「概念」上是討論現實影像與虛擬影像之間的關係，這部分可以. ‧ 國. 學. 同時適用於 AR 與 MR。而在空間感的討論上，因為其視覺的差異（平面與立體），部分觀點僅適用於 AR。因此研究者特此在這邊釐清 AR 與 MR 之間的關. ‧. 係，以供讀者詳細了解之。. er. io. sit. y. Nat. 2. 近代的 AR 研究. 在 AR 各領域的研究之中，較缺少對於視覺表現的直接探討。在教育領. n. al. i n U. v. 域，AR 主要用在教材的呈現，但多著重在 3D 影像與可操作的特性，讓教學、. Ch. engchi. 解說更容易（Lee, K., 2012）。在工程、機械領域裡，AR 多作為視覺化的輔助工具，著重在提供實體物件的額外資訊，以引導操作（Krevelen, D.W.F. V., 2010）。在資訊領域裡，研究的多是辨識技術，如近年的 ARKit、ARCore。在藝術相關領域中，AR 常用於展覽的研究中，例如開發新的導覽方式（Chang, K.-E. et al., 2014）。目前也有一些關於內容的研究，但大多是在討論 AR 的抽象概念，例如以 AR 將影像置入在實體空間中，討論新的觀看、敘事形式（MacIntyre, B., 2001）。或從動畫、電影延伸至 AR，以寫實主義的角度切入討論 AR 的未來發展的可能性（Ma, J. Y., & Choi, J. S., 2007）。之所以目前較少研究直接討論 AR 的視覺表現，可能是因為目前技術門檻較高，製作 AR 的工具與一般內容創作者熟悉的軟體不同，實際接觸 AR 製作的仍是技術人員，故研究較多從技術的層面探討（MacIntyre, B., 2001）。而本研 9. DOI:10.6814/NCCU201900988.

(19) 究是從一系列 AR 作品的實踐經驗出發，研究者同時身兼內容創作與技術執行，或許正好可以補足 AR 在內容製作上的觀點。. 3. AR 的分類本研究試圖從美學的角度來理解 AR。但觀察了許多現有的案例後，發現 AR 的類型差異極大。有些會運用在大型展覽上，有些則是如畫冊那樣拿手機觀賞，另外也有些是像 Pokemon Go 那樣子的遊戲。因此本研究首先想要試著釐清 AR 的分類，並進一步思考，是不是有些什麼樣的元素，可以在最原始的 AR 三項定義之外。. 政治大資訊技術觀點出發。例如在 Augmented Reality Art 書中有對 AR 的表現形式分立類，將 AR 分為 Fiducial、Planar、Locative/GPS、Environmental、. 在現有的 AR 研究中，尚沒有以視覺特性作分類依據的研究，大多數是以. ‧ 國. 學. Embodied/Wearable 等五種（P. Lichty, 2014）。該篇雖以 Art Form 為題，但實際上是以辨識技術做為分類的依據。這樣的研究有助於理解技術運作的方式，但. ‧. 較不能增進對於美學概念的理解。例如要在公園的中心呈現一個 AR 的虛擬人物，技術上可能是使用 Planar 技術，藉由地板的彩繪當做辨識物來呈現；也可. sit. y. Nat. 以是透過 GPS，根據使用者的座標來顯示。雖然技術不同，但觀者看到的是一. io. n. al. er. 樣的東西，在視覺概念上區別不大。. i n U. v. 目前似乎沒有針對視覺呈現的方式做分類的研究，因此研究者想在此提出. Ch. engchi. 自己的觀察與假設。在觀察了大量的案例、自己的實踐、與在產業中的工作的經驗後，在此以「虛實關係」和「動作模式」兩個面向來分析之。. AR 的虛實關係「虛實關係」指的是虛擬影像與現實影像的關係。在某些應用情境中，虛擬的影像彷彿真的存在真實空間裡；然而有些情境中，AR 好像又只是單純輔助的資訊。依據影像與現實之間的融合程度，依序可分為三類：純資訊（Informative）、表面放置（Surface）、空間結合（Surrounding）。. 10. DOI:10.6814/NCCU201900988.

(20) 圖 3：虛實關係的三個層級，Informative、Surface、Surrounding。資料來源：研究者自製。. 「純資訊」表示以資訊呈現為主，影像內容並不特別與空間結合，例如在. 政治大. 展覽的畫作旁邊提供 AR 的文字解說。「表面放置」則是虛擬影像放置在現實空間的一個平面上，但並不會和空間有近一步的互動，例如掃描到名片會跳出一. 立. 個站起來的人物。「空間結合」則是能夠和現實空間有更近一步的互動。. ‧ 國. 學. 但是之所以會有「虛實關係」的差別，很可能是單純因為現代硬體裝置的感應能力不足，尤其是 Surface 與 Surrounding 兩類的區別。目前也有許多研究. ‧. 是針對感測能力做強化，例如 Project Tango（Google, 2014），或 Niantic. y. Nat. Occlusion（Niantic, 2018）等。若是在未來搭配深度學習技術後，這些辨識問題. sit. 有可能被克服，屆時 Surface 這種分類可能就不復存在。但因為目前的感測技術. n. al. er. io. 仍然有所限制，並且研究者認為在某些情況下 Surface 也有其優美的表現，因此在本研究中仍分出此類別。. AR 的動作模式. Ch. engchi. i n U. v. 除了「虛實結合」關係外，也經過觀察案例，發現不同專案中觀眾的「操作行為」也有所不同，或著可以進一步說是「鏡頭」與「拍攝對象」之間的關係。本研究將其分為固定式（Fixed）、觀察式（Observative）、探索式（Exploratory）、自拍式（Portrait）。. 11. DOI:10.6814/NCCU201900988.

(21) 圖 4：AR 四種動作模式示意圖，Fixed、Observative、Exploratory、Portrait。資料來源：研究者自製。. 「固定式」指的是攝影機不會移動的類型，常用於展覽或公共場所的大型. 政治大. 互動裝置。這類專案常會在觀眾進入鏡頭畫面時，對其產生某些畫面效果，讓經過的人覺得有趣。. 立. ‧ 國. 學. 「觀察式」指的是觀眾拿著裝置，圍繞著物件移動。鏡頭向內從各個角度觀察一個物件，所以稱為觀察式。目前一般稱為 AR 通常會聯想到這種觀察式的，像是 AR 書、AR 卡片等。. ‧ y. Nat. 「探索式」則是和「觀察式」相反，是一種向外的行為。就像是著名的遊. sit. 戲 Pokemon GO 那樣的概念，我們知道有很多寶可夢座落在現實世界的某處，. er. io. 但不確定在哪，所以我們移動，去「探索」，故稱為「探索式」。. al. n. v i n Ch 「自拍式」則是用手機自拍時，會在臉上套用的特效，也常被稱為 AR 濾 engchi U 鏡（Filter）或 AR 特效（Effect）。在 2018 年後由於 Facebook、Snapchat、 Instagram 等平台各自研發了專屬的 AR 開發工具，這類濾鏡大量在這些社交平台上出現。其中多半以臉部作為辨識與表現的基礎，大多以社群分享作為主要目的。另外要特別說明的是，「自拍式」和「固定式」有些相似，攝影機相對於觀測對象相對來說皆是靜止不動的，只不過是使用者自己拿著鏡頭。但因為自拍式大多以臉部為觀測對象，並且有各種不同藉由臉部的動作來操作指令，例如挑眉、張嘴、閉眼等，甚至在有人做的臉部版本的 Flappy Bird（Murtazin, M., 2019）可以藉由眨眼來進行遊戲。這類 AR 作品有其獨樹一格的互動方式與美學，因此研究者認為應該區別於觀察式，獨立出來討論。 12. DOI:10.6814/NCCU201900988.

(22) AR 的十二種表現模式從上面的「動作模式」與「虛實關係」這兩個維度來分，我們可以得出一共有 12 種的表現模式。以下列出各種表現模式的案例，並說明之。. Informative Surface Surrounding. Fixed. Observative. Exploratory. Portrait. Fixed-. Observative-. Exploratory-. Portrait-. Informative. Informative. Informative. Informative. Observative-. Exploratory-. Portrait-. Surface. Surface. Surface. Observative-. Exploratory-. Portrait-. Fixed-Surface Fixed-. 治 Surrounding Surrounding 政表 2：AR 的十二種表現形式表。四種動作模式乘上三種虛實關係，一共十二種的表現模式。大立資料來源：研究者自製。 Surrounding. Surrounding. ‧ 國. 學. Fixed-Informative. ‧. 固定式以資訊呈現為主，像是新聞播報、氣象預報等，這種在人物旁邊安. sit. y. Nat. 插圖案的設計。這邊的圖形雖然也存在三維空間中，但其注重的是資訊，並不. io. n. al. er. 在乎影像和空間的關係，因此可以被歸類在 Fixed-Informative。. Ch. engchi. i n U. v. 圖 5：Today's National Weather Forecast 影片截圖。資料來源：The Weather Channel 的官方 Youtube 影片。. 或另外像〔是誰在說話〕（張宜婕，2012）這個互動裝置作品，當你把物件放上去後，裝置會根據擺放的物件產生一組文字。擴增的是文字，是屬於資訊，也可以歸類在 Fixed-Informative。. 13. DOI:10.6814/NCCU201900988.

(23) 圖 6：2012 年 KT 科藝獎銀獎作品〔是誰在說話〕裝置影片截圖。當觀眾把任何物件放到檯子. 政治大. 上時，底下的螢幕會自動產生論述文字。資料來源：科藝獎官方 Youtube 頻道。. 立. Fixed-Surface. ‧ 國. 學. 這類有很多商業行銷的案例，由於視角是固定的，所以可以知道空間中的平面為何，並讓影像的角度配合現實環境，以達到虛實整合的效果。但由於影. ‧. 像指示單純覆蓋在現實影像上，所以影像內容只有透視上的一致，並沒有進一. n. al. er. io. sit. y. Nat. 步和實體空間互動。. Ch. engchi. i n U. v. 圖 7：Lynx 的行銷活動 Even Angel Will Fall（Lynx, 2010）的影片截圖。當使用者進入螢幕的畫面時，旁邊的 VJ 會手動播放天使降臨的動畫。資料來源：Youtube。. 14. DOI:10.6814/NCCU201900988.

(24) Fixed-Surrounding 如果在影像的處理上再更細緻一點，就可以達到像是真的與環境結合的感覺。像這個 Frozen Planet（BBC, 2012）就藉由在展場中實際擺出場景道具，讓影像感覺真實存在空間中，而不僅僅是存在一個平面上。. 立. 政治大. ‧. ‧ 國. 學 y. Nat. al. er. io. 料來源：Youtube。. sit. 圖 8：BBC 的 Frozen Planet 活動，藉由場景的佈置，影像的視覺表現和空間結合的更緊密。資. n. v i n C 2017）則是利用感測技術，讓真人的動作可以或像 Magic Bench（Disney, hengchi U 在動畫產生陰影、跟角色互動，讓虛擬物跟環境有更緊密的結合。. 圖 9：Magic Bench 案例影片截圖。藉由深度攝影機（Kinect）來偵測觀眾的位置，並且動畫也設計成會呼應觀眾的動作。圖片來源：Disney Research 官方 Youtube。 15. DOI:10.6814/NCCU201900988.

(25) Observative-Informative 最符合這個形式的是 Vuforia Chalk（Vuforia, 2017）。這是個方便遠端教學的工具，使用者可以把手機畫面分享給另一個人，讓別人可以在畫面上畫圖，以協助障礙排除、教學。這邊的影像確實有存在三維空間中，不過影像的重點在於指導，是一種資訊的概念，較不重視影像與物件的結合，故歸類在 Observative-Informative。. 立. 政治大. ‧. ‧ 國. 學 sit. y. Nat. n. al. er. io. 圖 10：Vuforia Chalk 的操作畫面。資料來源：Vuforia 官方 Youtube。. Observative-Surface. Ch. engchi. i n U. v. 這一類的應用是現今 AR 的主流。這類的應用，多半是放一張辨識圖在桌面上，並產生立體的影像，但這虛擬的影像通常和周遭環境（桌面，或使用者）沒有任何的互動關係，彷彿就只是單純讓影像呈現在桌子的水平面上。這個這類應用的視覺可以是平面的，也可以是立體的，重點在於使用者對眼前的這個物件感興趣，並且也對 AR 產生的虛擬影像感興趣，並會拿著裝置「向內」圍繞著物件觀察。 The Machines AR（Directive Games, 2017）是隨著 2017 年的 Apple 發表會推出的作品，雖然使用了較新的 ARKit 製作，但本質上並沒有跳脫 Surface 的 16. DOI:10.6814/NCCU201900988.

(26) 層面，也仍然是「Putting Something on the Table」。. 政治大. 圖 11：Machines AR 的遊戲錄影畫面截圖，場景底下是一張桌子。資料來源：Youtube。. 立. ‧ 國. 學. Observative-Surronding. 比起 Surface，Surrounding 更注重跟現實物件的緊密結合。以目前的辨識技. ‧. 術來說，較難辨識出實際上的空間狀態，但透過一些物件的擺放、程式的調. y. Nat. 整，仍有可能讓影像與空間看起來關係更密切。例如研究者自己的作品 2017. sit. Happy Newyellow 會有一個虛擬小人從 3D 列印的香爐裡面爬出來。實際上辨識. al. n. 子。. er. io. 的是底下的圖案，但透過程式的調整，看起來就像是能夠感知香爐的形狀的樣. Ch. engchi. i n U. v. 圖 12：2017 Happy NewYellow 作品截圖。在桌面上有一個 3D 列印的香爐，程式的場景中也在同一個位置放上一模一樣的模型，以製作出 3D 的 Masking 效果。資料來源：研究者自攝。 17. DOI:10.6814/NCCU201900988.

(27) Exploratory-Informative 這一類感覺上有點像是 LBS（Location Base System）的應用，關注使用者所在的地點，並根據這個地點給予一些額外的資訊（資料的擴增）。像 Captain’s Conquest（Diageo plc, 2011）就是一個根據玩家位置來作戰的遊戲，根據玩家的實際位置，並給每位玩家擴增「海盜船」這個身份，並在城市中作戰。. 立. 政治大. ‧. ‧ 國. 學. io. er. 面。資料來源：Captain’s Conquest 官方 Youtube。. sit. y. Nat. 圖 13：Captain’s Conquest 遊戲截圖。遊戲中搜尋敵人的 AR 地圖，與實際進入戰鬥的海戰畫. al. n. v i n C h Informative 式的表現。的 AR 呈現也是以資訊為主，是一種（不過其中有些視 engchi U 覺比較立體，也放置在空間中，那些部分可以歸類在 Exploratory-Surface）. 或像 Hyper Reality（Keiichi Matsuda, 2016）是一個假想的影片作品，其中. 18. DOI:10.6814/NCCU201900988.

(28) 圖 14：Hyper Reality 影片截圖。資料來源：作者 Keiichi Matsuda Youtube 頻道。. Exploratory-Surface 這一類最廣為人知的案例就屬 Pokemon GO（Niantic Inc, 2016）這款遊戲。因為手機有水平儀，能夠大概知道傾斜的角度，所以可以推估地面的位置，以創造一種寶可夢存在於空間中的感覺。或著另一個由博物館製作的 Street Museum（Museum of London, 2010）也是一個很棒的例子。使用者可以在街道上尋找特別的地點，讓照片在某個視角與現實結合。. 立. 政治大. ‧. ‧ 國. 學 sit. y. Nat. n. al. er. io. 圖 15：Exploratory-Surface 案例影片截圖。左圖為 Pokemon GO 於 2017 年官方舉辦的 AR 攝影. i n U. v. 比賽作品，右圖為 Street Museum 的 AR 畫面，兩者皆和環境有單一維度上的結合。資料來源：. Ch. Pokemon Go 官方粉絲專頁面；Youtube。. engchi. Exploratory-Surrounding 在 Pokemon GO 最一開始的宣傳片，裡面的概念就是屬於這類。寶可夢不只待在空間中，還可以躲藏在椅子下、躲在岩石背後。可惜目前手持裝置的環境感測技術尚不足，因此這樣的應用目前只存在於想像中。但藉由一些環境的與程式的配合，便可以達到類似的效果，例如研究者自己的作品 Door 藉由兩張辨識圖（牆上與門上的海報）讓程式能在某種程度上辨識出空間的關係。. 19. DOI:10.6814/NCCU201900988.

(29) 圖 16：Door 案例影片截圖。利用牆壁與門上貼的海報，程式可以辨識出門和房間的關係，並達到將影像藏在門後的效果。資料來源：研究者自攝。. Portrait-Informative. 立. 政治大. ‧ 國. 學. 會被歸類在這類的，大概就像是所謂的「拍照濾鏡」。例如這個案例是啟雲科技為了美國亞洲傳統月做的拍照圖框。這類圖框的用途是讓使用者可以拍照並分享，以表達自己對於某件事情的態度（或在其他案例裡可能是留念、記. ‧. 錄、慶祝等）。所以影像是否結合空間較不重要，重要的是旁邊的文字或符碼意. n. al. er. io. sit. y. Nat. 涵，故歸為 Portrait-Informative。. Ch. engchi. i n U. v. 圖 17：Asian Pacific American 濾鏡案例截圖。啟雲科技以 Facebook Spark AR Studio 製作的濾鏡（Speed 3D Inc., 2019），當使用者張開嘴巴時，會有漫畫般的效果線。資料來源：啟雲科技官方 Youtube。 20. DOI:10.6814/NCCU201900988.

(30) Portrait-Surface 比起 Informative，Surface 的會疊加更多的視覺在臉上。尤其是臉部彩繪類型的濾鏡，在自拍類裡面數量相當多。這是因為現在的平台如 Spark AR Studio 或 Lens Studio 等提供了相當好用的工具，只要畫一張圖，即可直接套用在臉上。另外也因為工具裡臉部辨識的效果相當準確，因此也會有一些是把視覺擺放在臉部周圍，製作一些有趣的效果。例如 Tristan Garner 製作的 Manga Anger （2019），會在使用者張嘴時會耳朵噴煙、爆出青筋。. 立. 政治大. ‧. ‧ 國. 學 er. io. sit. y. Nat. al. n. v i n CManga filter（2019），右為 Tristan Garner 的 AR Community 社 U h e nAnger（2019） i 。資料來源：Spark h c g 團貼文。圖 18：Portrait-Surface 作品案例。左圖為 Cesar Guillermo Vazquez Alvarez 製作的 David Bowie. Portrait-Surrounding 類似 Surface 的類型，但如果不使用平面的圖，而是使用 3D 物件擺放在臉部周圍擺飾，並且有考慮到頭部的遮蔽問題的話，就可以被歸為 Surrounding。例如右圖的 Chloe Karaii 製作的 Rotating Chain Halo（2019），當使用者張嘴時鎖鏈會在頭的周圍旋轉。而有一些人則會試著進一步對臉部做處理，像是左圖 Naza Carrero 的 Inner Child（2019），辨識到臉部頭頂會出現一個拉鍊，一段時間後拉鍊會拉開，臉的裡面會出現一個小孩的模型。. 21. DOI:10.6814/NCCU201900988.

(31) 政治大. 圖 19：Portrait-Surrounding 作品案例截圖。資料來源：Spark AR Community 社團貼文。. 立. ‧ 國. 學. 小結：不同動作模式關注重點不同. ‧. 在固定式的 AR 裡，多半是屬於裝置的形式，並放置於公共空間中，常運用在展覽、活動之中。除了 AR 本身的視覺效果以外，往往會更關注於如何勾. io. sit. y. Nat. 起路過人們的興趣，吸引路人進一步與之互動。. n. al. er. 觀察式則是對「物」的延伸。這類作品中，手機視角多半是圍繞著某個物. i n U. v. 體，試著去觀察物體的不同角度，動畫的呈現也是圍繞著該物件發生，讓這個物件有更多延伸的可能性。. Ch. engchi. 而探索式的重點，則是一種類似尋寶的驚喜感。真正的重點往往並不在於視覺呈現，而是在現實的世界中「藏」了什麼東西。而自拍式則非常強調拍照和分享，畢竟這類的 AR 多半存在於社交平台上。而且從案例中也可以看到，有非常多和臉部相關的互動方式。在研究者自己的作品裡，每一類型都有實際製作的經驗，但以觀察式為最大宗。會有這樣的傾向，有一部分是因為製作與測試較方便性的關係。固定式的作品通常用在展場，探索式的多半與 GPS 定位有關，這兩類皆需要走出戶外，測試上較為麻煩。而觀察式和自拍式較容易在家中製作，因此數量比較 22. DOI:10.6814/NCCU201900988.

(32) 多。而在觀察式與自拍式中，比起自拍，研究者似乎更喜歡小模型、小玩具的質感，因此在發想概念的時候，多半會以小模型為主角。另外在虛實關係上，都會傾向以 Surrounding 的概念呈現。畢竟當初在研究初期探索作品時，最想打破的就是 PSOTT 的狀況。當初在思考這個分類時，研究者原先假設虛實關係越立體，其視覺呈現效果越好。也就是無論哪一類 Surrounding 應該會比 Surface 或 Informative 好。然而真正觀察了案例後，發現一個 AR 作品的呈現好壞，仍然是以作者本身的巧思與創意為準，似乎還沒辦法透過單純的量表，或本分類使用的「虛實關係」與「動作模式」來當作參考指標。. 政治大. 但研究者認為本分類仍對於認識 AR 有些幫助。研究者以往在公司內進行 AR 的企劃發想時，常常因為可能性太多，會難以聚焦。而本分類透過不同動. 立. 作模式的分析，或能幫助實際應用發想時，能快速的依照專案的目的進行聚. ‧ 國. 學. 焦。. ‧. 3. 問題意識：PSOTT. sit. y. Nat. PSOTT 是研究者自創的詞。如果說「同時看見現實和虛擬」是 AR 與 VR、或其他新媒體最大的不同，那麼 AR 作品最吸引人的或許就是這種「現實. io. n. al. er. —虛擬」的關係。然而在研究者早期發展 AR 作品時，參考大量網路上的案. i n U. v. 例，發現大多數的 AR 作品並不注重這種現實虛擬關係。這些作品中通常會把. Ch. engchi. 虛擬影像呈現在一張卡片上（AR 的辨識多半是針對平面的圖像），然後放在桌上。而卡片、桌子、AR 出來的影像，這三者之間幾乎沒有什麼關連，整個看起來就好像是在桌上放了一個完全不相干的東西。研究者把這類 AR 稱為 PSOTT—也就是「Putting Something On The Table」的縮寫，表示一種對於虛擬 —現實關係的漠視。 PSOTT 這種傾向不只存在於過去的案例中，還很可能是未來的走向。在技術的發展上，從 Marker Base 走向 Markerless，也呈現了這種 PSOTT 的傾向。早期的 AR 辨識使用已知的圖形做辨識，我們需要準備一張「辨識圖」（Marker），讓電腦學習後判斷對象的角度。然而在 2017 Apple 和 2018 Google 相繼推出了 ARKit 與 ARCore，提出 Markerless 的技術概念，要解放 AR 到現實環境之中。這樣的技術走向，在研究者眼中仍然是一種 PSOTT 的延伸：只是不 23. DOI:10.6814/NCCU201900988.

(33) 需要使用 Marker 而已。因此，PSOTT 成為了研究者在實踐過程中最在意的事情，本研究便是希望從各方面來探討這種「虛擬—現實」之間的關係。. 4. 研究問題在前面的章節裡面，概述了當今的 AR 研究與發展，與研究者在實踐之中的困惑（POSTT）。因此，研究問題可以用一句話概括：. 政治大想要從美學的角度，來理解 AR 這種「現實－虛擬」關係立. ‧ 國. 學. 這個問題可以進一步細分成以下問題：. 2.. 這種「現實－虛擬」關係有沒有什麼特殊的屬性？. 3.. 目前 AR 的定義是依據資訊技術的實踐方式，來做為和其他媒體的區別. sit. y. ‧. 我們如何說明這種「現實－虛擬」關係？. Nat. 1.. （如 Post Effect）。這種「現實－虛擬」關係是否能夠作為另一種區別的方. io. n. al. er. 式，讓 AR 有機會能夠跳脫資訊技術的框架，而用內容表現的角度來看待？ 4.. Ch. engchi. i n U. v. 在這種「現實－虛擬」中，有沒有可能進一步抽象化，以找出能透滿足學術領域中對於「研究」的要求？. 24. DOI:10.6814/NCCU201900988.

(34) 三、研究理論：AR 的虛實之間本章節是研究者根據自身製作實踐、作品分析與觀察經驗，自行發展與推測出的理論分析，在此試著要找出 AR 這種虛實呼應的藝術特質。本章節將從兩個層面進行探討，分別是較為直接的視覺關係，與較為抽象的概念再思考。. 1. 視覺的擬真－虛擬與現實的縫合在追求 AR 的美學時，有一部分是在追求視覺上的擬真：「如何讓虛擬的影像看起來真的存在於現實中」。這種擬真未必是視覺上看起來要很寫實，而是一. 政治大. 種虛擬和現實之間的無縫接軌（seamless）的狀態。本節多半來自於研究者自身的製作經驗，並將從空間和時間兩個維度探討這種縫合。. 立. ‧ 國. 學. 1.1 AR 中的空間. 空間感可能是在 AR 的表現裡面最為重要的。因為如果提到關聯性的話，. ‧. er. io. sit. Nat. 3D 空間裡的縫合：光影與現實之間的關係. y. 把影像置入空間之中就會是 AR 最直接呈現和現實世界的關聯性的方式。. al. n. v i n C h 1），查看了許多品 House Demo 的時候（附件作品編號 e n g c h i U AR 的作品範例，結果意外發現以手機為載具的 AR 極少出現影子。仔細研究以後，發現手機 3D 遊. 在製作 AR 的過程中，一開始就注意到光與影的重要。在我製作第一個作. 戲也很少有影子。這可能是因為當代的手機繪圖效能的影響，因為運算影子還蠻吃效能的，所以為了讓程式運作順暢，都會傾向沒有影子。然而實際在 House Demo 的製作過程中，發現影子其實是蠻重要的一項元素。影子就像是縫線，緊密的連接虛擬影像和現實空間。如下圖所示，當沒有影子的時候，光從視覺並不容易掌握一個物體在空間中的位置。而有影子的話，看起來就比較扎實的踩在現實空間中的感覺。. 25. DOI:10.6814/NCCU201900988.

(35) 圖 20：有影子、沒影子的效果示意。資料來源：作者自製。. 而不只影子，光線也是，如果光能夠好好的呈現，對於空間感也差很多。在我初期的 AR 創作如 House Demo、Lonely Man in a Lonely Building（附件作品編號 2）和 2017 Happy New Yellow（附件作品編號 3），主要皆是對於光線運用. 政治大. 的探索。在這些作品中，我特別喜歡把門打開的部分，讓光線流洩出來的感覺。除了影子很少被使用外，在 AR 裡面實作光線更是少見，主要是因為一些. 立. AR 實作的技術問題，而我早期在 AR 的製作中主要也是針對這個問題的研究. ‧ 國. 學. （Newyellow, 2017）。 2D 空間裡的縫合：影像的材質感. ‧ y. Nat. 在 3D 空間中，空間的連結來自於光與影。而 2D 的圖像即使畫上光與影，. sit. 也只是圖中的一部分，並不存在於三維空間中，因此並不能直接套用 3D 空間. n. al. 此研究者認為是透過紙張表面的質感。. Ch. engchi. er. io. 的邏輯。但事實上，仍然有部分關於現實世界的線索會留在 2D 的圖像上，在. i n U. v. 即使是一張純白的圖，因為空間中打光的關係、紙張本身的紙質、甚至是觀者觀察的視角，都會導致紙面的光線折射有微妙的差異。而這些細膩的反光，則有助於我們辨識該紙張的質感，也有助於我們建構紙面與空間的關係。然而在許多 2D 的 AR 作品裡面，為了讓圖案動起來，常見的一種作法是用背景把整個影像蓋掉（為了要遮避掉原先紙張上沒有動的角色，否則角色動起來的時候就會同時看見兩個角色）。但這樣的做法會導致背景有一塊很不自然的色塊，觀者多少能夠感覺到其中與現實的斷裂。而有一些作品有注意到這種「現實世界媒材」的質感問題，因此在製作動畫時，並不是用色塊把背景覆蓋掉，而是利用遮罩（Masking）的技巧，保留紙本的質感。研究者認為，這樣的質感差異，會給觀者帶來很多不一樣的感受。左圖有利用遮罩的技巧，保留了原畫中臉部的質感；而右圖則是把整塊背景都覆蓋掉，很明顯有一塊與現實斷裂的 26. DOI:10.6814/NCCU201900988.

(36) 白色背景。. 圖 21：有無保留紙質的 2D AR 作品。兩張圖皆出自 Prosthetic Reality AR 畫冊，是執行 AR 時所看到的畫面，資料來源：作者 Youtube 頻道影片（Sutu, 2016）. 而我對於這個題材的探索，主要在 Fireworks（附件作品編號 25）這個作. 政治大. 品。在這個作品裡面，我選用紋理比較清晰的紙來作畫，畫上線條感很重的速寫。並且用 AR 的方式將白色光源的部分擴增在上面，試著強調實際物體上的. 立. 視覺紋理。. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 圖 22：Fireworks 作品截圖。資料來源：研究者自攝。. i n U. v. 影像置於與空間中的位置以圖形作為辨識物的 Marker Base 的 AR 裡面，AR Marker 常被視為一種「條碼」，目的只是要讓虛擬物件出現，而沒有將 Marker 本身視為動畫演出的一部分。在這樣的使用情境裡，Marker 常常是以水平的方式放在桌面上，也因此才會有 PSOTT（Putting something on the table）這種命名。但研究者在製作 AR 的過程中，發現只要換個方式使用這些辨識圖，就可以營造出一些不一樣的感覺。. 27. DOI:10.6814/NCCU201900988.

(37) Door（附件作品編號 6）和 AORUS GO!（附件作品編號 10）皆是探索這個主題的作品。在 AORUS GO!中想要讓魔王角色從電腦螢幕中爬出來，因此製作了一張電腦桌布，讓玩家可以把家裡電腦的桌面設定成指定的圖案，再使用手機玩 AR 遊戲。這樣的意象營造出一種彷彿怪物是從電腦世界來的一種隱喻。而從玩家上傳的截圖中，可以看到各式各樣有趣的玩法。而研究者認為這樣的「辨識物」使用方式，比起以往「平放在桌面上」，更增添了一些趣味。. 政治大. 圖 23：AORUS Facebook 官方粉絲頁上網友們上傳的遊戲截圖。資料來源：AORUS 官方粉絲頁. 立. ‧ 國. 學. 而 Door 是對這個作品概念近一步的延伸。除了當辨識物之外，其實也可能可以用來偵測空間，讓影像呈現在實際的空間裡面。在這個案例裡面，技術上辨識的是門上以及牆上的海報，辨識到以後，人就會從門裡面走出來，看起. ‧. 來好像真的存在空間裡面。. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 24：Door 作品截圖。資料來源：研究者自攝。. 研究者認為這部分的重點，在於思考「辨識」這件事情本身。在以往的 AR 中辨識多被視為一個過渡的程序，最終的目的只是要看到影像出現就好，而沒有將辨識本身的特性帶入作品的創作之中。就像 AORUS GO!可以說僅是「辨識物」擺放的位置不同，最後也能有相當不一樣的呈現方式。. 28. DOI:10.6814/NCCU201900988.

(38) 1.2 AR 中的時間 AR 說穿了就是「辨識」並觀看「虛擬物件動畫」的過程。因此時間的概念指的便是動畫。動畫以往在工作上溝通時，容易被視為一種次要的、純粹為了美觀的元素。但動畫的演出其實也是在建立一種關係，就像在電影領域有所謂的 Zoom in、Zoom out 與情感的連結等。因此本章節想要從時間、從動畫、從運鏡的角度，來探討 AR 的縫合。. AR 中的動畫行為. 政治大. AR 多半是可以即時互動的影像（雖然本研究主旨是想要將 AR 視為一種媒材，但仍然不可避免討論到他本身的一些資訊技術特性），這類和動畫電影（技. 立. 術上我們稱為 Pre-rendered 動畫）的差別，在於有操作的事件發生。不像是電. ‧ 國. 學. 影或動畫，所有的場景都是由導演預先安排好的。AR 因為使用者操作的介入，可以大概分為幾個階段：. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 25：AR 中的動畫行為流程圖。資料來源：研究者自製。. 等待（Waiting）指的是系統偵測到辨識物之前的狀況。在沒有偵測到的時候，通常系統會提供一些操作指引，引導使用者去找到辨識物。而偵測到的瞬間，就是 Blend-in 發生的時候，辨識成功時影像會出現。然後進入表演（Performing）階段，觀看影像的演出（也有可能是互動式、遊戲式的）。在觀中當使用者不小心離開偵測的範圍時，就會出現中斷（Interrupt）的狀況。然後使用者會重新再把鏡頭對準辨識物，當系統重新偵測到的時候，就會發生回復（Resume）。Resume 跟 Blend-in 可能會是一模一樣的，但差別在於 Resume 發生之前動畫可能已經演出到一半，所以回復時也可以從中間繼續開始。 29. DOI:10.6814/NCCU201900988.

(39) 在 Waiting 的階段，因為還沒有偵測到，所以通常會在畫面上有一些引導。如果是以 Marker 偵測為主的，就會顯示 Marker 圖案的樣貌引導觀眾去尋找。如果是不需要圖案辨識的，也會藉由一些圖形或文字提醒，引導使用者進行操作。總之無論是何種技術，在這個階段，顯示的資訊皆是以操作指引為主。而 Blend-in 就是指「偵測到的瞬間」，從完全都是現實場景的情況，漸漸加入虛擬的影像，也就是「虛擬影像的出場」。在有些比較不注重動畫內容的案例裡面，物件會是突然出現的（Pop-out）。然而研究者認為，若 AR 的作品要重視「現實與虛擬的關係」，此處的 Blend-in 是 AR 呈現的重點。. 政治大. 而研究者的 Bookworm（附件作品編號 8）是對於 Blend-in 概念的練習作品。在 Bookworm 裡，當觀者掃描到書本封面的時候，封面看起來會緩緩地鼓. 立. 起，然後有一個迷你人從書中跳出來。這樣的動畫方式顯示了虛擬人物和實體. ‧ 國. 學. 的書之間的關係。如果人物並非從書中漸漸跳出，而是突然出現，觀者可能無法理解人物是從哪裡來的。是掉下來的（人物從天上下來，暗示是從天界下凡？）、或是變出來的（是時空旅人？是魔法？）。關係是什麼，觀者無從得. ‧. 知。因此動畫的 Blend-in 除了視覺的順暢外，也隱含顯示了物件之間的關係。. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 26：作品 Bookworm 的 Blend-in 連續示意圖。資料來源：作者自攝。. 而 Interrupt 是在辨識失敗的時候發生。概念上和 Blend-in 類似，也應該以動畫的方式顯示物件的離去。但 Interrupt 之所以發生，是因為系統偵測不到辨識物的位置，因此較難針對內容去做設計。以 Bookworm 為例，在發生 Interrupt 事件時，可以設計成人物重新跳回書本之中。但問題在於 Interrupt 發生的狀況就是因為系統偵測不到圖案，無法識別書本的位置，所以才會有 Interrupt 的發生。因此這時即使想要讓迷你人物跳回書裡，也不知道該往畫面的左邊或右邊，因為螢幕無法識別書本是往哪邊離去。因此只能夠做一些視覺上的提醒，讓使用者知道已經發生 Leaving 事件，像是在 AORUS GO!中，在 Interrupt 發生 30. DOI:10.6814/NCCU201900988.

(40) 時會在畫面上產生雜訊作為提示。. 2. 概念的再思考－AR 的擴增與替換 AR 除了視覺以外，題材的選擇與作品的表現手法，也是本研究希望能探討的美學範疇。因此這一節將試著從較為抽象的觀念出發，首先試著從針對不同作品的感受經驗來試著定義「AR 感」，並在後半試著對「擴增實境」這個名稱中的「擴增」觀念進行探討。. 2.1 AR 感. 政治大的美學。然而除了實際的 AR 作品，研究者有時會從其他非 AR 的作品中，感立受到一種「啊，這很 AR」的感覺。研究者在稱之感受為「AR 感」。或許這可在前面 AR 分類的章節裡，本研究透過大量的 AR 作品案例，來探討 AR. ‧ 國. 學. 能是因為研究者長時間與 AR 共處，生活與工作都是 AR，以至於什麼東西看起來都是 AR 的感覺。但研究者認為，這種特殊的感受裡或許潛藏著 AR 作為一. io. sit. y. Nat. 光雕投影. n. al. er. 理解 AR。. ‧. 種形式的可能性情報。因此在這一節，想要試著從「非 AR 的作品」中來試著. i n U. v. 在思考 AR 分類的時候，在「固定式」的分類裡，曾思考過將光雕投影納. Ch. engchi. 入分類中。但光雕投影有些可能是 Real-time 的可互動裝置，但也有可能單純只是 Pre-rendered 的影片。所以從資訊技術的角度來說，光雕投影並不完全符合 AR 的定義，因而在此將光雕歸為「非 AR 作品」來討論。並且從案例來看，「AR 感」的關鍵也並非來自「即時互動」這項因素。在非互動的光雕案例中，Skullmapping 製作的 Gallery Invasion（2016）相當有 AR 感。在這件作品在類似畫廊的環境裡展出，觀眾原以為畫中的猴子是畫上去的，但隨後猴子動了起來，並且與另一個迷你人在畫廊內展開追逐戰。猴子好不容易把迷你人給趕走，但卻在過程中被噴成五顏六色。最後猴子回到畫框內，裝作沒事的模樣。. 31. DOI:10.6814/NCCU201900988.

(41) 圖 27：Gallery Invasion 作品截圖。資料來源：Skullmapping 官方 Youtube 頻道中的影片。. 另外像是 Onionlab 在巴賽隆納的建築物光雕作品 Axioma（2016）。在某些時候，建築物的牆面似乎只是單純被當成畫布，播放著一些動態影像，這些時刻並不會特別有 AR 感。但有些畫面中，影像的造型和建築物本身的結構相呼應，營造一種好像建築物在動的錯覺，這樣的時刻就會覺得有一種 AR 的感覺。. 立. 政治大. ‧. ‧ 國. 學 sit. y. Nat. n. al. er. io. 圖 28：Axioma 作品截圖。左圖看起來只是單純把牆面當畫布，而右圖則比較有「操弄現實」的感覺。資料來源：Onionlab 官方網站。. Ch. engchi. i n U. v. 從光雕投影的案例裡面來看，AR 感似乎都出現在「呈現的視覺與現實空間有所關聯」的時候。街頭錯視畫（Optical illusion street art）又稱為錯視畫或 3D 畫，有時候也可以在書中看見，但在此特別想探討的是繪於現實環境中的那類，故比較精確的說法是街頭錯視畫。這類畫常繪於牆面或是地板，在某個特定角度時看起來很真實。畫裡面的這些場景看起來不可思議、超乎現實，但卻實際存在於現實空間之中。並且在特定的角度觀看時，站在畫旁的人們似乎真的進入到畫面中的世界，並與畫裡的角色互動。. 32. DOI:10.6814/NCCU201900988.

(42) 圖 29：街頭錯視畫作品案例。左至右依序為 Kurt Wenner 的 Dies Irae、Eduardo R. Relero 的 Grandes Chorizos 與 Ilusiones Rotas。資料來源：Boredpanda 網站上的文章（Tom, 2016）. 這樣的作品也給人一種 AR 的感覺，而這類畫的重點似乎也是在於和現實環境建立關係。小模型類. 立. 政治大. ‧ 國. Calendar 系列，與寺田尚樹的小人物剪紙系列。. 學. 這一類我想要比較兩位日本藝術家的作品，分別是田中達也的 Miniture. ‧. 日本攝影師田中達也的攝影作品 Miniature Calendar 每次看到的時候，都會. y. Nat. 有一種「這很 AR」的感覺。可能是源於那種小巧的感覺，這類的東西很像是. sit. 前面提到的「觀察式」這類動作模式下的作品。這樣的小物件巧妙的和旁邊的. er. io. 場景結合，雖然是靜態的照片，但是人物凝結在做某一件事情的瞬間，以至於. al. n. v i n Ch 圍的物件視為現實中的背景，而小人物視為是 i U出來的虛擬影像，進而營造 e n g c h AR. 有一種動態感。雖然照片中的物件都是模型，但研究者在觀看時，會自動把周出一種在觀看 AR 作品的錯覺。這可能是因為在我自己的創作裡面，大部分靜態的物件都是周邊的擺設，而動態的物件都是生物（主要為人物）的緣故。像我的作品 Flying Sadako（附件作品編號 5）和 2017 Happy Newyellow（附件作品編號 3）都是擺放實際的物件，和虛擬的影像人物互動。. 33. DOI:10.6814/NCCU201900988.