第三章 擴增實境技術研究
第一節 「擴增實境」之定義與技術分析探討
一、 擴增實境定義
擴增實境 Augmented Reality, AR。指的是會把虛擬資訊例如：圖像或文 字疊加到使用者透過頭戴式顯示器所觀察到的真實周遭環境的視訊畫面上。
大多數擴增實境研究都集中在「視覺透視」（see-through）裝置。使用者透 過頭部位置與方向的改變，可以看到不同疊加在現實影像上的虛擬畫面。透 過稱為「登錄」的程式，可以把一個 3D 虛擬的茶杯放在一個真實的碟子上。
擴增實境和虛擬實境（Virtual Reality, VR）系統採用某些一樣的硬體技術，
但其中最大的差別就是，虛擬實境企圖創造與取代真實的世界，而擴增實境 卻是在真實環境上擴增資訊（Feiner，2002）。
而根據〈A survey of Augmented Reality〉這篇文章中所定義擴增實境是：
「一種虛擬實境的變化應用，虛擬實境主要的目的，是在讓使用者完全融入 到電腦所創造出的虛擬世界中，當使用者處於虛擬實境的世界中時，是無法 看到週遭的現實環境的。然而擴增實境則是可以讓使用者看到現實環境以及 疊加在現實環境上的虛擬物件，所以擴增實境是增加了現實，而不是完全的 取代現實環境。其擴增實境的要素為以下三點：（1）結合虛擬與現實（2）
即時互動（3）三度空間（Azuma，1997）。
所以我們可以將擴增實境定義為：利用三度空間定位的方式，將虛擬的 資訊、圖像、文字、3D 物件等疊加在現實的影像上的一種影像技術，也是 一種在現實影像中擴增虛擬影像的一種影像技術。
二、 擴增實境技術探討
擴增實境運作的主要技術與步驟如下：首先利用攝影機取得真實環境的 影像，然後利用影像辨識系統辨識出現實影像或是環境中的定位點，將虛擬 的資訊或是影像疊加到定位點上，並加入互動的功能。最後將被擴增的影像 投射到螢幕或是頭戴式顯示器上。使用者可以透過顯示器（螢幕）觀看到現 實影像及被擴增到現實影像上的虛擬資訊並可以與之產生即時性的互動。由 以上的運作流程中我們可歸納出擴增實境系統所需的技術基礎如下：（1）影 像輸入系統（2）影像辨識系統（3）互動控制系統（4）圖形運算系統（5）
影像輸出系統。這五大類主要的系統。
就硬體設備而言，影像輸入系統所需的設備主要是攝影機，而目前最常 使用的設備便是 WebCam，所以本次創作中的影像輸入設備便是採用 WebCam 為預設的影像輸入設備。而影像輸出設備一般可分成兩大類，第一 類是 See-Through 影像輸出設備，其輸出的螢幕是透明的形式，即人眼可以 直接看穿螢幕，並看到螢幕後方真實的環境影像（參圖 3-1）。而擴增實境 的虛擬影像便是呈現在透明的螢幕上，並直接疊加在後方現實的影像之上。
而第二類則是 Monitor based 影像輸出設備，其採用的輸出設備為一般的螢 幕，而擴增實境的虛擬影像與真實影像則同時出現在螢幕上。本創作中為表 現出鏡像的意念與形式，所採用的輸出設備為一般的液晶螢幕。另外本創作 研究中所採用作為影像辨識系統、互動控制系統及圖形運算系統的硬體運算 設備，則選擇一般的個人電腦為預定設備。
圖 3-1 Samsung 所發表的透明液晶螢幕
資料來源：http://sammyhub.com/2010/05/25/samsung-at-sid-2010/
（2013 年 3 月 30 日）
就軟體技術而言，影像辨識技術可以說是擴增實境系統中主要的關鍵系 統。根據《Augmented Reality A Practical Guide》（Cawood，2008）一書中所 歸納的，目前盛行的影像辨識技術可以歸納為兩大類：
(一) Marker 標記式擴增實境：
標記式擴增實境是利用特定的標記或是圖案作為影像辨識的標的。這種 圖樣是一種可以被攝影機所辨識的獨特圖樣（pattern）。我們以人為的方式 在真實環境中佈置擴增實境標籤，然後透過攝影機將真實的影像輸入，而影 像辨識系統便會辨識出擴增實境標籤的位置與三維座標然後將虛擬的資訊 及影像以三維座標的方式擴增到現實影像之上（Cawood，2008）。目前常見 的視覺標記系統大約分為以下六類（1）樣板符號(Template marker)（2）ID 符號(ID marker)（3）二維條碼(DataMatrix marker)（4）點符號(Dot marker)
（5）分離式符號(Split marker)（6）影像式符號(Frame marker) （Graz University of Technology，2013）。大部分的圖案會採用黑框作為確定標記，
圖案的設計上也多以黑白及易於分變的顏色與圖樣為設計的重點（表三-1）。 而在圖樣的印刷上主要也可以分為兩種，一種是一般的視覺標記（visual marker），可以讓人的肉眼可以辨識，以一般的攝影機或 webcam 即可讀取 標記。另一種是透過特殊油墨所印刷的紅外線標記（IR marker），此種標記 一般的肉眼是看不到的，必須透過特別的紅外線濾鏡才可讀取。所以在標籤 的讀取上，必須採用紅外線攝影機或是在一般的攝影機上加裝濾鏡才能讀取
（Karlekar, J., Zhou, S. Z., Lu, W., Nakayama, Y. & Hii, D.，2010）。
圖 3-2 標記式擴增實境
資料來源：http://www.hitl.washington.edu/artoolkit/
（2013 年 4 月 7 日）
表 3-1 擴增實境標誌表
資料來源：http://studierstube.icg.tugraz.at/handheld_ar/markerbased.php
（2013 年 4 月 7 日）
(二) Markerless 無標記式擴增實境：
相對 於標 記式 擴增 實境 ，無 標記 式擴 增實 境則 不利 用特 定的 圖樣
（pattern）作為辨識標記，而是利用其他的特徵作為辨識的標誌，例如：LED 光源、臉部、手部、物件外型、點、線等。只要特徵能夠被明顯辨識，便可 以取得相對的三維座標，而將虛擬的物件與資訊擴增到現實的影像之中
（Cawood，2008）。此系統的辨識技術是採用特徵作為辨識的依據，所以在 創作無標記式擴增實境時，必須準備目標的設定樣本來訓練辨識程式，而且 樣本越多辨識的準確性便會越高。本次創作研究中，筆者所採用的影像辨識 方式便是利用辨識臉部特徵的方式，並將虛擬的影像擴增到參觀者的臉部影 像之上。如圖 3-3 及圖 3-4 中所顯示的，辨識程式從影像中辨識出人的臉部 位置，並將虛擬的 3D 物件擴增到影像中臉部的影像之上。
圖 3-3 無標記式擴增實境 資料來源：本創作研究截圖
圖 3-4 無標記式擴增實境 資料來源：本創作研究截圖 Template
marker ID marker DataMatrix marker
Dot marker
Split marker
Frame marker
三、 擴增實境影像辨識技術與平臺
Microsoft Visual Studio 6, .NETedu/artoolkit/
資料來源： i/saqoosha/FLARToolKit/en
資料來源：
http://www.adobe.co m/jp/devnet/flash/art icles/flartoolkit.html
（2013 年 4 月 7 日）
NyARToolkit 標記式擴增實境 C#, Java, Android, AS3, Processing
目前可以說是支援最廣的 p/?page_id=55
資料來源：
http://nyatla.jp/nyart oolkit/wp/?page_id=
55 （2013 年 4 月 7 日）
jARToolKit 標記式擴增實境 Java 基於 ARToolKit 所衍伸出 s/jartoolkit/develop
資料來源：
http://codelab.fr/227 2-2 （2013 年 4 月 7 日）
Simple ARtoolkit
標記式擴增實境 Processing 基於 jARToolKit 所衍伸出 來的擴增實境函式庫，由香 港科藝家 Bryan Chung 所 製，可以在 Processing 環境 中執行，屬於開放原始碼軟 體。
資料來源：
https://code.google.com/p/si mple-artoolkit-processing/
資料來源： Python, Java, Android, Processing
在 c 環境下所開發出的影 sing/opencv/
資料來源： 支持，以 C、Java、Processing、Flash AS 語言為多（表三-2）。目前許多的 商業廣告，互動書籍或是網路行銷活動等，都會利用上述的函式庫來開發。
尤其是 FLARToolKit 及 NyARToolkit 這兩個函式庫常被採用。FLARToolKit 由於開發在 FLASH 平臺，所以許多的網路活動中會採用此函式庫。而 NyARToolkit 則是目前支援最廣的函式庫，許多平臺都以此為開發函式庫。
而本創作研究中主要希望參觀者透過鏡像的方式來對自我的認知做再
一次的探討。所以本創作中將利用的擴增實境技術為無標記式擴增實境。利 用將虛擬的影像附加在現實的參觀者的影像之上，以喚醒參觀者對自我鏡像 的探討，並表現出筆者的創作意涵。所以本次創作研究將採用 OpenCV 這 個函式庫作為影像辨識的處理元件。而所採用的程式開發平臺則選擇使用 Processing。Processing 為一開放原始碼的互動藝術程式開發平臺。而硬體互 動控制元件則採用 Arduino。以下章節將針對 Processing、OpenCV 及 Arduino 做詳細的探討與研究。