擴增實境的技術

一、擴增實境概念與發展

1994 年保羅·米爾格拉姆（Paul Milgram）和岸野文郎（Fumio Kishino）提出的現實-虛擬連續系統（Milgram's Reality-Virtuality Continuum）。他們將真實環境和虛擬環境分別作為連續統的兩端，

位於它們中間的被稱為「混合實境（Mixed Reality）」。其中靠近真 實環境的是擴增實境（Augmented Reality），靠近虛擬環境的則是擴 增虛境（Augmented Virtuality，AR）。

圖 1 現實與虛擬連續系統關係圖，圖片來源：Paul Milgram 等人，1994 AR 是指可以將虛擬資訊投影疊加到感受者知覺中的電腦顯示 器，大多數 AR 研究都集中在「透視」裝置，最原始的方式是將透

視裝置戴在使用者的頭部，把圖像和文字加到使用者觀察周遭環境 所產生的畫面上。AR 系統會追蹤使用者頭部的位置與方向，讓系 統中以人工製作的虛擬物能疊加到使用者所看見的真實世界中。透 過這種稱為「登錄」的程序，繪圖軟體可以加上一些東西，例如把 一個三維的人物影像放在一個真實的迷你平台上，而且隨著使用 者，還要讓這個虛擬茶杯固定在那個位置。AR 系統採用某些和虛 擬實境（virtual reality, VR）一樣的硬體技術，但其中有一項根本的 差異：VR 企圖取代真實的世界，而 AR 卻是在實境上擴增資訊。

根據定義，AR 系統中的透視顯示器必須能呈現虛擬與真實資 訊的結合。雖然這類顯示器可能是手持式或固定式，但最常見的還 是戴在頭上。把顯示器放在眼睛前面，原本很小的螢幕可以製造出 大影像的效果，這種顯示器通常稱為「頭戴式顯示器」（head-mounted display, HMD）。

這種裝置可分為兩大類：光學式透視以及視訊式透視。製造光 學透視顯示器的一種簡單方法，就是利用分光鏡（beam splitter，一 種半鍍銀的鏡子，既能反射光也能讓光穿透）。把分光鏡擺在使用 者眼前的正確方位，就能使電腦顯示器的影像反射進入使用者的視 線，又仍然能讓周遭環境的光線穿透進來。這類分光鏡也稱為「合 併器」，早就應用在戰鬥噴射機飛行員的抬頭顯示器上（它會把儀 表數據投影到擋風玻璃上，近來也有些豪華汽車開始使用這種裝 置）。在分光鏡和電腦顯示器之間放幾個透鏡，即可調整影像的焦 點，使它看起來像是隔著某個舒適的觀察距離。如果左右眼各有一 組顯示器與透鏡，就可以產生立體的視覺效果。

視訊式透視顯示器則恰恰相反，它使用原本為電視特效而開發 的視訊混合技術，把頭戴式攝影機傳來的影像與合成的圖像結合。

合併後的影像通常會呈現在一個不透明的頭戴顯示器上。透過精細 的設計使攝影機定位，讓它的光徑非常接近使用者眼睛的視線，因 此能模擬使用者通常會看到的影像。就像光學式顯示器一樣，只要 左右眼各有一套系統，即可提供立體視覺。

視訊式透視顯示器使影像結合的其中一種方法，就是使合成的 圖像與某個預留的背景相抵消，把攝影機傳來的像素一個接一個與 合成圖像的對應像素進行比對。當來自電腦合成圖像的某個像素為 背景顏色時，顯示器就出現攝影機影像的像素，反之則出現合成圖 像的像素，此時圖像會遮住後面的真實物件。或者，各個像素所儲 存的資訊也可以利用各自不同的頻道，指示應該由虛擬資訊決定的 像素比例，而這種技巧也可以用來顯示半透明的圖像。同時，如果 系統可以判斷真實物件與觀察者的距離，則電腦繪圖的演算也能產 生出真實物件遮住遠處虛擬物件的幻覺。

這兩種透視顯示器的設計各有優缺點。光學式透視顯示器系統 的使用者，可以看見絕對清晰的全視域真實世界；但現有光學式透 視系統中的覆蓋圖像仍然是透明的，因此不能完全遮住後面的實 物，於是在某些背景之下，疊在上面的文字看起來會很吃力，而且 這種三維圖像可能無法製造出足以亂真的幻覺。此外，使用者看實 體物件時，眼睛視物件的距離而聚焦其上，但看虛擬物件時則完全 聚焦在顯示器平面上。這就表示，原本打算讓某個虛擬物件與某個 真實物件在同一個位置，這種投射方式也許就幾何學來說是正確 的，但使用者可能無法同時聚焦在這兩個物件上。

在視訊式透視系統中，虛擬物件可以完全遮住實體物件，而且 可以用各式各樣的繪圖效果來和實體物件結合。眼睛對虛擬和實體 物件的聚焦方式也沒有差異，因為使用者觀看時，兩者在同一平面 上。然而，現有視訊技術仍有其限制，它所呈現的真實世界的視覺 品質還相當差，甚至會降到合成圖像的水準，只為了讓虛擬和實體 的所有視覺焦點都在相同距離上。目前，攝影機和顯示器的品質仍 然比不上人類的眼睛。

二、擴增實境的應用技術

擴增實境應用技術有多種主題，分別為：圖形產生系統，追蹤 技術，互動技術，顯示硬體技術，行動裝置應用，技術輔助領域應 用等等。而其中有三個主要研究的核心技術主題，是在最近擴增實 境的研究中較為廣泛探討，分別是下列三個主題：Tracking(追蹤)，

Interaction (互動)，Display(顯示)。

(一) 追蹤技術(Tracking Techniques)

擴增實境中的追蹤技術是指一個觀看者在若是改變他觀 看所在的位置，則在圖形或是顯像中可以反映出他改變中位置 的內容。目前在 AR 的應用中，追蹤技術在研究上尤其熱門，

在應用上尤其結合追蹤技術於智慧型手機中的應用程式為最 多，因為智慧型手機結合了全球定位系統的優點以及高移動性 的特性，使得追蹤技術相當適合應用在手機上。而在追蹤技術 中，分別有下列三種開發技術：

1. 感測器追蹤(Sensor-Based Tracking Techniques)

感測器追蹤技術其原理就是基於如磁場感應器，聲音感 應器，超音波等感測器，來做為 AR 裝置追蹤的定點。感測 器追蹤技術有優點也有其缺點，完全是依照感測器的類型或 測量的物理特性有關；例如磁場感應器有很高的更新率，但 是磁感器很容易被鄰近的磁場所干擾，準確性就會下降。近 年來的研究大多在室外定位上發展，或是組合不同類型的感 測器（SENSOR FUSION），增加系統的強健度與準確性，也 有透過整合出感應器的網路來增加準確度。

2. 視覺化追蹤(Vision-Based Tracking Techniques)

視覺化追蹤技術就是利用攝影機或是相機鏡頭，利用影 像處理技術去計算鏡頭到真實世界物件的相對距離。比起感 測器追蹤，視覺化追蹤的誤差較為小且精準，而視覺化追蹤 也是現在擴增實境應用裡主要的技術。而在這部份的研究 裡，大多數都是在探討電腦視覺的方法；在追蹤技術中的電 腦視覺化裡，可以分成兩種：feature-based 以及 model-based。

3. 混合追蹤(Hybrid Tracking Techniques)

在某些研究或應用中，視覺化技術沒有辦法提供一個強 健的追蹤解決方案時，混合追蹤技術就誕生了。混和追蹤技 術其實就是結合了視覺化與感測器，為了就是增加追蹤的準 確度與最小化的誤差，例如結合 GPS 與電腦視覺處理的 AR 追蹤系統。

(二) 互動技術(Interaction Techniques)

互動技術就是指使用者如何與虛擬的內容來溝通或互

(三) 顯示技術(Display Techniques)

前面提及擴增實境顯示技術中最常見為頭戴式的顯示技 術，但因時空及背景的不同漸漸發展出多元的顯示技術。

Bimber 與 Raskar(2005) 將擴增實境應用技術分為頭戴式

空間型(Spatial)顯示技術，整理如下表：表 1 擴增實境顯示 技術分類表

頭戴式顯示型：影像透視型、光學透視型 頭戴式投射型

頭戴式顯示技術

視網膜式顯式型 影視透視式顯示型 手持式顯示技術

光學透視式顯示型 螢幕影視透視顯示型 空間光學透視顯示型 空間型顯示技術

空間投影式顯示型

1. 頭戴式(Head-Attached)顯示技術

頭戴式顯示器是 AR 系統中最常見的，它的透視顯示器 能呈現虛擬與真實資訊的結合。此種裝置又可分為二大類：

(1) 光學式透視：

如以往常見戰鬥機飛行員的抬頭顯示器，將虛擬疊像 在實際事物之上。(2) 視訊式透視：

虛擬影像與實際事物結合於顯示器上。

圖 2 頭戴式顯示技術，圖片來源：

http://sa.ylib.com/read/readshow.asp?FDocNo=67&CL=4

2. 手持式(Hand-Attached)顯示技術

手持式的顯示方式現今發展越來越多元，且越來越方 便，從以前笨重的裝置演變成隨身可攜帶式的產品，智慧型 手機的運用便是一例。

圖 3 手持式顯示技術，圖片來源：

http://mmdays.com/2009/09/25/augmented-reality-for-dummies/

3. 空間型(Spatial)顯示技術

空間型顯示技術與前述二種顯示方式的不同之處在於使 用者與顯示系統是分開的個體，利用投影機將虛擬影像投射 至空間中，這種顯示方式可多人同時觀看使用，而非個人化 的專屬工具，因此可以形成合作性的工作團隊。

2009 年美國 MIT Media Lab（麻省理工學院媒體實驗室）

的學生 Parnav Mistry，發明了一項結合實體世界和虛擬世界 的科技─第六感裝置(The thrilling potential of SixthSense technology)，不必使用獨立的顯示器，而是將顯示的資訊和 使用者的感官結合，可攜式的數位裝置可以將任和平面當作 顯示空間，創造出嶄新的空間型顯示技術。

圖 4 空間式顯示技術，資料來源：Parnav Mistry，2009 三、擴增實境之應用實例

(一) 應用於醫學上

擴增實境運用於醫學上時，可透過擴增實境將組織模型投 射疊加至使用者觀看的人體上，可協助使用者能更為精準的判 斷人體內部構造之方位，例如在手術房裡應用擴增實境來為手 術過程提供人體內部構造的虛擬影像顯示，圖 5 便是將乳房的 肌肉與切片時應導入的切口以擴增實境的方式投影至病患身

擴增實境運用於醫學上時，可透過擴增實境將組織模型投 射疊加至使用者觀看的人體上，可協助使用者能更為精準的判 斷人體內部構造之方位，例如在手術房裡應用擴增實境來為手 術過程提供人體內部構造的虛擬影像顯示，圖 5 便是將乳房的 肌肉與切片時應導入的切口以擴增實境的方式投影至病患身