本年度預計選定故宮南院作為實驗場，因此接續去年發展的擴增實境 (Augmented Reality, AR)加上藍芽做擴增導引的應用，將擴增實境應用在故宮南 院中，除了導航的擴增實境以外，本年度著重研究物體的擴增實境，目標物體分 別為立體或是平面的擴增實境，以及研究需要擴增出來的內容，如何擴增、擴增 什麼，例如擴增出文字、照片、音樂、影片、動畫、模型等，在要擴增的物體上 展示出來。因此我們預計以 Unity 為開發平台，開發一個可以安裝在不同作業系 統和行動裝置的 App，當開啟這個 App 時，點選擴增實境的按鈕，就會開啟攝 影機開始擴增實境的功能，當攝影機照到展覽品如青花瓷時，這個 App 就會產 生一段說明文字、活動照片、甚至是可以和使用者互動的一些小遊戲、動畫，如 圖2.27 所示，讓使用者更加了解青花瓷的美和它做工的精緻度與困難度。此 App 還可運用於故宮南院展覽的宣傳單或是地圖上，宣傳單會因經費和版面不足的 因素導致資料有限，但若使用這個 App，遊客即可更加瞭解本次故宮南院的展覽 資料，例如更多的展覽品照片、甚至是展覽品3D 模型等。當遊客進入故宮南院 時，可能僅僅透過地圖的資料無法得知目前的位置，此時如果透過這個 App 照 到地圖上時，App 會利用室內藍芽定位的技術得到使用者位置，便可在地圖上顯 示使用者的目前位置在地圖上。當遊客參訪完故宮南院時，或許會購買一些紀念 品帶回去送給親朋好友，這時親朋好友想要了解這些紀念品，也不必到 Google 上搜尋這些紀念品資料，只需使用這個 App 的擴增實境功能，就可以獲得在故 宮南院參觀時的相同資訊，進而減少因為對於這個紀念品不了解，而不斷上網搜 尋、詢問他人的時間，並且如果喜歡這個紀念品，也可直接根據擴增實境時產生 出來紀念品的名稱進行網路查詢，獲得更多關於此紀念品的內容、或如何購買其 他相同類型產品的資訊。
圖2.27 展覽品擴增實境示意圖
本次擴增實境的應用需利用影像辨識的技術，應用 Shift 演算法計算物體的 特徵值，若物體是3D 立體的型態，則需先使用光達掃描，或是利用攝影測量的
技術建立模型，再進行物體各面的影像特徵值擷取，並做成一個特徵值的資料 庫，當開啟攝影機使用擴增實境時，便可和目標物體進行特徵值比對，進而得到 物體是否相同；但由於館方的文物並不能任意取出供本團隊拍攝3D 物件，因此 本團隊執行特徵值擷取的方式是採用平面不同角度拍攝的方式實作，也就是依 照遊客能夠拍攝文物的各個角度擷取特徵值，因此不需將文物拿出即可達成文 物辨識的功能。另外，由於在進行擴增實境時可能會需要進行大量的物體比對，
或是遇到辨識錯誤的情況，因此會結合上個年度室內定位(Beacon 藍芽定位)的 技術，獲得使用者在博物館中的位置，以及透過各種感測器，如陀螺儀、加速度 計、磁力計等，計算使用者朝向的方位，減少要從資料庫比對的不同物體，降低 計算量，增加辨識的速度，讓使用者迅速獲得擴增實境的資料。此外，本團隊也 將納入行人航位推算技術(Pedestrian Dead Reckoning, PDR)，與 Beacon 作結合以 提升室內定位之精度，以下為PDR 之公式：
𝑁𝑘+1 = 𝑁𝑘 + 𝑆𝐿𝑘 × cos 𝑎𝑘 (13) 𝐸𝑘+1 = 𝐸𝑘 + 𝑆𝐿𝑘 × sin 𝑎𝑘 (14) 其中，𝑁𝑘、𝐸𝑘代表行人前一步的位置，若無前一步的位置則由前述Beacon 的室內定位位置作為初始位置來計算；𝑁𝑘+1、𝐸𝑘+1代表欲推求出的行人下一步的 位置；𝑎𝑘為方位角，可由行人手持手機之磁力計及陀螺儀來獲得；𝑆𝐿𝑘為步長(Step Length)，可由行人手持手機之加速度計，搭配 Step Detection 及後述公式來獲得：
圖2.28 隨時間變化之加速度計值之折線圖
以上圖2.28 來做 Step Detection，每當加速度值有一個波峰時，也就是圖中 綠圈的部份時，即可視為行人行走了一步，因此我們可取固定時間內之步數，計 算步伐頻率(Step Frequency, SF)，代入以下公式：
𝑆𝐿 = [0.7 + 0.371(𝐻 − 1.75) + 0.227 ×(𝑆𝐹−1.79)𝐻
1.75 ] × 𝑐 (15)
其中，𝑆𝐹即為方才所計算出的步伐頻率；𝑆𝐿為欲代回 PDR 公式之步長；𝐻 即為行人身高，預設為1.7m；𝑐為訓練之行人參數，預設為 1。如此即可使用 PDR 公式計算出手持手機之行人的室內步行坐標位置，與 Beacon 搭配形成整合式室 內定位系統(如圖 2.29)。
圖2.29 Beacon 搭配 PDR 技術室內定位概念圖
另外，為了使 App 能夠達到跨平臺、在不同的作業系統運行的目的，必須 將原本在 Android 執行的程式移植到 Unity 這個編輯軟體上，因為 Unity 提供產 生在不同平臺運作的App 功能，其可以提供在 iOS、Android、Windows 等運作 的 App。本團隊目前研究出如何實作擴增實境，但仍在測試階段，目前是使用 Unity 結合線上軟體 Vuforia 來實作我們的擴增產品，以下為實作步驟：
1. 模型掃描：使用 Vuforia Object Scanner App 掃描欲擴增的目標 3D 展覽品，
用於Object Recognition 的影像辨識。
2. 模型檔案之轉換：使用 Vuforia Model Target Generator 將已有的 3D 模型轉 換成Vufoira dataset，匯入至 Unity，用於 Model Target 模型辨識。
3. 控制擴增模型與其他功能：使用 Unity 進行簡單的模型的建置，而模型亦 可用obj 檔從外部匯入進來。除此之外還有其他擴增功能，例如音樂、圖 像切換、影片、模型、特效等等。
4. Object Recognition：先使用 Vuforia Object Scanner App 掃描目標模型，模型 不可以是透明的，否則將容易變形，並且大部分都必須固定不動，如玩具車、
音響等等，掃描完後匯入至Unity 即可進行後續的擴增控制，如圖 2.30，將 灰色的車子擴增成紅色。
圖2.30 擴增實境示意圖 宮南院合作，接續去年發展的擴增實境(Augmented Reality, AR)加上藍芽做擴增 導引的應用。