AR-SRT 裝置設計

3.2.2.1 將 SRT 轉換成 AR

選定個案需求並歸納出設計建議，並確定最佳構想後，著手進行訓練內容設計。首先，需要建立 問句，與家人討論過後，決定使用「阿公，吃藥了。」做為間時提取訓練的問句。個案在聽到問句之 後，就必須立即做出目標反應。從間時提取訓練的訓練內容到擴增實境的互動形式，目標反應的呈現 方式發生了明顯的改變。但是，它們的中心概念是相同的，並且有著緊密的關聯性。研究人員解構擴 增實境的要素，並分析了間時提取訓練的目標反應，再將這兩者結合在一起。首先，解構了擴增實境 的成分，可以將其分成三個規則。這些規則能構成我們需要的擴增實境互動模型，最終可以將訓練內 容轉換成擴增實境的呈現，如表六所示。

表六、擴增實境的三要素

要素 意義 內容

實體 使用者能夠實際碰觸到的實

體標記。

使用個案實際生活的物品或人作為 標記上的圖像。

虛擬 實體標記在螢幕上呈現的虛

擬物件。 包含 3D 模型、圖像、影片與聲音。

互動

使用者操作實體物件，使得螢 幕上的虛擬物件有變化或影 響。

所有實體物件擺在特定的位置會觸 發影片。

接著，我們分析了目標反應的組成，如表七所示。本研究的個案需求為學會執行固定的吃藥步驟。

這個類別的訓練內容皆為執行特定順序步驟的動作。在確立步驟之後，進行訓練內容素材的建構。由 3.1.2 小節可以得知，高齡者們傾向有形的物體操作的形式，而且這種操作形式對於他們來說是直覺的，

因此本系統選用有型標記的虛擬實境作為呈現方式，每個標記以實體卡牌方式呈現，讓使用者能夠透 過自行操作有形標記去觸發擴增實境的互動內容。與治療師和家屬討論後，虛擬物件的部分決定使用 個案真實吃藥時的行為照片作為呈現，搭配孫子親自錄製的語音作為解說語音。每個實體卡牌上都印 有圖片與步驟的簡單說明文字。由於每個步驟是整個行為流程的片段，因此使用影片呈現每個步驟的 內容作為動態呈現。最後，互動的部分以影片的方式呈現整個行為流程。

表七、目標反應與擴增實境呈現的關係

擴增實境要素 呈現方式 組成

實體 實體卡牌 圖片、文字

虛擬 3D 物件 圖片、聲音、影片

互動 3D 物件 影片

使用者需要透過操作許多個實體物件，讓攝影機偵測到實體物件上的圖像辨識點，此時螢幕上會 出現已被安排的虛擬物件。當被規定好特定順序的實體物件按照正確順序被攝影機偵測到時，此時最 終的互動要素就會被呈現。若在排序的過程中沒有按照特定順序，此時最後的互動要素就不會被呈現。

這三個擴增實境法則之間的關係如圖十二所示。

圖十二、擴增實境要素之間的關係

22

3.2.2.2 AR-SRT 內容設計

圖十三、AR-SRT 軟硬整合架構圖

開發軟體使用 Unity 與 Vuforia。Unity3D 為製作動畫遊戲和視覺影像的電腦軟體，他的一大優勢 也是可以與許多額外套件結合應用，因此現在 Unity3D 廣泛被運用於遊戲和多媒體產業。許多的互動 效果都可以藉由其支援的程式語法 C sharp 來達成，近年來由於大量 SDK 的開發和支援，Unity3D 也 被用來製做虛擬實境和擴增實境技術。本研究使用 Unity 版本 2019.3.10f1 personal 進行系統開發。

Vuforia 為一個提供 iOS / Android 行動裝置的 SDK 軟體開發套件。Unity 2017.2 以後的版本已整合了 Vuforia Engine，在 Editor 介面選單中提供 Vuforia 相關功能，使得開發擴增實境 更為容易。本研究 使用 Vuforia 版本 8.6.7 在 Unity 中進行擴增實境場景的開發。

(1) AR 標記的設計：

AR-ART 的 AR 標記圖案除了使用能產生多個特徵點的設計之外，使用了真實行為照片加上文字 敘述去賦予卡牌意義，使個案不需花費認知努力也能辨認出卡牌代表什麼步驟。五個吃藥行為步驟圖 片與文字如表八所示。

表八、AR 標記的圖面設計

AR 標記 目標圖像

步驟一 走到客廳桌子

步驟二 拿出今天的藥

步驟三 走到廚房

步驟四 倒一杯水

步驟五 吃藥

背景標記

考慮到擴增實境辨識的準確率，因此 AR 標記的設計上需要具備能被系統辨別的特徵點。圖片皆 由 Procreate 進行繪製與合成。將圖片上傳至 Vuforia 網站的 Target Manager，會自動標示出特徵點（見

24

圖十四的黃色特徵點標示），隨後給予星星評價。星星評價為 1 到 5 顆星，分數越高表示辨識度越好。

確保所有 AR 標記都被給予五星評價，確定了最終的目標圖像，即可下載 Vuforia 的線上資料庫成 unitypackage 匯入 Unity 裡使用。

圖十四、AR 標記的特徵點 (2) AR 場景建置：

根據 3.2.2.1 建構的規則建置了 AR 場景。共有六個目標圖像，分別是走到客廳桌子、拿出今天的 藥、走到廚房、裝一杯水、吃藥、場景。每個目標圖像分別指派對應的圖片與語音。

圖十五、Unity 介面

當攝影機拍攝到實體物件的 AR 標記時，螢幕上會出現已指派的圖片與語音，如圖十六所示。語 音使用 GarageBand 錄製，個案的孫女使用閩南語作為語音內容。語音撥放完畢後，會在背景撥放對應 的行為影片(見表九)。

圖十六、攝影機下的 AR 標記與虛擬物件在螢幕上的呈現（上圖：步驟標記；下圖：背景標記）

表九、目標圖像與照片、語音對應表

目標圖像 照片 語音

「走到客廳桌子」

「拿出今天的藥」

「走到廚房」

「倒一杯開水」

「吃藥」

無

26

由於步驟有先後順序，需判斷 AR 標記的擺放位置。步驟一至步驟五必須由左至右擺放在場景的 格子裡。在 Unity 內撰寫了腳本控制每個目標圖像之間的關係，當攝影機拍攝到 AR 標記時，藉由它在 鏡頭畫面中的 x 軸座標的大小來判定位置。若個案擺放順序錯誤，則會立即給予提示。系統會撥放提 示語音，提醒個案需要先放哪個步驟的 AR 標記。提示語音為個案孫子使用 GrageBand 錄製。當所有 步驟標記的順序都被正確放在背景的格子裡，此時背景會撥放整個吃藥行為的流程影片並給予正向的 鼓勵（見圖十七）。

建構完擴增實境與間時提取訓練目標反應的關係之後，進行了構想發展與原型的製作，並拿給專 家操作以獲得建議。研究人員向專家展示了 AR-SRT 的原型，並請專家實際操作。卡牌的設計對高齡者 來說是熟悉的，因為他們過去的經驗裡就曾經玩過麻將或是撲克牌，再者，現代高齡者普遍有使用智 慧型手機的經驗，因此對於虛擬物件的呈現基本上不會感到排斥。

圖十七、系統畫面

(3)AR-SRT 訓練流程

使用 Visual Studio 撰寫了間時提取訓練的規則，以便研究人員在實施訓練時能進行數據的收集。

間時提取訓練的流程圖如圖十八所示。本研究使用的時間間隔為 30 秒、1 分鐘、2 分鐘、4 分鐘、8 分 鐘、16 分鐘，共六個時間間隔。訓練開始時，撥放問題語音，此時個案必須開始執行目標反應。個案 執行的正確與否會影響時間間隔的長短。當個案在最後一個時間間隔結束後給出正確的目標反應，或 是連續三次錯誤，訓練才會結束。訓練結束後會生成一份表單，以利後續實驗結果數據分析。

圖十八、間時提取訓練流程圖 (4)硬體配置

本節介紹了 AR-SRT 使用的所有硬體，包含一台筆電、一個攝影機、一個桌上型迷你腳架、AR 標 記。筆電搭載作業系統 win10，用來執行 AR-SRT 的系統。使用 logitech C525 portable HD webcam 做為 擴增實境的攝影機。使用小米自拍棒做為桌上型迷你腳架以利調整攝影機的角度與高度。

28

圖十九、網路攝影機與桌上迷你腳架

為了能夠方便攜帶以及收納，設計了一個木盒子。將背景標記結合到木盒的外側，使盒子展開便 能合成一個完整的背景標記圖像。為了避免在移動 AR 標記時遮蔽到上面的辨識點，因此加上了手能 握持的棒子，如所示。木盒的裡面與步驟標記的背面都被加上了磁鐵，以便在擺放時能夠固定位置，

並增加擺放時的回饋。AR 標記不使用時能夠被收納進盒子內側。裝置設計圖與實作如圖二十、圖二十 一所示。

圖二十、AR-SRT 裝置設計草圖

圖二十一、AR 標記擺放方式與收納方式

在整合軟體與硬體之後，AR-SRT 即完成。將攝影機架在桌上型迷你腳架，調整到適當的角度與 高度後置於桌上的適當位置，攝影機透過 USB 與筆記型電腦連接。使用者可以透過攝影機對準 AR 標記 進行辨識，並將 AR 標記放在木盒上上進行訓練。裝置架設完成時，背景標記是永遠都被偵測的。當使 用者聽到問題時，須拿起步驟標記移動到攝影機能偵測到的範圍，此時螢幕會顯示擴增實境虛擬物件，

若第一個被偵測的步驟標記正確，除了會出現對應的圖片與語音之外，還會在背景標記對應的虛擬物 件上撥放該步驟的執行影片。若偵測到錯誤的步驟標記順序，則會重複撥放提示語音，提醒使用者應 該先擺放哪個步驟標記。當使用者將所有步驟標記依照正確順序擺放在背景標記上面時，此時畫面上 會撥放所有步驟影片結合而成的整個行為流程的影片，並給予鼓勵回饋。接著，等待下一個時間間隔，

直到問題再次被撥放。AR-SRT 操作流程圖如圖二十二所示。

30

圖二十二、AR-SRT 操作流程圖