M ICROSOFT K INECT 系統一般及在教育領域上的應用探討

在 Xbox 官網(2011)上就描繪了 Kinect 在醫學、教育、工業、國防、藝術等 各領域未來的發展與應用。愛輪米(2011)在其網路文章中介紹了用 Kinect 執行 由日本程式開發者所發展出來的 Kinect 擴增實境遊戲，分別使用 StagePresence 將自己融入桌面環境中，用 So Touch Air Presenter Plus 類似電影「關鍵報告」

隔空做簡報，完全利用手勢來控制圖片、文件下一張、上一張，縮放等動作。相 對於圖形使用者介面(GUI；Graphical User Interface)這種新奇有趣的自然使 用者介面(NUI; Nature User Interface)，使得 Kinect 的應用成為全世界電腦 科技的新焦點。這兩年來 Microsoft Kinect 在各領域已出現不少相關應用，所 以本節將蒐集整理國內外應用 Kinect 的相關文獻，並探討在教育領域上的應用。

一、Microsoft Kinect 系統在工商、醫療等領域的應用：

(一) 互動式投影廣告：

趙國松（2012） 利用 Kinect 形成真實與虛擬互相結合之互動式投影廣告，

如圖 15，以瞭解運用互動式廣告是否可以增加消費者對廣告商品的認知或提高 購買意願等。尤易彥、何俊達等人（2012） 以 Kinect 體感方式設計互動式公益 廣告， 依據觀看者的肢體動作來與燈箱廣告產生互動， 創造出一個以觀看者肢 體為核心概念之互動式燈箱廣告系統。

圖 15 互動式投影廣告架構圖 (二)機電控制：

Sanna、Lamberti、Paravati 等人（2013） 利用 Kinect 擷取人體手勢達到 控制微型四軸飛行器的目的，如圖 16；也有研究者直接將 Kinect 固定在飛行器 上利用深度影像，在不規則的空間中自主飛行旋轉，如圖 17，並回傳該空間貼 好 RGB 圖片的 3D 影像（Bachrach 等人，2011）。黃祐翔（2011）利用 Kinect 對 地面及地上的物體進行偵測，使用偵測到的數據建立地面的模型，並以此數據對 自走車進行引導。

圖 16 用手勢控制飛行器的飛行 圖 17 利用 Kinect 在室內不碰撞飛行 (三) 醫療/輔具：

Xia 與 Siochi（2012） 利用 Kinect 深度影像建構即時監測呼吸系統，如圖 18，其結果與儀器量測數據呈高度相關，顯示此系統是有效的。Filipe 等人（2012）

利用 Kinect 深度影像建構一個即時導盲系統，在前有障礙、無障礙、上樓梯、

下樓梯的偵測上，正確率皆逹 98%以上；蘇仕瑋（2013） 更結合智慧型手機利用 藍牙耳機裝置，製作一個盲人導航輔具系統，如圖 19，為了減少盲人使用觸控 螢幕的不便，採用藍牙耳機的多媒體按鍵進行各項控制，讓盲人提早做出轉向或 折返的準備。Clark、Pua、Bryant 等人（2013） 運用 Kinect 偵測行走側彎的情 況，如圖 20，並立即給予糾正姿態的回饋，之前的矯正裝置有價格高、設備不 易搬動的缺點，因此克服。Tomari、Kobayashi 等人（2012） 使用 Kinect、雷 射測距儀製成智慧型輪椅，如圖 21，輔助嚴重行動不便者在狹小的空間移動不 致於產生碰撞。

圖 18 用 Kinect 即時監測呼吸系統 圖 19 盲人導航輔具系統

圖 20 行走側彎偵測器 圖 21 智慧型輪椅

(四) 虛擬/擴增實境：

Vera、Gimeno、Coma 等人（2011） 設計一個多重輸入的擴增實境系統，如 圖 22 使用 Kinect 捕捉演員動作控制一個虛擬人物並演算臉部情緒，並使用手機 陀螺儀來檢測頭部運動，用 WiiRemote 輸入資料，呈現在畫面中。

圖 22 多重輸入的擴增實境系統實例

依據 Net(2011)的報導，俄國公司展示利用 Kinect 做成的虛擬試衣室，如圖 23，購物者不用穿脫衣服、飾品，站在螢幕前就能即時看到自己穿戴該服飾的形 象，不滿意或是想更換，揮揮手或是移動手掌到更換鈕就會幫購物者換一套。

圖 23 Kinect 做成的虛擬試衣室

二、Microsoft Kinect 系統在教育上的應用：

(一）教學設備應用：

Ronchetti 與 Avancini（2011）使用 Kinect 設計並完成一套模擬電子白板 (IWD，Interactive Whiteboard)系統，是由程式取得人體骨架，以體感操作的 方式取代傳統上較為高價的電子白板（Hsu，2011），如圖 24，完成後調查顯示 在大部份的使用功能上尚能被認同。Boulos 等人（2011）使用 Kinect 以手臂的 動 作 去 操 控 Google Earth 等 地 理 資 訊 系 統 (GIS ， Geographic Information System) ，如圖 25，可運用在教學活動中。

圖 24 使用 Kinect 手勢控制電子白板（Alberts，2012）

圖 25 以手勢操控 Google Earth 地理資訊系統

(二）一般課程教學應用：

Lee、Liu 等人（2012）發展一套命名為 Xdigit 以 Kinect 手勢辨識，體感操 作的數學四則運算系統，如圖 26，以競爭、趣味的方式進行數學教學活動。

圖 26 Xdigit 手勢操作數學學習軟體

南非網路學校與微軟公司合作在 KwaZuluNatal 之湖濱小學用 Xbox Kinect 進行英文遊戲教學，發現學童讀寫能力更好（Larry Johnson、Samantha Adams 與 M Cummins，2012）。

(三)體育或舞蹈動作的矯正與評判：

郭癸賓、黃世育等人（2013） 開發一套高爾夫揮桿教學輔助系統，如圖 27，

將 Wii Fit 平衡板與 Xbox360 的 Kinect 視訊系統相互結合，將此二種設備結合 應用，讓新的系統可以具備動作分析與重心移動軌跡的回饋功能。Wen-Chun、

Yung-Cheng 等人（2012）用 Kinect 偵測武術動作，動作完畢後給予分數回饋的 學習系統，如圖 28；也有使用在偵測太極八法（余韋任，2012），並給予立即 給分。 Alexiadis 等人（2011） 使用 Kinect 擷取舞蹈動作並給予即時評分，不 同於傳統使用者同步追隨已預錄好的畫面，其舞蹈動作可重新設定、修改。

圖 27 高爾夫揮桿教學輔助系統 圖 28 武術學習輔助系統

(四)音樂美術：

王曉璿、鄭博旗、林志宏等人（2012） 以 Flash 為開發工具並結合 Kinect 體感動作，設計「Kinect 體感色彩遊樂園」系統，可用手在空中寫字繪圖，利用 手部離身體的遠近製造出筆畫粗細，猶如在空中寫書法，如圖 29 所示，增加了 書法或繪畫課程的互動與趣味。Yoo、Beak 等人（2011）用音源器產生定義好的 MIDI 樂音，利用 Kinect 骨架資料來控制音樂的表現，使用者只要移動肢體，就 可做即興的演奏。

圖 29 Kinect 體感色彩遊樂園 (五)遠距操作與教學：

可透過 Kinect 將影像與聲音經由網際網路與智慧手機或平板電腦等行動裝 置進行即時、不受空間與時間限制的互動學習與溝通（DePriest、Barilovits，

2011）。更可透過虛擬人偶的技術，由 Kinect 追蹤線上人物的臉部表情與肢體 動作直接反應在虛擬人偶上，如圖 30，讓參與的人除了從言語外，更能呈現個 人在虛擬會議中的表現或直接感受會談氣氛（Zhang，2012）。

圖 30 Xbox LIVE 虛擬人偶聊天室

三、小結：

Kinect 在各領域上的應用不勝枚舉，綜合在教育方面的探討，大多應用以體 感操作為主，結合了身體活動與知識或技能的學習。在課程中將 Kinect 融入電 子白板以遊戲的方式進行教學活動；在音樂或藝術繪畫教學可進行音樂節奏練習 以及美術繪圖摸擬；藉由物件辨識在螢幕上將虛擬物件呈現在虛擬或真實影像中 進行虛擬或擴增實境的互動，實現虛實互現的學習模式；在體育舞蹈課程可以擷 取學童動作進行分析評判，給予即時的糾正、指導與評分的回饋；或者利用結合 Kinect 的各種益智、運動、遊戲套裝軟體進行教學活動。這種借助肢體動作、聲 音語言等手段進行的自然使用者操作介面(NUI)，充分刺激各個感官學習的功 能，讓學習者如同身臨其境，比空洞抽象的說教更具說服力（黃騰，2012）。這 場因 Kinect 在教育上造成的風潮已如火如荼展開，不久的將來，即使是一般的 課程學生在教室就像在遊樂場一樣舉手投足，跑跳搖擺也不足為奇。

在此 Kinect 風潮下，思考國小健身操問題，亦可利用 Kinect 擷取健身操動 作經電腦分析對學童表現的準確性給予即時回饋，研究者決定發展一套使用 Kinect 輔助國小 4~6 年級新式健身操的學習系統，並進行相關的研究。