Using natural interactive for the teaching tools assisted classroom projector of development and evaluation - with presentation software as an example

運用自然互動輔助課堂投影教學工具之開發與評

估

-以簡報軟體為例

Using natural interactive for the teaching tools

assisted classroom projector of development and

evaluation - with presentation software as an

example

曾彥喬 台南大學 數位學習科技系 entervinci@gmail.com 張智凱 台南大學 數位學習科技系 chihkai@mail.nutn.edu.tw 摘要―本研究探討使用身體的肢體語言與虛擬物件互動 的 操 作 經 驗 與 教 學 使 用 上 經 驗 的 調 查 ， 透 過 學 者 Alessandro Valli 定義的自然互動概念，根據易視性與配對 原則，結合 Web-Cam、投影設備與手勢實作出「簡易手 勢虛擬鍵盤」，主要用途是做為講者上台簡報時的翻頁工 具，透過簡單的揮手動作使簡報系統進行翻頁的動作，也 能豐富講者在台上的肢體語言。本系統平均 66%以上的使 用者對本系統的操作靈活度感覺尚可，相對於無線簡報器 的靈活性，是系統未來要改進的一點，但使用者介面滿意 度平均 4 分，意指是本系統屬於易學性和易記性，未來期 望針對系統功能的不穩定性和介面的功能性來改進，另外 發現 7 成以上同學願意在課堂上使用類似的產品，來改變 之前的簡報習慣。 關鍵詞―人機互動、手勢影像移動偵測、自然互動

Abstract―This study investigated the use of physical body

language to interact with virtual objects operational experience and teaching experience in the use of surveys, this study use Dr. Alessandro Valli delimit the concept of natural interaction, according to the principle of easy depending on sex and matching, combined with Web-Cam,

projection equipment and gestures indeed make a "simple gestures virtual keyboard", the main use is as a speaker came to power when the page-turning presentation tools, through a simple presentation of the wave action so that turning the pages of the system moves, but also enrich the speaker's body language on stage. The system average of 66% or more of the users of the system's operational flexibility feel they are acceptable, compared to the flexibility of wireless presentation device, a system to improve the future of a point, but the system interface satisfaction with an average of 4 minutes, which means are easy to learn and ease of memory and hope for the future, means of this system belongs to learn and ease of memory and hope for the future, instability of the system's functionality and interface functionality to improve, another found that more than seven as in the classroom students are willing to use a similar product, to change before the presentation habits..

Keywords―human computer interaction, natural interaction,

一、 背景研究

工研院南分院舉辦了 2009 年人機互動科技 國際研討會替國內打開新互動介面整合探討的 第一炮，邀請多位國內外走在前端的先進，分 享了新一代人機互動所追求的「以人為本，電 腦為輔」的概念，意指互動模式的開發能以人 的行為做為範本，再來考慮功能面的部份。 互動設計學者 Jennifer Preece 認為以使用者 為 中 心 來 考 量 ， 而 非 技 術 性 為 導 向 (Preece, Rogers et al. 2001)，David Liddle 認為互動設計 分為三種階段，第一階段是狂熱者(Enthusiast)、 第二階段是專業考量(Professional,亦指有特殊 用途的需求)、第三階段是消費端(Consumer)， 在現今發達的資訊技術下，使用端已轉至消費 者端(Moggridge 2007)，不再以高規格功能取向 來設計科技產品，此另外也意指把某些功能都 隱藏在某一按鈕中，讓使用者節省掉某一些操 作流程。 遊 戲 的 互 動 科 技 應 用 上 發 展 最 為 蓬 勃 ， Richard Marks 研發出 PS2 的 EyeToy，利用 USB 攝影機擷取玩家的動態影像，傳輸到 PS2 主機 上，當玩家觸碰到特定的虛擬物件，就能控制 角色左右移動、接球、拳打等動作，另外一款 遊戲機 XBOX 系列，將推出 Project Natal 讓使 用者只需站在遊戲機前面，遊戲玩者的手腳肢 體動作會被複製到虛擬人物的肢體上，將玩家 轉換成虛擬角色，以回應 AI 所丟出的敵對虛擬 物件，玩家更融入了遊戲情境中，帶來無窮的 樂趣。 教育的互動科技應用上，奧地利電子未來實 驗室發展概念式電子書─Libro Vision 的應用 (Horst Hörtner, Pascal Maresch et al. 2004)，藉由 在螢幕前簡單的揮手動作，讓偵測器感應到閱 讀者翻頁、放大、縮小、移動等動作，來操控 電腦的互動反應，進行文字縮放、互動式圖片 及影片的觀看等；邱文淇以視覺為主的遊戲空 間輔助全身性學習的研究(邱文淇 2005)，以電 腦影像辨識的技術，設計教材融入在遊戲中， 以肢體動作取代鍵盤滑鼠，發展出互動虛擬學 習的環境，研究結果指出確實能提高國小生的 學習意願與成效，資訊科技長期發展下，視覺 化的介面操作，例如 Apple 的 Mac OS，以介面 隱喻的圖示，使用者能以預示性(Affordance)的 直覺來明瞭此功能，以及如何有順序性的來操 作它。 圖 1 Libro Vision-非觸式電子書 一 般 常 見 的 教 室 設 備 裡 都 會 有 單 槍 與 佈 幕，而非試先安置好電子白板，電子白板價錢 較高許多，大小通常也會比佈幕小，再利用目 前的設施，以低成本的小設備，來讓佈幕也可 以成為一個簡易控制電腦軟體的場域，所以本 研究設計介於傳統教學和資訊應用上的系統， 讓教師和同學在課堂上時常使用到的簡報能更 於方便應用，在簡單的功能下能豐富上台者的 肢體語言，不用事前多花時間訓練，或多次累 積地使用經驗才能適應本系統。

二、文獻探討

(一)手勢(非觸式)互動介面 綜觀人機互動介面的輸入，可分為兩大 類，一類包含 3D 飛鼠、PS3 搖桿，著重硬體如 滑鼠、鍵盤、手寫板等輸入介面；另一類包含 雙手、語音、肢體動作、生物特徵、生理訊號

和情感等都可以是輸入介面，而這兩類所使用 與需了解的技術層面並不同，前者需要了解硬 體的架構與如何透過電子傳輸化解成 0 與 1；後 者主要使用攝影機擮取影像做影像處理分析， 精確度需靠當時環境與程式的配合。學者楊熙 年也指出介面依裝置可分為三種，手套式、攝 影機式、接觸裝置式，雖使用不同的硬體，但 可能用同一種辨識技術演算法(楊熙年和梁嘉 育 2006)。

學者 Christian von Hardenberg 主要以手指 和手勢的變化，對於某應用軟體進行操作，例 如，換投影片時需至布幕的中間比手勢，或可 以移動剛截取下來的便利貼訊息，讓使用者進 行 單 字 的 歸 類 (von Hardenberg and Berard 2001)，學者發展了一套能透過手掌和手指動作 的變化，對於 Microsoft Windows 的圖示介面進 行拖曳、點擊、雙擊等(Costanzo, Iannizzotto et al. 2003)，能應用在教學、會議上。 從以上文獻來綜合，手勢控制視窗有三種 模式，(1)移動手勢直接控制滑鼠；(2)定點手 勢觸發滑鼠功能；(3)手勢至特定的操作物件觸 發 功 能 ， 使 用 WIMP(Window-Icon-Mouse-Pointer)的概念，能 快速讓第一次使用者也能進入系統操作狀況。 本研究是採取第三個做法來開發系統。 (二)影像處理相關理論 手勢的互動具有不同的實際應用，並對應 不同的手勢定義。手勢的互動被大多數人確定 可用來當作手指變成滑鼠游標，並能在牆上移 動物體等。單以手指的互動方式，利用有限的 手指數當做命令，例如，偵測到一根手指後， 啟動功能跳到下一張投影片。透過二維空間來 判斷指尖和手掌，主要是限制在手的幾何形 狀，可定義由手指組合的手勢來判斷是否執行 某功能，例如，回答選擇題，選擇答案四，手 勢比四的形狀，可被電腦讀到符合系統所定義 的手勢形狀。透過三維位置辨識手指、手掌， 立體影像能定義一個獨一無二的手勢的構成， 此能用來提取複雜的姿勢和動作，例如，自動 識別手語。 依錄影工具擺放的位置，對於影像處理方 法的選擇上也會具有差異性，如圖 3 的操作方 法，有時會因為背景的變化大，造成操作不順 暢；另一種是像圖 1 的 Libro Vision，錄影工具 是放在電子書前方下面，往天花板的地方錄 影，同時為了提醒使用者操作區的位置所在， 在地方畫了一個禁止進入的控制區，亦減少太 多物體的干擾；再另一種是像圖 9，是往佈幕的 區域錄影，通常除了展演者外，是不會有太多 物體的干擾，同時依單槍的流明度的性質，較 低的流明度下，現場環境會為了清礎顯示單槍 投影出來的訊息，會關閉日光燈，唯一的好處 是，能順便降低影像處理時，光線的干擾，本 研究因為環境都為教室，所以錄影工具的擺放 是依最後者來考慮。 1.影像前後景的偵測 常見的影像移動偵測處理方法，以影像差 異法(Image Differencing)最多人使用。影像差異 法分為兩種，一是背景相減法(Static Background Subtraction)，保留要當參考值的影像，做為比對 目前影像的依據，考慮到參考影像原本屬於不 變動的區塊是黑色的值，如果背景影像已做更 換，參考影像也必須跟著更新(von Hardenberg and Berard 2001; Letessier and Berard 2004)，才能正確減掉背景影像，以利分辨出前 景的影像為何；一種是藉由二張連續影像相減 (Frame Differencing)而獲得物體移動狀態， 相減的像素值為零，此像素為不移動物件的像 素，相反的，此像素為移動物件的像素，這方 法對於環境的改變具有適應性。 2.色彩空間處理

色 彩 空 間 最 常 見 的 有 這 四 種 ， RGB 、 YCbCr、HIS 與 NCC，在本研究的裡主要是使用 來降低光線的影響，其基本的特性簡述如下， RGB 色彩空間是由 R(紅色)、G(綠色)、B(藍色) 組合而成，是 Web-Cam 讀入影像的狀態，因各 色彩含有亮度的值，易受光線影響，所以要改 變 RGB 的狀態，才能應用在影像處理上；YCbCr 色彩空間組成是 Y(明亮度)，Cb和 Cr是(藍色和 紅色色度)，在亮度的處理上具方便性，有和 RGB 互轉的公式，另外也常用在 JPEG 的壓縮 上；HSI 色彩空間組成是 H(色調)，S(飽和度) 和 I(亮度)，具有和 RGB 互轉的公式，因為在空 間距離會顯示出相關的差距，所以在影像辨識 上多採用此法；NCC 色彩空間是 RGB 正規化後 的色彩空間，此法能減少顏色對於亮度的依賴 性，其中由於藍色對於光線的依賴度不高，所 以只正規化紅色、綠色的像素值，相對於 RGB 色彩空間，減少了光線的敏度。

根據涂又仁(Letessier and Berard 2004; 涂 又仁 2007)的研究表示，NCC 色彩空間的處理 結果優於 YCbCr色彩空間，處理速度優於 HIS 色彩空間的處理。 (三)使用者介面相關理論 依據 Jennifer Preece 所製定的人機互動核心 之使用性目標分為六類，如圖 2 所示。 Usability 易用性 Effectiveness 迅速性 Efficiency 安全性 Safety 功能性 Utility 易學性 Learnability 易記性 Memorability 圖 2 使用性目標圖示 針 對 各 類 定 義 做 以 下 的 解 譯 ，易用性 (Effectiveness)：本系統是否能達到使用者預期 的效果；迅速性(Efficiency) ：使用者是否能 用本系統多快完成任務；安全性(Safety)：本 系統在使用者的操作下，是否容易出錯和是否 容易從錯誤中學習；功能性(Utility)：本系統 是否提供足夠的功能應用在教學功能上；易學 性( Learnability)：本系統是否讓使用者在第一次 用 就 能 學 會 的 容 易 程 度 ；  易 記 性 (Memorability)：本系統經過一段時間之後再重 新使用，是否還能熟練操作的容易程度。透過 此六個目標的不斷提問，來思考本系統的全面 發展。 依不同的使用需求和工具，Web-Cam 擺放 的位置也會不同，同時適當的限制使用者的行 為，這是使用者在操作系統時，在怎樣的行為 中最為舒服要考量的地方，如圖 3，Web-Cam 是放在液晶電視下方，一來方便安裝，二來桌 底下暗藏了執行的電腦主機；圖 1 則是放在螢 幕的地板上，讓使用者可以輕鬆不用抬起手掌。 圖 3 Web-Cam 放在播放器附近-黃色圓圈(圖片 來源，2009 人機互動科技國際研討會會場)

三、系統設計與開發

(一)系統開發環境與工具 本研究所開發的系統參照楊熙年建議的手 勢介面系統設計架構進行開發，1.輸入裝置以 及手勢辨識方法設計；2.手勢命令的設計與互

動技術的設計；3.應用程式設計(楊熙年和梁嘉 育 2006)。

本研究建構了一個稱為「簡易手勢虛擬鍵 盤 」 (Simply Gesture Virtual Keyboard ， 簡 稱 SGVK)，系統在 Windows XP SP3 裡，使用 Processing1.07 這套軟體，由 MIT 理工學院媒體 實驗室(Meida Lab)的 Ben Fry 和 Casey Reas 所主 持的一項開放源碼專案，專門處理圖片、動畫、 影音、機械互動(Fry and Reas 2004-2008)，由 Java 編寫而成，優點是能在不同的作業系統運作， Windows、Linux、Mac，來製作跨平台的 SGVK 系統，提供 15 不同類別用途的主題，約 349 個 以上的函數，可以利用的資源頗豐富，在本系 統需要擮取影像的功能，而安裝 WinVDIG，外 加使用 OpenCV library 專門處理影像的資源庫。 教學環境所需的設備包括布幕、投影機、電腦、 Web-Cam、簡報軟體等。 圖 4 系統架構圖 (二)SVGK 影像處理方法 本研究影像輸入裝置是往單槍投射的地方照 攝，不論是白牆或布幕，假設單槍不屬於老舊 式的，所以光源會有一定的穩定性和亮度也足 夠，本研究採取影像移動偵測。 本研究在手的移動判斷，是使用圖像差異 (Imgae Difference)比較，計算方式是，前 Frame 的像素值中的(R, G, B)，減掉目前 Frame 的 (Rt-1, Gt-1, Bt-1)，取得差異值 D，如公式 1， 本研究以取得手部移動時的變化量，如圖 5，來 決定是否啟動按鍵功能，門檻值(Threshold)的 設定，讓像素值轉成二元值，計算白色的變化 量，其像素值的總量佔鍵盤的一半以上，即啟 動這個鍵的功能。 圖 5 前後 Frame 相減的結果 圖 6 經過 threshold 後的二元值影像 D (P, Pt-1) = || [R, G, B] - [Rt-1, Gt-1, Bt-1] || (1) Rt(x, y) = (M-1)/M*Rt-1(x, y) + 1/M*I(x, y) (2) M(x, y) =

if It-1(x, y) – It(x, y) <=0, than M=1， if It-1(x, y) – It(x, y) >0, than M=500 (3)

採 用 Wellner＇s thresholding method ， Running Average(Stafford-Fraser and Robinson 1996)，存留前一張影像當做參考影 像，按比例修正參考的影像，根據 Hardenberg 實作(Hardenberg and Bérard 2001)，決定公式 2 的 M 值大小，以參考影像和目前影像的像素值 的亮度作為計算，如相減的值等於及小於 0，M 值給 1，相反，M 值給 500，如公式 3，再透過 公式 2 這個步驟，能提高移動物體的偵測率， 如圖 6。 (三)系統操作流程 根據系統開發架構，簡述其第二工作項： 手勢命令的設計與互動技術的設計，第三工作 項：應用程式設計；手勢命令的設計是採取 Java 的 Robot 提供的控制滑鼠的位置和功能，來觸 發全螢幕簡報軟體的上一頁和下一頁；在應用 程式設計上，為手勢介面設計一個虛擬鍵盤， 有利使用者直覺判斷可觸發的空間。 本系統操作流程如圖 7 所示，從流程圖中 可以了解，起初使用者進行對投影片的使用， 當使用者想要進行換頁的時候，則移到上下鍵 的視窗部分，也就是目前視訊設備照射的地 方，在此部份揮動手掌，如果使用者想要進行 換下一頁的工作時，則在下鍵的部份揮手，若 是想要進行往上一頁的工作時，則在上鍵部份 揮手，當攝影機接收到揮手所造成的灰階變 化，而啟動換上下頁指令時，使用者的命令就 能達成，若攝影機未感應到觸發指令所需的二 階變化，則使用者必須重新在攝影機前揮手直 到觸發到指令。 圖 7 SGVK 系統運作流程圖 使用者要使用時必須將手伸進虛擬鍵盤， 如圖 8 的綠色區塊，方能進行手(物體)出現與 否的辨識，虛擬鍵盤共分為上下兩部份，中間 以上區塊即為「向上」，對應的是投影片往上跑 一頁，中間以下區塊即為「向下」，對應的是投 影片往下跑一頁，在使用上有一個限制為，假 若使用者要往下一頁，必須從區塊中間偏下方 將手伸進去，讓攝影機捕捉手在虛擬鍵盤上所 產生的移動變化。 圖 8 虛擬鍵盤上下鍵區塊 圖 9 是任務性實驗用的投影片與虛擬鍵盤的 畫面，虛擬鍵盤預設在所有視窗的頂端，優點 是投影片開啟播放模式也可以使用。

圖 9 虛擬鍵盤在投影片中的位置

四、實驗結果與討論

本研究實驗對象為國立臺南大學數位學習 科技系的同學 12 名，為實驗組，國立中正大學 傳播學系的同學 12 名，為對照組，兩次的系統 操作測試後，都會填寫一份使用性測試的問 卷 ， 題 目 是 根 據 CSUQ(Computer System Usability Questionnaire) 改 編 以 符 合 本 系 統 特 性，實驗架構如圖 10 所示。 圖 10 實驗架構圖 圖 11 實驗現況照片 (一)實驗組 進行本系統的實驗時，增加了簡單的任 務，如表 1，目標是完成翻頁至指定的頁數，為 了方便在任務執行中做記錄，把投影片是以頁 數來顯示，如圖 11，並記錄使用者完成的時間。 表 1 任務性實驗的 5 項任務 1.向下 5 頁（預定結果：到第 6 頁）。 2.向上 3 頁（預定結果：到第 3 頁）。 3.向下 2 頁、再向上 1 頁、再向下 3 頁（預定結果： 到第 7 頁）。 4.向下 10 頁、再向上 5 頁、再向下 9 頁（預定結果： 到第 21 頁）。 5.請按到第 30 頁。 從圖 12 中可以知道使用者平均完成的時間 在 1.5 分鐘至 2.5 分鐘之間，其中有使用者則 使用高達 6 分鐘的時間，分析造成此結果的原 因，是目前系統方面的些許不穩定造成，但使 用者經過本研究者的示範和解說後，就能夠較 準確的達到系統正確操作的使用，另外，少數 使用者可能在揮動的過程，例如系統還未偵測 到手的移動時，使用者已做完動作，導致沒有 達到有效的觸發虛擬鍵盤，使得完成的時間延 長。 從圖 13 中本研究以 X 軸代表問卷的問題編 號，而 Y 軸代表對問卷的結果統計，每題的平 均分數，由圖中可以得知使用者對於本系統使 用過後的評價，整體的平均分數都落在 3 分「普 通」的評價；問題 7 是調查學習本系統所花費 的時間，由這點可以了解使用者對於操作本系 統方面，是否容易上手，沒有過於複雜的學習 過程，研究者清楚地發現，對於第一次使用本 系統的使用者來說，能夠很清楚且快速的了解 到系統的操作方式，並且在短時間內就能輕鬆 上手；問題 9 是調查系統操作是否簡單明瞭， 由調查中可以得知，一般使用者對於本系統操 作起來的簡易程度，有不錯的評價；在問題 4、 問題 8 和問題 12，發現分數低於平均值 3 分以 下；問題 4 是調查使用過後是否能達到預期之 結果，因為本系統的些許不穩定，可能對使用 者的操作造成某些誤差，例如，一次跳兩頁或 是觸發不到指令…等，這造成了使用者使用過 後無法達到預期結果；問題 8 是調查使用者使 用過後是否發現有過多的誤差，如同剛剛問題 4 所描述的；問題 12 是調查系統的穩定度，使用 者平均是認為無法達到預期成果或是操作上有 些許誤差。

圖 12 任務性(SGVK)測試的時間統計 圖 13 任務性(SGVK)實驗後問卷統計結果 (二)對照組 在對照組的部份，採用市面上的一款無線簡 報器，其無線頻率在 2.4GHz，可使用的範圍 8~10 公尺，初試測試中，使用者並不需面向接收器 部份，按鍵部份，可能右鍵比左鍵較為常用， 如圖 14 所示；此對照組實驗中跟本系統的測法 有點不同，請使用者站在佈幕前斜站，模擬是 展演者時，一邊面對觀眾，一邊看著投影片， 主要是讓使用者能更專注在＂按＂的動作上， 而減少因看投影片的數字變化，增加數錯的機 會，並記錄完成任務的時間； 圖 14 無線簡報器 從圖 15 可知，平均使用所花的完成時間是 34 秒，比實驗組的平均值約少 4 倍的時間，其 中最高的完成時間是 42 秒，只因對於口語的指 示突然產生疑慮，第二高的約 38 秒，只因對於 左右鍵會因為中間那部份，而在第一個時間按 到。 圖 15 任務性(無線簡報器)測試的時間統計 圖 16 顯示出使用者對於無線簡報器的測 試，都屬很滿意的狀態，c_3(第三題)此題只試 用於本系統的問題，所以此題並無拿來詢問對 照組的使用者；其中 h_8(第 8 題)因使用者在觸 碰按鍵並不太習慣下，而沒按到，造成沒正確 的完成任務，所以使得在測系統的誤差值並未 得到極好的分數；m_13(第 13 題)得到最高分， 是使用者在操作時，系統都能即時達到預期的 頁數。 在進行對照組時，趁同學在熟悉無線簡報 器的操作，口頭詢問同學以下兩個問題，平常 報告是否習慣性的站在電腦旁；如果有此無線 簡報器，會不會離開電腦，站在佈幕前或其它 地方，同學9成以上都是第一次接觸無線簡報 器，在平常課堂的報告，所以第1題同學都表 示，都需要在電腦前操作，但如果有此簡報器 握在手中，就不必時時刻刻要注視三個地方， 電腦螢幕、投影佈幕、聽眾；詢問第2題的結果， 有7成以上的同學願意改變，另有同學表示，這 可能還是需要考慮到使用者的個性。

圖 16 任務性(無線簡報器)實驗後問卷統計結 果 由此比對兩組的狀態，本系統因系統的不 太穩定，操作上容易出現誤差，及操作執行的 總反應時間比較慢，都是未來本系統改進的地 方；改進方式以增加NCC色彩空間的處理，減少 亮度的影像，圖18所示，在右下角的圖片，更 加正確的取得手的部位。 依圖 18 的顯示，無線簡報器的各表現，都 比本系統的表現要好，尤其是在安全性和迅速 性方面比較突顯，代表無線簡報器出錯的機率 比本系統少了 40%，大部份使用者在使用無線簡 報器，是在數頁數時會數錯，並非全是在簡報 器本身設計的問題，且反應的速度也快了約 30%，其中一項易學性，本系統是比較多了 15%， 顯示本系統的設計概念，是被使用者所接受 的，且也容易的學習。 圖 17 加入 NCC 色彩空間的處理，處理過後，如 右下角圖片。 圖 18 實驗組和對照組施測問卷後，對於使用性 目標對照圖

五、結論與討論

本系統的不穩定性，影響使用者繼續使用的 意願，未來將改善影像處理的部份，加強虛擬 鍵盤的位置偵測，在移動手勢至控制區時，再 判斷控制區各被遮住的比例，超過一半即啟動 功能，使得準確率提高，另一方面，因影像易 受光線不穩定的影響，與使用的 Web-Cam 或攝 影機會因為品質不一，每次的影像處理結果會 不盡相同，這也是未來設計必需注意的一點。 本系統的虛擬鍵盤設計概念可設計至 3 至 4 個，而非只有 2 個，讓操作的功能並非局限只 有一組相對的功能，本研究選擇了簡報最不可 或缺的功能(上、下一頁)，另外，未來可以加 入依使用者的需求調整虛擬鍵盤功用的＂功能 鍵盤＂，例如，換成或加入畫線和橡皮擦的功 能，系統可事先啟動或有一虛擬鍵盤專門啟動 一個已預設好的＂功能鍵盤＂，它能先讓使用 者動態的指派給虛擬鍵盤所需的功能，能更有 彈性的讓使用者運用。本研究的虛擬鍵盤是固 定位置，但可從程式中調整放置的地點，未來 可以事先讓系統詢問：是要放置何處左邊或右 邊？讓使用者方便修改程式的參數值，更好的

做法是當講者從左邊布幕走到右邊布幕時，虛 擬鍵盤將會自動移至目前人站的位置附近，將 會使得系統更加友善。 本系統另一個最佳的應用是，控制＂播放 軟體＂，例如，在一堂＂電影概論＂的課裡， 老師需要解說某一小段的影片時，是需要隨時 按前進、停止、倒退等鍵，此時就可以應用本 系統的概論來設計，讓講者不用耗時的注視較 小的播放軟體的功能鍵，但當虛擬鍵盤無法自 動隱藏，將會遮掉一些畫面或字幕，這也是本 研究會發生的問題，當講者把太多資訊放在同 一張投影片裡，就會造成某一小部份的資訊被 遮掉，如果虛擬鍵盤無法因此而自動產生透明 化，也將會是本系統普及應用的限制之一。 本系統是透過 Java 中的 Robot 來控制滑鼠 標，有滾軸的視窗介面都能使用本系統，所以 不只簡報軟體，文書編輯軟體、瀏覽器等都能 受到本研究所設定的功能來控制，但如果不能 利用手勢任意的在軟體間互換，將會是本系統 普及應用的限制之一。 致謝 本研究承蒙國科會專題研究計畫贊助: NSC97-2631-S-024 -002、 NSC97-2628-S-024-001-MY3.

六、參考文獻

[1] 邱 文淇，“以視覺為主的遊戲空間輔助全身性學 習”，網路學習科技研究所，台灣國立中央大 學，碩士，2005 年。 [2] 涂 又仁，“利用人臉及手勢辨識之人機介 面＂，電機工程研究所，台灣國立中正大學， 碩士，2007 年。 [3] 楊 熙年、梁嘉育，“應用於大型顯示環境之手 勢介面設計架構＂，2006 第二屆全國數位內 容學術研討會，立德管理學院，2006 年 6 月。 [4]

ostanzo, C., G. Iannizzotto, et al. (2003). Virtualboard: Real-time visual gesture recognition for natural human-computer interaction.

[5]

ry, B. and C. Reas (2004-2008). "Processing." from http://processing.org/.

[6]

ardenberg, C. v. and F. Bérard (2001).

Bare-hand human-computer interaction, ACM New York, NY, USA.

[7]

orst Hörtner, Pascal Maresch, et al. (2004). Libro Vision: Gesture-Controlled Virtual Book, Springer.

[8]

etessier, J. and F. Berard (2004). Visual

tracking of bare fingers for interactive surfaces, Association for Computing Machinery, Inc, One Astor Plaza, 1515 Broadway, New York, NY, 10036-5701, USA.

[9]

oggridge, B. (2007). Designing interactions, MIT press.

[10]

reece, J., Y. Rogers, et al. (2001). Beyond Interaction Design: Beyond Human-Computer Interaction, John Wiley & Sons, Inc. New York, NY, USA.

[11]

tafford-Fraser, Q. and P. Robinson (1996). BrightBoard: a video-augmented environment.

Proceedings of the SIGCHI conference on Human factors in computing systems: common ground. Vancouver, British Columbia, Canada, ACM.

[12] V

on Hardenberg, C. and F. Berard (2001). Bare-hand human-computer interaction, ACM New York, NY, USA.