使用手部動態輸入裝置操控虛擬空間中的3D設計物件

全文

(1)國立交通大學建築研究所碩士論文. 使用手部動態輸入裝置操控虛擬空間中的 3D 設計物件 Using hand movement system to operate 3D design objects in virtual environment. 研究生 : 向士賢指導教授 : 劉育東. 中華民國九十四年七月.

(2) 使用手部動態輸入裝置操控虛擬空間中的 3D 設計物件 Using hand movement system to operate 3D design objects in virtual environment. 研究生：向士賢. Student：Shin-Hsien Hsiang. 指導教授：劉育東. Advisor：Yu-Tung Liu. 國立交通大學建築研究所碩士論文. A Thesis Submitted to Department of Graduate Institute of Architecture College of Humanities and Social Sciences National Chiao Tung University in partial Fulfillment of the Requirements for the Degree of Master In. Graduate Institute of Architecture. July 2005 Hsinchu, Taiwan, Republic of China. 中華民國九十四年七月.

(3) 使用手部動態輸入裝置操控虛擬空間中的 3D 設計物件學生：向士賢. 指導教授：劉育東. 國立交通大學建築研究所碩士班. 摘. 要. 最早當作輸入工具的靈感來源就是＂手的動作＂， Engelbart (1968)發表世界最早的滑鼠，其靈感即來自於利用手部的移動來操控電腦中的選單。但由於螢幕的限制，所以大多數的輸入裝置均設計成 2D 介面。設計者在 2D 的介面上做 3D 的設計時，仍然有許多的限制。雖然設計者可以藉著視角的改變來瀏覽虛擬環境，但這些動作仍然很難在 2D 的平面上操作。因此傳統的輸入裝置已無法滿足設計者的需求 (Tamotsu and Naomasa, 1994; Gross and Kemp, 2001)。所以就有了一些直覺性的空間輸入裝置出現，例如數據手套、感應球、空間滑鼠、3D 滑鼠)…均是較常使用的空間輸入裝置 (Elsadek et al., 1998; Elsadek et al., 2001)，可是這些裝備都必須穿戴或是手持一些裝備，這對使用者而言仍不夠自然。因此本研究不採用複雜的手勢輸入系統，而發展一套類似模擬滑鼠動作的光學操控空間輸入系統。能讓設計者在實體空間中藉由簡單直覺的手部動作操控虛擬環境中 3D 設計物件。本系統不需穿戴或是手持裝備能準確的在虛擬環境中做 6 個自由向度的空間移動，本研究稱之為”hand mouse system” (HMS)。HMS 是由手部下方的紅外線測距感應裝置 (infrared distance measuring sensor) 所組成陣列裝置來感應手部在空間中的動作、方向及高度，並將所感應出之距離數值參數傳回控制系統，轉化為虛擬空間中物件的對應座標，藉以操控虛擬環境中的 3D 物件。. Keyword：輸入裝置、手部動態、人機互動、紅外線測距、虛擬環境. i.

(4) Using hand movement system to operate 3D design objects in virtual environment. student：Shin-Hsien Hsiang. Advisors：Yu-Tung Liu. Graduate Institute of Architecture National Chiao Tung University. ABSTRACT The earliest inspiration for input device is “hand”. Engelbart (1968) made public the first mouse in the world, and his inspiration came from using hand movement to control the menu on the computer. However, due to the limit of the monitor, most input devices are designed for 2D interface. Thus, users are confronted with a number of limitations when making 3D design on a 2D interface. Although perspectives and change of viewing angles can be applied to browse the virtual environment, it is still hard to operate the movements on a 2D interface. Thus, the traditional input devices can no longer meet the demands of designers (Tamotsu and Naomasa, 1994; Gross and Kemp, 2001). As a result, intuitive space input devices are introduced, such as “Data Glove”, “Force (space) balls”, “Space Mouse”, “3D Mouse”, which are commonly-used space input devices (Zimmerman et al., 1987; Li et al., 1997; Rosenberg and Slate, 1999; Chung, 2003; Hachet et al., 2003; Chen, 2004). As a result, this research presents an infrared-based space input system, which simulates hand movements and allows designers to control the input of 3D objects by simple and intuitive hand movements. Also, it allows natural operations. Without wearing or hand-holding any equipment, users are able to move freely in 6 degree of freedom (X, Y, Z). The system is called “Hand Movement System (HMS)”, which senses the hand movement in the space, direction and height with the arrayed device of the infrared distance measuring sensor underneath the hand, then transmits the measured parameters to the control system, and converts the data to corresponding coordinates of the virtual space for users to control the 3D objects in the virtual environment.. Keyword： input device、hand movement、human-computer interaction, HCI、infrared distance measuring、virtual environment, VE. ii.

(5) 誌. 謝. 感謝 Aleppo 老師總是等我這個永遠老是慢一步的學生，謝謝老師的指導與啟發，總算讓我完成了人生中的第一本論文。也謝謝李華老師的科幻創意解析，讓我從科幻中找尋靈感。謝謝登文老師的互動課，讓我了解 HCI 的樂趣。謝謝君昊老師的資訊建築，讓我開是在程式中找尋趣味。謝謝基義老師的建築課，讓不是建築背景的我，總算多了一點建築味。最後謝謝玄輝老師給我論文的建議與鼓勵。. 最後感謝的就是這些陪我一路走來的同學們，慧谷、志文、凱鳴，你們總是在我最需要幫忙的時候伸出援手，還有瑞文、必元、琇貞、文禮、基辰、鼎瀚、紀發、粧婷…以及所有交大建築所的同學、師長、助理們，謝謝你們給予我這兩年來大大小小的幫助，真的由衷的謝謝你們。. iii.

(6) 目錄中文摘要 ...................................................................................... i 英文摘要 ..................................................................................... ii 誌謝 ............................................................................................ iii 目錄 ............................................................................................ iv 第一章. 緒論. 1. 1.1. 研究背景 ........................................................................ 1. 1.2. 研究問題 ........................................................................ 2. 1.3. 研究目的 ........................................................................ 3. 1.4. 研究方法與步驟 ........................................................... 4. 第二章. 相關研究回顧. 7. 2.1. 設計與輸入工具 ................................................................7. 2.2. 直接操作 ............................................................................ 8. 2.3. 資料手套輸入技術 ........................................................... 9. 2.4. 手勢輸入設備 .................................................. ............... 12. 2.5. 空間滑鼠 .......................................................................... 15. 第三章. 手部基本認知與滑鼠動態分析. 17. 3.1. 手部基本認知 .................................................................. 17. 3.2. 滑鼠操作個案分析 ......................................................... 19. 3.3. 個案現象觀察與結果 ..................................................... 25. 第四章. 建立手部動態輸入系統. 30. 4.1. 手部動態輸入系統操作原理 ........................................ 30. 4.2. 手部動態輸入系統運作流程 ........................................ 32. 4.3. 手部動態輸入系統組成 ................................................. 34. 第五章. 結論與未來研究. 45. 5.1. 研究結論 .......................................................................... 45. 5.2. 研究限制 .......................................................................... 46. 5.3. 未來發展 .......................................................................... 46. 參考資料附錄. 48 52. iv.

(7) 第一章. 緒論. 本研究希望能提供了一種簡易的空間輸入設備，直接利用使用者手部關節的旋轉與移動作為空間輸入的方式，可以讓使用者輕易的操控虛擬環境中的 3D 設計物件，藉以探討直接操作對設計的影響，本研究不同於複雜的手勢輸入系統，因此希望使用者能以簡單自然的手部動作作為操控空間輸入的方式，期以用最符合使用者的直覺輸入方式來探索虛擬環境。. 本研究整合了紅外線測距感應裝置，以手部動態作為替代傳統滑鼠及數位手套的空間操控方式，藉由陣列式的紅外線測距感應裝置可以準確的探知手部在空間中的位置與方向，以使設計者能在虛擬環境中以自然直覺的方式來操控 3D 設計物件，本研究所用之紅外線測距感應裝置為一反射式的距離感應裝置，有效測試距離為 40 cm，準確範圍為 4 ~ 30 cm，符合一般使用者手部移動之位移距離，且本裝置可提供設計者以較為經濟的方式，得到直覺式的虛擬空間操控方式，以期能探索直覺性的操控輸入裝置對設計的影響。. 1.1. 研究背景建築，不同於其他的設計領域，建築不僅僅是平面與剖面的切割影像與設計，最特. 別的是，建築是一種大尺度三度空間的立體呈現，例如像埃及的大金字塔、古希臘的神廟、哥德式的大教堂…，這種大尺度的立體呈現方式，也直接或間接的影響了建築的表現方式與設計上的思考方向，然而在電腦尚未發明以前，傳統上建築設計師即是利用紙、筆和實體模型這些傳統媒材來設計及表現建築的尺度及三度空間的立體性，然而，這些傳統的設計媒材一直是設計過程中最重要的一部分 (Rowe, 1987)。. 自電腦輔助設計 (computer- aided design, CAD) 出現後，建築設計開始產生了新的變化與方向，鍵盤與滑鼠逐漸取代了設計師手中的尺規，電腦螢幕則取代設計師眼中的設計圖，電腦輔助設計幫助建築設計者在設計的過程中減少設計的時間與資源，並能刺激 Using hand movement system to operate 3D design objects in virtual environment. 1.

(8) 第一章. 緒論. 建築設計者新的思考方式與方向，因此，新的建築設計已經可以設計出打破過去數千年來無法想像的建築型態與造型，而新的設計媒材也從此改變了建築設計多樣的發展，所以我們可以說：新的設計媒材已經開始影響傳統的設計方法 (Ouyang, 1996; Liu, 2003)。. 而近幾年來由於虛擬實境技術 (virtual reality, VR) 的快速發展，虛擬實境技術已經廣泛的應用在各個知識領域之中，包括了教育、娛樂、國防、醫學及科學研究，而虛擬實境的技術更結合了許多硬體設備，並廣泛的應用在設計以及多媒體的人機介面 (human-computer interaction, HCI) 之中 (Burdea, 1993; Walter, 1996; Sherman, 2002)，而建築設計也因虛擬實境技術的發展而得到了極大的進展，然而在虛擬環境中，大多數的輸入裝置仍是以 2D 的操控方式來作為虛擬空間的操控方式，例如我們用滑鼠在平面的 xy 平面中操控虛擬環境中的 3D 物件，使用者必須將實際操作的 2D 動作再轉換成視覺認知上的 3D 空間輸入，這種輸入方式並不是所謂的「直接操作」的概念 (Foley , 1987)，因此設計者在操控虛擬環境中的 3D 設計物件時，必須經過認知上空間的轉換才能做準確的操控。. 傳統上，電腦最早的輸入裝置從真空管開關和穿孔打卡到現在的鍵盤與滑鼠，電腦的輸入裝置一直是電腦輔助設計中重要的部分，可是無論是哪一種的輸入工具，都無法以更自然的方式與電腦溝通，因為使用者無法簡單的僅使用鍵盤來達到電腦中空間的移動，也無法不經由學習就輕易的使用滑鼠，所以人與電腦的互動，其實就必須得靠一些其他的輔助輸入裝置來進行人機互動 (Hsu, 1993; Trewin et al., 1999)。. 1.2. 研究問題最早被當作輸入工具的靈感就是「手」，在 Engelbart (1968) 於舊金山發表世界第一. 隻滑鼠前，電腦的輸入方式大多還是僅靠鍵盤為最主要的輸入方式，滑鼠的出現突破了以往電腦輸入僅靠鍵盤輸入的方式，並為日後圖形化介面打下基礎，滑鼠的靈感即是來自於利用手部的移動來操控電腦，而 Foley (1987) 則提出「直接操作」的概念，直接操作即是透過取代訊息或移動訊息的直接動作來與電腦做互動，不需要特別的命令式修改指令來修改訊息，即可直接移動虛擬環境中的物件，如同在實體環境中一樣，如此設計者可與虛擬環境的得到較良好的互動。. Using hand movement system to operate 3D design objects in virtual environment. 2.

(9) 第一章. 緒論. 但由於螢幕的限制，所以大多數的輸入裝置均設計成 2D 介面，意即使用者利用 xy 的 2D 平面移動來改變視窗中的虛擬物件作三度空間的空間移動，然而設計者在二度空間的介面上做三度空間的虛擬物件設計時，仍然有許多的限制，雖然設計者可以藉著透視法及視窗中視角的改變來瀏覽虛擬環境，但這些動作仍然很難不藉由專業的訓練，讓使用者在二度空間的平面上操作，因此，傳統的輸入裝置已無法滿足設計者的需求 (Tamotsu and Naomasa, 1994; Gross and Kemp, 2001)。所以就有一些直覺性的空間輸入裝置出現，例如數據手套、感應球、空間滑鼠、3D 滑鼠…… 均是較常使用的空間輸入裝置 (Elsadek et al., 1998; Elsadek et al., 2001) ，可是這些裝備都必須穿戴或是手持的一些裝備，這對使用者而言仍嫌不夠自然。. 然而一些不需穿戴或是手持的空間輸入裝置，例如 Strickon 與 Paradiso (1998) 利用雷射製造網點的觸動螢幕 (touch screen) 以及 Smith 等人 (1998) 利用靜電原理的魚群活動網路感官系統 (school of fish active network sensing system) ，開始應用在空間輸入或虛擬環境的操控。但是除了直覺性的使用介面之外，「自由向度」以及「準確度」亦是空間輸入裝置中最需要解決的問題 ( Krueger, 1991) ，觸動螢幕只解決了 2 個自由向度的問題，魚群活動網路感官系統雖解決了 6 個自由向度的空間移動，但由於此系統是利用手中的靜電感應，易受距離、溫度、溼度及環境中其他帶電物質的影響，卻可能無法準確的探知手部動作。. 因此，本研究的主要問題即是設計出非穿戴式的空間輸入裝置，並能以直覺的手部動作在虛擬環境中進行準確的 3D 設計物件操控。. 1.3. 研究目的直覺的空間輸入必須是以一種簡單、直覺的輸入方式，故本研究不採用複雜的手勢. 輸入系統，而發展一套類似模擬空間滑鼠動作的光學操控空間輸入系統，能讓設計者在實體空間中，能夠藉由簡單直覺的手部動作作為操控虛擬環境中 3D 物件的輸入方式，並以自然的方式不需穿戴或是手持裝備，且能準確的在虛擬環境中做 6 個自由向度的空間移動，本研究稱之為 hand movement system (HMS)，HMS 是由手部下方的紅外線測距感應裝置 (infrared distance measuring sensor) 所組成陣列裝置來感應手部在空間中的動. Using hand movement system to operate 3D design objects in virtual environment. 3.

(10) 第一章. 緒論. 作、方向及高度，並將所感應出之距離數值參數傳回控制系統，轉化為虛擬空間中物件的對應座標，藉以操控虛擬環境中的 3D 物件。. 因此，本研究希望能提供了一種簡易的空間輸入設備，利用使用者手部的移動與動作作為空間輸入的方式，可以讓使用者輕易的操控虛擬環境中的 3D 設計物件，以期能探索直覺性的操控輸入裝置對設計的影響，此即本研究所探討之研究目的。. 1.4. 研究方法與步驟本研究步驟分為以下 3 個部分： 1. 先前的使用者個案分析 2. 設計硬體輸入設備 3. 整合虛擬環境操控系統. 1.4.1. 先前的使用者個案分析. 本研究選定一位具有 2 年以上之設計經驗且經常以數位裝置或軟體作為主要設計媒材的使用者，作為本研究之個案分析對象，並以數位相機紀錄使用者之滑鼠操控動作及手部操控方式，藉以分析使用者的空間操控習慣，並選定 3ds max 軟體為本個案分析虛擬環境操作軟體，並分為滑鼠分析及手部分析兩項。. 分析滑鼠操控動作：. 先在虛擬環境中設置一個方塊，並要求受測者經由指定路徑移動方塊至指定位置，並以動畫格式紀錄其在虛擬空間中的空間移動過程，藉以分析滑鼠之 x 軸向移動 (左右移動)、y 軸向移動 (前後移動)、 xy 平面旋轉及 z 軸向移動 (上下移動) 的空間操作動作。. Using hand movement system to operate 3D design objects in virtual environment. 4.

(11) 第一章. 緒論. 分析以手做為操控方式之動作：. 播放先前受測者之空間移動過程動作紀錄動畫，並要求受測者一邊觀看其動作紀錄動畫，一邊以空手在空間中配合畫面動作行進，以紀錄其手部的左右擺動 (x 軸向移動)、前後擺動 (y 軸向移動)以及上下移動 (z 軸向移動) 的過程。. 1.4.2 設計硬體輸入設備 (hand movement system, HMS). 本研究的主要硬體裝置分為以下二個重要部份，分別為測量手部空間位置的紅外線感測裝置陣列組以及處理類比電壓訊號轉換成數位訊號的 iRX 電路板。. Sharp GP2D120 distance measuring sensor紅外線距離感應器矩陣裝置 (圖 1-1.a). Sharp GP2D120 distance measuring sensor 紅外線距離感應器為 Sharp 公司所生產之紅外線近距離感應裝置，Sharp GP2D120 紅外線距離感應器常用作為設計機器人行走時測量距離或防止碰撞的感應裝置，售價約為 10 美元，價格低廉，有效偵測距離約為 4 ~ 30 cm，輸出方式為 3-pin JST connector cable，此感應器為本研究之主要感應裝置，主要用於偵測手部之空間位置，並以陣列方式設置，Sharp GP2D120 紅外線距離感應器可輸出 +0.4V ~ +3.1V 之電壓，其電壓數值即為距離數值。. MIT iRX電路板 (圖 1-1.b). iRX 電路板是由美國麻省理工學院媒體實驗室 (MIT media lab) 的個人資訊建築小組 (personal information architecture) 所創造的一個簡單的 RS 232 數位連接裝置，iRX 電路板將一些物理性的過程或動作，以一個對應的數字方式表示。它由可見的 LED 燈、紅外線 LED 和一個紅外線檢波器所組成。iRX 電路板主要可將 Sharp GP2D120 紅外線距離感應器所輸出之電壓訊號，以 RS232 作為平行輸出介面透過 DB-9 傳輸線輸出至 PC 中，使 PC 端可接收電壓訊號以轉換成本裝置所需之數位訊號。. Using hand movement system to operate 3D design objects in virtual environment. 5.

(12) 第一章. (a) 圖.1-1. 緒論. (b). Sharp GP2D120 distance measuring sensor紅外線距離感應器矩陣裝置與MIT iRX電路板. 1.4.3 整合虛擬環境操控系統. 本裝置利用 MPLAB 程式建構 HMS 控制系統架構及 Director 8.5 軟體建立 3 D 虛擬環境來整合本研究所需的顯示介面。. 使用 MPLAB 程式建構 HMS 控制系統架構. MPLAB 程式為可程式化語言，主要可將紅外線距離感應器所傳回來的數值對應到 PC 中並編為 0~99 的二進位數值，以建構出 HMS 的感應器數值架構。. 使用 Director 8.5 軟體建立 3 D 虛擬環境. Director 8.5 可直接建立 3D 的虛擬空間並可將 0~99 的二進位數值套用到其空間中所創造出的 3D 模型，此虛擬環境較為穩定，且可相容於一般 3D 軟體所輸出之*.W3D 檔案格式，以方便其他研究者作為後續研究的基礎。. 最後依據測試結果，評估以手部動態作為虛擬空間中 3D 設計物件的可行性，以作為修改依據。. Using hand movement system to operate 3D design objects in virtual environment. 6.

(13) 第二章. 相關研究回顧. 本章主要在對設計與輸入工具、直接操作、資料手套、手勢輸入設備與空間滑鼠等五大類，作一相關研究背景的回顧，由此可了解設計與輸入工具之間的關係，以及直接操作對設計的影響與發展。. 2.1. 設計與輸入工具利用友善的電腦輔助設計介面來幫助設計者做創造性及慨念性的設計，一直是電腦. 輔助設計學習中重要的課題之一。設計者在 2D 的電腦輔助設計軟體中畫出平面及剖面的架構，並在 3D 繪圖軟體建立出虛擬空間中的立體 3D 設計模型，因此當新的設計軟體出現因而改變了傳統設計，並衍生出了一種新的設計觀念，即是以 X-Y 平面加上 Z 軸的「模型空間」(model space) 概念 (Morozumi et al., 2002) 。. 然而不同電腦輔助設計軟體的選擇已經會影響到最後設計的結果，新的電腦輔助設計軟體不斷的將視覺化的圖形介面加入到應用程式之中，並加強它們自身的邏輯運算功能，所以電腦輔助設計軟體的發展已經足以影響到設計者的設計過程與思考模式，最終設計的外型 (form) 也因電腦輔助設計軟體的不同而改變 (Serriano, 2003) 。. Senagala (2003) 則更一步指出，使用者介面會影響設計者使用軟體的效能與意願，他認為設計者心目中所謂的圖像是一個確定且明顯的三度空間立體心象，但使用者所使用的軟體卻是以二維平面的方式呈現，並以 2D 平面的方式做為輸入方式，所以設計者必須在經由認知上的轉換才能將圖像與心像結合，而 Serriano (2002) 則提出了形來自於軟體 (Form Follows Software) 的觀念，他認為設計的造型往往取決於使用何種設計軟體。. 因此 Tamotsu 與 Naomasa (1994) 提出了虛擬輔助設計 (virtual reality added design, VRAD) 的概念，虛擬輔助設計幫助設計者有了新的虛擬建模的方式，利用虛擬輔助設. Using hand movement system to operate 3D design objects in virtual environment. 7.

(14) 第二章. 相關研究回顧. 計可以在虛擬環境中自由的建立、修改 3 度空間中的立體模型，虛擬輔助設計能幫助設計者快速的瀏覽預期的立體空間效果，並能減省設計者在建立 3D 立體模型的過程中所需的時間及資源 (Ouyang, 1996)。. 但是由於受限於我們的輸入平面仍是利用 2D 平面的游標視窗選單系統 (windows-indicator-menu-point, WIMP) (Gross and Kemp, 2001) 來控制在虛擬環境中的 3D 設計物件，所以在設計的過程中仍會有些限制使我們無法以直覺的方式直接轉換成我們的設計行為，於是「手勢」及「動作」成為了最直覺的輸入方式之一，Nemeth (1984) 提出了利用自然的手勢動作在虛擬環境中來完成設計的系統架構，並且編輯了一套能夠定義空間及塑形的手勢操作準則。. 但是 Foley (1987) 卻認為一般人在沒有受過特殊訓練的情況下，每個人對手勢的定義都不盡相同，而真正能被一般人了解的手勢意涵卻是極少，所以手勢並無法成為一種一般的溝通方式，Liang (1997) 也認為由於虛擬輔助設計的軟體指令日趨複雜，一般人在不經特殊訓練之下能夠自然發揮的手勢不超過 12 個，無法滿足目前虛擬軟體的指令需求，Joseph 與 Stuart (1998) 亦也提出一般的使用者在學習與操作軟體的架構、指令就已經相當吃力了，不太可能再另外學習一套手勢系統做為輸入工具。. 2.2. 直接操作互動-系統設計者的重要基礎，是了解使用者認知和感知的能力 (Wickens and. Hollands, 2000; Ashcraft, 2001; Goldstein, 2002) ，某些互動系統會讓使用者在使用過後，讓使用者更樂於使用或接受，這與一般使用者常見的抗拒或不安的感受，有很大的差別。. 然而 Shneiderman (1983) 則指出，這些感受傳達了真正能取悅使用者的圖像與這些令人滿意的介面，現在普遍被稱為直接操作介面 (direct-manipulation interface) 。這些介面的核心概念是，物件和運作的可能性、快速的、可逆的 (reversible)、漸進的運作、和利用物件上的指示運作，取代用打字輸入的命令。例如把檔案拖曳到垃圾桶，是最令人熟悉的直接操作範例。直接操作的概念，同時也是許多進階的非桌上型電腦介面的核心，使用直接操作的一個很好的例子，是駕駛一輛汽車，透過正面的視窗，可以直接看到場景，並可以做煞車或駕駛方向盤的動作。 Using hand movement system to operate 3D design objects in virtual environment. 8.

(15) 第二章. 相關研究回顧. 然而 Foley (1987) 亦也提出「直接操作」的概念，直接操作即是透過取代訊息或移動訊息的直接動作來與電腦做互動，不需要特別的命令式修改指令來修改訊息，即可直接移動虛擬環境中的物件，如同在實體環境中一樣，如此設計者可與虛擬環境的得到較良好的互動。. Shneiderman and Plaisant (2004) 則指出直接操作的意義，當聰明的設計者，能夠用可見的圖像代表運作的世界時，使用者可以直接操作熟悉的物件，因此，使用者的工作就可以大大地簡化。類似的系統範例包括：象徵桌面的系統、電腦輔助設計工具、空中交通控制系統和遊戲。藉著指到物件和運作的可見圖示，使用者可以快速地執行工作，並馬上可以看到結果 (例如，把一個圖示拖到垃圾桶) ，用鍵盤輸入的命令，或用選擇功能簡單的選項，可以利用以指示裝置操作的可見的物件或運作組合取代，直接操作很吸引初學者，對偶爾的使用者而言，也很容易記憶，而且在精心的設計下，對經常性的使用者而言，可以迅速操作。. 2.3. 資料手套輸入技術資訊手套 (data glove) 最早是由 VPL 公司 (VPL Research, Inc.) 所研究的一種利用. 手指動作當作空間輸入裝置，VPL 公司的資訊手套是由一副薄的萊卡 ( lycra) 手套結合單一的磁性 3D 追蹤系統和若干的共同傳遞感器所組成 (圖 2-1) 。 VPL 公司的資訊手套是藉由沿著手指和大拇指的一條纖維光學鋼繩來測量手指彎曲時的幅度，並將手指的彎曲幅度轉換成信號的衰減，並以此來偵測手指的動作 (MacKenzie, 1995) 。. 而 Zimmerman 等人 (1987) 則最早使用了類比式彎曲感應器 (analog flex sensors) 來測量手指的彎曲度，Zimmerman 等人的數據手套除了能將手指的彎曲度轉換成類比訊號，同時亦能提供兩指間張閉動作的類比訊號，因此能夠提供 5 個自由向度的即時手勢追蹤訊號 (圖 2-2)，其後日本任天堂公司 (Nintendo, Inc.) 亦發展出量產的遊戲用玩具手套 Power Glove (圖 2-3)，Power Glove 以超音波感測方式來作三度空間的定位追蹤，並將超音波發射器裝置於手套的手背上，三個接收器裝置則至於電視螢幕邊緣，使用者以手套中手指的反覆彎曲動作及利用手套上方的十字搖桿與按鈕來操作遊戲內容，使用者並需將 Power Glove 手套朝向電視前方以測量其空間位置 (Sturman, 1994) 。. Using hand movement system to operate 3D design objects in virtual environment. 9.

(16) 第二章. 相關研究回顧. 圖 2-1 VPL 的資訊手套藉由沿著手指和大拇指的一條纖維光學鋼繩來測量手指彎曲時的信號衰減，並以此來偵測手指的動作 (摘自 MacKenzie, 1995). 圖 2-2 Zimmerman 等人設計的資料手套則是利用類比彎曲感應器 (analog flex sensors)來測量手指的彎曲度 (摘自 Zimmerman et al., 1987). 圖 2-3 任天堂公司的Power Glove則是利用超音波感測方式來做 3D 定位追蹤 (摘自 http://www.vidgame.net/NINTENDO/powerglove.html). Rosenberg 與 Slate (1999) 則提出一種有別於一般傳統鍵盤和滑鼠的文字手套輸入裝置，此裝置透過壓力感測裝置於虛擬手套的每個指間下方經由拇指與各手指間相互不同的姿勢變化及各手指間對表面壓與放的動作改變，產生不同的訊號，以產生文字手套輸入的裝置 (圖 2-4) 。Vence 等人 (2001) 則利用彎曲感應器來測量手指彎曲的角度以. Using hand movement system to operate 3D design objects in virtual environment. 10.

(17) 第二章. 相關研究回顧. 進行文字數字符號的判斷，再用指間開合感應器來區分輸入，並利用手掌下的壓按開關來做輸出的轉換。. 圖 2-4 Rosenberg 與 Slate 提出透過壓力感測裝置產生文字手套輸入的裝置 (摘自 Rosenberg 與 Slate, 1999). Chung (2003) 發展了一套以資料手套取代鍵盤的裝置，利由資料手套直接穿戴來偵測手指不同姿勢的變化以做為文字符號輸入。資料手套上面有傾斜感測器模組、輸入鍵及切換鍵，並以傾斜感測器模組來偵測手指的傾斜角度，配合類比多功器 IC 以及並序通訊埠做掃描的動作，使其能擷取十個傾斜感測器輸出的動作。並將資料手套鍵盤輸入模式分為基本模式、符號模式、數字模式及功能模式四大輸入模式，而這四大輸入模式則是由轉換鍵來做輸入的切換 (圖 2-5) 。. 圖. 2-5 Chung 的資料手套鍵盤 (摘自 Chung, 2003). Chou 等人 (2003) 發表了一套具有觸覺回饋的手臂式觸覺界面資料手套 (arm type haptic interface)。手臂式觸覺界面資料手套具有 11 個自由向度，並且在手套的 5 隻手指上安裝振動器。手臂式觸覺界面資料手套在手臂部分有 5 個自由向度。在操作手臂式觸覺界面資料手套時可以獲的相當程度的力回饋，因此可以結合實際環境的外部力量和虛. Using hand movement system to operate 3D design objects in virtual environment. 11.

(18) 第二章. 相關研究回顧. 擬環境中的內部力量，能夠用來完成例如遠程通訊存取的複雜工作與實際上環境相互作用 (圖 2-6)。. 圖 2-6 Chou 等人發表具有觸覺回饋的手臂式觸覺界面資料手套 (摘自 Chou, 2003). 2.4. 手勢輸入設備除了使用穿戴式的資料手套的輸入技術外，另外也有一些不使用穿戴式資料手套的. 技術出現，例如 Li 等人 (1997) 以視覺攝影為基礎，利用照相機定位法捕捉手部在空間中的位置以改變投射在牆面上的游標，其原理即是利用手部在牆面上產生的陰影，分析出其色差以作為辨識之依據，以分辨其在牆面上之空間位置 (圖 2-7) 。. 圖 2-7 視覺攝影手部輸入裝置 (摘自 Li et al., 1997). 而 Strickon 與 Paradiso (1998) 利用雷射網點的原理，發展了一款稱之為觸動螢幕 (touch screen) (圖 2-8) 的手部螢幕互動系統，它們屏除使用穿戴式的數位手套，利用雷射在大範圍的表面中製造成細緻的網點，並利用手部在雷射網點中產生的阻隔作用，來. Using hand movement system to operate 3D design objects in virtual environment. 12.

(19) 第二章. 相關研究回顧. 追蹤手部在 2 維平面的動作，藉以運用在多媒體的互動環境中與環境產生互動。. 圖 2-8 觸動螢幕展示 (摘自 Strickon and Paradiso, 1998). 然而 Smith 等人(1998) 則以電鰻為靈感，利用手中所帶的微量靜電，來感測手部與感應器之間的距離，稱之為魚群活動網路感官系統 (school of fish active network sensing system) (圖 2-9)，魚群活動網路感官系統為一系列的靜電感應矩陣元件，每一個感應單元均可感測手部的微弱靜電，並利用多個感應元件做成的矩陣裝置，即可以利用簡單的手部動作來操控虛擬空間中的 3D 模型。. 圖. 2-9 魚群活動網路感官系統 (摘自 Smith et al., 1998). 此外由 VKB technology 這家公司所生產的 VKB 虛擬鍵盤 (virtual keyboard) (圖 2-10) 則是專為 PDA 設計的一種簡易的手部輸入裝置，VKB 虛擬鍵盤使用紅外線和雷射光的投射原理，射出一個標準 Qwerty 鍵盤，VKB 虛擬鍵盤內有一束光測感應器，可以將每一個鍵盤單獨投射至桌面，再利用手指操作桌面鍵盤的同時，偵測出阻礙住雷射 Using hand movement system to operate 3D design objects in virtual environment. 13.

(20) 第二章. 相關研究回顧. 光束的指頭位置，藉以判斷使用者所操作的鍵盤 (VKB, 2002) (圖 2-11) 。. 圖 2-10 VKB虛擬鍵盤 (摘自 http://www.vkb-tech.com/ ). 圖 2-11 VKB虛擬鍵盤操作原理 (摘自 http://www.vkb-tech.com/ ). 而 Chen (2004) 以手指頭上貼著紅外線 LED (infrared-LED) 做為追蹤的目標而提出了 3D 手勢辨識的方法，並且為了讓系統更具實用性，故發展出了一個以手勢為介面的系統架構 (framework)，可使用雙手以增加手勢之自然性及豐富性，並容許多手勢連續串接以提升操作的方便性，以及提供模組化的動作架構以增加系統的可延伸性。並且在 3D 沈浸式環境中實作一個以自然直覺手勢作為人機介面的多媒體瀏覽系統 (圖 2-12) 。. Using hand movement system to operate 3D design objects in virtual environment. 14.

(21) 第二章. 相關研究回顧. 圖 2-12 Chen 的 Infrared-LED 手勢輸入系統，以 Infrared-LED 作為感應原，並將之對應至系統中以作為辨識依據 (摘自 Chen, 2004). Lam (2004) 提出一個新方法，透過使用資料手套來捕獲手指的動作並編輯成人類運動的資料 (圖 2-13)。首先使用者以類比的方式以手指頭來模仿人體的運動姿態，並以資料手套來捕捉手指之動作，然後將捕捉之手指動作轉換成人體的圖像表示，最後，將手指的運動轉化成一條簡單的路徑，定義手指特有之運動方式，產生一種新的人體運動方式，以有助於在虛擬環境遊戲中的運動與操作。因此，此系統不僅能夠編輯人類運動，並且能夠創造出專為虛擬環境中的遊戲特殊的動作方式及操控遊戲中的圖表。. 圖 2-13. 2.5. Lam 以手指動作來模仿人體動態，並創造出新的虛擬環境運動方式 (摘自 Lam, 2004). 空間滑鼠在手持式的空間輸入裝置中，除了資料手套以外，還有利用「滑鼠」作為空間輸入. 的裝置，Elsadek 等人 (1998; 2001) 利用微波全息照相技術 (microwave holographic) 設計了一套 3D 微波全息照相滑鼠系統 (3D mouse microwave holographic system)，使用這隻滑鼠，使用者可以在空間中拉起滑鼠點選圖案及著色，或修改多點組成的 3D 模型 (圖 2-14)。 Using hand movement system to operate 3D design objects in virtual environment. 15.

(22) 第二章. 圖 2-14. 相關研究回顧. Elsadek 的 3D mouse microwave holographic system 架構 (摘自 Elsadek et al., 2001). 然而Hachet 等人 (2003) 改進了空間滑鼠的架構，發表了一套CAT (control action table) 系統的原型，CAT的出現改變了以往數位桌 (data table) 的使用方式，CAT可以有 6 個自由向度的方向並可在虛擬環境中讓 2D與 3D交互運用，並可以取代空間滑鼠 (space mouse) (圖 2-15)。. 圖 2-15. Hachet 等人的CAT( Control Action Table)系統 (摘自 Hachet et al., 2003). Using hand movement system to operate 3D design objects in virtual environment. 16.

(23) 第三章. 手部基本認知與滑鼠動態分析. 3.1 手部基本認知有關人類特徵的基本資料，是由人體動力學 (anthropometry) 的研究而得 (Drefuss, 1967; Pheasant, 1966)，因為許多工作都與感知有關，設計者必須了解人類的範圍 (Ware, 2004)，本研究以手部動態作為系統操作依據，因此在建立手部動態輸入裝置前，必須先對手部構造與手部關結運動方式有基本的認知，以作為系統設定之參考依據。. 3.1.1 手部構造. 手部位於人體上肢的最末關節，隨著肩、和手腕的活動，使手的工作空間更廣泛。手部的骨骼構造包括三部分：(1)腕骨(carpals)八塊，排成上下兩行，(2)掌骨(metacarpals) 五塊，(3)指骨(phalanges)十四塊，其中拇指兩塊，其他四指各三塊。骨骼之間所形成知主要關節有：(1)腕關節(wrist joint)，可繞 X 軸和 Y 軸旋轉。(2)掌指骨關節(MCP, metacarpal joint)，可繞 X 軸和 Y 軸旋轉。(3)指骨間關節(IP, interphalangel joint)，其中第二指到第四指又分為近端指骨間關節(PIP, proximal interphalangel joint)，可繞 X 軸；遠端指骨間關節 (DIP, distal interphalangel joint)，可繞 X 軸。(4)腕骨(Carpals)和手掌骨(Metacarpal)的關節叫腕掌骨關節(Carpometacarpal Joint,CMC)，可繞 X 軸、Y 軸、Z 軸旋轉 (Nordin, 2000)。. 3.1.2 手部關節計測. 四肢的作業範圍受其本身的長度及運轉角度的大小有關，然而個人的彈性及動作的準確性亦是重要因素，一般來說，作業範圍的中間部分即是操作中最便利的部分，在操作輸入裝置時，手部的尺寸相當重要 (Kroemer, 1999)，但由於各國及各人上的差異，手部尺寸與手脕關節運動角度均有不同，然而，人體計測為一專門之科學，其測量之法所需大量實驗計測數據及儀器，均非本研究所涵蓋之範圍，故本研究參考 (Nordin, 2000) 所研究之相關數據結果 (表 3-1)，以及 Kroemer (1997) 所整理之數據 (表 3-2；圖 3-1) 為 Using hand movement system to operate 3D design objects in virtual environment. 17.

(24) 第三章. 手部基本認知與滑鼠動態分析. 本研究之參考依據。. 表 3-1 手掌各關節的運動 (Nordin, 2000). 關節手腕(橈~尺~腕). 手掌~指骨. 型. 運動. 運動角度. 橢圓關節. 屈. 90~95 度. 伸. 60~70 度. 外轉. 20~25 度. 內轉. 55~60 度. 屈. 90 度. 伸. 20~30 度. 外轉. 15~20 度. 內轉. 5~10 度. 橢圓關節. 表 3-2 手脕和前臂的運動，以男性為例 (單位：角度，Kroemer, 1997). 動作方向. 第五百分位數. 第五十百分位數. 第九十五百分位數. 掌側屈 F. 51. 68. 85. 背側屈 E. 47. 62. 76. 橈側屈 R. 14. 22. 30. 尺側屈 U. 22. 31. 40. 前臂外轉 S. 86. 108. 135. 前臂內轉 P. 43. 65. 87. 圖 3-1 手脕和前臂的運動對照圖. Using hand movement system to operate 3D design objects in virtual environment. 18.

(25) 第三章. 手部基本認知與滑鼠動態分析. 因此，根據 Kroemer (1997) 指出，要設計出適合不同體型人使用的設備，必須依照有效的數據以及適當的程序，並且以多數人為對象所得到的人體計測數據，其參考價值較高，而在設計的過程中，則應該包含選擇適用的百分位數範圍，因此本研究採用 Kroemer (1997) 之數據作為研究參考。. 3.2. 滑鼠操作個案分析. 3.2.1 個案分析說明. 自從 2D 平面的游標視窗選單系統(windows-indicator-menu-point, WIMP) (Gross and Kemp, 2001)，成為個人電腦的主流作業系統之後，滑鼠的重要性已經漸漸凌駕於其他任何的輸入設備，在現在的作業系統或軟體中，幾乎都可以用滑鼠來完成所需的工作，尤其是在操控虛擬環境中的 3D 設計物件，滑鼠仍是最重要、最普遍的虛擬空間輸入裝置，而其是在 2D 空間中的 x、y 平面移動，因為滑鼠可以以最直覺的方式在 2D 空間中任意移動，在這個移動的過程中，滑鼠的使用不需經過認知上的轉換即可直接按照使用者的希望，移動游標或是物件到定點，本個案分析即是分析受測者移動虛擬環境中的 3D 物件與實際使用滑鼠動作之差異作一比較，藉以作為設定系統之依據。. 本個案分析分為兩組以作為結果之分析對照，分別為測試一的實驗組、測試二的對照組與測試三對比組，共計三組測試。. 實驗組主要測試使用者在虛擬環境中作 3D 設計物件精密移動時的實際操作滑鼠的過程與手部的實際動作，對照組則是測試當受測者操作游標視窗系統時，移動視窗系統游標與移動虛擬環境中的 3D 設計物件，是否有操作或是動作上的差異，而對比組則是嘗試將滑鼠動作轉換成手部動作，並作分析比較。. 3.2.2 個案分析設計. 本個案分析選定一位有兩年以上設計經驗，並以 3D 軟體 3ds max 為主要虛擬環境操作介面之受測者作為主要個案分析對象，本個案分析首先在 3ds max 的虛擬環境中製. Using hand movement system to operate 3D design objects in virtual environment. 19.

(26) 第三章. 手部基本認知與滑鼠動態分析. 作一 3D 設計物件，並要求受測者使用滑鼠移動此一 3D 設計物件至指定地點，並使受測者在間隔為 1cm X 1 cm 之方格紙上移動滑鼠，以利紀錄受測者滑鼠實際位移之距離，並以數位相機拍攝照片作為定點紀錄，藉以取得個案分析數據作為研究參考。. 3.2.3 個案分析限制. 本個案分析主要在研究手部運動對滑鼠操控的影響，在本個案分析中並沒有使用特殊的滑鼠操作系統，如軌跡球、3D 滑鼠、數位手套…等裝置，僅以一般市售之滑鼠作為測試工具，故在操控的過程中僅提供 x、y 兩軸向之操控座標，而 z 座標的移動則需要經由選單的轉換，因此本個案分析僅採用 x、y 兩軸向之操控座標作為測試依據。. 3.2.4 個案分析工具. 本個案分析採用個別操作定點拍照的方式，當受測者做到指定的動作時，即使用數位相機將受測者的動作以影像保存，其所需工具如下：. 硬體部分：本個案分析使用 SPECTEC CL50 筆記型電腦，CPU 型號及效能：Intel centrino 1600 MHz，實體記憶體：512MB，顯示卡：ATI Mobility Radeon 9000 128MB，螢幕顯示：1152 X 864 全彩 32 位元，螢幕更新頻率：60 Hz，螢幕大小與比例：15.1 吋、螢幕比 4：3。使用滑鼠：Acer MP0930 400 dpi. 軟體部分：本個案分析使用 3D 虛擬軟體為 3ds max 6.0 版，作業系統：Windows XP SP1. 拍攝工具： Canon Power Shot S30，光圈 F2.8，快門 1/160，相片解析度 2048 X 1536，水平解析度 180 dpi。. Using hand movement system to operate 3D design objects in virtual environment. 20.

(27) 第三章. 手部基本認知與滑鼠動態分析. 3.2.5 個案分析目的. 本個案分析在於檢測受測者在虛擬環境中移動 3D 設計物件的位移動作與受測者在操作游標視窗系統滑鼠時動作位移的差異性，並紀錄其在虛擬環境中的操作過程與受測者的實體手部位移動作，以作為換算本研究中實際手部位移與手部關節運動之運動數據，藉以分析出作適合之手部關節旋轉角度，以利系統之設計。. 3.2.6 個案分析過程. 本個案分析分為三個測試階段，第一階段實驗組、第二階段對照組及第三階段為對比組，各組測試過程如下：. 測試一：實驗組本實驗主要測試在虛擬環境中，精密的操控 3D 設計物件，並於 3ds max 軟體中，建立一長 x 寬 x 高為 100 cm x 100 cm x 100 cm 之 3D 方塊模型，並將虛擬環境設為 460 cm x 230 cm 之虛擬空間，先將 3D 方塊模型至於畫面之絕對中心點 ( 0, 0, 0 )，再由受測者逐一移動方塊模型置畫面左、右、上、下與螢幕邊緣對齊，以數位相機紀錄每一個座標參考點 (表 3-3)，並將虛擬空間中的 3D 設計物件移動過程，以 3ds max 軟體中的內建動畫紀錄格式，紀錄成動畫檔，以利後續分析。測試二：對照組本實驗僅移動螢幕中之游標視窗系統，並紀錄游標移動之滑鼠最大位移距離，因此受測者先將游標至於畫面之中心位置，再由受測者逐一移動游標至畫面之極左、極右、極上、極下四點，並與螢幕邊緣對齊，以數位相機紀錄每一次位移之後的滑鼠座標參考點 (表 3-4)。. 測試三：對比組本實驗主要測試受測者在做完先前實驗後，使受測者觀看先前在測試一所紀錄的 3D設計物件移動過程動畫，並以手部動作來模擬滑鼠移動情形，觀察並以數位相機紀錄之 (表 3-5)。. Using hand movement system to operate 3D design objects in virtual environment. 21.

(28) 第三章. 手部基本認知與滑鼠動態分析. 表 3-3 測試一：實驗組測試. 滑鼠位移螢幕動作. 滑鼠位移. 手部動作. 距離 (cm) (換算位移座標). 0 cm ( x= 0, y= 0) 方塊置中. 滑鼠置中. 手部置中. 4 cm ( x= -4, y= 0) 方塊置左齊邊. 滑鼠向左位移. 受測者向左方彎曲手腕關節帶動滑鼠. 4 cm ( x= 4, y= 0) 方塊置右齊邊. 滑鼠向右位移. 受測者向右方彎曲手腕關節帶動滑鼠. 2 cm ( x= 0, y= 2) 方塊置上齊邊. 滑鼠向上位移. 受測者伸直手指帶動滑鼠. 2 cm ( x= 0, y= -2 ) 方塊置下齊邊. 滑鼠向下位移. 受測者彎曲手指帶動滑鼠. Using hand movement system to operate 3D design objects in virtual environment. 22.

(29) 第三章. 手部基本認知與滑鼠動態分析. 表 3-4 測試二：對照組測試. 螢幕動作. 滑鼠位移. 滑鼠位移距離 (cm) ( 換算位移座標 ). 游標置螢幕中央 0 cm ( x= 0, y= 0 ) 滑鼠及受測者手部置中游標置螢幕左齊邊 7 cm ( x= -7, y= 0 ) 受測者將手部完全向左橫向移動並帶動滑鼠向左移動游標置螢幕右齊邊 7 cm ( x= 7, y= 0 ) 受測者將手部完全向右橫向移動並帶動滑鼠向右移動游標置螢幕上齊邊 7 cm ( x= 0, y= 6 ) 受測者將手部完全向上橫向移動並帶動滑鼠向上移動游標置螢幕下齊邊 6 cm ( x= 0, y= -6 ) 受測者將手部完全向下橫向移動並帶動滑鼠向下移動. Using hand movement system to operate 3D design objects in virtual environment. 23.

(30) 第三章. 手部基本認知與滑鼠動態分析. 表 3-5 測試三：對比組測試. 螢幕動作. 滑鼠位移. 手部動作(側面). 手部動作(正面). 方塊置中. 滑鼠置中. 受測者手背持平. 受測者手背持平. 受測者手背以自身逆. 受測者手背以自身逆. 時鐘方向開始傾斜. 時鐘方向傾斜約 45 度. 受測者手背以自身順. 受測者手背以自身順. 時鐘方向開始傾斜. 時鐘方向傾斜約 45 度. 受測者手背以自身方. 受測者手背以自身方. 向，向上傾斜約 30 度. 向，開始向上傾斜. 受測者手背以自身方. 受測者手背以自身方. 向，向下傾斜約 30 度. 向，開始向下傾斜. 方塊置左齊邊. 方塊置右齊邊. 方塊置上齊邊. 方塊置下齊邊. 滑鼠向左位移. 滑鼠向右位移. 滑鼠向上位移. 滑鼠向下位移. Using hand movement system to operate 3D design objects in virtual environment. 24.

(31) 第三章. 3.3. 手部基本認知與滑鼠動態分析. 個案現象觀察與結果經由以上的個案，我們藉由受測者操作虛擬空間中的 3D 設計物件和使用游標視窗. 系統的過程，可以觀察出受測者手部動作和滑鼠運作之間的關係。. 3.3.1 個案現象觀察. 根據以上的測試，可以發現各組在不同測試的條件下，個案操作的過程中手部動作有些微運作上的差異。. 實驗組的觀察：本組主要是觀察受測者在虛擬環境中作精密的操控 3D 設計物件，此過程中受測者手部動作上的差異。. a. 3D 設計物件在虛擬環境中 x 軸向的運動：當受測者操作滑鼠往 x 軸向運動時，手部的動作是以手腕關節為中心，受測者順 (逆) 時針轉動手腕關節，以達到向左或向右移動 3D 設計物件的目的，此時滑鼠實際位移的距離約在 4 cm 左右 (圖 3-2)。. 圖 3-2 當操作滑鼠往 x 軸向運動時，手部的動作是以手腕關節為中心，滑鼠實際位移的距離約為左右 4 cm 左右. b. 3D 設計物件在虛擬環境中 y 軸向的運動當受測者操作滑鼠往 y 軸向運動時，手部的動作是以手指拖拉動作為主，受測者伸直或彎曲抓住滑鼠的手指，以達到向上(前) 或向下(後) 移動 3D 設計物件的目的，此時. Using hand movement system to operate 3D design objects in virtual environment. 25.

(32) 第三章. 手部基本認知與滑鼠動態分析. 滑鼠實際位移的距離約在 2 cm 左右 (圖 3-3)。. 圖 3-3 當操作滑鼠往 y 軸向運動時，手部的動作是以手指拖拉動作為主，滑鼠實際位移的距離約為上下 2 cm 左右. 實驗組的觀察：本組主要是觀察受測者在游標視窗系統中移動視窗內游標手部動作上的差異。. a. 視窗內的游標在游標視窗系統中 x 軸向的運動：當受測者操作滑鼠往 x 軸向運動時，由於游標移動的距離較大，僅以手腕關節為中心的運動過程，並無法滿足大範圍的游標移動，因此，受測者必須將整個手部作大範圍的位移動作，利用下手臂帶動手掌作左右橫移的動作，以達到向左或向右移動視窗游標的目的，此時滑鼠實際位移的距離約在 7 cm 左右 (圖 3-4)。. 圖 3-4 當受測者操作滑鼠往 x 軸向運動時，受測者必須將整個手部作大範圍的位移動作，滑鼠實際位移的距離約為左右 7 cm 左右. b. 視窗內的游標在游標視窗系統中 y 軸向的運動：當受測者操作滑鼠往 y 軸向運動時，由於視窗螢幕大小為 4：3，上下游標移動的距離不若左右橫移距離來的大，因此，受測者僅需帶動滑鼠作較小的為移動作，即利用下手臂帶動手掌作上下縱移的動作，以達到向上或向下移動視窗游標的目的，此時滑鼠實. Using hand movement system to operate 3D design objects in virtual environment. 26.

(33) 第三章. 手部基本認知與滑鼠動態分析. 際位移的距離約在 6 cm 左右 (圖 3- 5)。. 圖 3- 5 當受測者操作滑鼠往 y 軸向運動時，利用下手臂帶動手掌作上下縱移的動作，滑鼠實際位移的距離約為 6 cm 左右. 對比組的觀察：本組主要是觀察受測者以手部動作來模擬滑鼠移動時的自然手部的反應動作。. a. 以手部動作來模擬滑鼠移動中 x 軸向的運動：當受測者以手部模擬滑鼠往 x 軸左方移動時，受測者手部的動作是以手腕關節為中心將手背以自身逆時鐘方向傾斜約 45 度 (旋轉 45 度)，以達到模擬向左移動 3D 設計物件的目的，反之，當受測者以手部模擬滑鼠往 x 軸右方移動時，受測者手部的動作是以手腕關節為中心將手背以自身順時鐘方向傾斜約 45 度 (實際旋轉為 90 度)，以達到模擬向右移動 3D 設計物件的目的 (圖 3-6)。. 圖 3-6 受測者以手腕關節為中心將手背以自身順逆時鐘方向傾斜 (旋轉)，以達到模擬左右移動 3D 設計物件的目的. b. 以手部動作來模擬滑鼠移動中 y 軸向的運動：當受測者以手部模擬滑鼠往 y 軸上方移動時，受測者手部的動作是以手腕關節為中心將手背以自身方向，向上傾斜約 30 度 (旋轉 30 度)，以達到模擬向上移動 3D 設計物 Using hand movement system to operate 3D design objects in virtual environment. 27.

(34) 第三章. 手部基本認知與滑鼠動態分析. 件的目的，反之，當受測者以手部模擬滑鼠往 y 軸下方移動時，受測者手部的動作是以手腕關節為中心將手背以自身方向，向下傾斜約 30 度 (實際旋轉為 60 度)，以達到模擬向下移動 3D 設計物件的目的 (圖 3-7)。. 圖 3-7 受測者以手腕關節為中心將手背以自身上下方向傾斜 (旋轉)，以達到模擬上下移動 3D 設計物件的目的. 3.3.2 個案分析結果. 本個案分析結果顯示，當使用者在使用滑鼠的時候，絕大多數的情況下，移動滑鼠的最大距離約為左右( x 軸) 各約橫移正負 7 公分，上下( y 軸) 約縱移正負 6 公分，而在作較為精密物體移動的時候，移動滑鼠的最大距離更只有為左右( x 軸) 各約橫移正負 4 公分，上下( y 軸) 約縱移正負 2 公分，亦即當使用者在操作滑鼠時，實際的位移距離約為手腕關節可移動或轉動可以達到的距離，本個案的受測者在習慣滑鼠之後，測驗的過程中絕少將手腕位置移動，大多數的動作均僅靠手指運動來完成 (圖 3-8)。. 圖 3-8 受測者在習慣滑鼠之後，大多數的動作均僅靠手指運動來完成. 經由更仔細的觀察可以發現，當使用者要將畫面中的游標移至螢幕最邊緣的地方時，往往需要將滑鼠作較大範圍的位移，僅靠手指運動可能無法滿足上述動作的需要，因此實際上在作大範圍游標移動時，受測者必需要將手腕關節作適當的移動，方能滿足 Using hand movement system to operate 3D design objects in virtual environment. 28.

(35) 第三章. 手部基本認知與滑鼠動態分析. 實際上的大範圍游標移動，但是受測者在習慣使用滑鼠之後，往往為節省時間及力氣，在作大範圍游標橫移動作的時候，會讓滑鼠輕輕離開桌面，使滑鼠完成兩次小範圍的手腕橫移動作 (圖 3-9)，以達到大範圍游標橫移的目的。. 圖 3-9 在作大範圍游標移動時，受測者必需要將手腕關節作適當的移動. 因此，我們可以得到一個簡單的結論，在使用滑鼠操作游標時，當受測者習慣以滑鼠作為操控裝置後，會儘量以最小幅度的動作來完成所需要的動作，亦即在受測者手腕關節運動或手指運動可達到的範圍內作適當的操作滑鼠動作，而經由手部模擬滑鼠的位移動作我們亦可發現，受測者利用手腕關節的旋轉運動，即可以模仿出滑鼠位移的 x 軸及 y 軸的橫向及縱向運動，本研究利用此一特性，作為手部動態操控系統的設計原理。. Using hand movement system to operate 3D design objects in virtual environment. 29.

(36) 第四章建立手部動態輸入系統. 根據第三章所作的手部認知研究及個案分析結果我們可以得到一個簡單的結論，受測者在實體空間操作滑鼠的時候，會儘量以最小的動作幅度來移動滑鼠，在實際操作虛擬環境的過程中，受測者會試著用最簡單的方式來直覺的操控虛擬空間中的物件，而手腕的關節運動則佔了大多數操作滑鼠時的 x 軸向移動，而手指則是佔了大多數操作滑鼠時的 y 軸向移動。. 再經由手部模擬時發現，利用簡單的手腕關節轉動，即可以模擬出滑鼠的二度空間位移，受測者不需經由太多的思考過程，即可以極直覺的方式利用手部的關節運動輕易的模仿出滑鼠的位移軌跡。. 因此，本章建立一套以紅外線光學感應裝置為基礎，利用手部一些的基本運動方式，來作為空間直覺輸入 x、y、z 三度空間座標的控制方式，以直覺式操作的輸入方式為前提，本裝置不需要複雜且不易學習的手勢輸入系統，即可利用手腕關節的轉動以及手掌的升降動作，達到在虛擬空間中操控 3D 設計物件的目的。. 4.1. 手部動態輸入系統操作原理本研究利用手腕關節帶動手掌所產生不同的關節運動變化，以產生不同的空間位置. 變化，來作為手部空間訊號輸入的依據，本研究先設計了三種簡單的手部動作，並將手部的三種運動方式轉為 X、Y、Z 三向的座標系統，如此便可以利用三種不同的手部動作，來代表三向的空間作標系統，本研究稱之為「手部動態輸入裝置系統」 (hand movement system, HMS)。. 經由第三章的滑鼠操作分析研究，可以簡單的歸納幾點發現： 1. 滑鼠的 x 軸向運動，僅由操作滑鼠的橫向運動即可完成。 2. 滑鼠的 y 軸向運動，僅由操作滑鼠的縱向運動即可完成。 Using hand movement system to operate 3D design objects in virtual environment. 30.

(37) 第四章. 建立手部動態輸入系統. 3. 一般所使用之市售滑鼠，如無特殊設定或裝置，無法提供使用者直接作 z 軸之移動。. 歸納以上三點發現，得到幾個簡單的手部應用： 1. 滑鼠的 x 軸向運動，可由手腕關節為中心將手背以自身順逆時鐘方向傾斜 (旋轉)，以達到模擬移動 x 軸 3D 設計物件的目的，並可藉由紅外線來測量手掌轉動的過程中 x1 與 x2 兩段距離的差異，以作為空間移動位置的參考數據。(圖 4-1.a) 2. 滑鼠的 y 軸向運動，可由手腕關節為中心將手背以自身上下方向傾斜 (旋轉)，以達到模擬移動 y 軸 3D 設計物件的目的，並可藉由紅外線來測量手掌轉動的過程中 y1 與 y2 兩段距離的差異，以作為空間移動位置的參考數據。(圖 4-1.b) 3. 滑鼠的 z 軸向運動，可藉由將整個手掌作上下移動的動作，以達到模擬移動 z 軸 3D 設計物件的目的，並可藉由紅外線來測量手掌升降的過程中 z 1 與 z 2 兩段距離的差異，以作為空間移動位置的參考數據。(圖 4-1.c). 圖 4-1 a. 利用手臂轉動手掌運動取得 x 軸座標；b. 利用手腕轉動手掌運動取得 y 軸座標；c. 利用手掌升降運動取得 z 軸座標. Using hand movement system to operate 3D design objects in virtual environment. 31.

(38) 第四章. 建立手部動態輸入系統. 因此，本研究利用紅外線感應器 ( Sharp GP2D12 Distance Measuring Sensor) 準確的測距特性，將紅外線測距光束對準在手掌的三個部位，分別為 A、B、C 三點 (圖 4-2)，如此即可將手部的動態軸向，對照成 A、B、C 三點的感應距離，並轉換成位移距離 A = x、B = y、C =z ，並用 Sharp GP2D12 Distance Measuring Sensor 取得距離數據參數，再將此數據參數轉換成 x、y、z 的空間座標系統，以操控虛擬空間中的 3D 設計物件。. 圖 4-2 手部的三種運動方式轉為 X、Y、Z 三向座標，並將紅外線測距光束分別照在手掌的三個部位. 4.2 手部動態輸入系統運作流程本系統以手部動態為主，將手部之三種動態轉經由紅外線測距裝置，轉換為類比之電壓訊號，再經由 RS232 將類比電壓訊號傳輸至電腦中，經由程式編碼再轉換為 x、y、 z 三向座標軸系統，藉以操控虛擬環境中的 3D 設計物件，最後，經由使用者的視覺回饋，再經由使用者的手部動作作直覺的空間操控。. HMS 系統操作流程可分為以下四個部分：. 1) 手部實體操控 HMS 系統主要由三個紅外線距離感應器 (sensor A、B、C) 所組成，分別偵測手部三個不同的位置，因此當手部在空間中產生動作時，三組紅外線感應裝置會同時感應到因手部運動所產生細微的空間距離差異，然而三組紅外線感應裝置會將空間中微妙的距離變化同時以類比式電壓訊號的方式傳回控制系統中。. Using hand movement system to operate 3D design objects in virtual environment. 32.

(39) 第四章. 建立手部動態輸入系統. 2) 類比訊號轉數位訊號當控制系統接收到了三組來自因手部運動所產生的電壓訊號時，控制系統必須將此三組類比式的電壓訊號轉換成一組單一的數位組合訊號，經由 RS232 回傳至電腦系統中，因此，電腦系統中會持續的接收到一組包含了 sensor A、sensor B、sensor C 所發出的訊號。. 3) 程式編碼與操控物件然而，收訊端接收到了組合的數位訊號之後，必須將此一訊號解碼，並經由程式編碼的方式將此一訊號轉換，意即再將此訊號分解為座標軸 x、y、z 三軸向可用之數位訊號，並能使之對應 sensor A = 座標軸 x、sensor B = 座標軸 y 與 sensor C = 座標軸 z。因此即能藉由 3D 設計軟體，將此三組訊號分別控制虛擬環境中 3D 設計物件的 x、y、z 三個自由度的空間操控。. 4) 使用者直覺式回饋最後，當使用者經由螢幕或是虛擬實境的設備觀看虛擬環境中 3D 設計物件時，使用者即可直覺的以視覺經由手部動作，修正並操控虛擬環境中的 3D 設計物件。此一動作為一循環的操控模式。. 以上即為手部動態輸入系統運作之流程，其系統運作流程如圖 4-3。. Using hand movement system to operate 3D design objects in virtual environment. 33.

(40) 第四章. 建立手部動態輸入系統. 圖 4-3 手勢動態輸入系統運作流程圖. 4.3 手部動態輸入系統組成本研究的主要裝置分為以下四個重要部份，分別為測量手部空間位置的紅外線感測裝置陣列組、處理類比電壓訊號轉換成數位訊號的 iRX 電路板、數位訊號編碼並轉換為空間操控座標以及整合 3D 模型與操控，其主要系統架構如下(圖 4-4)。. Using hand movement system to operate 3D design objects in virtual environment. 34.

(41) 第四章. 建立手部動態輸入系統. 圖 4-4 手勢動態輸入系統架構圖. 硬體組成部分： SPECTEC CL50 筆記型電腦，CPU 型號及效能：Intel centrino 1600 MHz，實體記憶體：512MB，顯示卡：ATI Mobility Radeon 9000 128MB，螢幕顯示：1152 X 864 全彩 32 位元，螢幕更新頻率：60 Hz，螢幕大小與比例：15.1 吋、4：3。滑鼠：Acer MP0930 400 dpi Sharp GP2D120 Distance Measuring Sensor 感應器三組 iRX 電路板 ( MIT Media Lab) Microchip PIC16F84A 可程式化晶片 ( Microchip Technologies, Inc.) RS232 傳輸線：USB to Serial (DB9) Cable AC 變壓器：9V 1A Using hand movement system to operate 3D design objects in virtual environment. 35.

(42) 第四章. 建立手部動態輸入系統. 軟體組成部分：作業系統：Windows XP SP1 編碼程式：MPLAB IDE v7.01 程式語言：C、C++、VB、Lingo 3D 軟體：3ds max 6.0 操作軟體：Director 8.5. 4.3.1. 紅外線感應陣列裝置. Sharp GP2D120 Distance Measuring Sensor 感應器為 Sharp 公司所生產之紅外線近距離感應裝置，Sharp GP2D120 距離感應器常用作為設計機器人行走時測量距離或防止碰撞的感應裝置，售價約為 10 美元，價格低廉，有效偵測距離約為 4 ~ 30 cm。Sharp GP2D120 距離感應器為本研究之主要感應裝置，最大可輸出 +7V 之電壓，但實際輸出電壓約為 +0.4V ~ +3.1V 之間，當感測物件距離約為 4 ~ 30 cm 時電壓約呈現+0.4V ~ +3.1V 的反比曲線，但如果距離不足 4 cm 時電壓會急速下滑 (圖 4-5)，最大功能限制如表 4-1。. 圖 4-5 Sharp GP2D120 Distance Measuring Sensor 類比輸出電壓與反射物件距離的關係 (摘自 http://www. Sharp.com). Using hand movement system to operate 3D design objects in virtual environment. 36.

(43) 第四章. 建立手部動態輸入系統. 表 4-1 Sharp GP2D120 Distance Measuring Sensor 功能限制表. (Ta=25∘C, Vcc =5V) Parameter. Symbol. Rating. Unit. Supply voltage. Vcc. -0.3 to +7. V. Output terminal voltage. Vo. -0.3 to Vcc +0.3. V. Operating temperature. T opr. -10 to +60. ∘C. Storage temperature. T stg. -40 to +70. ∘C. 本系統之紅外線感應陣列裝置主要由三組 Sharp GP2D120 Distance Measuring Sensor 感應器所組成，分別負責偵測手掌的三個控制點 A、B、C，Sharp GP2D120 Distance Measuring Sensor 感應器有三個電位腳，由左至右分別是白線─訊號輸出 (Out) 、黑線 ─接地 (Gnd) 以及紅線─電源輸入(Vcc)。因此，先將電源線及接地線接在萬用電路板上，再將一端訊號線接在萬用電路板另一端接到 iRX 電路板，再經由 iRX 電路板連接到 RS 232 以接連到電腦中。(圖 4-6). 圖 4-6 手部動態輸入裝置系統. 4.3.2. 系統連接裝置. 由於 Sharp GP2D12 Distance Measuring Sensor 所產生之訊號為 +0.4V ~ +3.1V 的類 Using hand movement system to operate 3D design objects in virtual environment. 37.

(44) 第四章. 建立手部動態輸入系統. 比式電壓訊號，必須藉由其他的輸入介面與電腦連結，因此本研究採用了較易操作的 RS232 連接控制器為輸入介面，並先將三組 Sharp GP2D12 Distance Measuring Sensor 所測得的電壓訊號經由 iRX 控制面板整合為數位訊號再傳輸至電腦，以進行編碼作業。. iRX 電路板. iRX 電路板是由美國麻省理工學院媒體實驗室 (MIT Media Lab) 的個人資訊建築小組(Personal Information Architecture) 所創造的一個簡單的 RS 232 數位連接裝置，iRX 電路板將一些物理性的過程或動作，以一個對應的數字方式表示。它由可見的 LED 、紅外線 LED 和一個紅外線檢波器所組成。在電路板的核心是由 Microchip Technologies, Inc.公司所製造的 PIC16F84A 或是 PIC 系列可程式化微處理器負責運算。iRX 電路板的總成本約在 20 美金以下。(圖 4-7). iRX 電路板可將 GP2D120 IR Distance Sensor 距離感應器所輸出之電壓訊號，以 RS232 作為平行輸出介面透過 DB-9 傳輸線輸出至 PC 中，使 PC 端可接收電壓訊號以轉換成本裝置所需之數位訊號，但 iRX 電路板本身並無編碼功能，因此必須使用 PIC16F88 可程式化微處理器來作為運算核心。. 圖 4-7. iRX 電路板. PIC16F88 可程式化微處理器. 本研究採用可將電壓訊號轉為數值輸出的 PIC16F88 可程式化微處理器，PIC16F88 可程式化微處理器由 13 個一般 I/O 連接埠，指令週期時間 200 奈秒以及高效能的 RISC (精簡指令及運算) 指令組，PIC16F88 可程式化微處理器可經由 MPLAB 程式作為編寫程式，使用者可以使用 C 語言來編寫所需要的指令與動作。iRX 電路板本身會使用到 5 個 I/O 連接埠，剩餘的 8 個連接埠可以為使用者應用 (表 4-2) ，故本研究可同時使用. Using hand movement system to operate 3D design objects in virtual environment. 38.

(45) 第四章. 建立手部動態輸入系統. RA0、RA1、RA2 三個 I/O 連接埠。表 4-2. PIC16F88 可程式化微處理器 I/O 連接埠. I/O 連接埠. 預留為. RA0. (可利用). RA1. (可利用). RA2. (可利用). RA3. (可利用). RA4. (可利用). 特徵. Schmitt 觸發器輸入埠，開放與某些中心電腦進行各種資料輸出. 4.3.3. 能被編程為外岔斷(INTF). RB0. IR. RB1. 連續. RB2. 紅色 LED. RB3. IR LED. RB4. (可利用). 能被編程為中斷變動(RBIF). RB5. 連續. 能被編程為中斷變動(RBIF). RB6. (可利用). 能被編程為中斷變動(RBIF). RB7. (可利用). 能被編程為中斷變動(RBIF). 訊號編碼. 本裝置利用 RA0、RA1 及 RA2 三個 I/O 連接埠，同時輸入三個由 Sharp GP2D120 Distance Measuring Sensor 感應器所發出的訊號，然而，由於 Sharp GP2D120 Distance Measuring Sensor 感應器所發出的訊號是 +0.4V ~ +3.1V 的電壓訊號，無法直接由電腦判讀利用，必須經由 MPLAB 編輯器編寫至 PIC16F88 可程式化微處理器中 (附錄) 再由 iRX 輸入至電腦中，因此同時將三組 Sharp GP2D120 Distance Measuring Sensor 感應器所的電壓訊號轉換為 5 ~ 35 的數值，得到一系列的字串 ”a, b, c “ (圖 4-8)，將此一系列字串作為系統輸入的座標系統，其編輯後可將電壓輸出整理為一連續性字串，以方便後續的編碼動作。. Using hand movement system to operate 3D design objects in virtual environment. 39.

(46) 第四章. 建立手部動態輸入系統. 圖 4-8 經由 MPLAB 編輯器整理輸出電壓為可辨識的字串. 4.3.4. 3D 設計模型控制. 經由 PIC16F88 可程式化微處理器所編擊出的訊號碼，即可套入 Director 8.5 軟體中作 3D 設計模型輸出，首先在 3ds max 軟體中製作一個 3D 設計物件，並將之存成*.W3D 格式以作為輸入 Director 8.5 軟體的操作格式。. 其次，在 Director 8.5 軟體將*.W3D 檔案輸入以後，利用 Director 8.5 軟體中的 3D 旋轉功能並用 Lingo 程式語言編輯 PIC16F88 可程式化微處理器中輸出的數字訊號碼編為對應 x、y、z 軸向的程式碼，並將 x 軸設定為旋轉正負 60 度、y 軸設定為旋轉正負 60 度、 z 軸設定為上下位移。(圖 4-9). 最後將設定好的程式碼輸出成 test.exe 檔案，接上手部動態輸入系統開啟連接埠，並開始依 x、y、z 軸向開始測試訊號。(圖 4-10). Using hand movement system to operate 3D design objects in virtual environment. 40.

(47) 第四章. 建立手部動態輸入系統. 圖 4-9 利用 Director 8.5 將數字訊號碼編為對應 x、y、z 軸向的程式碼. 圖 4-10 利用手部動態輸入系統開啟連接埠，並開始依 x、y、z 軸向開始測試訊號. Using hand movement system to operate 3D design objects in virtual environment. 41.

(48) 第四章. 4.3.5. 建立手部動態輸入系統. 系統設定與測試. 當設定好的程式碼輸出成 test.exe 檔案，接上手部動態輸入系統開啟連接埠，並開始依 x、y、z 軸向開始測試訊號完成後，即開始設定手部動態輸入系統的 6 個自由度，但由於手部動作只有三種，故本裝置將位移與旋轉作兩組設定並分別測試。. 位移設定與測試. 在 Director 8.5 軟體中，先設定成位移動作，以使手部動態輸入系統能更以使用者手部的動作來操控虛擬環境中的 3D 設計物件，其 Lingo 語言的設定為： "a":--往 x 移動 2 個單位 member("test").model("Box01").translate(2,0,0) "d":--往 x 移動-2 個單位 member("test ").model("Box01").translate(-2,0,0) "x":--往 y 移動 2 個單位 member("test ").model("Box01").translate(0,2,0) "w":--往 y 移動-2 個單位 member("test ").model("Box01").translate(0-,2,0) "q":--往 z 移動 2 個單位 member("test ").model("Box01").translate(0,0,2) "e":--往 z 移動-2 個單位 member("test ").model("Box01").translate(0,0,-2) 當手部動態輸入系統設定完成後，先作測試一的位移動態測試，測試者將利用手部動態移動 Director 8.5 軟體所設計出虛擬環境中的 3D 設計物件，位移方式為前、後、左、右、上、下六個方向，即為 x 軸、y 軸、z 軸的單一軸向 3 個方向度的位移動作，虛擬環境中的 3D 設計物件亦會隨者測試者的手部擺動而產生相對的位移動作。(圖 4-11). 旋轉設定與測試. 在 Director 8.5 軟體中設定旋轉動作，以使手部動態輸入系統能更以使用者手部的動作來操控虛擬環境中的 3D 設計物件，其 Lingo 語言的設定為： Using hand movement system to operate 3D design objects in virtual environment. 42.

(49) 第四章. 建立手部動態輸入系統. "a":--往 x 旋轉 2 度 member("test").model("Box01").rotate(2,0,0) "d":--往 x 旋轉-2 度 member("test ").model("Box01").rotate(-2,0,0) "x":--往 y 旋轉 2 度 member("test ").model("Box01").rotate(0,2,0) "w":--往 y 旋轉-2 度 member("test ").model("Box01").rotate(0-,2,0) "q":--往 z 旋轉 2 度 member("test ").model("Box01").rotate(0,0,2) "e":--往 z 旋轉-2 度 member("test ").model("Box01").rotate(0,0,-2) 當手部動態輸入系統完成測試一的位移動態測，測試者即開始作測試二的旋轉測試，測試者將利用手部動態旋轉 Director 8.5 軟體所設計出虛擬環境中的 3D 設計物件，旋轉方式為對空間座標中的 x 軸、y 軸、z 軸作單一軸向 3 個方向度的旋轉動作，虛擬環境中的 3D 設計物件亦會隨者測試者的手部擺動而產生相對的旋轉動作。(圖 4-12). 圖 4-11 利用手部動態將虛擬環境中的 3D 設計物件作前、後、左、右、上、下六個方向 3 個方向度的位移動作. Using hand movement system to operate 3D design objects in virtual environment. 43.

(50) 第四章. 建立手部動態輸入系統. 圖 4-12 利用手部動態將虛擬環境中的 3D 設計物件以空間座標中的 x 軸、y 軸、z 軸作單一軸向 3 個方向度的旋轉動作. Using hand movement system to operate 3D design objects in virtual environment. 44.

(51) 第五章. 結論與未來研究. 本研究主要是希望藉由手部動態操控系統的實作，來探討直覺式的操控方式與非穿戴式人機介面的可行性，同時也藉由滑鼠的使用者個案分析，來作為對空間座標認知的轉換與手部動態的關係作初步的探索與敘述。. 5.1 研究結論經由分析滑鼠操作的過程中，了解手部運動與視覺操控的關係，但是由於受限於我們的輸入平面仍是利用 2D 平面的游標視窗選單系統 (windows-indicator-menu-point, WIMP) (Gross and Kemp, 2001) 來控制在虛擬環境中的 3D 設計物件，所以在操作的過程中仍會有些限制使我們無法以直覺的方式直接轉換成我們的設計行為，例如當使用者以視覺觀看螢幕動作的時候，手部會自然的將滑鼠作相同的反應動作，例如上、下、左、右，使用者可以很直覺的方式操控滑鼠在 xy 平面的動作，但是卻無法直接的操控 z 軸座標。. 所以本研究提供了一套經濟簡單的直覺式手部操控裝置，可以讓使用者在「模型空間」 (Morozumi et al., 2002) 的虛擬環境中，以簡單直覺的手部動作做為空間操控的方式，使用者不需穿戴任何設備，就能以自身直覺的操控方式，即可作 x、y、z 三個軸向間的空間操作。不同於數位手套，不需遷就穿戴式或手持式設備的限制，亦可以不需要學習複雜的手勢輸入系統 Foley (1987)，即可以輕易的在虛擬空間中操控 3D 設計物件。因此本研究也說明了，直覺式的空間操控方式確實有利於幫助使用者來探索虛擬環境，而不需穿戴式的人機介面，也能以更自然的方式出現在使用者的環境之中，並經由人因工程的分析找出更為適合人體操控的人機介面。. 對於設計者而言，在 2D 的操作介面中去操作 3D 模型是一件不自然的方式，本研究將發展一套以手部動作為基礎的空間輸入系統的實做原型 hand mouse system，hand mouse system，使用者利用手部的移動與動作作為空間輸入的方式，可以讓使用者輕易 Using hand movement system to operate 3D design objects in virtual environment. 45.