國立臺灣大學工學院機械工程學系 碩士論文
Department of Mechanical Engineering College of Engineering
National Taiwan University Master Thesis
建立一個具有自然使用者介面的 複合式力回饋虛擬組裝系統
Development of a Hybrid Haptic Feedback Virtual Assembly System with Natural User Interface
楊芳雲 Fang-Yun, Yang
指導教授: 陳湘鳳 教授 Advisor: Shana Smith, Ph. D.
中華民國 104 年 7 月
July, 2015
I
誌謝
回首兩年前，我對研究完全沒有概念，只是拖著一顆對機械領域完全疲乏的 心，便跟隨著同學的腳步順順的踏進研究室。非常感謝那時指導教授陳湘鳳博士 願意冒著風險收留這樣彷徨迷途的我，當時的自己早在心中默默決定，如果不是 入到陳教授的實驗室就不念研究所了。然而，幸運的我並沒有因此好好上進認真，
在碩一時仍是得過且過，並且一再懷疑自己念碩士的意義，多次心中萌生休學念 頭。若非實驗室同學們的真誠友善，我想我早已放棄學業而去。每當放棄的念頭 升起時，心中一浮現與他們之間的革命情感便覺得自己可以再試試看。
碩一結束時，我順利考上北藝大的舞蹈創作所，對於是否要完成臺大這邊的 學業猶豫非常久，一邊是我夢寐以求的藝術殿堂，一邊是已經跌撞一年卻還沒有 任何研究方向的碩士學業，不難了解當時的我面對壓力有多麼想逃離臺大的一切。
最後，在父母的鼓勵和分析下，我還是選擇留下來走完這段在預期中會艱辛 萬分的臺大碩士路。感恩在碩二上爾傑把他原本的研究方向：PHANToM Omni®
交接給我，並不厭其煩地提供技術資源，讓我開展了新研究方向的契機。在過程 中，健民學長的指點和協助每每讓我將緊張不安的心安定下來，子權總是二話不 說地幫助我解決遭遇到的大小問題，庭柯提供專業上的建議，佑睿在我擔心害怕 時鼓勵我，以及浩洋的友善陪伴和提點。當然還有學妹家維，學弟子皓、富凱在 課業和實驗上的協助。最後是一群友善的學長們：子魁、曜安、士函、張凱與智 皓，有了他們的鼓勵和榜樣，讓我有繼續完成學業的勇氣。
碩二下學期是我人生中一段非常艱辛的時光，一方面要追趕落後許多的進度，
一方面在三月時論文的方向才從分析比較改為最後的系統整合，每一步都走的極 趕，但是，在這過程中，我也漸漸地喜歡上自己的研究內容，每天都抱著既興奮 又緊張的心情面對它，最後總算順利完成了系統建構。在使用者測試階段，由於 測試項目的複雜，每測一名使用者需要花約一小時才能完成，非常感恩我的許多
II
朋友義無反顧的幫忙，並在測試結束後分享寶貴的想法與建議給我。
如果沒有這麼多人的協助幫忙和鼓勵，我想不會有這本論文的完成。最後，
我要再次感激我的指導教授，她一路上不厭其煩地帶領我，溫和的指點我研究的 方向，給予我足夠的空間和時間來完成研究，並且仔細地幫我作論文寫作指導，
當然，還有她帶領著我們真心向上帝發願祈求，讓我更感受到上帝的慈悲。
碩士的這兩年我真的獲得了太多太多，從失意彷徨到重拾信心，對事物的看 法從執著固執到開放自由，而在研究的過程中，我也越來越了解自己的喜好和性 格。對於即將踏出臺大校園的我，祈願帶著這段時光所獲得的勇氣和信心，繼續 在人生的路上前行。
III
摘要
虛擬實境於工程組裝的應用近年來被廣泛的討論與實現，相較於在真實世界 中進行組裝，使用者在虛擬環境中組裝可以達到降低操作成本、操作危險性，以 及重複操作等好處。近年來由於科技技術的提升，許多新興的人機界面技術相繼 誕生，因此，如何運用這些技術，來使虛擬組裝能更符合使用者日常生活中的操 作習慣，邁向自然使用者界面(NUI)的設計，便成為本研究致力達成的目標。本 研究提出一個具有擬真操作模式的虛擬組裝系統，供使用者進行直接運用雙手和 使用工具的組裝，並擁有兩種力回饋模式，提供使用者在視覺之外，更真實的觸 覺感受。本研究使用 Chang(2015)所研發的震動力回饋手套提供使用者觸覺回饋，
並搭配 Leap Motion 的手部位置偵測作為手部模擬，使用 PHANToM Omni® 提供 使用者肢覺回饋作為組裝工具模擬。雙手應用和使用 3D 滑鼠來轉換視角的設計 讓使用者在虛擬環境中能有更擬真的感受。最後，本研究設計了二組組裝流程進 行使用者測試，結果顯示使用者傾向於用 震動力回饋手套抓取大物件，用 PHANToM Omni® 抓取小物件；在組裝效率方面，震動力回饋手套加 PHANToM Omni® 的複合模式得分最高，證實了本研究所建立的虛擬組裝系統具有組裝效率 並且在人機介面的設計上符合自然使用者界面。
關鍵字：虛擬實境、觸覺力回饋、肢覺回饋、自然使用者界面、組裝、組裝工具。
IV
Abstract
Applications of assembly in virtual reality are increasingly discussed and implemented in recent years. Compared to real world assembly, users can complete necessary tasks in virtual reality with lowered cost, less potential hazards, and the ability of repeat manipulation. Thanks to the development of technologies, many human-computer interfaces with novel technologies have been born. Therefore, how to manage and combine these technologies into a virtual assembly system and also design it according to user’s daily habits, trying to achieve the design of natural user interface becoming a goal for this research. A virtual assembly system with realistic operating modes were proposed by us, which can provide users directly using their hands or using assembly tools to assemble, and it also equipped two different haptic feedbacks providing users with not only visual feedback but also haptic feedback. A pair of gloves developed by Chang (2015) were tracked by Leap Motion were served as users hands simulation providing users with vibrio-tactile feedback, and the PHANToM Omni®
was used to provide kinesthetic force feedback to simulate assembly tools in VR. In order to provide users with a more realistic VR environment, Dual-handed manipulation was designed and 3D mouse was used for changing viewpoints. At the end, two case studies were designed. The result shows that users tend to use gloves to grab large objects, and use PHANToM Omni® to grab small objects. Considering of the task completion time, the hybrid mode, which combined gloves and PHANToM Omni® , was the most efficient mode. As a result, the virtual assembly system with hybrid mode developed by us was confirmed to be efficient and has natural user interface.
Keywords: virtual reality, vibrio-tactile feedback, kinesthetic force feedback, natural user interface, assembly, and assembly tool.
V
主目錄
誌謝... I 摘要... III 圖目錄... VIII 表目錄... XII
第一章 研究背景介紹、動機與目的... 1
1.1 研究背景介紹... 1
1.1.1 虛擬實境... 1
1.1.2 虛擬組裝... 1
1.1.3 力回饋... 2
1.1.4 人機介面... 3
1.2 研究動機... 3
1.3 研究目的... 4
第二章 文獻回顧... 5
2.1 力回饋... 5
2.2 人機介面... 6
2.2.1 物件抓取... 6
2.2.2 虛擬手部抓取模擬... 7
2.2.3 工具模擬... 10
2.2.4 雙手操作... 15
2.3 虛擬組裝應用機制... 18
2.3.1 物理基礎... 19
2.3.2 約束基礎... 20
2.4 虛擬組裝系統架構... 20
2.5 使用者測試評比... 26
VI
2.6 文獻回顧小結... 30
2.6.1 力回饋... 30
2.6.2 虛擬手部抓取模擬... 30
2.6.3 工具模擬... 30
2.6.4 雙手操作... 31
2.6.5 虛擬組裝應用機制... 32
2.6.6 使用者測試評比... 32
第三章 硬體裝置介紹... 34
3.1 力回饋裝置... 34
3.1.1 PHANToM Omni® ... 34
3.1.2 震動力回饋手套... 35
3.2 追蹤裝置... 37
3.2.1 Leap Motion ... 37
3.3 3D 操作裝置 ... 39
3.3.1 SpaceMouse wireless ... 40
第四章 系統實現... 41
4.1 建立虛擬實境環境... 43
4.1.1 Unity3D... 43
4.1.2 視覺畫面... 44
3D 環境建構 ... 45
4.2 力回饋... 48
4.2.1 PHANToM Omni® 力回饋 ... 48
4.2.2 自製震動手套力回饋... 53
4.3 物件抓取... 54
4.3.1 PHANToM Omni® 的物件抓取方式 ... 54
VII
4.3.2 虛擬手的物件抓取方式... 60
4.4 物件組裝... 61
4.4.1 Port 組裝邏輯(port assembly constraint) ... 61
4.4.2 螺絲的接合邏輯... 62
4.4.3 組裝視覺邏輯提示... 63
4.5 雙 PHANToM Omni® 操作環境 ... 65
4.5.1 Networking 網路連線 ... 65
4.5.2 Unity3D 中的網路連線功能... 68
第五章 使用者測試... 73
5.1 使用者測試內容設計... 73
5.2 虎鉗案例... 74
5.2.1 四種測式模式... 74
5.2.2 測試內容... 75
5.2.3 結果討論... 76
5.3 致動器案例... 85
5.3.1 測試內容... 85
5.3.2 結果討論... 86
第六章 結論與未來展望... 88
6.1 結論... 88
6.2 未來展望... 89
第七章 參考文獻... 90
附件一... 94
VIII
圖目錄
圖 1.1 力回饋分類示意圖(Hatzfeld & Kern,2014) ... 2
虛擬實境中的物件抓取的方法(Argelaguet＆Andujar,2012) ... 6
三種人類手部模擬方法(Talvas,2014) ... 7
抓取手勢資料庫與比對流程(Aleotti & Caselli, 2007)... 8
手指碰撞對抓取邏輯(Holz et al.,2008) ... 9
手指上的剛性替身點(Jacobs et al.,2012) ... 10
CyberGrasp（力回饋手套） ... 11
組裝工具(Jayaram et al.,1999) ... 11
Vélaz et al. (2013)提出的各種人機互動方式 ... 12
工具組裝流程圖(Hongmin et al.,2010) ... 13
虛擬實境中的筆跡(Suzuki,2009) ... 14
（左）剪刀握把（右）按壓器握把(Phantom® Premium) ... 14
手槍握把模擬(Novint Technologies, 2015) ... 14
雙手虛擬手術(Ullrich et al.,2011) ... 15
左右手抓取示意圖(Vyawahare＆Stone,2012) ... 16
系統裝配圖(Vyawahare＆Stone,2012) ... 16
組裝機制圖... 18
voxmap 示意圖(Seth et al.,2006) ... 19
port 幾何約束機制(Bettig et al.,2004) ... 20
雙/單 PHANToM Omni® 的 frame rate (Seth et al.,2006) ... 21
SHARP 架構圖(Seth et al.,2006) ... 21
HAMS 系統架構(Gonzalez-Badillo et al.,2014) ... 22
約束基礎的組裝機制(Gonzalez-Badillo et al.,2014) ... 23
IX
系統畫面(Christiand and Yoon,2011) ... 24
以 HMD 呈現虛擬實境(Brough et al., 2007) ... 25
操作示意圖(Bhatti et al.,2014) ... 25
VADE 架構圖(Jayaram et al.,1999) ... 26
不同導角狀態對任務完成時間的比較(Haeusler,1981) ... 27
系統配置圖(Vo et al.,2009) ... 28
組裝記憶測試(Jia et al.,2013) ... 29
施測流程圖(Jia et al.,2013) ... 29
圖 3.1 PHANToM Omni® 裝置的六個 joint (SensAble Technologies, 2015) .... 35
圖 3.2 微型喇叭致動器... 36
圖 3.3 微型喇叭頻率響應... 36
圖 3.4 自製力回饋震動手套... 37
圖 3.5 Leap Motion 感測器拆解圖 ... 38
圖 3.6 Leap Motion 感測器的直角坐標系 ... 38
圖 3.7 Leap Motion 之 Articulated rigid hand ... 39
圖 3.8 SpaceMouse wireless(3Dconnexion, 2015) ... 40
圖 4.1 系統架構圖... 42
圖 4.2 3DS Max2015 畫面圖 ... 45
圖 4.3 Unity3D 場景中的相機... 46
圖 4.4 手部面向旋轉示意圖... 46
圖 4.5 相機旋轉示意圖一... 47
圖 4.6 相機旋轉示意圖二... 48
圖 4.7 OpenHaptics Toolkit 函式庫 ... 49
X
圖 4.8 替身力回饋的生成原理... 51
圖 4.9 PHANToM Omni® 力回饋量值面板 ... 52
圖 4.10 HLAPI 力回饋建置生成流程圖 ... 53
圖 4.11 PHANToM Omni® 兩個按鈕 ... 54
圖 4.12 PHANToM Omni® 的抓取邏輯判斷步驟圖 ... 59
圖 4.13 虛擬手掌心上的紅色碰裝偵測球... 60
圖 4.14 Port 示意圖 ... 62
圖 4.15 螺絲延長軸旋轉... 62
圖 4.16 螺絲接合邏輯流程圖... 63
圖 4.17 組裝視覺邏輯提示意圖... 64
圖 4.18 權威式的伺服器示意圖... 66
圖 4.19 非權威式的伺服器示意圖... 67
圖 4.20 Unity3d Network View ... 68
圖 4.21 客戶端預測法示意圖... 69
圖 4.22 fake PHANToM 程式操作示意圖 ... 71
圖 4.23 系統網路連線和力回饋運行步驟流程圖... 72
圖 5.1 四種測試模式圖... 74
圖 5.2 虎鉗爆炸圖... 75
圖 5.3 Q1 我覺得此虛擬實境系統是易於操作的 ... 76
圖 5.4 Q2 我覺得虛擬實境中的抓取操作方式是接近真實的 ... 77
圖 5.5 Q3 我覺得虛擬物件的抓取與移動是穩定且流暢的 ... 77
圖 5.6 Q4 我覺得此虛擬實境系統所提供的力回饋方式是接近真實的 ... 78
圖 5.7 Q5 我覺得此虛擬實境系統所提供的力回饋方式對操作是有幫助的 .... 79
XI
圖 5.8 四種操作模式對總組裝時間作圖... 80
圖 5.9 四種操作模式對零組件 1 的組裝時間作圖... 81
圖 5.10 四種操作模式對零組件 3 的組裝時間作圖... 81
圖 5.11 四種操作模式對四種零組件的組裝時間作圖... 82
圖 5.12 複合模式下使用者針對不同零組件的抓取方式選擇... 83
圖 5.13 Unity3D 制動器組裝場景圖... 85
圖 5.14 制動器組裝爆炸圖... 85
圖 5.15 制動器復合模式組裝之系統總體評估問卷... 87
XII
表目錄
表 2.1 虛擬組裝系統比較表... 33
表 2.2 本研究六種人因測試模式之雙手操作對照表... 32
表 4.1 PHANToM Omni® 三種操作模式圖 ... 56
表 4.2 PHANToM Omni® 二種工具模式抓取邏輯示意圖 ... 56
表 4.3 PHANToM Omni® 二種工具模式操作示意 ... 57
表 5.1 虎鉗零組件相關資訊... 75
表 5.2 四種操作模式對組裝時間的平均數和標準差量值表... 80
表 5.3 制動器零組件相關資訊... 86
表 5.4 二種模式下制動器組裝的使用者評估... 87
表 5.5 系統總體評估問卷... 87
1
第一章 研究背景介紹、動機與目的
1.1 研究背景介紹
1.1.1 虛擬實境
虛擬實境為一個能夠讓使用者浸入(immersion)、互動(interaction)、想像 (imagination)的人造立體環境，並且會加入多種感官回饋，如視覺、聽覺、
觸覺、嗅覺、味覺等。增加虛擬環境的擬真度，讓使用者有身臨其境的感 受。
1.1.2 虛擬組裝
Jayram et al. (1997)定義虛擬組裝為運用分析、模型預測、視覺顯示、資料 展示等方法，藉由電腦工具去實作或輔助組裝工程以及與其相關的工程選擇。
Seth et al. (2010)則將虛擬組裝定義為在虛擬實境中，藉由擬真的環境模擬和物件 互動，來進行虛擬模型組裝，以取代或減少在真實世界中的組裝雛形測試 (assembly prototyping)。
工業的組裝設計多是使用 CAD 系統來進行組裝評估，以便能提早發覺日後 生產階段可能產生的問題。然而，有些在製造方面的人為操作經驗和知識不容易 透由 CAD 系統來呈現。而虛擬組裝，則是使用一個直覺浸入式的虛擬環境，讓 設計者能夠在設計的前期，將組裝拆卸的設計想法和分析導入虛擬環境中，透由 與虛擬物體的實際互動來感受物體重量、空間關係與碰撞反應等，進而取代真實 的雛形測試，達到減少設計時間、風險和花費，或用來訓練組裝人員，增加組裝 效率和品質。
2
1.1.3 力回饋
力回饋(haptic feedback)是一種體感的回饋感受，在虛擬實境中，它更是一種 很重要的人機互動方式，使用者藉由力回饋裝置的使用，來操作並感受虛擬物體。
一般來說，力回饋可以根據感覺受器的不同，分為兩種，肢覺回饋(kinesthetic force feedback)和觸覺回饋(tactile feedback)。如圖 1.1 所示。
圖1.1 力回饋分類示意圖(Hatzfeld & Kern,2014)
肢覺回饋的受器為人體的運動系統，如肌肉、肌腱、關節等，因此，肢覺回 饋多跟關節的位置、四肢的排列、身體的方位，和肌肉的張力的改變有關。
PHANToM Omni® 即為常見的肢覺回饋器。
觸覺回饋是指經由皮膚的感覺受器所獲得的觸覺回饋感受，因此，相較於力 量回饋，觸覺回饋包含較為細緻的機械刺激，如皮膚表面的震動回饋，以及溫度、
電或化學的刺激等，因此，觸覺回饋多與接觸面的表面性質有關。
3
1.1.4 人機介面
使用者如何與虛擬實境互動一直是虛擬實境設計者試圖探究的問題。基於科 技的進步與發展，軟硬體設備的技術提升，有越來越多樣化的人機介面產生。而 如何能增加使用者在虛擬實境中的擬真感受，往往促成了不同人機介面的設計。
Wigdor & Wixon (2011)解釋「自然人機介面」Natural user interfaces(NUI)為 能夠讓使用者用自然的方式與之互動的人機介面，「自然」在NUI中並非描述人 機介面本身，而是針對人機介面的使用方式，是否符合人類日常生活習慣。
O’Hara et al. (2012)更提出「自然」是無關乎人機介面硬體端所使用的科技，
而是關於這些硬體端和人機介面如何與使用者互動的。也就是說，NUI是為了能 夠更貼近使用者的日常生活習慣，達到擬真的目的。
1.2 研究動機
虛擬組裝在虛擬實境的領域裡，已經有相當多的研究成果，目前則持續有團 隊正在進行研究與開發。受益於科技技術的推陳出新，有越來越多新形態的軟、
硬體應運而生。各研究團隊也積極地將新技術納入虛擬組裝系統的設計裡，在人 機介面的設計方面，當多數的研究者著眼於使用創新科技技術取代舊有技術的同 時，卻少有研究者根據各人機介面技術的特性加以整合，並且設計成為自然使用 者介面 。因此，本研究試圖結合現有的人機介面技術，並將使用者的日常操作 習慣（雙手直接抓取物體的方式、工具使用的方式）納入人機介面的設計考量，
希望能達成NUI的宗旨。
除此之外，目前已有許多文獻(Lim et al,2007 ,Vo et al,2009)經由比較有無力 回饋對虛擬組裝效率的影響，得出加入力回饋可以降低虛擬組裝時的任務完成時 間。但是，這些文獻中所提到的力回饋都單指肢覺回饋，尚未有文獻針對含有不
4
同種力回饋模式（肢覺回饋、觸覺力回饋）的虛擬組裝人機介面進行使用者測試 評估。
1.3 研究目的
建立一個考量使用者日常生活習慣的NUI虛擬組裝系統，擁有擬真的操作 模式並結合肢覺回饋和觸覺回饋的綜合使用，提供使用者雙手直接組裝與工具組 裝的模擬。並且針對多種的人機介面設計進行使用者評估，希望能證實本研究根 據各人機介面技術的特性所設計出來的複合模式（震動力回饋手套加PHANToM Omni® ），能符合NUI的宗旨，並有良好的虛擬組裝效率。
5
第二章 文獻回顧
本章將針對現有的研究進行文獻回顧。2.1 節將介紹肢覺力回饋和觸覺力回 饋。2.2 節針對人機介面，包括了虛擬實境中的物件抓取、雙手操作的設計。接 著於 2.3 節，針對虛擬組裝應用機制，包含物理基礎、約束基礎進行回顧。2.4 節 則是針對當今的虛擬組裝系統架構進行回顧。最後，於本章的最後一節 2.5 節，
我們將回顧使用者測試評比的相關文獻。
2.1 力回饋
力回饋依感覺受器的不同可區分為肢覺回饋和觸覺回饋，在 1.1.3 節中有 詳細的分類解說。在虛擬組裝的運用上，肢覺回饋多使用馬達作為制動器，提 供使用者多自由度的擬真力量回饋感受，是現今多數虛擬組裝系統所使用的力 回饋方式；觸覺回饋則常藉由機械震動提供使用者單自由度的細膩觸覺回饋感 受，在應用上，可將小體積的制動器設計成為可攜式的觸覺力回饋裝置，使用 者可將力回饋裝置穿戴在身上以減少操作空間的限制。
Seth (2006) Yoon (2011) Vyawahare＆Stone (2012) Ve ́laz (2013) Gonzalez- Badillo(2014) Bhatti (2014)皆使用 PHANToM Omni® 肢覺力回饋器作為虛擬組裝 系統的力回饋裝置。
Lieberman＆Breazeal (2007)讓使用者穿戴八個震動力回饋制動器(Tactaid) 在手臂上，藉由震動提示使用者當前動作的正確與否，幫助使用者動作技能學 習(human moter learning)。
Schorr et al. (2013)開發了一種能提供皮膚延展(skin stretch)的觸覺力回饋器 並將此皮膚延展回饋與常見的肢覺回饋進行比較，發現在硬度分辨的實驗中兩 者並無顯著差異，表示皮膚延展回饋可以取代肢覺回饋。應用上，可使用在遠 端操作的虛擬手術中，以避免肢覺回饋在遠端傳輸時的不穩定性。
6
2.2 人機介面
2.2.1 物件抓取
Argelaguet＆Andujar (2012)分類了虛擬實境中的物件抓取的方式，其中兩個 最常見的方式為(1)虛擬手(virtual hand)、(2)虛擬指標(virtual pointing)。虛擬手為 在虛擬實境中與虛擬物體直接觸碰的抓取方式；而虛擬指標則是藉由手部（或眼 睛）去操控像鐳射光束之類的指標來抓取物體。虛擬指標雖然不若虛擬手的方式 擬真，但由於它不受限於使用者的身體活動範圍，因此能在大工作範圍下使用。
如圖 2.1 所示。
(a) 虛擬手 (b)虛擬指標 虛擬實境中的物件抓取的方法(Argelaguet＆Andujar,2012) Brough et al. (2007)利用 Wii-Remote 作為抓取工具，當按下 Wii-Remote 的按 鍵時，會有一道虛擬的雷射光束產生在虛擬環境中，當此虛擬光束碰到物件之後，
物件會偵測與此光束夾角最小的物件軸向將此軸向對齊雷射光束，而物件就會跟 著虛擬光束移動，藉此作為抓取與移動物件的工具。此種方法即是一種虛擬指標 的抓取與移動模擬，雖然簡單方便，但缺乏虛擬實境中使用者感受的真實性。
虛擬手的直接觸碰方式和人類平常的抓取習慣接近，因此，在虛擬組裝中多 使用虛擬手抓取虛擬物體，接下來的 2.2.2 和 2.2.3 中所述的抓取方式即為虛擬 手法。
7
2.2.2 虛擬手部抓取模擬
人類在日常生活中最常使用的抓取方式便是使用手部抓取，因此，在虛擬實 境中，模擬人類的手部抓取，便是研究者努力探究的課題之一。常見的手部模擬 方式可以分為以下三種(1)Rigid proxies、(2)Articulated rigid hand、(3)Deformable hand。以系統計算量而言，由左至右增大；擬真度亦是由左至右增加，如圖 2.2 所示。大多數的虛擬組裝都是使用 Rigid proxies 和 Articulated rigid hand。
PHANToM Omni® 力回饋裝置因為只有單一輸入點，因此，在進行人手模擬 時，虛擬手部會完全呈現剛體狀態，其使用的就是 Rigid proxies。
三種人類手部模擬方法(Talvas,2014)
Articulated rigid hand 因在外觀與操作上皆近似於人類真實手部樣態，因此，
許多研究用此方法在虛擬實境中模擬人類的手部，希望能使虛擬組裝更擬真。以 下提供三種 Articulated rigid hand 的應用。
Aleotti & Caselli (2007)提出了利用抓取手勢來判斷在虛擬環境中，使用者與 物體的接觸關係。作者建立一個人手抓取物件的資料庫，資料庫有 11 個抓取手 勢終點。作者在虛擬環境中，將使用者手部模型的 22 個關節都設定一個碰撞偵 測器，而其中有 19 個關節是作者認為會影響到抓取姿勢的。而這 19 個關節之碰 撞偵測器在碰觸到虛擬物件時會產生 19 個相對應的向量，資料庫藉由這 19 個向 量比對出對應的抓取結果。此種抓取效果可以增加使用者在虛擬環境中的真實感
8
受，並且可以簡化程式邏輯。但是，藉由資料庫去比對抓取姿勢並不能提供使用 者抓取物件時的高度自由度。物件抓取資料庫比對流程圖，如圖 2.3 所示。
抓取手勢資料庫與比對流程(Aleotti & Caselli, 2007)
Holz et al. (2008) 所提出的多點接觸抓取互動方式，對於在虛擬實境中抓取 物件可以提供使用者高度自由度以及準確度。抓取邏輯，如圖 2.4 所示。作者在 虛擬環境中製作一虛擬手作為接觸介質，然後在手的關節處放置 26 個圓形碰撞 器 Si，當兩個以上的碰撞器接觸到物體時，碰撞器之間會以碰撞器的圓心為端點 產生一向量𝑉ij，以及碰撞器與物體接觸面的法向量ni , nj，若∠(ni, 𝑉ji) ≤ αmax 且∠(nj, 𝑉ij) ≤ αmax (其中αmax 為人手與物體間產生滑動的最大角度，與物體的 摩擦力有關)，則物體確定抓取。成功抓取物體後，作者將物件的移動分為位移和 旋轉，若為兩點碰觸，則以𝑉ij的中點為重心，若為多點碰觸，則為𝑉ij所圍成的形 狀之重心為中心進行位移與旋轉，藉此方式完成物件的抓取與移動。 此種 Articulated rigid hand 的應用使用了啟發法(heuristics)。當使用者手部的動作啟發 抓取模式後（例如有兩只以上的手指觸碰到物體），系統才會開始判定物體是否
9
符合抓取條件，因此，可以節省掉必須隨時監控手部動作以判定抓取的運算資源。
若符合抓取條件，物體便會被設定為抓取並跟隨著使用者所設定的錨點作旋轉和 移動。
手指碰撞對抓取邏輯(Holz et al.,2008)
Jacobs et al. (2012)把以往安設在手掌的替身點(proxy points)改為安設人類的 手掌加指節共 16 節的位置上，如圖 2.5 所示。虛擬實境中，當手指觸碰到虛擬 物體時，使用者在真實世界裡的手卻沒有觸碰到任何實際物體，因此，使用者 的觸碰感受完全只有力回饋裝置所給的回饋。這種情況下，使用者的手指會穿 入虛擬物體，替身點就是在此時出現在物體表面，讓系統以彈簧力的計算方式 𝐹 = 𝑘(𝑋𝑝𝑟𝑜𝑥𝑦− 𝑋𝑜𝑏𝑗𝑒𝑐𝑡)，給手指力回饋感受。這種替身點的回饋方式由於是漸 進式的，不會讓使用者感到驚嚇，且可以有效避免手部穿刺進入虛擬物體的狀 況，而手部模擬採內建骨骼的方法也讓操作更加擬真。不過，使用 16 個替身點 必須要避免各個指節之間的衝突，因此計算上較為複雜。
10
手指上的剛性替身點(Jacobs et al.,2012)
2.2.3 工具模擬
在進行物件組裝規劃時，工具的使用可以加速組裝效率和品質，是非常重要 的一環。虛擬實境，作為一個擬真的操作環境，十分適合設計者在設計虛擬組裝 流程時，加入組裝工具的模擬規劃。一般來說，虛擬組裝工具的設計規劃主要有 模型外觀設計、工具選擇方式、工具拿取方式、工具的使用操作邏輯。然而，組 裝工具的多元性，造成了虛擬組裝工具模擬上的困難，因此，虛擬組裝工具的設 計規劃常常被設計者省略。
Jayaram et al. (1999)在其所設計的虛擬系統 VADE 中，加入組裝工具的使用，
如圖 2.7 所示。使用者需要使用像抓取場景中其他物件一樣的抓取方式來抓取工 具。將工具靠近細小結件（如螺絲）時，系統會進行約束基礎的判斷，包括結件 的尺寸和工具接近的方向性。如果皆符合規則，則結件可以被提取，直到碰到了 欲接合的元件時，才再進行新的約束基礎判定。由於此系統所使用的輸入裝置是 CyberGrasp（力回饋手套），如圖 2.6 所示。因此，在抓工具時也可以獲得力回饋 感受。
11
CyberGrasp（力回饋手套）
組裝工具(Jayaram et al.,1999)
Ve ́laz et al. (2013)讓使用者在真實世界中雙手各握取一支細長桿件，作為虛 擬組裝工具的操作模擬。運用 Mocap 系統（無標記影像追蹤系統）在現實世界 中，使用影像追蹤的方式，追蹤使用者手中的桿件位置，並於虛擬實境中同步顯 示出虛擬工具，見圖 2.8(a)所示。不過，研究者為了要統一操作方式，以便進行 系統間的相關比較，不論使用者欲抓取的是虛擬組裝工具還是結件，皆須雙手握 著細長桿件與虛擬環境互動，這種方式在使用者抓取的物體是結件時，便喪失了 擬真度。
12
(a) (b) (c)
(d) (e)
Vélaz et al. (2013)提出的各種人機互動方式((a)雙手握取桿件使用 Mocap 系統追蹤(b)一手桿件一手 PHANToM Omni® 複合式追蹤 (c)兩組 PHANToM Omni® 追蹤。(d)兩組 GRAB 追蹤(e) 一手桿件一手 GRAB 複合式 追蹤)
Hongmin et al. (2010) 提出了在虛擬實境中，組裝工具的設計規劃，如螺絲 起子、板手、自動化工具等。此研究，綜合考慮組裝時的幾何位置邏輯、工程操 作邏輯和物件組裝邏輯，設計出可更換的虛擬組裝工具。其工具的選擇為直接使 用圖表目錄來選擇，接者，使用者依系統的判斷邏輯來抓取符合要求零件（如用 螺絲起子抓取螺絲）。再來，移動工具和零件到正確位置。最後，進行組裝操作，
結束組裝，詳見圖 2.9。此篇文獻最大的意義為提供一種虛擬工具的設計規劃。
研究者更在結尾指出，虛擬工具的操作有助於使用者透過虛擬組裝獲得組裝的知 識與相關經驗。不過，此文獻並未考量追蹤使用者手部位置資訊的人機介面裝置 之擬真度，也未提供使用者操作時的力回饋。
13
工具組裝流程圖(Hongmin et al.,2010)
現今市售的力回饋裝置，多為單點力回饋裝置，如 PHANToM Omni® 。單一 點力回饋裝置，只提供單一點的輸入和輸出，而所有的力回饋的輸出都會集中在 此一點上，對使用者來說「點」的操作十分不直覺。因此，這些市售力回饋裝置 多會搭配操縱桿來使用，如 PHANToM Omni® 的操縱筆。
Suzuki(2009)為了要改善使用者在虛擬實境中，握取力回饋操縱筆與虛擬環 境互動的不擬真，參考人類平時寫字握筆的習慣與姿勢，將力回饋操縱筆直接模 擬成虛擬實境中的「筆」。而使用者握取力回饋操縱筆的力量大小，則會反應在 虛擬實境中的筆跡上，如圖 2.10 所示。
14
虛擬實境中的筆跡(Suzuki,2009)
另外，有些裝置更改變了操縱桿的外形，將其模擬成工具的握把，讓使用者 能有更擬真的操作，如剪刀、按壓器，甚至供遊戲使用的手槍，如圖 2.11，2.12。
（左）剪刀握把（右）按壓器握把(Phantom® Premium)
手槍握把模擬(Novint Technologies, 2015)
15
2.2.4 雙手操作
Guiard(1987)提到，在真實世界中，人類習慣使用兩隻手進行所有的工作，
然而，絕大多數的狀況裡，兩隻手的工作任務是不相同的。也因此，常被誤解為 只用單手進行工作。例如使用慣用手寫字的同時，另一隻手需要負責固定住紙張。
在虛擬實境中，雙手的操作能讓使用者維持原本生活中的雙手操作習慣，但至今 仍有許多虛擬實境系統的操作僅限於使用慣用手，從系統執行面上來看，雙手操 作需要同時處理兩隻手的狀態和力回饋。因此，系統的計算速率需要提升，且力 回饋的生成速率也需要增加才能因應需求。硬體上，則需要準備兩套的操作裝置，
花費上較為昂貴。
Ullrich et al. (2011) 在虛擬實境中，讓一組使用者，使用其非慣用手操縱一 支 PHANToM Omni® 力回饋裝置，來固定病患的受傷位置，慣用手則操縱另一支 PHANToM Omni® 力回饋裝置，來進行虛擬穿刺，如圖 2.13 所示。另一組使用者 則只用其慣用手進行虛擬穿刺，不使用非慣用手。研究結果指出，使用雙手操作 的組別在任務完成時間和精準度上都優於另一組的單手操作。本研究證實，使用 非慣用手輔助慣用手的雙手操作方式，即是一種能提升操作效率的方式。
雙手虛擬手術(Ullrich et al.,2011)
Vyawahare＆Stone (2012)的研究中，分別提出了兩種雙手運用的虛擬組裝方 式。其一為使用者用非慣用手控制具有位置追蹤功能卻不提供力回饋的 Razer
16
Hydra 抓取虛擬零件(hole)，慣用手則控制 PHANToM Omni® 操作虛擬插件(peg)，
執行 peg in hole 的組裝，如圖 2.14 所示。在零組件間碰撞或正確安裝時會由彈 簧阻尼系統計算出三個自由度的力回饋輸出給 PHANToM Omni® 。此種複合式 的虛擬操作方式，由於非慣用手所使用的 Razer Hydra 的工作範圍較廣，作為虛 擬零件(hole)的抓取工具可以改善 PHANToM Omni® 工作範圍狹小的問題，達成 良好的互動關係。但缺點是無法提供任何的力回饋。其二則是左右兩手共同操控 同一零組件，左手（非慣用手）負責零件的移動，右手（慣用手）則負責零件之 旋轉，此種操作方式，可避免 PHANToM Omni® 工作範圍狹小的問題。雖然操 作方式較為特殊，但使用者若經過學習，則可以加強兩隻手合作，不失為一種優 良的雙手操作方式。
左右手抓取示意圖(Vyawahare＆Stone,2012)
系統裝配圖(Vyawahare＆Stone,2012)
17
Ve ́laz et al. (2013) 提出了雙手複合式組裝系統，其中一隻手在真實世界中抓 取細長桿件，作為虛擬組裝工具的操作模擬。運用 Mocap 系統（無標記影像追 蹤系統）在現實世界中，使用影像追蹤的方式，追蹤使用者手中的桿件位置，另 一隻手則使用 PHANToM Omni® 來進行操作，圖 2.8(b)所示。研究更進一步將此 複合式組裝系統、雙手 PHANToM Omni® 系統、雙手 Mocap 系統，圖 2.8(a)(b)(c)，
進行比較。結果顯示，複合式組裝系統，由於雙手工作區域範圍差異大(PHANToM Omni® 系統 16 cm x 12 cm x 12 cm，Mocap 系統 50 cm x 40 cm x 50 cm)在操作上 容易困惑使用者，最不受使用者歡迎。於是，作者又提出改良版的雙手複合式組 裝系統，將 PHANToM Omni® 系統以工作區域範圍較大(60 cm x 40 cm x 40 cm) 的 GRAB 力回饋系統取代。結果顯示，此改良版的雙手複合式組裝系統，在任 務完成時間和使用者經驗上都和雙手 GRAB 力回饋系統之間無顯著差異。代表 在精度要求不嚴苛的情況下，此雙手複合式組裝系統可以取代雙手 GRAB 力回 饋系統。此研究提出了在虛擬實境中各種雙手操作的可能性，不論是雙手使用同 樣力回饋裝置的組裝系統或雙手複合式組裝系統，都可以提高虛擬實境真實性以 及增加雙手組裝的任務多樣性。
18
2.3 虛擬組裝應用機制
Seth et al. (2010)在文中整理了虛擬組裝應用的相關機制與方法，一共將組裝 應用機制分成物理基礎應用(Physics-based)、約束基礎應用(Constraint-based)。而 約束基礎應用下又可以再細分 為位置約束 (positional constraints)和幾何約束 (geometric constraints)，如圖 2.16 所示。
組裝機制圖
物理基礎應用：在虛擬實境中，讓虛擬物體依然呈現出和在真實世界裡相似 的物理性質，如物體的重力、硬度等。而在虛擬物體之間，則模擬真實物體間該 有的互動，例如相互碰撞時，彼此之間產生摩擦力、接觸力，以及碰撞後，物體 的運動狀態改變等。在物理基礎的機制下，使用者可以在虛擬空間中自在移動所 抓取的物件，直到抓取物件和虛擬空間中的其他物件發生碰撞，物理引擎便會開 始計算物體該產生的反應和該受到的力。使用者即根據這些反應機制來達成組裝 接合。此機制的擬真度高，給使用者較為真實的組裝經驗，缺點是需要使用較多 的運算資源，且在接合上不易達成精準。
位置約束為事先已預設好物體接合的位置和方向，此種方式在操作執行上是 最簡單的，可以達到極好的精準度，缺點是擬真度較低。
幾何約束為利用物體的幾何特徵來進行組裝接合的判定，通常會在物體接近 接合處時開始啟動約束邏輯，常見的像：軸相對齊後，物體只能沿此軸移動；兩 個面貼齊後，便只能在同一面上移動。這種方式為最為最常見的方式，精準度高，
也不需要高計算資源，擬真度不如物理基礎。
位置約束
(positional constraints) 幾何約束
(geometric constraints) 物理基礎應用(Physics-based)
約束基礎應用(Constraint-based)
19
2.3.1 物理基礎
Seth et al. (2006)使用物理基礎來達成物體之間的碰撞與物體性質模擬。
VPS(Voxmap Pointshell)為此系統的物理引擎，它可以處理複雜的 CAD 模型，在 運行中時，不會降低力回饋系統原本的更新速率(1000Hz)。尤其，當虛擬環境中 只有少部分的物體正在運動時，其可以有極佳的表現。VPS 的運作方式為將.stl 圖形檔中的三角形資訊和頂點資訊經由轉換，變成 voxmap 的形式（許多小立方 體組合成物體完整的形狀），如圖 2.17 所示。此後物體的重心、轉動慣量、重力 等，都會被系統計算用來進行物理模擬。物體在移動中時，物體身上的每個方形 格點會被轉換成點狀碰撞器用彈簧的方式相連接，用來與外界物體產生碰撞反應。
而當兩物體相撞時，物體間的正向力會正比於兩物體互相穿刺的深度。系統讓每 個物體可以選擇自己的小方格組成點的大小，以減少不必要的運算量，又可以維 持足夠的精準度。
voxmap 示意圖(Seth et al.,2006)
20
2.3.2 約束基礎
Bettig et al. (2004)提出 port 幾何約束機制。port 為物件組裝的接口，因此，
設計者可以將物件的幾何約束機制儲存在 port 當中，像是接觸面的資訊（幾何上 的或工程上的規範限制）、接合角度要求和 port 的類別(hole, pin, key 和使用者自 定的類別)。其他條件如接近角度、接近距離、組裝參數等都可以加入 port 之中，
達成設計者所期望的組裝要求。而當物件被重新設計時，物件可以根據 port 上面 的資訊判定新的設計是否符合組裝要求。如圖 2.18 所示。
port 幾何約束機制(Bettig et al.,2004)
2.4 虛擬組裝系統架構
一個完整的虛擬組裝系統需要多方面的知識領域相互配合，如虛擬實境的應 用、人機介面的設計、組裝操作的邏輯配合、工程相關的設計，以及為了達到擬 真效果而加入的力回饋裝置使用等。
Seth et al. (2006)提出了一套雙手力回饋組裝系統 SHARP(System for Haptic Assembly and Realistic Prototyping)，如圖 2.20 所示。使用物理基礎的 VPS 來達 成系統中的物理計算模擬，像是物體間的相互碰撞，以及使用者在操作系統 時，碰撞到虛擬物體而產生的力回饋量值等。此系統允許使用者用雙手同時與 CAD 模型之間進行互動與操作。系統將虛擬物體相互碰撞時，力量回饋的大小 和方向作即時記憶，而後，在下一次的力回饋更新之前，持續輸出力回饋給使 用者。這種方式解決了物理機制在兩手加入後更新率減半的問題，如圖 2.19 所 示。實現在物理基礎下的雙手操作。
21
雙/單 PHANToM Omni® 的 frame rate (Seth et al.,2006)
經過工業模型的組裝測試後，證實此系統能從事複雜的工業模型組裝模擬。
此外，系統使用應用程式平台 VRJuggler，讓使用者可以在不同的虛擬實境下操 作此系統，包括低成本的桌上型電腦、投影牆，甚至是浸入式 CAVE 系統；
同 時 ， 也 支 援 使 用 不 同 的 人 機 介 面 與 系 統 互 動 ， 如 桌 上 型 電 腦 結 合 雙 手 PHANToM Omni® 或投影牆結合追蹤手套（無力回饋）。系統另外還提供了一些 像是零組件的維護設計、訓練使用者學習、網路連線進行組裝等功能。綜觀以上，
自由的操作介面選擇，雙手力回饋的應用，物理基礎下的組裝邏輯，均為此系統 的優點。然而，全方面使用物理基礎進行組裝模擬，對於精度要求高的組裝案例，
會因為人機介面和環境間無法避免的干擾而無法達成任務或效率低落。
SHARP 架構圖(Seth et al.,2006)
22
Gonzalez-Badillo et al. (2014)提出了物理基礎結合約束基礎的複合式力回饋 虛擬組裝系統 HAMS，如圖 2.21 所示。此系統支援了三種物理模擬引擎 Bullet，
PhysX v2.8 和 PhysX v3.1，用來模擬物體間的碰撞反應，並在虛擬組裝的過程中，
給使用者擬真的力回饋。此系統更加入了約束基礎中的幾何約束機制，當虛擬物 件的 CAD 圖檔被匯入系統中時，程式會自動偵測虛擬物件的外形特徵，若有找 到 符 合 設 計 者 所 預 設 的 兩 個 幾 何 約 束 特 徵 (Cylindrical constraints, Planar constraints)，則系統會自動為物體加上幾何約束特徵。使用者也可自行手動加入 特徵。當被抓取的物件接近待接合的組件時，幾何約束的特徵會被檢視，若特徵 符合要求，又接近的角度在組件可接受的組裝誤差範圍內，則物件會依照幾何約 束的規則，減少能活動的自由度，並對齊組件，見圖 2.22。這種綜合的機制對虛 擬組裝來說既可以維持理想的擬真程度，又可以減少組裝誤差，讓使用者操作的 困難度下降，增加操作便利性。此系統在操作上一樣也支援了雙手的 PHANToM Omni® 使用，並在組裝過程中透過物件顏色的變化給使用者相關的組裝提示。
HAMS 系統架構(Gonzalez-Badillo et al.,2014)
23
約束基礎的組裝機制(Gonzalez-Badillo et al.,2014)
Christiand and Yoon (2011)提出了一種在虛擬實境中以最佳化路徑進行組裝 模擬的方法。本研究認為，雖然組裝的過程是在三維立體空間中，但是當物件在 移動進行接合時，應該是維持一接近平面的二維空間運動，因此在虛擬環境中加 入了一層平行於地面的不可見障礙物(invisible object)，如圖 2.23 所示，讓虛擬零 件被限制在此隱形障礙物與虛擬地面之間，確保零件不會偏離 xy 平面。而在設 計最佳化路徑時會有三個最重要的參數，分別為障礙物、物件起始座標與最終標 記座標，目標零件以外的零件皆視為障礙物，而此目標零件必須從本身物件的起 始位置往最終標記位置移動。最佳化路徑考量到變換工具次數最少以及零件旋轉 方向最少兩個項目，搭配基因演算法得出最佳路徑。此研究使用單一 PHANToM Omni® 作為力回饋器。如果使用者在組裝的路徑中碰撞到其他物件，系統即會提 供使用者力回饋作為提示。此系統的操作近乎只存在於二維空間之中，使用者的 活動度受到限制，因此，力回饋的加入雖然有助於路徑提示，但對擬真度提升十 分有限。
24
系統畫面(Christiand and Yoon,2011)
Bhatti et al. (2014) 提出了一個虛擬組裝訓練系統 HIVEx，如圖 2.25 所示。
在軟體方面，系統採多核心運作，將各個操作功能進行模組化，以便隨時可以擴 充或刪減功能而不影響整個系統的運行。又系統不像其他使用約束基礎為主的虛 擬組裝訓練系統，只著重在提供使用者組裝序列的學習，此系統的組裝模擬完全 使用物理的約束基礎，因此，使用者在操作的過程中除了可獲得組裝序列的學習 外，還可以藉由對虛擬物體的認知感受，察覺到操作上的物理限制，進而提升組 裝技術。此系統提供了立體螢幕顯示和 HMD(Head Mounted Display)，如圖 2.24 所示，兩種立體視覺的視覺回饋選擇。HMD 是利用左右眼的視差來呈現立體效 果，優點是 3D 顯示可以隨著使用者進行大範圍的移動，但缺點是使用者的頭部 必須承受龐大的裝置重量，容易造成不適。在力回饋方面，使用單一 PHANToM Omni® 作為力回饋器，除此之外，同一隻手上還加上了 5DT® Data Glove 來追蹤 使用者的手部細微動作，輸入虛擬實境的視覺畫面之中。此種方式雖然可以讓視
25
覺畫面上的虛擬手變得較為擬真，但由於使用者還是必須藉由抓取 PHANToM Omni® 的操縱筆端才能獲得力量回饋，因此，手部的抓取感受和動作還是無法達 到擬真自然。
以 HMD 呈現虛擬實境(Brough et al., 2007)
操作示意圖(Bhatti et al.,2014)
Jayaram et al. (1999)團隊改良了 1995 年提出的虛擬組裝設計規劃系統 VADE，
將系統從單純的約束組裝機制，進化為擁有物理基礎可供選擇的雙機制組裝系統。
系統更加入雙手力回饋手套 CyberGrasp 輔以立體視覺裝置 HMD，讓使用者可以 在立體的虛擬環境中進行雙手操作，藉者物理模擬，感受到接觸力、摩擦力等擬
26
真感受。VADE 緊密和 CAD 系統相結合，使用者可以從 CAD 系統製作模型輸 入，並在匯入 CAD 模型時直接獲得相關模型特徵資訊，系統更允許使用者在虛 擬實境中進行模型的參數修改，並存入 CAD 檔，作為模型設計的參考 。
VADE 架構圖(Jayaram et al.,1999)
2.5 使用者測試評比
多數的虛擬實境，有許多不同的輸入和輸出方式，這些相異的人機互動方式，
對使用者的操作或感受皆會產生或大或小的影響，因此，將人機界面的種種特性 加以評比，便能使設計者在介面設計時有更周全的想法。
在評比時，由於虛擬實境系統需要和使用者產生大量的密切互動，因此，單 純的軟硬體性能評比對虛擬實境系統來說意義不大。一般來說，虛擬實境系統的 評比有以下種模式：一種是針對使用者的使用績效進行評分，多使用任務完成時 間和精準達成率作為評分標準，是一種客觀的評比方式，另一種則是探討使用者 的使用經驗感受，為一種較主觀的評比方式，還有一些評比會針對使用者的學習 效益進行評比。
Lim et al. (2007) 利用簡單 peg-in-hole 作為案例，將組裝設計理論(design for assembly)中的導角理論引入，圖 2.27，在虛擬實境當中，比較有無加入力回
饋和立體視覺，是否造成使用者任務完成時間(task completion time)上的差異。
27
不同導角狀態對任務完成時間的比較(Haeusler,1981)
測試上，虛擬實境的部分，使用 PHANToM Omni® 作為力回饋器，共有六種 測試組合，使用者分別從有導角和無導角的組合中各選擇一組來作測試；真實世 界的部分，則依照 peg 有/無導角和 hole 有/無導角，作四種組合測試。實驗結果 發現，有力回饋和立體視覺的組合，任務完成時間最短，沒力回饋沒立體視覺的 組合，任務完成時間最長。而在有力回饋的環境中，導角的加入可以明顯降低使 用者的任務完成時間。研究也指出，真實世界中的任務完成時間明顯低於虛擬實 境中的任務完成時間，不過，有導角所需要的任務完成時間比上沒導角所需要的 任務完成時間，在真實世界中(57%)和虛擬實境中(61%)是十分接近的，符合 DFA 的導角理論。
Vo et al. (2009) 使用 PHANToM Omni® 力回饋系統，如圖 2.28 所示。測試 在虛擬實境中加入力回饋和單、雙手的操作是否會影響使用者任務完成的時間和 精準度。研究者設計了三個實驗，分別測試力回饋對物體重量判定、瞄準度和虛 擬組裝時間的影響。結果顯示，在瞄準度的測試上，力回饋的加入能顯著提升瞄 準度，在虛擬組裝的測試中，力回饋有助於降低任務完成的時間，而雙手和單手 的任務完成時間快慢，則明顯受使用者個人的手部靈活度影響，雙手的操作時間
28
和單手相比未能達到統計上的顯著。
系統配置圖(Vo et al.,2009)
Abidi et al. (2012) 針對不同的機械組裝學習系統進行評比測試，研究中共選 用了三種機械組裝學習系統：傳統的平面爆炸步驟圖、電腦繪圖軟體（使用者可 以用滑鼠旋轉、移動虛擬物件）、浸入式虛擬組裝互動系統（提供使用者視覺回 饋）。實驗時，三組不同的使用者分別使用此三種學習系統學習，之後，則進行 真實的組裝，測量使用者的任務完成時間和錯誤率。結果顯示，浸入式虛擬組裝 互動系統不論在任務完成時間還是錯誤率方面都是最低的，而傳統的平面爆炸步 驟圖學習系統則在統計上(ANOVA)顯著的高於其他兩系統。
Jia et al. (2013) 提出了一個全面性的虛擬組裝學習系統評比方式，此評比方 式採用使用者為中心的設計，能全面性的測出使用者對系統的認知學習效果、組 裝技術的學習效果和使用上的主觀情感感受，並且其能針對多數的虛擬組裝系統 進行評比。對系統的認知學習效果方面，使用者在系統使用後兩周，針對虛擬組 裝學習時的工具使用、組裝順序等項目，進行記憶測試。組裝技術的學習效果則 是和常見的測試方式一樣，測量使用者真實操作的任務達成時間和錯誤率。使用 上的主觀情感感受則用了兩份問卷來達成。使用系統前，先回答一份自我評量感 受問卷（使用者對正式測試的信心程度），測試後，再回答一份使用者評分問卷。
29
組裝記憶測試(Jia et al.,2013)
施測流程圖(Jia et al.,2013)
30
2.6 文獻回顧小結
本章將依序描述本研究為了建立一符合 NUI 的虛擬組裝系統，根據 2.1 到 2.5 的文獻回顧所做出的設計考量。
2.6.1 力回饋
本研究共使用了兩種力回饋裝置 PHANToM Omni® 和震動力回饋手套。
PHANToM Omni® 提供使用者肢覺回饋，並且為了配合非接觸式的手部追蹤裝 置 Leap Motion，本研究使用 Chang(2015)所研發的震動力回饋手套，將微型喇 叭作為制動器置於使用者的手指指腹提供使用者觸覺回饋。
2.6.2 虛擬手部抓取模擬
本研究所開發的虛擬組裝系統使用Articulated rigid hand作為手部模擬方式，
並運用 Leap Motion 進行手部動作追蹤，藉此達到趨近真實的手部動作模擬。抓 取物件的邏輯則參考 Holz et al.(2008)的方式。當物件被確認抓取後，會被固定在 使用者的手心跟隨著使用者的手部作旋轉和移動。此外，在執行使用者測試時，
支援將 PHANToM Omni® 的操縱筆端用 Rigid proxies 的方式模擬為使用者的手 部作測試使用，表 2.2 之(2)(5)。
2.6.3 工具模擬
PHANToM Omni® 為精準且常見的力回饋裝置，但其在操作時，使用者必須 手持力回饋操縱筆才能與虛擬實境互動。當使用 PHANToM Omni® 作為使用者 的手部抓取模擬時，此種握拿操縱筆的互動方式與使用者日常習慣的雙手直接抓 取方式相差甚遠，因此，會使得手部模擬缺乏擬真性。於是，本研究考量了 PHANToM Omni® 力回饋操縱筆的外形特徵，試圖將其作為組裝工具的模擬而非 使用者的手部模擬。參考 Hongmin et al. (2010)的工具設計架構，亦受眾多商業化 握桿和 Suzuki(2009)將力回饋操縱筆模擬為虛擬實境中的「筆」的啟發，本研究 將 PHANToM Omni® 的力回饋操縱筆模擬為常見的組裝工具螺絲起子和板手，
31
藉由擬真的工具操作模式和相關工具組裝的邏輯設定，完成組裝工具的模擬。
2.6.4 雙手操作
使用者測試時，本系統會有六種人機介面模式。在兩相同力回饋器使用下，
表 2.2 之(1)(2)(3)，使用者可以利用雙手靈活的交替或同時操作，藉由減少在虛 擬實境中的手部位移，達到組裝效率的提升。在複合模式時，表 2.2 之(4)，參 考 Vyawahare＆Stone(2012)和 Ve ́laz et al. (2013)之雙手握取相異裝置的設計，
非 慣 用 手 佩 戴 震 動 力 回 饋 手 套 可 以 做 較 大 範 圍 的 抓 取 ， 而 慣 用 手 操 作 PHANToM Omni® 則可做精細的抓取。兩手使用不同的抓取工具，藉由結合各 抓取工具的特長達到組裝效率的提升。加入 3D 滑鼠的模式中，表 2.2 之(5)(6)，
使用者可以用非慣用手操縱 3D 滑鼠作視角旋轉，慣用手則操縱 PHANToM Omni® 作虛擬組裝工具模擬，此方式即為 Ullrich et al. (2011)所使用的以非慣 用手作為輔助角色，使慣用手的操作更為流暢；此外，當使用非慣用手作為手 部抓取模擬時，由於所需抓取的物件為體積較大的元件，因此，也不至於造成 使用者抓取上的困難。
32
模式 成分組成 非慣用手 慣用手
(1)雙手無力回饋模式 兩相同 力回饋器
手 手部抓取
模擬
手 手部抓
取模擬 (2)雙手 PHANToM
Omni® 模式
PHANToM Omni®
PHANToM Omni®
(3)雙手震動力回饋手 套模式
力回饋手套 力回饋手套
(4)複合模式 (PHANToM Omni®
＋震動力回饋手套)
兩相異 力回饋器
力回饋手套 PHANToM
Omni®
(5)雙 PHANToM Omni® ＋3D 滑鼠
兩相同 力回饋器
＋3D 滑 鼠
3D 滑鼠 旋轉視角 PHANToM
Omni®
工具模 擬 組裝結 件 PHANToM
Omni®
手部模擬 組裝元件
3D 滑鼠 旋轉視
角 (6)PHANToM Omni®
＋震動力回饋手套＋
3D 滑鼠
兩相異 力回饋器
＋3D 滑 鼠
3D 滑鼠 旋轉視角 PHANToM
Omni®
工具模 擬 組裝結 件
力回饋手套 手部模擬
組裝元件
3D 滑鼠 旋轉視
角
表2.1 本研究六種使用者測試模式之雙手操作對照表
2.6.5 虛擬組裝應用機制
本研究為了要達到精準的組裝接合並節省系統運算資源，因此採取 port 幾 何約束機制的組裝接合方式，並且在物件接合時，使用位置約束的方法，讓未曾 受過組裝訓練的使用者也能輕鬆完成組裝。
2.6.6 使用者測試評比
使用者測試是評估系統很重要的一環，本研究參考了多篇的使用者測試文獻 發想出兼具客觀績效評比和主觀使用者評估的使用者測試方式，用以證明本研究 所建立的虛擬組裝系統符合 NUI 並且兼具組裝效率。
33 研究者 系統名稱 虛擬環境顯示 組裝應用
機制
雙手 操作
力回饋器 追蹤方式 手部抓取模擬 組裝
工具 模擬 Jayaram
(1999)
VADE 3D HMD 物理基礎 約束基礎
V CyberGrasp CyberGrasp Articulated rigid hand
V
Seth (2006) SHARP 2D 電腦螢 幕、投影牆、
浸入式 CAVE
物理基礎 V PHANToM Omni® PHANToM Omni® 與 資料手套
Rigid proxies X
Zhu (2010) 2D 電腦螢幕 約束基礎 X X 沒提到 Rigid proxies V
Yoon (2011) 2D 電腦螢幕 約束基礎 X PHANToM Omni® PHANToM Omni® Rigid proxies V Vyawahare＆
Stone (2012)
3D 電腦螢幕 物理基礎 V PHANToM Omni® PHANToM Omni® 與 Razer Hydra
Rigid proxies X
Ve ́laz (2013) 2D 電腦螢幕 約束基礎 V PHANToM Omni® PHANToM Omni® 與 Mocap
Rigid proxies V
Gonzalez- Badillo(2014)
HAMS 2D 電腦螢幕 物理基礎 約束基礎
V PHANToM Omni® PHANToM Omni® Rigid proxies X
Bhatti (2014) HIVEx 3D HMD 物理基礎 X PHANToM Omni® PHANToM Omni® 與 資料手套
Articulated rigid hand
X
Our system HNUI 2D 電腦螢幕 約束基礎 V PHANToM Omni®
震動力回饋手套
PHANToM Omni®
Leap Motion
Articulated rigid hand
V
表2.1 虛擬組裝系統比較表
34
第三章 硬體裝置介紹
本章將對研究中所運用的硬體裝置進行介紹。本研究共使用了兩種力回饋的 裝置市售 PHANToM Omni® 和 Chang(2015)所研發的震動力回饋手套。手部追蹤 裝置 Leap Motion。3D 操作裝置 SpaceMouse wireless。
3.1 力回饋裝置
除了視覺與聽覺之外，觸覺是人與環境互動溝通的重要媒介，有了力回饋裝
置的加入，使用者可以有更擬真的感受。本研究共使用了兩種力回饋裝置，分別 是能提供力量回饋的 PHANToM Omni® 以及提供震動觸覺回饋的自製力回饋手 套。
3.1.1 PHANToM Omni®
SensAble Technologies, Inc.生產的 PHANToM Omni® 為現今最廣為人知且 經濟實惠的商業化力回饋裝置。PHANToM Omni® 擁有六個追蹤自由度，分別為 位置位移 X、Y、Z 和旋轉量(pitch, roll and yaw)。並有六個可動關節(joint)，j1~ j6，如圖 3.1 所示，其中，在 j1~ j3上各配有一個電阻式的 DC 直流馬達，操作 PHANToM Omni® 裝置時，藉由馬達控制連桿機構的運動，在 PHANToM Omni®
的操縱筆尖處，提供使用者 XYZ 三方向的單一點力回饋。
35
圖3.1 PHANToM Omni® 裝置的六個 joint (SensAble Technologies, 2015) 使用者可以藉由 PHANToM Omni® 的操縱筆，在虛擬實境之中，感受 3D 虛 擬物體的表面紋理及剛性作用，也可以經由環境力的設定，感受到如重力、空氣 黏滯力等，遍布於環境之中的力場。
PHANToM Omni® 的優點為在使用上可提供使用者精準的定位和擬真的力 回饋感受，因此常被拿來作為虛擬實境中的力回饋裝置，而其力回饋的方式為單 一點力回饋，因此，需要使用者藉助操縱筆或其他形式的握把來與虛擬環境互動，
並且透過按鈕來傳達操作指令。本研究將利用這個特點，把的操縱筆模擬為組裝 工具的握把，讓使用者用平時握取工具的方式來握拿操縱筆。PHANToM Omni®
仍然存在一些缺點，像是裝置的有效工作範圍僅有 160 W x 120 H x 70 D mm，
且底座是固定在桌上的。
3.1.2 震動力回饋手套
本系統使用 Chang(2015)所研發的震動力回饋手套。對震動力回饋的制動器 有以下幾個需求，首先必須是既輕且小的，因為這樣安裝在使用者的手上才不會 因為長時間的配戴而產生疲勞感。第二，必須能夠對於不同的波型輸出產生即時 且相對應的震動，因為本研究希望觸覺力回饋可以真正模擬人體皮膚受器所產生 的即時回饋反應。第三，震動效果必須良好，由於人的手指所能感應的振動頻率 約在 1Hz~ 500Hz 之間 (Goldstein, 2010)，所以要選擇在此頻率間能夠有明顯震 動的力回饋裝置。而 CUI Inc.所生產的微型喇叭規格為直徑 20mm，高 3.1mm，
重量 2.3g 以及 8 歐姆的直流電阻，其頻率響應在 70Hz~600Hz 間存在著穩定的
36
線性關係，如圖 3.3 所示，因此，被本研究選為觸覺回饋制動器，如圖 3.2 所示。
而後我們將微型喇叭放置每只手指的指腹上用以提供使用者震動力回饋，如圖 3.4 所示。
每個微型喇叭皆串聯一個10 Ohm的電阻用來降溫，避免操作時溫度過高。
整個裝置包含手臂端的微型電路以及手端提供力回饋的電路板。為了要達成即時 指令傳輸並且維持輕巧，裝置架設了一個micro-controller unit (MCU)電路結合藍 牙建立的虛擬COM port傳輸訊號，使得虛擬系統可以和力回饋手套無線傳輸訊 息。micro-controller unit (MCU)電路透過程式的執行可以產生多種訊號來操控手 套的力回饋。此手套在使用時，還會再多加一層黑色的棉質手套包復在外，以免 微型喇叭的反光影響到追蹤裝置Leap Motion的手部偵測。
圖3.2 微型喇叭致動器
圖3.3 微型喇叭頻率響應
37
圖3.4 自製力回饋震動手套
3.2 追蹤裝置
本研究選用了非觸控式的手部追蹤裝置，用來追蹤使用者手部的即時動作，
藉以利用演算法進行手部抓取動作的判定。
3.2.1 Leap Motion
Leap Motion, Inc.生產的 Leap Motion 為一非接觸式的紅外線手部追蹤裝置。
操作時，裝置會偵測使用者的手掌和手指的動作，因此，使用者無須用手部輕觸 或接觸裝置，即可達成類似傳統滑鼠或鍵盤的輸入功能。Leap Motion 感測器上 含有兩個攝影鏡頭，分別從不同的位置捕捉畫面，模擬人眼的視覺原理，將兩獨 立的 2D 畫面經由計算，重建出手掌在真實三維空間中的運動方式。
38
圖3.5 Leap Motion 感測器拆解圖
Leap Motion 的感測的範圍大約在感測器上方 25 毫米到 600 毫米之間，感 測的空間呈一個倒四棱錐體。Leap Motion 感測器會在其正中心建立一個直角座 標系，座標的 X 軸平行於感測器，並指向電腦螢幕右方。Y 軸指向上方。而 Z 軸則指向背離電腦螢幕的方向。單位為真實世界中的毫米。如圖 3.6 所示。
圖3.6 Leap Motion 感測器的直角坐標系
Leap Motion 在進行偵測時，感測器會定期更新手部的運動訊息，每一畫格 (frame)更新一次，以每秒 200 次的頻率進行。每個手掌、指節會被分配到唯一的 識別 ID，當手掌、手指持續保持在視野範圍內時，這些識別 ID 是不會改變的，
因此，可以透過 Frame::hand( ) ，Frame::finger( ) 等函數來查詢每個運動對象的
39
運動訊息。並可以在電腦上將這些訊息轉化為Articulated rigid hand的手部模擬，
參考圖 3.7 所示。
圖3.7 Leap Motion 之 Articulated rigid hand
對每隻手，可以感測到的訊息有手掌中心的位置（三維向量，相對於感測器 座標原點，單位為毫米）、手掌移動的速度（毫米每秒）、手掌的法向量（垂直於 手掌平面，從手心指向外）、手掌朝向的方向、根據手掌彎曲的弧度確定的虛擬 球體的中心、根據手掌彎曲的弧度確定的虛擬球體的半徑，而開發者便可以依此 進行相關程式開發。
3.3 3D 操作裝置
讓使用者可藉由直覺式的操作來更動視角，以便能在虛擬實境中感受到更立 體的空間感，並且增加使用者在虛擬實境中的工作範圍以提升互動的便利性。
40
3.3.1 SpaceMouse wireless
3Dconnexion, Inc.生產的 SpaceMouse wireless 是擁有六個自由度感測器的無 線 3D 滑鼠，如圖 3.8 所示，它可以讓使用者直覺式的操控 3D 物件與 3D 空間互 動，適用於 Google Earth，Adobe 及廣大 3D CAD/CAM 等相關常用軟體。可同步 完成移動、縮放、旋轉，並依施加的壓力大小來加快或減緩移動速度，使其能用 最直覺、自然的方式隨心所欲瀏覽物件。
圖3.8 SpaceMouse wireless(3Dconnexion, 2015)
41
第四章 系統實現
本章將提出本研究的系統架構和實現方法，首先，4.1 建立虛擬實境，4.2 詳 述力回饋的生成方式，4.3 抓取機制設計說明，4.4 詳述組裝接合機制，4.5 雙手 PHANToM Omni® 實現方法。
本研究 共使用兩臺 PHANToM Omni® 力回饋器，分別連接於右端電腦 Computer R 和左端電腦 Computer L，彼此之間以網路連線方式相連繫，用以達 成雙 PHANToM Omni® 系統，可供使用者雙手自在運用。Computer L 基本上只 負責有關 PHANToM Omni® L 的相關運作計算，提供 PHANToM Omni® L 的力 回饋輸出。Computer R 則作為全系統的視覺回饋輸出來源，也提供 PHANToM Omni® R 的力回饋輸出。另外，兩只自製震動力回饋手套的手部位置偵測使用 了連接在 Computer R 上的 Leap Motion 負責，而負責旋轉視角的 3D 滑鼠也連接 在 Computer R 上。
軟體方面，本研究選用 Unity3D 做為系統的物理引擎、視覺顯示介面和力回 饋的操控介面，負責進行視覺回饋生成、PHANToM Omni® 的力回饋量值調整、
PHANToM Omni® 的力回饋量值輸出以及力回饋事件觸發、震動力回饋訊號輸出、
物件抓取偵測、接合判斷以及位置更新，並負責兩電腦間的網路傳輸作業。詳細 系統架構圖如圖 4.1 所示。
