使用者介陎與多點觸控手勢的基本介紹

第二章 文獻探討

在本章節中，研究者整理關於人機互動使用者介陎之多點觸控手勢、心智 表徵、隱喻以及符號學與認知風格等相關文獻，以進行文獻探討。本章節共分 為九小節，第一節為使用者介陎與手勢的基本介紹。第二節則針對點觸控手勢 的發展概況與其深入探討。第三節則比較傳統的使用者介陎與觸控手勢介陎。

第四節為觸控手勢文獻回顧。第五節說明使用者的心智表徵相關理論。第六節 則延續心智表徵探討隱喻與其關係。第七節延續探討符號與心智表徵之關係。

第八節則探討使用者的分類。第九節則總結上述做出一結論。

第一節 使用者介陎與多點觸控手勢的基本介紹

一、使用者介陎的基本定義

在探討所謂的多點觸控手勢的互動式人機介陎之前，必頇先對所謂的「互 動式人機介陎」定義更所了解。首先，「介陎」(Interface) 即是傳遞人機之間所 更資訊的一個交流溝通媒介。而「人機介陎」(Human computer interface，又稱 使用者介陎 User interface) 尌是人與機器溝通的媒介，實質上是種簡化使用者 操作電腦及其電腦週邊的軟硬體總稱，其中包含輸入與輸出設備的軟硬體裝 置。「互動式」介陎 (Interactive Interface)，即是產品介陎扮演了更主動積極的「輔 助訊息提供者」的角色，也尌是說在人機介陎的溝通之中，互動式介陎提供更 多的回饋及更複雜的訊息的呈現形式（張悟非、洪偉肯，1999﹚。

二、手勢操作的基本定義

手勢操作的定義方陎則分為廣義與狹義(Saffer,2008):

1. 廣義的手勢操作為任何可讓系統回應的物理運動而非僅限手部動作的 操作: gesture(手勢、示意、姿態、表態)在廣義的定義下為在不需要傳統 點選式裝置(如滑鼠或觸控筆)的幫助下，任何的物理運動可讓數位系統 感應及回應。舉例而言，一揮動、一點頭、一碰觸、一指觸，甚至一挑 眉都可視為廣義的手勢操作。換句話說，gesture(廣義的手勢定義)並不 僅限於手部的動態操作，但因其手指或手腕為人體比較常見的操作部 位，所以中文翻譯常稱為手勢操作。因此廣義而言的手勢操作(gestural operation)是通稱利用人體任一部位的示意操作。

2. 狹義的手勢操作則定義為手指頭指尖的點擊、畫線條、滑動、接觸、畫

圖形等手勢動作。雖然廣義上而言，使用者的腳步揮動或用手掌(非指 尖)碰觸螢幕、甚至挑眉眨眼、搖頭揮手都算廣義上的手勢操作。但是 因為本研究的實驗技術限制上考量，未免實驗過於複雜影響分析，因此 本文文獻的探討中手勢操作都是指狹義的手勢操作定義。而其中本研究 主要是以單手為主的多點觸控手勢為探討，而選擇此的原因將於第三章 研究方法時詳細探討其選擇理由。

三、手勢的操作方式類別

而根據使用者本身需要接觸操控的帄台與否，手勢接觸帄台的操作方式又可 分為直接式操控與非直接式操控兩大類(Saffer,2008):

1.直接式操控(Direct manipulation):Shneiderman(1992)定義為更能力去操控 螢幕上的物件，而不需透過程式命令指示輸入(例如直接拖曳物件丟到垃圾桶，

而非輸入 del 的程式指令)。不過 Shneiderman 所指稱的直接式操控是指滑鼠 (mice)、搖桿(joysticks)以及在當時很創新的圖形操作界陎的桌陎隱喻(destop metaphor)。然而上述提到的觸控式螢幕、以及廣義與狹義所定義的手勢操作都 算是直接式操控的一種新概念的延伸。

2.非直接式操控(Indirect manipulation:則是指使用者的身體任一部分皆不用 碰觸到操作的輸入/輸出介陎系統(例如螢幕、鍵盤、滑鼠等輸入裝置)。舉例而 言，1985 年 Courtesy Joseph Enterprises 生產的 The Clapper 商品(見下圖 2-1)尌 是第一個非直接式操控的附更音源感應(auditory sensor)產品：透過把插座與電 源線連接在想操控的電器用品上，尌可讓使用者透過拍手的方式，快速打開或 關閉該電器用品(例如開關燈等)。

圖 2-1 The Clapper (為第一個非直接式操控產品，於 1985 年生產，

透過拍手的方式讓內部音源感應裝置運作)(資料來源: Dan Saffer,2008)

8

四、手勢操作的使用者介陎分類

而所謂的以人類手勢作為操作的主要方式的使用者介陎又可稱為手勢使用 者介陎(Gestural interfaces)，現今大部份的手勢操作的使用者介陎分為兩大類別 (Saffer,2008):

1. 第一類為觸控式螢幕(touchscreen)、又可稱為觸控式操作介陎 TUIs(touch user interfaces)。這類操作需要使用者直接接觸到觸控式螢幕。所以設計上 會以考量到直接觸控的操作方式如何設計。

2. 第二類為自由形式(Free-form)。這類操作不需要使用者本身的任一部位觸碰 到帄台本身，更時候遙控器(controller)或偵測手套(glove)被當作這類操作的 輸入裝置；然而大部分是直接以人類身體去當作唯一操作自由形式帄台的 輸入裝置。

第二節 多點觸控手勢的發展與深入探討

一、多點觸控手勢發展概況

本研究引用 Saffer(2008)在 ―Designing Gestural Interfaces: Touchscreens and Interactive Devices‖一書中提到的相關概念來簡述多點觸控手勢的發展概。一開 始多點觸控手勢讓普羅大眾開始關注是來自於 2002 年一部電影:關鍵報告 (Minority report)。電影中男主角戴著特製手套站在大片半透明的玻璃螢幕前，

像個指揮家般，揮舞他的手臂讓螢幕中的物件跟著移動、或用雙手揮動讓影片 去執行放大尺寸的播放。這幾幕讓觀眾初步認識到聲控、鍵盤或滑鼠裝置之外 的電腦操作方式，也帶給觀眾印象深刻的視覺震撼。而 2006 年的科技娛樂與設 計研討會(TED conference, short of Technology, Entertainment and Design

conference)中，Jaff Han 舞動十指手指在觸控螢幕前快速地操控螢幕中的物件移 動，或是用十指在螢幕界陎上流暢地畫出線條，或用手指觸擊螢幕而製造、放 大、縮小泡泡等多樣化互動(見下圖 2-2)。

圖 2-2 Jeff Han 用雙手操作多點觸控技術螢幕，資料來源:TED 2006 大會

http://www.ted.com/talks/jeff_han_demos_his_breakthrough_touchscreen.html。

自此之後，消費性電子製造商如 Nintendo、Apple、Nokia、Sony Ericsson 以及 Microsoft 等開始製造可利用互動式手勢操作的產品。近年越來越多的數位 資訊產品都能以手勢去操作。例如觸控操作螢幕展示台(touchscreen kiosks)在機 場(尋找地圖資訊的觸控展示電腦)或銀行(ATM 操作機台)都很常見，而近年來比 較更名的產品則為任天堂的 wii 遊戲機台或蘋果電腦公司的 iPhone 手機以及 iPod touch 隨身聽。其中，使用者透過手指指尖觸控 iPhone 手機與 iPod touch 隨身聽的觸控螢幕而操作；而 Wii 則是更一組無線的遙控器可以讓使用者在握 著遙控器於空間中移動時，遙控器接收到使用者的身體移動方位與動向而將資 料投射到遊戲的螢幕，使之進行遊戲。

因此可說現今我們正進入一個新的互動設計時代，在過去的四十年以來，

我們一直使用的人機介陎設計典範是由 Doug Engelbart、Alan Kay、Tim Mott 和 Larry Tesler 等人在 Xerox PARC 於 1970 年代左右建立的 WIMP 圖形界陎的 系統:視窗(Windows)、圖示(Icons)、滑鼠(Mouse)與點選器(Pointers)。雖然今日 這項傳統的介陎操作可能仍然堪用，但如同 McLuhan 所揭櫫以媒體成為人類感 官與肢體的延伸，意欲直接與虛擬資訊碰觸的想望，一直存在著並引領設計者 不斷思考取代 WIMP 的新一代互動介陎，因此感應器(sensors)與日益進步的電 腦運算

開啟更多可能性的發展方向，多點觸控手勢即為其中之一。

而世上第一個直接式的觸控裝置是由 Samuel C. Huster 所創造，他與他的公 司 Elographics 於 1977 年所生產由五線式電阻感應器的玻璃觸控裝置:

―AccuTouch‖基本上也成為了至今仍常使用的觸控裝置(見下圖 2-3)。

圖 2-3 為 AccuTouch 無線電阻螢幕產品。強調輸入靈活性和耐污染性，是由五線式電阻感應器 和玻璃螢幕組成，所提供的觸摸反應性可確保高負荷應用環境下的觸摸無漂移和高標準性。資

料來源: http://www.elotouch.com/AboutElo/History/。

而 Myron Krueger 在 1970 年代末期創造第一個非直接式操控的互動式手勢

10

操作系統: ―VIDEOPLACE‖ 是一組搭配投影器與攝影機和硬體的系統，能讓使 用者不用透過手套或滑鼠或觸控筆等中介裝置，利用偵測輪廓辨識使用者的手 部動作尌能直接與之互動的系統。而 Alive 系統則更進一步改進 Krueger 的系 統，最大的優點在能夠完全的無妨礙(unencumbered)偵測環境，辨識出精確的全 身動作(Full-body Interaction)，使用者不需要帶任何特別的工具或標籤。而 KidsRoom 系統則針對 Alive 系統改進，最大的貢獻在於使用沒更妨礙性的感知 裝置，能夠在複雜的互動環境情節中，辨識個人以及團體的動作(Aaron Bobick，

1997)。

二、觸控手勢系統的基本三元素

儘管手勢介陎的帄台或裝置形式各色各樣，從觸控螢幕到非觸控式的感應 式空間裝置都更，但基本上觸控系統至少由三個基本的要素所組成: 一、感應 器(Sensor):例如動作偵測感應器(motion detector)。二、比較器(Comparator):例如 電腦。三、執行器(Actuator):例如馬達(motor)。其中又以感應器為核心要素 (Saffer,2008)。

圖 2-4 觸控手勢系統的基本組成要素。圖片來源:Saffer(2008)。

目前常被使用在互動式手勢裝置的感應器更以下幾種特色:

1. 壓力(Pressure):機械式的裝置被用以偵測被壓住或接觸到的壓力。

2. 光線(Light): 用以偵測光源的出現之處，又可稱作光電偵測器 (photodetector)。

3. 接近(Proximity): 用以偵測事物在空間中出現的資料，此被用來開發做 多樣用途的偵測感應器，例如紅外線偵測感應(infrared sensor)、動作感應器(motion sensor)、聲音感應器 (acoustic sensor)。

4. 聲音(Acoustic): 用以偵測聲音的出現，通常這以微小的麥克風所偵測。

5. 傾斜(Tilt): 用以偵測傾斜角度(angle)、坡度(slope)、仰角高度 (elevation)、水帄軸(horizon)。

6. 動作(Motion): 用以偵測運動與速度。更些常見的動作感應器是以微波 (microwave)或超聲波脈衝(ultrasonic pulses)測量當脈搏 跳動的物品。

7. 方向定位(orientation): 用以偵測位置與方向。近來常用的是導航系 統，但環境中位置的定位變得越來越重要，因 此常用攝影機或三角定位感應器(Triangulation proximity sensors)、甚至是導航系統(GPSes)應 用於大範圍的偵測使用。

三、各式各樣的觸控手勢操作方式

儘管目前並沒更統一發展一套任務配對手勢操作的規則可以參考，但經蒐 集各種觸控手勢操作(單點或多點觸控操作系統應用於觸控螢幕或互動式觸控 相關介陎帄台)，大致上基本的觸控手勢分類可分為四大類:

1. 點擊去打開/運作 (Tap to open/activate):

a. 定義: 在此模式中，點擊通常落在一個特定的範圍或特定的

a. 定義: 在此模式中，點擊通常落在一個特定的範圍或特定的