以觸控式行動裝置為基礎之指向互動系統

國

立

交

通

大

學

資訊學院 資訊學程

碩

士

論

文

以觸控式行動裝置為基礎之指向互動系統

A Directional Pairing Interaction System

Using Touch-Enable Mobile Devices

研 究 生：呂理聖

指導教授：曾煜棋 教授

以觸控式行動裝置為基礎之指向互動系統

A Directional Pairing Interaction System

Using Touch-Enable Mobile Device

研 究 生：呂理聖 Student：Li-Sheng Lu

指導教授：曾煜棋 Advisor：Yu-Chee Tseng

國 立 交 通 大 學

資訊學院 資訊學程

碩 士 論 文

A Thesis

Submitted to College of Computer Science National Chiao Tung University in partial Fulfillment of the Requirements

for the Degree of Master of Science

in

Computer Science March 2013

Hsinchu, Taiwan, Republic of China

i

以觸控式行動裝置為基礎之指向互動系統

學生：呂理聖 指導教授：曾煜棋 教授 國立交通大學 資訊學院 資訊學程 碩士班

摘

要

本篇論文旨在標準觸控式行動裝置上，提供了一個直覺、有彈性的傳輸配對之解決 辦法，只要透過指向對象的簡單動作即可完成。當使用者想與附近的觸控式行動裝置進 行傳輸前，雙方只要在螢幕上相互對著傳輸對象的方向，執行簡單的指向動作後，便能 得到使用者的選擇對象位置並完成配對。此系統之優點在於以使用者直覺操作為基礎而 進行配對傳輸，並降低使用者在傳輸前配對上的繁雜工作，只需利用觸控式行動裝置中 的觸控感應器和方位感測器，即可實作上層的應用程式並且在觸控式行動裝置上執行。 此外，相較於大部份配對研究只著重於一對一的配對，我們更進一步設計了一對多、多 對多的配對方式，並在觸控式行動裝置上有效的運作，未來亦可進一步在其它功能相近 的行動裝置上使用，且不需要特別的輔助裝置。最後，本研究已在 Android 系統上，實 現一個創新的數位名片交換的應用，並說明本系統是一個直覺且方便的裝置間配對的應 用。

ii

A Directional Pairing Interaction System

Using Touch-Enabled Mobile Devices

Student：Li-Sheng Lu Advisors：Prof. Yu-Chee Tseng

Degree Program of Computer Science

National Chiao Tung University

ABSTRACT

In recent years, mobile devices are embedded many sensors which emerge as a possibility to create applications for facilitating the daily life of mobile device users. Device pairing is the initial and essential step for constructing the connections among the devices, which is required by many mobile device applications. Traditionally, the users have to do this device pairing procedure manually and the ―perception gap‖ problem results in the difficulty of device pairing. In this paper, an intuitive pairing interaction system is developed by using the touch-enabled mobile devices embedded with the orientation sensor. The basic idea of operating this system is based on a simple point action on the touch screen when the users intent to pair their mobile devices with nearby users. Then, the system identifies the pairing target users through an authentication procedure. Previous works are focus on one-to-one pairing and external sensors are needed in some works. In this system, the device pairing modes of one-to-one, one-to-many and many-to-many are all considered. The system can be effectively implemented on mobile devices with the touch screen and the orientation sensor, which are common features of commercial off-the-shelf smartphones. Moreover, an innovative digital name card exchanging system is implemented on Android mobile phones to demonstrate that the smartphone users could exchange their name card with each other through a simple point action without a centralized cloud server.

iii

誌 謝

誠摯地感謝曾煜棋教授在研究過程中的指導與鼓勵，並提供良好的研究環境及充足 的實驗設備，讓我得以順利完成此篇論文並取得碩士學位。 接著我要感謝實驗室組內博班陳彥安學長，以專業的指導，讓我有辦法完整建構出 此論文作品。 最後，感謝家人給我支持及動力，讓我能無後顧之憂的進行研究。 感謝所有在我求學生涯中曾幫助過我的人，謹以此文獻給我摯愛的家人以及所有關 心我的師長、朋友們。

iv

論文目次

中文摘要 i 英文摘要 ii 誌謝 iii 目錄 iv 表目錄 v 圖目錄 vi 第壹章、緒論 ... 1 第貳章、文獻探討 ... 4 第參章、系統設計 ... 6 3.1 使用者介面 ... 7 3.2 感測器資料 ... 9 3.3 配對運算 ... 12 3.4 傳輸介面 ... 13 第肆章、配對演算法 ... 14 4.1 一對一配對 ... 14 4.2 一對多配對、多對多配對 ... 15 4.2.1 K 分圖與配對演算法 ... 17 4.2.2 多重配對問題及處理 ... 19 4.2.3 非完全配對情況 ... 24 4.2.4 配對結果非唯一之情況 ... 27 第伍章、系統實作 ... 29 5.1 網路環境設置 ... 29 5.2 系統架構與運作流程 ... 31 5.3 系統實際操作與示範 ... 32 第陸章、結語 ... 36 6.1 研究成果 ... 36 6.2 未來研究方向 ... 36 第柒章、參考文獻 ... 38

v

表目錄

vi

圖目錄

圖 1、使用者與裝置的認知差距 ... 2 圖 2、一般配對流程 ... 2 圖 3、系統運作圖 ... 6 圖 4、系統元件配置圖 ... 7 圖 5、簡易的配對方式 ... 7 圖 6、指向操作圖示 ... 8 圖 7、多裝置間的配對 ... 9 圖 8、方位感測器 - 方位角 ... 9 圖 9、配對方向計算 ... 10 圖 10、裝置方位角之計算 ... 10 圖 11、裝置之方位與指向夾角圖 ... 11 圖 12、邏輯方向對應實際方向計算 ... 11 圖 13、配對檢測機制圖示 ... 12 圖 14、配對誤差允許 ... 13 圖 15、一對一配對圖示 ... 14 圖 16、圖示一對一配對關系 ... 14 圖 17、一對多圖示 ... 15 圖 18、圖示一對多配對關系 ... 16 圖 19、多位使用者配對示意圖 ... 16 圖 20、K 分圖表示使用者對應關係 ... 17 圖 21、多個使用者間多重配對問題 ... 19 圖 22、演算法推導流程 ... 20 圖 23、K 分圖初始化 ... 22 圖 24、移除已確定配對關系的頂點 ... 22 圖 25、回朔法執行 ... 23 圖 26、重複配對運算結果 ... 23 圖 27、非完全配對圖示 ... 24 圖 28、非完全配對之 k 分圖 ... 25 圖 29、非完全配對 k 分圖，移除已確定配對頂點 ... 25 圖 30、利用回朔法求出非完全配對 k 分圖之解 ... 26 圖 31、非完全配對的 k 分圖解 ... 26 圖 32、多重配對結果之配對情境 ... 27 圖 33、具多重配對結果之 k 分圖 ... 27 圖 34、多重配對結果之一 ... 28 圖 35、Android 系統開發架構圖 ... 29 圖 36、網路環境之初始建立 ... 30

vii 圖 37、無線區域網路中，溝通訊息與交換資料之傳遞 ... 30 圖 38、軟體設計架構圖 ... 31 圖 39、初始畫面 ... 33 圖 40、操作畫面 ... 33 圖 41、配對確認 ... 34 圖 42、一對一配對成功圖 ... 34 圖 43、一對多、多對多操作圖示 ... 35 圖 44、多對多名片配對成功圖 ... 35

1

第壹章、緒論

近年來，觸控式行動裝置產業發展迅速，例如平板電腦、智慧型手機等都是目前熱 門的開發產業。相較於傳統嵌入式裝置，觸控式行動裝置省電、效能佳、具無線傳輸功 能、並掛載方位、重力等感測器，其兼具可攜性及多功能的特性，非常適合進行開發各 種生活相關之行動應用程式，許多原本在電腦上的互動(例如：資訊獲取、訊息溝通、 資料交換…)，也漸漸地移到觸控式行動裝置上運作，提供更便利的生活，進而提升人 類的生活品質。目前常見的行動應用程式像是社群、彼此分享照片、音樂、連線遊戲等… 由相互靠近的使用者經由觸控式行動裝置上的藍牙或 WiFi 進行無線數據傳輸的行動互 動應用，首要工作就是裝置間的配對。 本研究擬針對觸控式行動裝置間之配對進行分析，當有許多行動裝置在相互連通的 無線範圍傳輸內，其中某一裝置想要進行傳輸時，首先需要使用者先決定傳輸的目標， 並傳達其選擇目標到裝置，裝置間相互確認後才能進行傳輸。圖 1 說明使用者和裝置進 行配對之情境；Alice 拜訪了一個新的客戶 Bob，並且想把電子名片從她的裝置傳給 Bob 的裝置，為了讓雙方裝置能交換資料，Alice 的裝置需要一個機制來確認附近眾多裝置 中，哪一個是 Alice 想要交換的目標，在配對過程中使用者與裝置間存在認知差距—雖 然使用者清楚的確定交換對象，但是必須轉換成裝置能理解的資訊才能進行交換。認知 差距的問題或許能透過現場裝置間分配位置的方法來處理，利用視覺辦識 [1]或是動態 追蹤 [2]的研究，可以建立實際的位置圖，然而，這樣的方式需要較多的設備及後端系 統的建置，對於講求立即、快速的觸控式行動裝置應用而言，相當的不實用。

2

圖 1、使用者與裝置的認知差距

3 現今觸控式行動裝置間一般配對的流程(圖 2)，大多是讓使用者以手動的方式來選 擇目標，過程必須確認對方的網路設備資訊如 IP、MAC、裝置名稱等，掃描後列出所 有裝置，再進行手動選擇對象，過程不但耗時，且需查詢或記憶裝置資訊，相當不便。 因此，在本篇論文中，我們將設計一個更為直覺且彈性的裝置間傳輸配對機制，讓觸控 式行動裝置能快速、即時地辦識出正確的交換對象，且不必外接其它感應裝置。其設計 原理是基於人類指出方向的表達能力，運作方式是利用觸控感應器來指出配對方向，並 配合方位感測器計算出真正的配對方位，透過這樣的方式來減少使用者與裝置在溝通上 的認知差距，進而達成與周遭裝置配對傳輸的功用。最後，我們將設計並實作一個創新 的數位名片交換的應用情境，實現基於觸控式行動裝置之指向資料交換系統，並開發配 對演算法，提供一對一、一對多及多對多的配對服務，使用者只要在觸控螢幕上指出交 換對象的方向，即可完成配對及資料的交換。 本論文架構共分為五個章節：第壹章為緒論，闡明研究之背景、動機與研究目的， 第貳章為文獻探討，介紹相關研究，第參章為系統設計，介紹本系統之設計原理，第肆 章為裝置間的配對演算法說明，第伍章利用 Google 的 Android 系統實作本系統，第陸章 則為結論與未來發展方向，以供後續研究之參考。

4

第貳章、文獻探討

如前所述，在觸控式行動裝置上確定配對目標的困難在於如何處理使用者與觸控式 行動裝置間的「認知差距」—使用者已經確認交換的對象，而裝置需要在周遭包含其它 裝置環境中，辦別出要進行配對的裝置，則相當不易。對於使用者而言，藉由相互對應 的位置來辦識附近的對象及裝置是很自然的，然而當雙方要進行資料傳輸時，則必須提 供裝置的相關資訊做為辦識資訊，例如裝置名稱、IP、MAC 位址、或是其它別名。此 時，對於使用者而言，將會產生困惑，因為大部份的人並不會去理解這些專業的設定， 鮮少會去修改並記憶裝置名稱。目前一般配對大多採用如藍芽的方式 [3]：裝置啟動後 以掃描-列表-選擇的方式來配對，其中每一個裝置是靠名稱或位址來辦識，由選擇的裝 置掃完附近所有的裝置，列出名稱/位址列表，使用者再瀏覽列表並選擇他們覺得是正確 的裝置。還有其它的應用是透過視覺標記如 QR 碼 [4]和二維碼 [5]的方式，做為簡單的 辦識配對。 經由裝置間透過共享私密的訊息來確認裝置身份的方式，如 SiB [6], Blinking-LED [7], Loud-and-Clear [8]，這些裝置身份認証的研究方法，可用來做為雙方配對的基礎， 達到觸控式行動裝置配對選擇之目的。或是，使用者雙方透過同時操作特定行為，來做 為相互選擇的依據。例如參考文獻[9]二個使用者可以同步按下和釋放按鈕，或使用感測 器記錄使用者同步的動作，參考文獻 [10]把裝置放在一起再依同樣的軌跡移動，使用軌 跡感測器來擷取配對裝置移動運動模式，參考文獻 [11]透過操作同步手勢來進行配對， 而參考文獻 [12]則利用搖動裝置觸發配對處理。Cyber-Physical Handshake [13]比對雙方 握手時的震動波形進行配對。 其它方式如 P&C [14]利用裝置發出聲音與位置的變化關係來辦識選擇目標，但可能 易受環境的干擾，且實用性不高。另外也有透過額外的裝置、硬體(例如：雷射、紅外 線…)或系統來辦識哪一對裝置要配對，或是利用定位的資訊來推斷空間內的裝置進而 區分目標和其它裝置，例如參考文獻 [15]同時使用射頻和超聲波通信測量配對設備的相 對位置，參考文獻 [16]採用了指向裝置(雷射指示器或用相機)來選擇配對設備。

5 上述這些研究通常需要雙方使用者商訂一個共同且一連串動作，且有些更進一步需 要配備特別的定位裝置，例如雷射指示器，過程中都需要相當程度的使用者參與、系統 建置或是需要外接其它的感應裝置才能達成，不只過程繁雜、耗時且只能一對一配對， 無法進一步延伸多對多配對的應用，大大的限制了使用者的便利性。有別於上述的方式， 我們研究了一個創新的方法，使用更簡單、直覺、自然且不需系統額外的建置就能完成 配對。

6

第參章、系統設計

本系統為基於使用者直覺操作之配對系統，不必記憶交換目標的裝置資訊，而是利 用人類最自然的「指向」動作來達成配對。開發環境為一般的觸控式行動裝置，本系統 為純軟體的應用程式，不需搭配任何其它外接裝置，只需要標準觸控式行動裝置配備： 具有觸控感應器、方位感測器及無線傳輸功能即可。圖 3 為整體系統運作的呈現，當雙 方要進行配對時，首先使用者各自在觸控式行動裝置上指示出交換對象方向，裝置將透 過無線傳輸送出配對的方向資訊，經過一段系統訂定的時間後所有候選者的方向資訊將 透過配對演算法來運算，計算後配對結果經由無線傳輸給各個裝置，最後裝置依配對結 果進行資料互換。 圖 3、系統運作圖

7 系統設計上因功能不同可劃分成四個主要的系統元件，分別為使用者介面(UI)、感 應器(Sensor)、配對運算(Matching Algorithm)及。傳輸介面(Transmission)，架構如圖 4 所示。後續小節將依序針對此四個元件的設計原理說明： 圖 4、系統元件配置圖 3.1 使用者介面 我們希望使用者能直覺的表達出其配對目標，並且讓系統能快速的辦識出來，不必 花費大量的計算效能，即時完成配對。為了能讓無技術背景的一般使用者也能順利使用， 因此技術的設計必需簡單化。 圖 5、簡易的配對方式

8 圖 5 是一個利用方位的簡單配對方式，二位使用者用觸控式行動裝置互相朝著對方 方向，同時按下傳送，若雙方方位正確，即可配對完成。這樣的方式雖然達到簡易使用 的目的，但是和一般大部份的配對方式一樣，只能支援一對一配對的功能，若要和多個 使用者交換時，必須一直重複配對行為，將花費過多的時間與操作動作，且難以確認配 對結果。 保留上述利用方向進行配對的簡易操作原理，我們讓使用者透過在觸控螢幕上，指 示出目標裝置的方向(圖 6)的操作方式，具有操作簡易且螢幕上可進行視覺操作互動的 優點。此設計的理念來自於人類在日常生活中，手指目標物的自然行為。透過此指向性 的行為來辦識和選擇目標，並加上充份利用觸控式裝置之多點觸控特性，可實現多個裝 置間的配對功能(圖 7)。此操作方式的優點在於可解決使用者和裝置間的認知差距問題， 使用者並不需要記憶及查詢裝置的相關資訊，便可完成配對，相較於一般複雜配對方式， 我們的系統更進一步減少使用者在配對方面的工作，過程中只須透過簡單的指向動作即 可完成，此外，我們的解決方案在過程中不需要其它特殊硬體來支援。 圖 6、指向操作圖示

9 圖 7、多裝置間的配對 3.2 感測器資料 本系統使用觸控式行動裝中的二個配備：觸控感應器及方位感測器來完成指向性的 操作。其中觸控感應器的使用是當使用者在螢幕上進行操作時，感應器會回報使用者接 觸到螢幕的位置座標，而方位感測器功用為取得裝置的方位角，方位感測器應用原理如 圖 8 所示，感測器將回報 Z 軸與 Y 軸旋轉的角度，即為裝置與北方的夾角。 圖 8、方位感測器 - 方位角

10 圖 9、配對方向計算 當使用者在螢幕上指出配對者的對應方向後，系統便可計算出彼此間的實際方向。 計算方式如圖 9 所示，我們的目標是計算出實際的配對方位角度 θNP_{，但是 θ}NP_無法直 接由裝置得到，需要透過裝置與北方的夾角 θN _{及使用者在螢幕上所指示的邏輯配對方} 向θP_{共同計算後可得，計算公式為θ}NP = θN + θP。以下分別說明如何計算θN _、θP 及 θNP_{值超出範圍時的處理。} 圖 10 為裝置方位角之計算圖，其中 Head 表示裝置前端的方向，North 表示北方方 向，方位感測器會回報系統 Z 軸與 Y 軸旋轉的角度，得到 Head 與 North 的夾角 θN_，即 裝置和北方的夾角。 圖 10、裝置方位角之計算

11 使用者在螢幕上所指示的邏輯配對方向 θP_{的計算則如圖 11 所示，其中 Head 表示} 裝置的前端方向，而 Point 表示裝置中心點至螢幕觸控點的方向。當使用者確認目標裝 置方向，並在觸控螢幕上指出目標裝置之方向後，系統即可計算出裝置方向向量𝑢⃑ 及目 標物件方向向量𝑣 ，設兩向量夾角為 θP_{，則𝑣 ，𝑢⃑ 的夾角 θ}P_{可利用 cos}P = u v | | | |u  v 而取 得裝置與目標之邏輯方向夾角，此即為使用者與配對目標間的相對邏輯方向。 圖 11、裝置之方位與指向夾角圖 將使用者與目標位置的邏輯方向角θP_{，輔以裝置與實際北方之角度差θ}N_進行加總 後由θNP = θN + θP，可計算出實際裝置間對應之方向θNP_{。而計算出的θ}NP_{有可能大於} 360，因此，在此情況下需修正 θNP，計算公式為θNP = θN + θP- 360 (圖 12)。 圖 12、邏輯方向對應實際方向計算

12 綜合前述，本系統經由測量與比較所有待測目標的方向角，得到所有配對候選目標 間的方向對應關係，最後取得每位使用者正確配對的目標，過程中，完全利用一般觸控 式行動裝置的配備—觸控感應器及方位感測器。因此本系統能進一步避免依賴後端高精 度定位設施，此外，也不需要添加其它裝置做為輔助，例如紅外線，雷射等指向標記的 輔助。 3.3 配對運算 為了快速、有效地計算使用者間的配對結果，本系統根據裝置間相互定位的關係， 設計了一個簡單的偵測技術。主要技術是利用使用者指出對方位置時，基於幾何、向量、 三角函式運算出使用者間相互對應的角度來進行運算。圖 13 中說明了偵測是否配對的 運作機制，Alice 在觸控裝置上指向 Bob 的方向，而 Bob 及 Cathy 選擇 Alice 進行配對， 各自在裝置上指向 A 的方向，最後，當指向動作完成後，三方得到各自期望交換對象之

方向角為𝜃_𝐴𝑁𝑃_、𝜃

𝐵𝑁𝑃、𝜃𝐶𝑁𝑃，其中 Alice 和 Bob 得到方向角的變化是|𝜃𝐵𝑁𝑃− 𝜃𝐴𝑁𝑃|，Cathy

與 Alice 的方向角變化是|𝜃_𝐶𝑁𝑃_{− 𝜃}

𝐴𝑁𝑃|，根據這二個方向角的變化，發現三者相互間方向

角度差的關系|𝜃_𝐵𝑁𝑃_{− 𝜃}

𝐴𝑁𝑃| ≃ 180° ≠ |𝜃𝐶𝑁𝑃− 𝜃𝐴𝑁𝑃|，其中 Alice 與 Bob 的方向角是最接近

平行關係，表示 Alice 與 Bob 配對成功，Alice 與 Cathy 配對失敗。

13 由於使用者在操作上可能會發生誤差，因此本系統在設計過程中，加入誤差緩衝機 制。如圖 14 所示，在實際操作中，Alice 和 Bob 間角度差𝜃𝑑 = |𝜃𝐵𝑁𝑃− 𝜃𝐴𝑁𝑃|可能會存在 誤差角度，所以配對成功條件的θd計算可修正為θd ≃ 180°±θα，其中θα代表可接受的誤 差值。透過 θα可用來減少雙方因為輸入而造成誤差的緩衝，若 θα範圍極小，則位置確 認的精準度可以提高，同樣，若增加θα範圍，則可增加配對機率，然而精準度有可能下 降，並會造成多重配對問題的機率上升。 圖 14、配對誤差允許 上述為基本的檢測配對方式，當系統有多位使用者進行多方向配對時，若是以一對 一的方式進行配對，配對次數將以階層的方式成長，在 n 位使用者情況下，總配對數為 (n-1)!。透過多對多的方式配對，能夠一次就完成配對，但在配對機制上將變得複雜許 多，需要透過配對演算法計算，而詳細的運算將在第四章說明。 3.4 傳輸介面 本研究中的網路環境是經由無線傳輸，可透過 Wi-Fi、藍芽、Wi-Fi Direct 等無線方 式傳輸。傳輸介面功能主要是初始建立一個無線傳輸路環境，讓所有的使用者能夠彼此 交換資料，後續關於使用者配對的請求、配對後的結果及使用者間資料的傳輸都是透過 此介面進行溝通。

14

第肆章、配對演算法

在配對的運算上，會因為多位使用者及多方配對的關係，造成複雜的配對情況。在 本章節，我們將配對方式結合圖論先說明基本的一對一配對及一對多配對，最後則說明 複雜的多對多配對及因多對多配對衍生出的多重配對問題及解決方式。 4.1 一對一配對 在觸控式行動裝置上，配對雙方只需透過觸控螢幕，相互指出交換對象的方向，完 成上述動作後，系統將兩者方向角進行差值運算後得到 θd，當 θd接近 180°表示配對成 功。圖 15 為一對一配對的圖示，Alice 和 Bob 互相指出對方方向後，若二者方向差計算 後 𝜃𝑑 = |𝜃𝐴𝑁𝑃− 𝜃𝐵𝑁𝑃| ≃ 180° 則配對成功，反之，則配對失敗。 圖 16 以圖論 G=(V, E)表示，𝑉 = *𝑣_𝐴 , 𝑣_𝐵 }，𝐸 = *𝑒+，每個使用者在觸控式裝置上， 指向配對者方向即為一個頂點 v，比較頂點 𝑣𝐴 與 𝑣𝐵 是否連通，即計算頂點 𝑣𝐴 與 𝑣_𝐵方向差值θd，若θd ≃ 180° 則表示圖中二個頂點𝑣𝐴 與 𝑣B 相連通共用一無向邊 e，反 之，則不相連。 圖 15、一對一配對圖示 圖 16、圖示一對一配對關系

15 4.2 一對多配對、多對多配對 本系統利用觸控式行動裝置的多點觸控功能，實現一對多配對的功能，讓使用者可 以一次與其他多個人進行配對。圖 17 為一對多的配對圖示，當 Alice 想和其他三人進行 配對時，可以在觸控螢幕上指出其他三人的方向，當系統得到所有使用者的方向後，將 不同裝置間的方向進行差值計算，當雙方方向值相差符合θd ≃ 180° 時，則配對成功， 反之則否。 轉換為圖論 G=(V , E)表示(圖 18) ，其中 V 為非空集合𝑉 = *𝑣_𝐴1, 𝑣_𝐴2,… 𝑣_𝐷1+是由所 有使用者指示的方向點所形成的有限集合；E 由不同頂點的無序對所構成的有限集合， E={e1,e2,…}。每個使用者在觸控式裝置上，指向配對者方向即為一個頂點 v，比較不同 使用者間的頂點是否連通，若方向差θd ≃ 180°則表示圖中二個頂點𝑣i 與 𝑣𝑗 相連通共用 一無向邊𝑒_i，反之，則不相連。 圖 17、一對多圖示

16 圖 18、圖示一對多配對關系 目前大部份的傳輸配對，都只能進行一對一的配對。本系統除了支援一對一、一對 多的配對外，更進一步設計了多對多的配對技術。當多個使用者彼此間想要交換資料時， 需要依序與交換對象一個個配對，相當不方便。因此，本系統設計出一套支援多對多的 配對技術，在多個使用者的情況下，每個使用者可透過多點觸控的方式，指出其他配對 者的方向，本系統將使用者所有輸入的邏輯角度，轉換成對應之實際角度值，再進行配 對。圖 19 為多對多配對範例，當四位使用者各自針對其他三位使用者之方向執行指向 動作後，系統將得到所有的方位值，經由配對運算後，最後可得到所有使用者間的對應 關系。 圖 19、多位使用者配對示意圖

17 4.2.1 K 分圖與配對演算法 為了便於討論多對多演算方式，在此將整個網路轉換為圖論的數學模型來輔助思考。 假設這些使用者隨機的分佈在二維的歐基里德幾何平面Ω 上，每位使用者在觸控式裝置 上，指向配對者方向即為一個 vertex，即每個頂點 v 帶有一個方向值；逐一比較不同使 用者間的頂點是否連通，即計算兩頂點間方向差θd，若θd≃ 180° 則表示頂點間有連通。 這個網路可以用無向圖 G=(V, E)來表達，其中 V 是由所有使用者指向的方向點所形成 的有限非空集合𝑉 = {𝑣₁₁, … 𝑣_1𝑛1, 𝑣_𝑘1, … 𝑣_𝑘𝑛𝑘}，𝑛_𝑘代表第 k 個使用者所指向的使用者數； E 由不同頂點的無序對所構成的有限集合，E={e1,e2,…}。頂點集合 V 是所有使用者用來 表現期望配對者的方向集合，因此頂點集合 V 可以依個別使用者再加以分割成多個不相 交的子集合 Pi，並且使用者本身不存在指向自己本身方向的可能，因此圖中的每條邊 ei 所關聯的二個頂點 vil和 vjm，必定分別屬於不同的頂點集合(G 裡沒有邊是連接著子集合 Pi裡的二個頂點)。 根據圖論定義中，若簡單圖的頂點集合 V 可以分成二個互斥的集合 P1和 P2，使得 圖裏的每條邊都恰好連接著 P1 裡的一個頂點及 P2 裡的一個頂點圖(圖中任二個邊不相 連)，稱此圖為二分圖(bipartite Graph)。圖 20 為將多對多使用者指向的情形轉換成圖形 的範例，此圖形屬於一種 k-partite 的圖。但是根據使用者指向的配對情形必須在 k-partite 的條件下增加額外的限制條件。 圖 20、K 分圖表示使用者對應關係

18 K 分圖定義如下，一個無向圖𝐺(𝑉, 𝐸)、頂點集合𝑉、邊的集合𝐸、所有頂點個數 𝑛 = |𝑉(𝐺)|，所有邊的個數𝑚 = |𝐸(𝐺)|，頂點可以分成多個不相交的頂點子集合

𝑃

_𝑖

，即：

 1 1 , k k i i i i P V P       𝑃𝑖 = *𝑣𝑖𝑙|𝑣𝑖𝑙 ∈ 𝑉, 1 ≤ 𝑖 ≤ 𝑘, 1 ≤ 𝑙 ≤ 𝑛𝑖, 𝑛𝑖 = |𝑃𝑖|+  1 | | k i i n

P

 



同時應滿足所有邊e( , )v w E,vP w_i, P i_j,  j 因應使用者指向的配對情形並在 k-partite 的條件下增加額外的限制條件將在 4.2.2 進行 說明。

19 4.2.2 多重配對問題及處理 假設在多對多的完全配對情況下，任一使用者的任一方向應恰好指向另一配對者， 因此，經由配對計算後應產生唯一正確解的 K 分圖，滿足圖中每個使用者所指的每個方 向最多只有一對應的使用者，即 K 分圖中任一頂點子集合 Pi與 Pj中只存在一個邊，或 是完全沒有相連的邊。然而，在頂點方向值可能相同的情況下，將造成計算配對關系時 Pi可能同時與其它另一不相交子集 Pk中的任一頂點也連通，因此產生多重配對成功的現 象。圖 21 顯示多重配對的問題，v43及 v32擁有相同方向值，使得 v11分別和 v43及 v32的 方向差，均滿足θd ≃ 180°的條件，造成(v11,v43)及(v11,v32)多重配對，同理，v11及 v23擁有 相同方向值，(v43,v11)及(v43,v23)亦多重配對，而此問題將造成使用者所指的方向同時有二 個候選使用者符合配對條件，系統將無法得到正確的使用者配對結果。 圖 21、多個使用者間多重配對問題(虛線表多重配對的邊)

20 因此，我們修改前述 k 分圖的條件，多重配對關系之 k 分圖應滿足以下條件： 任二不同子集合𝑃_𝑖 及𝑃_𝑗間應有一連通的邊且任一頂點的分支度等於 1。  ∀𝑃_𝑖 , 𝑃_𝑗∃𝑒 = (𝑣_i𝑙, 𝑣_𝑗𝑚) ∈ 𝐸, 𝑣_𝑖𝑙 ∈ 𝑃_𝑖, 𝑣_𝑗𝑚 ∈ 𝑃_𝑗  ∀𝑣_𝑖𝑙 ∈ 𝑉, deg(𝑣_𝑖𝑙) = 1 基於前述配對條件限制下之配對處理演算法流程圖(圖 22)，分別為圖形初始化、標 記已配對頂點、利用回朔法求解及確認是否符合配對條件。首先，所有的方位資料處理 後將轉成 k 分圖的表示方式，接著標記已具有唯一配對條件的頂點，之後再拜訪其他未 確定的頂點，直到所有的頂點均符合上述的配對條件，以下將詳述執行過程。 圖 22、演算法推導流程

21

虛擬碼程序如下表 1。 表 1、演算法程序

Procedure Find The Right Map

1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: 15: 16: 17: Create a graph G

Paired node marking(degree = 1)

For all non-marking vertex vi in graph G

Visit (Vertex vi) if constraint verification ok return true else return false end if

for all vi paired candidate vertices vj do

mark vj as discovery vertex and remove other vertices

Visit (vj+1)

remove vj and restore other vertices

end for end Visit

22 首先進行圖形初始化，完成後如圖 23 所示，其中每個子集合𝑃_𝑖中的任一頂點𝑣_𝑖𝑙與 其可連通的頂點標示於括弧中，而所有頂點子集合間的關系，則如圖 23 右方所示。 圖 23、K 分圖初始化 建立 K 分圖後，接著標記𝑃𝑖及𝑃𝑗間所有已確定配對的頂點(deg = 1)，後續不需進行拜 訪(圖 24)。 圖 24、移除已確定配對關系的頂點

23 然後依序拜訪每個未標記配對的頂點及其對應連通的頂點檢查是否符合配對條件 (圖 25)，若符合則拜訪下一個頂點，否則挑選此頂點的另一個對應連通的頂點並檢查是 否符合配對條件。 圖 25、回朔法執行 最後，拜訪完所有頂點並確認均符合配對條件後，即可得到正確的配對關系圖。由 此可知，利用本系統的配對演算法，能避免因方向值相同而造成的多重配對情形並取得 使用者間的真正配對關系。 圖 26、重複配對運算結果

24 4.2.3 非完全配對情況 使用者實際在操作指向性配對時，其中任一使用者的頂點個數並不一定會恰好等於 其他配對者個數，且頂點也不一定會配對成功，此為非完全配對情況，意即在 k 分圖中 並非兩兩子集合間都有配對。針對非完全配對情況，將圖形限制改成如下： (1) 為了條件表示方便，定義了一個邊集合𝐸𝑃𝑖𝑗。此邊集合表示在圖中不同𝑃𝑖 , 𝑃𝑗間所相 互連結的邊。而在非完全配對情形下，𝐸_𝑃𝑖𝑗集合內的個數必須不能超過 1，也就是每 個使用者之間最多只會有一個關聯且任一頂點 degree 不能超過 1。  𝐸𝑃_𝑖𝑗 = {𝑒|𝑒 = (𝑣𝑖𝑙, 𝑣𝑗𝑚), 𝑣𝑖𝑙 ∈ 𝑃𝑖, 𝑣𝑗𝑚 ∈ 𝑃𝑗, 𝑖 ≠ 𝑗}, 𝐸𝑃_𝑖𝑗 ⊆ 𝐸  ∀𝑃_𝑖, 𝑃_𝑗, |𝐸_𝑃𝑖𝑗| ≤ 1  ∀𝑣_𝑖𝑙 ∈ 𝑉, deg(𝑣_𝑖𝑙) ≤ 1

(2) 𝐸𝑑𝑃𝑖𝑗則是在 paired node marking 時使用，𝐸𝑑𝑃𝑖𝑗表示圖中不同𝑃𝑖 , 𝑃𝑗間所互相連結的邊

且構成此邊之兩個頂點的 degree 皆為 1  𝐸𝑑𝑃_𝑖𝑗 = {𝑒|𝑒 = (𝑣𝑖𝑙, 𝑣𝑗𝑚), 𝑣𝑖𝑙 ∈ 𝑃𝑖, 𝑣𝑗𝑚 ∈ 𝑃𝑗, deg(𝑣𝑖𝑙) = 1, deg(𝑣𝑗𝑚) = 1, 𝑖 ≠ 𝑗}, 𝐸𝑑𝑃_𝑖𝑗 ⊆ 𝐸  |𝐸_{𝑑𝑃𝑖𝑗}| = 1 針對非完全配對情形之說明如下，圖 27 為非完全配對例子，Alice 只有指向 Bob 及 David，Cathy 所指 Alice 的方向沒有對應的配對方位角。 圖 27、非完全配對圖示

25 圖 28 為上述例子以 K 分圖表示，其中子集合𝑃1只有二個頂點，而子集合𝑃3則有一 頂點𝑣33沒有配對成功。以下將說明在非完全配對情況下，利用前述的配對運算流程求 得 k 分圖解。 圖 28、非完全配對之 k 分圖 K 分圖初始後，依據前述條件當任二子集合𝑃𝑖及𝑃𝑗間具有唯一配對頂點分支度均為 1 的邊，則將此邊的二個頂點進行標記後續不需進行拜訪(圖 29)。 圖 29、非完全配對 k 分圖，移除已確定配對頂點

26 然後依序拜訪每個未標記的頂點及檢查其相對應連通的配對頂點是否符合配對條 件(圖 30)，若符合則拜訪下一個頂點，否則挑選此頂點的另一個對應連通的頂點並檢查 是否符合配對條件。 圖 30、利用回朔法求出非完全配對 k 分圖之解 最後，拜訪完所有頂點並確認均符合配對條件後，即可得到正確的配對關系圖 (圖 31)。 圖 31、非完全配對的 k 分圖解

27 4.2.4 配對結果非唯一之情況 透過本研究中的配對演算法，能找出符合配對條件的 k 分圖關系，但由於 k 分圖可 能存在多個正確解答，因此可能會發生運算後的配對答案，並非現實中的真正配對解的 情況。例如在圖 32 中，有四個使用者進行指向配對行為後，將所有不同使用者的方向 值進行配對運算後，可取得使用者配對關系(圖 33)，其中虛線配對表示因角度值相同而 造成使用者的錯誤配對關系。 圖 32、多重配對結果之配對情境 圖 33、具多重配對結果之 k 分圖

28

經由前述的配對演算法運算後，會得到符合本系統設定配對條件的配對關系，但是 此配對關系卻與現實配對情況不同。所以，當 k 分圖具有多重解時，透過 k 分圖配對運 算後將得到多組結果之任一組，最後便有可能發生與真實配對不符合的情況(圖 34)。

29

第伍章、系統實作

根據美國市場研究機構國際數據資訊(International Data Corporation)的調查數據顯 示，在 2012 年第二季度中觸控式行動裝置的出貨量達到了 1.52 億台，已經超越個人 電腦的出貨量，其中 Android 與 iOS 合佔 85%，Android 的市佔率為 68.1%。顯示目 前智慧型裝置使用率相當的高，其中，又以 Android 的使用率最高。 在本篇論文中，我們利用 Android 2.3 的系統為基礎，實作一個以使用者直覺操作 的指向名片交換服務。系統開發平台 Android 是 Google 所提供之免費開發式平台，一個 以 Linux 為基礎的行動裝置作業系統(圖 35)，開發環境設置是透過 Android 釋出的 SDK [17]，程式的開發則透過在 Eclipse[18]撰寫 JAVA 的上層應用程式。 圖 35、Android 系統開發架構圖 5.1 網路環境設置 本指向配對系統的網路環境，是利用智慧型手機本身的無線傳輸功能，將所有觸控 式行動裝置相互連線所共同構築而成的無線區域網路，所有觸控式行動裝置均共同遵守 共通的無線網路協定(WiFi Protocol)，才能彼此交換資料，一般而言，其傳輸距離僅數 公分至數公尺之間，且至少有二個使用者方能進行交換。由於 Android2.3 的系統並無 Ad hoc 的功能，因此，我們利用觸控式行動裝置具無線基地台的能力，透過 Android 提 供的開發介面，設計了一套自動建立無線區域網路的流程(圖 36)。當程式執行時，首先 裝置將搜尋系統已設定好之 SSID，若發現此 SSID，則進行連線，反之，則以此 SSID 為無線基地台名稱，成為基地台，供其它裝置連線。

30

圖 36、網路環境之初始建立

31 透過上述無線網路設計初始化過後的系統如圖 37 所示，所有的觸控式行動裝置會 組合成一個互連的無線區域網路。裝置基地台本身除了不斷地接收網路中其它裝置所傳 來的資訊外，還能更進一步處理這些資訊，找出相互配對的裝置，並個別通知配對結果， 讓彼此進行資料交換。本系統支援一對一、一對多及多對多交換，允許多部裝置同時進 行配對及資料交換，並且做為基地台之裝置本身也可發出配對需求，和其它裝置進行配 對。 5.2 系統架構與運作流程 本系統的軟體設計架構，可依功用分為使用者介面(UI)、感測器處理(Sensor)、配對 運算(Match Algorithm)及傳輸介面(Transmission)四個模組。當使用者在使用者介面操作 後，感測器端會回報方向感測資料，在配對運算層中會將用戶資料與配對參數，透過無 線傳輸至管理端。所有使用者的配對資料統一送至管理端，在透過配對演算法配對後， 管理端會將結果回傳給各個使用者，而使用者則依結果進行資料交換，最後，在螢幕對 應的方向顯示配對成功者的圖片。整體元件的配置圖，參考下圖 38 所示。 圖 38、軟體設計架構圖

32 5.3 系統實際操作與示範 本節將說明本系統實作結果，程式執行畫面如圖 39 所示，程式初始化完成後，所 有觸控式行動裝置將互連成一個無線區域網路，程式畫面會出現使用者名片圖片。操作 方式是使用者在螢幕上，指出配對交換者的方向；執行時，手指處將標示亮點，同時， 畫面中心會出現一條連接至點擊處的線(圖 40)，此線用以標示目前使用者所指的方向， 目的是協助使用者能更準確的指向交換者的位置。 當動作完成後，程式將送出配對相關資訊至管理者(即基地台裝置)，管理者將所有 配對候選者的資料以配對演算法處理，處理後回傳結果給各個使用者，最後，使用者依 結果進行資料交換，交換成功後顯示確認對話視窗(圖 41)，交換後的名片則顯示在對應 的方向上，如圖 42 所示。當有多個使用者進行多對多交換，使用者利用多點觸控進行 操作(圖 43)，配對成功後則依對應的交換方向顯示圖片(圖 44)。

33

圖 39、初始畫面

34

圖 41、配對確認

35

圖 43、一對多、多對多操作圖示

36

第陸章、結語

隨著觸控式行動裝置的崛起，使得以往必須在電腦前進行的行為，漸漸移往行動裝 置上操作，這一點由裝置出貨量已經高於電腦可以証明。未來勢必有更多的服務會在觸 控式行動裝置上開發出來，讓人類的生活能夠更加的便利。 6.1 研究成果 在本研究篇論文當中，我們實際設計了一套指向性互動系統，旨在讓使用者能夠於 目前相當普及的觸控式行動裝置上，經由直覺的操控方式，讓人與人之間能透過更簡單 的方式進行互動。本系統為純軟體實現，使用的觸控感應器與方向感測器皆為一般觸控 式行動裝置具有之硬體，因此，本系統無需外接其它任何裝置，未來也可以移植至其它 系統來使用。 相較於大部份系統只有一對一配對服務，我們另外實現了一對多、多對多的配對機 制。利用 K 分圖的架構，設計出多方配對的機制，適當的修改關於 K 分圖的配對條件， 使本系統的 K 分圖配對演算法得以實踐，成功地避免掉多人配對時，多重配對的情況。 目前，關於傳輸前配對的機制還有許多發展的空間，我們冀望能透過本研究的微薄貢獻 替人類生活盡一份心力。 6.2 未來研究方向 本研究所發展的雛形系統，在功能性及介面上仍有許多需要改進的地方，未來發展上有 下列幾點： 一、強化用戶體驗的介面 本系統針對使用者操作的部份，增加了指引的功能，未來可再增加更多使用親切的 操作介面，幫助使用者能更精確的指向對應的使用者。 二、提供更多元的服務 本研究的定位功能不需特殊的配備，未來可與其它服務結合，例如救災現場的定位 等…以提供更多元的服務。

37 三、延伸的雲端服務 本系統針對一般無對外網路的情況，設計了一套無需外部網路，也能隨時能交換的 名片交換系統。然而，利用觸控式行動裝置可以兼具雙網路的功能，可以利用其它對外 網路的連線服務，再搭配無線區網的功能，便可開發延伸的雲端服務。 四、K 分圖的運用 在本名片交換系統中，我們發展了 K 分圖來解決多對多名片交換的機制。然而，這 樣的機制尚有改進的空間。未來研究可以加入更多的使用者資訊，透過資訊權重的方式， 來協助我們更快速且精確的找到答案。

38

第柒章、參考文獻

[1]. K. Nickel and R. Stiefelhagen. Visual recognition of pointing gestures for human-robot interaction. Image Vision Comput., 25(12):1875–1884, 2007.

[2]. B. Kusy, A. Ledeczi, and X. Koutsoukos. Tracking mobile nodes using rf doppler shifts. In SenSys ’07: Proc. of the 5th Intl. conference on Embedded networked sensor systems, pages 29–42, New York, NY, USA, 2007. ACM.

[3]. IEEE 802.15.1 Bluetooth http://www.bluetooth.com, Bluetooth SIG Bluetooth Specification v1.1,’Februayr,2001

[4]. QR code. http://www.nttdocomo.co.jp/english/service/imode/make/content/barcode/tool/. [5]. Semacode. http://semacode.com/.

[6]. J. M. McCune, A. Perrig, and M. K. Reiter. Seeing-is-believing:Using camera phones for human-veri?able authentication. In SP ’05:Proceedings of the 2005 IEEE Symposium on

Security and Privacy,pages 110–124, Washington, DC, USA, 2005. IEEE Computer

Society.

[7]. N. Saxena, J.-E. Ekberg, K. Kostiainen, and N. Asokan. Secure device pairing based on a visual channel. In SP ’06: Proceedings of the 2006 IEEE Symposium on Security and Privacy, pages 306–313, Washington, DC, USA, 2006. IEEE Computer Society. [8]. M. T. Goodrich, M. Sirivianos, J. Solis, G. Tsudik, and E. Uzun.Loud and clear:

Human-veri?able authentication based on audio. In ICDCS ’06: Proceedings of the 26th

IEEE International Conference on Distributed Computing Systems, page 10, Washington,

DC, USA,2006. IEEE Computer Society.

[9]. J.Rekimoto, Y.Ayatsuka, and M. Kohno. Synctap: An interaction technique for mobile networking. In Mobile HCI, pages 104-115,2003.

[10]. L. E. Holmquist, F. Mattern, B. Schiele, P. Alahuhta, M. Beigl, and H.-W. Gellersen. Smart-its friends: A technique for users to easily establish connections between smart artefacts. In UbiComp ’01: Proceedings of the 3rd international conference on

Ubiquitous Computing, pages 116–122, London, UK, 2001. Springer-Verlag.

[11]. K.Hinckley.Synchronous gestures for multiple persons and computers.In

UIST’03:Proceedings of the 16th annual ACM symposium on User interface software and technology,pages 149-158, New York,NY,USA,2003.ACM

[12]. R.Mayrhofer and H.Gellersen.Shake well before use: Authentication base on accelerometer data.In A. LaMarce, M.Langheinrich, and K.N.Troung,editors,

Pervasive,volume 4480 of Lecutre Notes in Computer Science,page

144-161.Springer,2007

[13]. Wu, F.-J., Chu, F.-I., and Tseng, Y.-C. Cyber-Physical Handshake. In Proc. SIGCOMM 2011, ACM Press, (2011).

39

mobile phone users. In: Proc. MobiSys 2009, pp. 137–150. ACM, New York (2009) [15]. R. Mayrhofer, H. Gellersen, and M. Hazas. Security by spatial reference: Using relative

positioning to authenticate devices for spontaneous interaction. In Ubicomp, pages 199– 216, 2007.

[16]. G. Schmidt, Y. Baillot, D. G. Brown, E. B. Tomlin, and J. E. I. Swan. Toward disambiguating multiple selections for frustum-based pointing. In 3DUI ’06:

Proceedings of the 3D User Interfaces, pages 87–94, Washington, DC, USA, 2006. IEEE

Computer Society.

[17]. Android, http://developer.android.com/sdk/index.html [18]. Eclipse, http://www.eclipse.org/downloads