基於眼動軌跡之閱讀模式分析 - 政大學術集成

全文

(1)國立政治大學資訊科學系 Department of Computer Science National Chengchi University. 碩士論文 Master’s治 Thesis. 立. 政. 大. ‧ 國. 學. 基於眼動軌跡之閱讀模式分析. ‧. y. Nat. Classification of Reading Patterns Based on Gaze. n. al. sit er. io. Information. Ch. engchi. i n U. 研究生：張晉文指導教授：廖文宏. 中華民國一零六年七月 July 2017. v.

(2) 基於眼動軌跡之閱讀模式分析. 研究生：張晉文. Student：Chin-Wen Chang. 指導教授：廖文宏. Advisor：Wen-Hung Liao. 國立政治大學治. 立. 政. 資訊科學系. 大. 碩士論文. ‧ 國. 學 ‧. A Thesis. io. sit. y. Nat. submitted to Department of Computer Science. er. National Chengchi University. al. n. v i n Ch U in partial fulfillment e n gofcthe h i Requirements for the degree of Master in Computer Science 中華民國一零六年七月 July 2017.

(3)

(4)

(5) 基於眼動軌跡之閱讀模式分析摘要閱讀是吸收知識的途徑，不同的閱讀模式所帶來的閱讀成效也會不同。如何透過機器學習的方式，從凝視點找出閱讀行為的關聯性，將是本研究的目標。實驗選擇低成本眼動儀紀錄讀者閱讀過程中的眼動資料，採用 dispersion-based 演算法找出凝視點，以計算凝視點特. 政治大. 徵，包含凝視時間、凝視距離、凝視位置以及凝視方向。. 立. 本研究將閱讀模式分成五種類別，包含快讀、慢讀、精讀、跳讀. ‧ 國. 學. 與關鍵字識別，透過不同文章的呈現，引導 30 位測試者遵循其內容. ‧. 進行閱讀，藉此收集不同行為模式的眼動資料。實驗流程中所有的眼. Nat. io. sit. y. 動資料會隨機被分成為兩份，依序建立不同維度的訓練資料，由交叉. n. al. 動數據為測試資料進行. er. 驗證的分類結果找出理想之特徵與維度。以每次挑選 6 位測試者的眼. v i n 5C次分類驗證，其平均正確率為 hengchi U. 78.24%、. 74.19%、93.75%、87.96%以及 96.20%，均達到不錯的分類結果。. 關鍵字: 眼動資料、閱讀模式、眼動儀、交叉驗證.

(6) Classification of Reading Patterns based on Gaze Information Abstract Reading is one of the paths to acquire knowledge. The efficiency is different when different reading patterns are involved. It is the objective of this research to classify reading patterns from fixation data using machine learning techniques. In our experiment, a low-cost eye tracker is employed. 政治大 based algorithm is implemented to identify fixation from the recorded data. 立 to record the eye movements during the reading process. A dispersion-. ‧ 國. 學. Features pertaining to fixation including duration, path length, landing position and fixation direction are extracted for classification purposes.. ‧. Five categories of reading pattern are defined and investigated in this. sit. y. Nat. study, namely, speed reading, slow reading, in-depth reading, skim-and-. io. er. skip, and keyword spotting. We have recruited thirty subjects to participate in our experiment. The participants are instructed to read different articles. al. n. v i n C hby the experimenter using specific styles designated in order to assign label engchi U. to the collected data. Feature selection is achieved by analyzing the predictive results of cross-validation from the training data obtained from all subjects. The average classification accuracies in five-fold crossvalidation are 78.24%, 74.19%, 93.75%, 87.96% and 96.20% using the eye movements of the six randomly selected subjects as test data. Keyword: Eye movement, reading pattern, Eye tracker, cross-validation.

(7) 致謝寫致謝詞應該是一件很容易的事，在剛開始寫論文的時候心裡總是這麼想。而在完成論文準備要寫致謝詞時，沒想到居然在電腦前想了很久，深怕漏掉感謝的人。首先要先感謝我的指導教授廖文宏老師，在如此繁忙的時間之下，依然維持兩週一次的 meeting，讓我的研究一直都有進度。從老師. 政治大. 身上不僅學習到許多新知識，也看到老師對研究的嚴謹態度與細膩度，這輩子受用無窮。. 立. ‧ 國. 學. 接著要特別感謝 Maty 學姊，在政大這段時間一路相挺到底，每. ‧. 當實驗有疑惑的時候都會適時提供寶貴的建議，也在口試前撥空特別. Nat. io. sit. y. 指導，真的非常感激學姊的照顧。在口試過程中，也感謝口試委員廖. n. al. er. 峻鋒教授與江佩穎教授所給予的看法與意見，讓我的論文能夠更具完整性。. Ch. engchi. i n U. v. 另外，還有我的研究室同學乃嘉與琬儒，謝謝陪我度過無數次的 meeting 時間，相互幫忙與鼓勵才有動力持續完成研究。以及收集眼動數據的 30 位測試者，有你們的幫忙，研究才能順利往後推進。最後，感謝家人的支持與鼓勵，讓我能全心全意地去完成論文研究。也謝謝可愛的姪子，在寫論文最累的時候就是我所娛樂的對象。再次感謝每位曾經幫助過我的人，謝謝。.

(8) 目錄第一章緒論.................................................................................................................. 1 第一節. 研究背景................................................................................................ 1. 第二節. 研究動機與目的.................................................................................... 2. 第三節. 論文架構................................................................................................ 3. 第二章相關研究.......................................................................................................... 4 第一節眼球追蹤技術.......................................................................................... 4 2.1.1 瞳孔與角膜反射追蹤法.............................................................................. 4. 政治大. 2.1.2 眼電圖法...................................................................................................... 5. 立. 2.1.3 搜尋線圈法.................................................................................................. 7. ‧ 國. 學. 2.1.4 Purkinje 影像追蹤法 ................................................................................... 8. ‧. 2.1.5 紅外線眼動圖法.......................................................................................... 8. sit. y. Nat. 第二節眼動資料分析指標.................................................................................. 9. io. n. al. er. 2.2.1 時間維度眼動指標.................................................................................... 10. v. 2.2.2 空間維度眼動指標.................................................................................... 11. Ch. engchi. i n U. 第三節隨機取樣一致性演算法........................................................................ 12 第三章器材評估與研究設計.................................................................................... 15 第一節. 研究工具探討...................................................................................... 15. 3.1.1 軟硬體架構分析........................................................................................ 15 3.1.1.1 儀器規格與架設方式............................................................. 16 3.1.1.2 軟體與裝置相互性架構......................................................... 17 3.1.1.3 校正程序過程......................................................................... 19 3.1.2 可用性評估................................................................................................ 22 3.1.2.1 使用介面設計並制定比較規則............................................. 22.

(9) 3.1.2.2 數據收集與計算程序............................................................. 26 3.1.2.3 數據結果分析與裝置評估結果............................................. 27 第二節. 前期規劃.............................................................................................. 29. 3.2.1 凝視點識別並紀錄凝視點特徵................................................................ 29 3.2.2 製作文字內容，並決定適當的行距高度................................................ 32 第三節. 研究設計與實施方法.......................................................................... 36. 3.3.1 研究實施步驟............................................................................................ 36 3.3.2 軟體流程設計............................................................................................ 37 第四章. 立. 研究過程.............................................................................................. 39. 學. ‧ 國. 第一節. 政治大. 研究過程與結果.......................................................................................... 39. 4.1.1 眼動實驗應用程式.................................................................................... 39. ‧. 4.1.2 定義閱讀模式類別.................................................................................... 40. sit. y. Nat. 4.1.3 依據不同的行為類別製作閱讀內容........................................................ 41. io. al. er. 4.1.4 評估不同條件下的眼動軌跡狀況............................................................ 43. v i n Ch 4.2.1 收集所需數據資料的過程規劃 46 e n g................................................................ chi U 資料分析程序...................................................................................... 45. n. 第二節. 4.2.2 凝視點特徵選取並對數據進行資料正規化............................................ 47 4.2.3 藉由凝視點特徵收集來建立訓練資料過程............................................ 48 第三節. 預測結果與討論.................................................................................. 50. 4.3.1 以不同維度資料進行訓練的結果............................................................ 51 4.3.2 以交叉驗證方式進行資料維度調整測試................................................ 52 4.3.3 檢驗不同測試資料的分類結果................................................................ 55 4.3.4 探究較難區分的閱讀模式所影響整體分類結果的程度........................ 58.

(10) 4.3.5 以預測分類機率值來檢驗測試資料的分類結果.................................... 61 第五章. 結論與未來研究方向.................................................................................. 65. 第一節結論........................................................................................................ 65 第二節未來研究方向........................................................................................ 65 參考文獻...................................................................................................................... 67 附錄 A.......................................................................................................................... 70. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v.

(11) 表目錄表 3.1、針對九個藍點分散程度所計算出總平均距離差的 20 次結果 ................. 31 表 3.2、依據實驗用螢幕高度與像素高度所對應的結果 ....................................... 33 表 4.1、依據三種閱讀內容所安排的閱讀順序 ....................................................... 46 表 4.2、統計所有測試者的凝視時間紀錄表 ........................................................... 48 表 4.3、特徵最大最小值與正規化後的範圍對應表 ............................................... 48 表 4.4、不同凝視數量的時間記錄與 SVM 參數設置............................................. 50. 政治大表 4.5、不同凝視數量所進行訓練的結果 ............................................................... 51 立. ‧ 國. 學. 表 4.6、不同凝視數量的第一次交叉驗證結果 ....................................................... 53. ‧. 表 4.7、以 20 筆凝視數量的第二次交叉驗證結果 ................................................. 54. sit. y. Nat. 表 4.8、不同樣本數量的分類正確率結果 ............................................................... 55. n. al. er. io. 表 4.9、以不同測試資料進行五次實驗的分類正確率結果 ................................... 57. Ch. i n U. v. 表 4.10、整合五次平均分類正確率結果 ................................................................. 58. engchi. 表 4.11、六位測試者的分類過程與錯誤率結果(第五次實驗) ............................... 60 表 4.12、統計個別五次分類機率值的結果 ............................................................. 63 表 4.13、由實驗數據挑選分類機率值較為接近的範例結果 ................................. 63 表 4.14、以不同比例值計算未知類別比例與分類正確率結果 ............................. 64.

(12) 圖目錄圖 2.1、瞳孔偵測方式.................................................................................................. 5 圖 2.2、電極配置與電位差偵測圖 ............................................................................. 6 圖 2.3、搜尋線圈法配置示意圖.................................................................................. 7 圖 2.4、Purkinje 影像示意圖 ..................................................................................... 8 圖 2.5、為紅外線眼動運作原理圖 ............................................................................. 9. 政治大. 圖 2.6、RANSAC 演算法完整過程示意圖，以 3 次疊代次數為例 ..................... 13. 立. 圖 2.7、不同排版對應的眼動數據圖 ....................................................................... 14. ‧ 國. 學. 圖 3.1、固定眼動裝置圖............................................................................................ 17. ‧. 圖 3.2、眼動裝置系統架構圖.................................................................................... 18. y. Nat. er. io. sit. 圖 3.3、The Eye Tribe 四種圖性化眼動裝置狀態 .................................................. 20 圖 3.4、The Eye Tribe 校正程序與結果 ................................................................. 20. n. al. Ch. engchi. i n U. v. 圖 3.5、Tobii EyeX 四種圖性化眼動狀態 ............................................................... 21 圖 3.6、Tobii EyeX 校正程序過程圖 ...................................................................... 21 圖 3.7、10 回合目標物呈現過程............................................................................... 23 圖 3.8、目標物消除規則............................................................................................ 24 圖 3.9、眼動裝置比較程序軟體流程圖 ................................................................... 25 圖 3.10、計算眼動距離值的過程.............................................................................. 27 圖 3.11、從數據上所計算的距離平均比較直條圖 ................................................. 28.

(13) 圖 3.12、目標物的平均刪除時間比較直條圖 ......................................................... 28 圖 3.13、成本指標所計算的數據結果 ..................................................................... 29 圖 3.14、眼動座標分散程度測試內容 ..................................................................... 30 圖 3.15、由眼動資料轉換為凝視點的結果 ............................................................. 31 圖 3.16、測試範本內容.............................................................................................. 33 圖 3.17、8 組不同行距高所測試的凝視點比較圖 .................................................. 34. 政治大圖 3.19、第二次小範圍錯誤率驗證結果 ................................................................. 35 立圖 3.18、由配戴隱形眼鏡者所測試 8 組不同行高所計算的錯誤率結果 ............. 35. ‧ 國. 學. 圖 3.20、研究實施流程圖.......................................................................................... 36. ‧. 圖 3.21、軟體流程圖.................................................................................................. 37. sit. y. Nat. 圖 4.1、眼動實驗應用程式的介面設計圖 ............................................................... 39. al. er. io. 圖 4.2、快讀示意圖.................................................................................................... 42. n. v i n 圖 4.3、慢讀示意圖.................................................................................................... 42 Ch engchi U 圖 4.4、精讀示意圖.................................................................................................... 42 圖 4.5、跳讀示意圖.................................................................................................... 43 圖 4.6、關鍵字識別示意圖........................................................................................ 43 圖 4.7、針對不同條件測試者所實驗的凝視點軌跡圖 ........................................... 45 圖 4.8、凝視點重疊現象............................................................................................ 49 圖 4.9、整合訓練資料的流程範例圖 ....................................................................... 50.

(14) 第一章緒論閱讀是由眼睛接收到外界資訊，例如文字、圖片等各種不同的訊息後，由大腦獲取後進行一連串的推論，進而建構出其內容的意義，這是一種複雜的心理活動，更是學習上重要基礎的歷程。儘管每個人的閱讀動機不同，有些人是以吸收知識為目的，速度緩慢且實在的方式在進行閱讀，並以通盤了解內容為優先考量; 而有另一些人是以休閒方式進行閱讀，讀的速度較為迅速，僅大概獲取某部分文字訊息即可。但是不論方式為何，就以閱讀的動作而言，最終目的都期望從文字. 政治大. 中得到所要傳達的含意，卻也在過程中表現出不同的行為模式。. 立第一節. 研究背景. ‧ 國. 學. 人類接收資訊很大程度上是依賴於視覺，而眼球的移動可以反映出人們不同. ‧. 的認知歷程，透過這些不同認知歷程的分析，可以擴大眼動研究的領域。隨著眼動儀 (Eye Tracker) 的發展，使得我們能夠獲得視覺整體資訊的即時數據，並將. y. Nat. io. sit. 這些數據資料作為探究測試者的認知行為。從二十一世紀以來，眼動技術隨著科. n. al. er. 技進步與成熟發展，廠商們開始針對該裝置進行多方面改良，諸如價格、眼睛舒. Ch. i n U. v. 適度與準確度等等都是各家努力的方向，並且發展各種套裝軟體與互動軟體進行. engchi. 資料分析與使用，打開了眼動研究新視野。截至今日，眼動儀已廣泛被應用在不同領域，分述如下: (一) 人機互動:運用在互動式的人機介面設計，透過眼睛的動作來控制電腦，取代現有的滑鼠與鍵盤，可以幫助肢體不便的身障朋友與外界溝通[1]。 (二) 運動科學:紀錄運動過程中眼動指標的資訊，了解運動員在比賽時，視覺搜尋的情況下，即時反應的動作正確性為何[2]。 (三) 閱讀與學習認知:主要運用在教育學習的研究上，從所收集到的眼動軌跡來理解讀者的閱讀心理，真實反映觀看文字過程中的視覺行為[3]。 (四) 測謊:眼球運動與犯罪調查有其重要相關聯性，由紀錄眼睛的凝視位置和停 1.

(15) 留時間長短的資訊，檢視嫌疑人所關注的焦點與涉案的可能性[4]。 (五) 商業廣告設計:紀錄人們在觀看廣告的情況，透過軌跡的停留位置來推測廣告所呈現的方式是否吸引到消費者的注意力，可對其內容與排版方式做更好的調整[5]。眼動儀加速了學者對於學習認知領域上的研究，儼然已成為不可或缺的輔助裝置。在數據驗證的程序上，提供合理且可信的佐證依據，這對有意進行相關領域發展的人而言將是一大助益。. 第二節研究動機與目的. 政治大. 閱讀是人類在探索知識過程中所伴隨的一種行為，卻也是很複雜的認知活動。. 立. 越來越多的研究開始以閱讀成效評估為導向，透過眼動軌跡的幫助，來獲得不同. ‧ 國. 學. 讀者在閱讀過程中的認知歷程，並分析不同的情境下如何能有效率的閱讀，才能達到最佳的成效。然而，閱讀行為雖具有一定認知上的意義，卻也表現出不同的. ‧. 認知差異。例如一般大眾直覺上認為簡單的文章內容，並不表示它就一定簡單，. y. Nat. sit. 或是在整個閱讀過程中就是以輕鬆的方式來進行，意味著相同文章內容下，在眼. n. al. er. io. 動軌跡的表現上卻反映出不同的含義，從軌跡圖上來觀察是可看出其端倪的。. i n U. v. 依據上述原因，實驗將以閱讀為研究之主體，結合眼動數據資料，判斷讀者. Ch. engchi. 當下所表現的閱讀模式，下列為列舉本論文之主要貢獻要項: 1.. 設計比較應用程式，針對以低成本為考量之眼動裝置進行可用性評估。. 2.. 定義普遍性且較為通用的閱讀模式類別，探索讀者在閱讀文章的過程中，對於視覺資訊處理能力是如何呈現的，就每位讀者而言，行為上是否有相關連性，藉此觀察彼此間心理層面所表達的行為特質。. 3.. 相較以往探索認知行為上的意義，會從軌跡圖與熱區圖的呈現結果或以數據統計的方式來分析。我們將採用眼動數據的特徵資訊，透過機器學習的方式，進行認知行為上的預測與分析。. 2.

(16) 第三節論文架構本論文架構主要分成五個章節作為說明，分別敘述如下: 第一章緒論本章會依據論文的主題探討其研究背景、動機與目的，最後在說明本篇論文之主體架構。第二章相關研究介紹近年來被運用在眼動裝置的眼球追蹤技術，以及較為普遍性的眼動指標參考資訊，並探討應用在眼動軌跡上的演算法運作原理。. 政治大本章將對兩款低成本眼動裝置進行探索與比較，挑選出可用性較高的裝置作立. 第三章器材評估與研究設計. ‧ 國. 學. 為論文所使用之研究儀器，依據眼動裝置的眼動數據進行前期規劃，並完整說明研究架構與軟體流程規劃。. ‧. 第四章研究過程與結果. sit. y. Nat. 本章將先介紹所使用的眼動數據收集應用程式介面，並在定義出閱讀模式後，. al. n. 果分析與描述。. er. io. 製作相對應類別所需的閱讀內容，最後從測試者所擷取到的數據資料進行結. Ch. 第五章結論與未來研究方向. engchi. i n U. v. 將對本論文的研究結果提出總結，並提出對未來可持續進行之研究看法。. 3.

(17) 第二章相關研究本章節中主要分成三個部分，第一部分為眼動追蹤技術，了解目前最常使用眼球追蹤系統之技術與方法; 第二部分為眼動資料分析指標，探索眼動指標實際所傳達的相關意義; 最後是演算法分析，應用在眼動數據所做的模型評估分析。藉由這些相關研究的引導，作為本論文研究領域之基礎方針。. 第一節眼球追蹤技術眼球追蹤(Eye tracking)是指收集眼球運動等相關資訊，來測量使用者視線移. 政治大技術的基礎上外，還需搭配相對應的軟體支援才能達成追蹤目的，這也使得眼動立動方向與停留位置的一種追蹤技術，不同的眼動球追蹤系統，除了被建立在不同. 技術發展更具有多元化特性。目前眼球追蹤技術逐漸被廣泛使用在各個研究與應. ‧ 國. 學. 用上，本節也將針對現今主要追蹤技術原理做更一步的瞭解。. ‧. 2.1.1 瞳孔與角膜反射追蹤法. y. Nat. sit. 在影像眼球偵測的基礎上，大多是建立在瞳孔與角膜之間的反射關係所做的. n. al. er. io. 追蹤系統，將紅外線發光二極體(Light-emitting diode，LED)裝載至攝影機上，並. i n U. v. 透過影像對於眼球反射光的處理，來獲取眼球運動等相關資訊。要得知瞳孔位置. Ch. engchi. 是眼球追蹤重要的一個關節點，尤其對於亞洲人來說，瞳孔 (Pupil) 與虹膜 (Iris) 之間的分界線並不是那樣的明顯劃分，為了提高瞳孔辨識度，因此發展出亮瞳 (Bright pupil)和暗瞳 (Dark pupil)兩種方式。如圖 2.1(a)所示，亮瞳的作法需將光源置於攝影機近處，投射光源路徑與攝影機構成一條直線，透過光源直接反射的原理呈現出瞳孔較為明亮的結果。相較於暗瞳的做法，如圖 2.1(b)所示，光源需置離攝影機遠處，由於光線無法直接反射的因素，瞳孔所呈現的顏色會比虹膜暗淡許多[6][7]。. 4.

(18) 亮瞳. 亮點. 虹膜. (a). 立. 政治大. 暗瞳. ‧ 國. 學. 虹膜. 亮點. (b). ‧. 圖 2.1、瞳孔偵測方式. y. Nat. n. al. er. io. sit. (a)為 Bright pupil 偵測法，(b)為 Dark pupil 偵測法. i n U. v. 確認瞳孔位置後，透過紅外線光源照射在角膜上所反射的一個亮點(Glint)作. Ch. engchi. 為定位基準位置，也稱之為角膜反射點(Corneal Reflection)。由於眼球的轉動並不會讓角膜上亮點隨之移動，利用這樣的行為模式來計算瞳孔和亮點間所移動的向量值。. 2.1.2 眼電圖法當人眼視網膜(Retina)受到外部光源照射刺激後，角膜(Cornea)與視網膜之間會有一系列的電位反應，而這些不同電位反應結果，便可作為眼動偵測的參考，眼電圖法 (Electro-Oculography，EOG) 即利用此特性來量測眼睛的移動。. 5.

(19) 如圖 2.2(a)所示，測試者需在靠近眼緣的周圍貼上五個電極 (Electrode)，在垂直部分的電極用來偵測眼球向上(Vertical Up，VU) 與向下 (Vertical Low，VL) 的偏轉角度。在水平部分的電極則是用來偵測眼球向左 (Horizontal Left，HL) 與向右 (Horizontal Right，HR) 的偏轉角度。而在兩眼之間接近額頭位置的電極主要是提供給垂直與水平部分的電極做為參考電壓使用。視網膜受到光刺激後，電極的作用在於將差動放大器所產生的電位改變狀態記錄下來，如圖 2.2(b)所示，當眼睛在置於中心靜止的狀態下，是不會有任何電位差的現象產生，隨著眼睛向右移動的過程中，電極將會偵測到正電壓的反應並記錄下來。反之，若眼睛向左. 政治大的狀況。眼電圖法在架構上雖然價錢便宜，但所屬於接觸性系統，訊號很容易因立移動時，將會由正電壓的現象轉為負電壓，透過這樣的原理即可偵測出眼睛移動. 為外部皮膚的內分泌影響而受到干擾，因此並不適合長期配戴使用。. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. (a). i n U. v. (b). 圖 2.2、電極配置與電位差偵測圖[8][9]. 6.

(20) 2.1.3 搜尋線圈法搜尋線圈法 (Search Coil) 屬於侵入性系統，是一種透過電磁感應方式來量測眼球移動的一種做法。如圖 2.3 (a)，使用者需配戴特殊製造的軟式隱形眼鏡，該眼鏡由兩片軟式鏡片組合而成，主要作為嵌入感應線圈使用。. 立. 政(a) 治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. e (b) ngchi. i n U. v. 圖 2.3、搜尋線圈法配置示意圖[10]. 在測量眼球移動前，需在眼球周圍建造固定磁場環境，如上圖 2.3(b)所示，眼球運動過程中會拉動軟式鏡片而影響磁通量的變化，不同的磁通量會產生不同的感應電動勢，由感應電動勢大小的變化來得到眼球偏轉的角度，並透過放大器將訊號放大後即可紀錄眼球運動狀況。此方式的量測準確度高，卻因長時間的配戴容易造成使用者眼睛分泌物過多而影響準確性，故不建議長時間使用，又因為鏡片具有雙層架構設計，對於使用者的視力也會造成一定程度的影響。 7.

(21) 2.1.4 Purkinje 影像追蹤法 Purkinje 影像主要利用光源照射到眼球後，由於眼球內有不同的組織結構，因此光在角膜與水晶體之間呈現出不同的反射率，反射率不同，所反應出的影像也會不同，因而稱這些反射影像為 Purkinje 影像。Purkinje 影像可以分為四組反射影像(如圖 2.4 所示)，第一組(First)為角膜外與空氣的接觸面光，第二組(Second) 為角膜內的表層面光源反射，第三組(Third)為水晶體前表面光源反射，第四組 (Fourth)為水晶體與內部眼球的光源反射[11]。Purkinje 影像追蹤法便是透過這些不同的反射影像來取得眼球移動狀況，由於第二組與第三組的反射結果通常較不. 政治大較高的準確度且所屬於非侵入系統，但是由於儀器的價格過於昂貴，因此普遍性立. 顯著，因此多採用第一組與第四組的影像作為依據資訊。Purkinje 影像追蹤法有. ‧. ‧ 國. 學. 不被採用。. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 2.4、Purkinje 影像示意圖[12]. 2.1.5 紅外線眼動圖法紅外線眼動圖法(Infrared Oculography)所屬於非侵入式系統，如圖 2.5(a)所示，主要利用虹膜與鞏膜之間的反射差異原理作為眼球移動偵測使用。如圖 2.5(b)所示，配置作法則使用數個紅外線發射器 (IR Emitter)照射在虹膜周圍，並透過紅 8.

(22) 外線偵測器(IR Detector)來接收其反射差異結果。當眼球在移動的過程中，由於鞏膜在紅外線光源照射下的反射效果最好，因此光源反射的數量會隨著眼球移動而變化，紅外線偵測器會將反射光源變化量轉換成電流訊號，在經過放大的程序後，便可由訊號的大小來判斷其眼球偏轉角度。此方式的空間解析度高，故可有效偵測出眼球最小移動距離，但是紅外線光源近距離直接照射的原因，在使用上對眼睛的傷害也最大。. 立. 政治大. ‧. ‧ 國. 學 y. (b). sit. Nat. (a). er. io. 圖 2.5、為紅外線眼動運作原理圖[13][14]. n. a. v. l C 眼動資料分析指標第二節 ni. hengchi U. 由於眼球追蹤技術的技術成熟，眼動資料的研究已經受到越來越多不同領域學者的重視與發展，從眼動資料中探討測試者所看以及所想的。在眼動實驗中，眼動指標能表現出測試者注視軌跡上不同的含意，而這些指標的意義不論在研究或分析上都極具重要性，藉此可以幫助研究者進行更廣泛的深入探討，並透過許多客觀的眼動指標來解讀測試者的認知歷程，使得研究結果更加精確且更具說服力。眼動指標分析大致可分類成時間維度眼動指標以及空間維度眼動指標，在各自不同維度下囊括了許多具有不同意義的代表性指標，我們也將針對常用指標進行逐一探討。. 9.

(23) 2.2.1 時間維度眼動指標時間維度指標主要是針對測試者眼睛停留與移動之間，在時間上所表示的相關描述參考，最為廣泛被運用在為閱讀分析研究。如下為說明各項較常使用的時間維度指標介紹: . 凝視時間 (Fixation duration) 在接收視覺訊息的同時，眼動在會在特定的範圍內呈現一個靜止的停留狀態，. 而此靜止停留所花費的時間即稱為凝視時間。由 Rayner 所提到[15]，一般在閱讀、注視畫面或在搜尋一個物體的情況下，凝視時間通常介於 200 毫秒至 300 毫. 政治大. 秒之間，對於不同的閱讀方式所呈現凝視停留時間也會不同。 . 立. 注視時間 (Gaze duration). ‧ 國. 學. 視線第一次進入(first pass)目標區域所累積的凝視時間，該時間可以包含多個凝視時間的總和，總注視時間愈長代表讀者需要花費較多的時間處理該區域的. ‧. 訊息，也就反映出此區域的內容難度較高，正在進行較為耗時的認知處理。掃視時間 (Saccade duration). sit. y. Nat. . al. er. io. 在眼動移動的過程中，凝視點和凝視點之間的移動時間計算。一般來說，掃. v. n. 視時間與掃視距離有較高的相互關聯性，時間越長代表凝視點之間距離也越長，. Ch. engchi. 這對於整體內容的閱讀行為上也較為順暢。 . i n U. 回視時間 (Regression duration) 讀者在離開某注視區範圍後，再次返回該注視區所停留凝視的總和時間，越. 長的回視時間表示對於該區的興趣程度越高，也較能被引起注意。 . 平均凝視時間 (Mean fixation duration) 由注視時間與凝視次數比例所計算出的平均凝視時間，該平均時間可以指出. 讀者對於該區域所專注的程度，對於程度較高的區域內所花費的平均凝視時間相對較長。. 10.

(24) 2.2.2 空間維度眼動指標空間維度指標則是針對觀察者在眼睛移動的位置上，對於眼動空間的分佈下所表示的相關描述參考，也常被許多研究者拿來作為重要的參考指標，如下為說明各項較常使用的空間維度指標介紹: . 回視率 (Regression rate) 在觀看內容過程中的所有眼動數量，對比於往回觀看所占的數量比例值。關. 於艱澀難懂的內容或是句子之中需與前面相對應的情況下，讀者的回視率比例也會提高。 . 政治大凝視點與凝視點之間的距離長度，一般介於 7 至 9 個英文字母長度[15]。讀立掃視距離 (Saccade length). ‧ 國. . 學. 者對於一些較為困難或是較不常使用的字彙出現時，眼動掃視距離相對也會越短。掃視方向 (Saccade direction). ‧. 掃視方向分為順向掃視(forward saccade)和逆向掃視(backward saccade)，順向. sit. y. Nat. 掃視指眼睛遵循未閱讀過的內容進行移動，而逆向掃視則是眼睛針對已閱讀過的. er. al. 注視位置 (Landing position). n. . io. 內容返回移動，此指標為參考眼動視覺方向的移動過程，判斷測試者的閱讀順序。. Ch. engchi. i n U. v. 是指凝視點當下所停留的位置，位於前一次掃視結束位置與下一次掃視起始位置之間，注視位置一般都採用二維座標(x,y)方式呈現，並以像素作為單位表示。 . 凝視次數 (Fixation count) 在特定區域內所累積的凝視點數量總和。對於凝視次數多的區域，可以表示. 測試者對於觀看該區域內容的認知負荷較大，也反映出該區域內容的難易程度。眼動軌跡分析所使用的代表性指標有很多，使用過多眼動指標的情況下很可能會加重在研究分析上的難度，在選擇眼動指標時除了需要注意眼動指標分類外，還需要根據研究內容與研究目的來選擇出適當的眼動指標，這對分析過程是相當有幫助的，本論文也將從這些眼動指標當中挑選作為後續特徵擷取的參考。 11.

(25) 第三節隨機取樣一致性演算法隨機取樣一致性 (Random Sample Consensus，RANSAC) 由 Fischler 和 Bolles 兩位學者在 1981 年所提出[16]，可在一群資料集合內區分出離群(Outliers)與內群 (Inliers)數據資料，並透過疊代方式(Iterative method) 反覆評估模型參數的一種演算法。RANSAC 可以被使用擬合在不同模型上，如直線擬合(Line fitting)、橢圓擬合(Ellipse fitting)等。以直線擬合為例，該模型建立在直線方程式的基礎上，並不斷的嘗試挑選不同的數據資料找出最佳解 (最佳直線)，而如何找到適合的直線則需要仰賴參數上的設定，分別為:. 政治大. 計算模型所需的最小資料數量(需設定 2 筆數據資料來構成一直線). . 執行的疊代次數. . 擬合該模型的門檻值. . 門檻值所需內群數量。. ‧. ‧ 國. 立. 學. . 圖 2.6 為 RANSAC 演算法完整過程示意圖，以 3 次疊代次數來進行，演算. sit. y. Nat. 法一開始會先從資料群內隨機挑選兩筆數據資料來求取直線，並計算所有的數據. al. er. io. 資料與直線的最短距離是否在門檻值內，以圖(a)所示，符合在門檻值內的數據資. v. n. 料有 4 筆(包含構成直線的 2 筆資料)，將結果記錄後並重複上述動作進行第 2 次. Ch. engchi. i n U. 與第 3 次計算，如圖(b)與圖(c)其數據資料結果分別為 19 筆和 6 筆。在執行完所有的疊代次數後，挑選出符合門檻值所需內群數量的結果進行比較。以門檻值所需內群數量設定 5 筆的情況下，將會由第 2 次與第 3 次的結果達到內群數量標準，而第 2 次結果的內群數量最多，故以該結果為最佳直線，如圖(d)紅線所示。由於該演算法必須在一定的機率下才能得到理想的結果，因此可以提高疊代次數來使其機率增加，而至於需要設置多少次數並沒有正確答案，完全要依據當時的問題來決定，這在參數設置上是需要特別注意的。. 12.

(26) (a). 立. 政治大. ‧ 國. 學. (b). ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. (c). (d) 圖 2.6、RANSAC 演算法完整過程示意圖，以 3 次疊代次數為例 13.

(27) RANSAC 在眼動數據資料應用上，取決中文內容有較高的編排彈性，除了有橫式編排方式外，直式書寫的排版方式也被廣泛使用。因此使用模型凝合的評估方法來計算最佳直線，在連續的眼動數據資料中找出讀者的閱讀軌跡方向將是一種可行的方式。圖 2.7 為兩種中文排版方式所記錄的眼動數據資料圖，紅色點為讀者所觀看內容的眼動座標，而藍色線條則是依據每一行所計算出的最佳直線結果。由於眼動數據是連續且不間斷的被產生出來，在本例中，為了能夠清楚看到所計算的 RANSAC 結果，我們以每一行為計算單位，來找出讀者所進行的閱讀方向。然而本論文中都以橫向為主要閱讀排版格式，並且採用凝視點的方式來. 政治大. 記錄讀者的閱讀行為，因此對於該應用的做法也將予以保留。. 立. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. (a). engchi. i n U. v. (b) 圖 2.7、不同排版對應的眼動數據圖 14.

(28) 第三章器材評估與研究設計在本章節中，我們將對提出的研究方法做詳細的介紹與說明，根據現有的開發工具進行相關分析與評估。並依據實驗數據結果做適當的設置與準備，最後建立在閱讀領域的基礎上，提出實驗研究時的構想與設計。. 第一節研究工具探討本論文研究所使用的眼動裝置主要依據三個方向作為挑選要素，分別是低成本價格、凝視準確度，及偵測眼睛移動過程的穩定性。我們設計一種眼動裝置比. 政治大判斷該眼動裝置作為實驗器材的可行性，預期得到更準確的實驗結果。立. 較的評估應用程式，記錄每一位測試者的測試結果，從這些收集到的數據資料來. ‧ 國. 學. 3.1.1 軟硬體架構分析. 本次使用的儀器中，我們嘗試尋找兩間專門以眼動技術發展為背景的公司所. ‧. 發展出的低成本眼動儀作為實驗的開發工具，分別是 The Eye Tribe 及 Tobii。. y. Nat. io. sit. The Eye Tribe 為西元 2011 年從哥本哈根一所大學研究機構獨立出來的公司，. n. al. er. 他們不單是眼動硬體商，也是眼球追蹤技術開發商，其開發軟體技術可透過裝置. i n U. v. 於手機或平板電腦的前置攝影機來進行各種不同的操作，該公司於 2016 年年底被 Oculus VR 所併購。. Ch. engchi. Tobii 相對於 The Eye Tribe 是一間發展眼動技術較久的企業公司，創立於西元 2001 年，是一家瑞典眼球追蹤技術軟硬體供應商，該公司致力於眼球追蹤定位與操控技術，也陸續發表多項可用於電腦或遊戲機之人機介面操作的眼球追蹤技術。在進行上述兩者眼動儀比較評估之前，我們預期實驗過程與實驗結果能朝著如下三個目標來進行: . 有高的準確度與穩定性，確保實驗可以得到最可靠的研究結果。. . 使用非侵入式的設計，不讓測試者感到不適，補捉真實的人類行為來取得最 15.

(29) 自然的實驗數據。 . 簡單易用，無需大量的培訓就可以使用這項技術，並且可以在短時間內得到實驗結果。以下將細分三小節來說明裝置之間的差異，包括系統平台與軟體架構、儀器. 架設方式以及校正程序 (Calibration) 等部分，能夠在完全充分理解儀器的設置方式與軟體的使用方式後，有助於後續的比較實驗更為公平且更具有說服性。. 3.1.1.1 儀器規格與架設方式. 政治大模式的裝置，該產品僅限制在 24 吋以下的螢幕使用，主要提供 USB3.0 傳輸線、立 The Eye Tribe 眼動裝置是一款可以切換 30Hz 與 60Hz 取樣率 (Sampling rate). 腳架以及眼動裝置，是一個便宜又實惠的眼動裝置，且價格僅需 99 元美金。而. ‧ 國. 學. 眼動腳架能夠手動轉向，左右方向移動可以 360 度旋轉，而上下方向移動為 90. ‧. 度，這種設計的好處是可利於測試者自己調整偵測眼動的角度，藉此達到較佳的. y. Nat. 眼睛偵測位置，如圖 3.1(a)所示。對於眼動裝置主體結構的中間嵌入了一台高解. er. io. sit. 析度相機，並在左右兩側各設置了一組紅外線 LED (Infrared LED) ，且將裝置架設於螢幕前方。眼動實驗還需要配置一台電腦來控制眼動裝置，藉此來讀取測試. n. al. 者的眼動紀錄座標。. Ch. engchi. i n U. v. Tobii EyeX 是 Tobii 公司所推出的低成本眼動裝置，價格為 129 元美金，可使用在 27 吋以下的螢幕使用，配件與 The Eye Tribe 不同的是，除了也提供 USB3.0 傳輸線以及眼動裝置外，還附上吸附磁鐵，目的是用來將吸附磁鐵黏著在實驗螢幕的邊框下方，便於固定裝置使用 (如圖 3.1(b)所示)。眼動裝置結構主體在中間也嵌入了一台高解析度相機，紅外線 LED 配置除了左右方位置各有一組外，也在中間的位置配置了另一組，可以更容易找到測試者的瞳孔位置，且因為眼動裝置會被固定在實驗螢幕下方的原因，一般在調整眼動角度的時候，都會以移動測試者為優先。根據 Tobii developer zone [17][18]的討論，該產品不會有固定頻率的資料輸出，但從平均值來計算，大多會介於在 60Hz 的頻率輸出。筆者實際採 16.

(30) 用 10 份由實驗得來的眼動數據資料，並隨機擷取連續眼動資料所記錄的時間戳記 (Timestamp) 來計算取樣率平均值，數據結果大約落在 16ms 和 17ms 的範圍中，這樣的資料輸出結果是符合官方所定義的。而實驗的取樣平均值數據，則在附錄 A.1 中提供。. (a). 立. 政治大. ‧ 國. 學. (b). ‧. 圖 3.1、固定眼動裝置圖. y. Nat. sit. 在裝置架設的使用性上，由於 The Eye Tribe 提供了支撐腳架，因此測試者. n. al. er. io. 較不需移動位置，大部分可以依賴腳架的調整來達到眼動所偵測的範圍內，相對. i n U. v. 於 Tobii EyeX 確實是出色許多。關於詳細的官方規格細節與架設環境分別在附錄 A.2 與 A.3 中提供。. Ch. engchi. 3.1.1.2 軟體與裝置相互性架構本節我們將對實驗中所比較的眼動裝置之運作進行相關探討，並敘述在研究過程上所使用的軟體與工具。在一個好的開發裝置產品都具備好的軟體系統架構，易於讓上層的應用程式可以與底層的硬體裝置進行良好的溝通，如圖 3.2 所示，左邊的 The Eye Tribe 和右邊的 Tobii EyeX 在系統架構上頗為相似，主要可以分成三個部分，分別為應用程式(Application)、軟體開發套件 (Software Development Kit，SDK)以及中介軟體 (Middleware)。 17.

(31) 政治大圖 3.2、眼動裝置系統架構圖[19][20] 立. ‧ 國. 學. 在應用程式方面都採用了由 Microsoft 公司所提供的免費開發工具 Microsoft Visual Studio Community [21] ，此工具是一個功能很強大的整合開發環境. ‧. (Integrated Development Environment，IDE)，包含視覺化設計模式、整合除錯環. y. sit. al. er. io. 合開發工具。. Nat. 境、程式編輯環境等等，並支援多種程式語言，是一個非常齊全且易於取得的整. v. n. 而軟體開發套件對開發者來說，主要用來為特定的軟體框架、硬體平台及作. Ch. engchi. i n U. 業系統所做的開發工具集合，透過該套件可以了解如何與裝置進行溝通。The Eye Tribe 採用了 C++、Java 以及 C#三種程式語言供自行挑選使用，相對於 Tobii EyeX 僅有 C++及 C#兩種語言，兩者都以 SDK 所提供的動態連結函式庫(Dynamic Link Library，DLL)的方式連結至開發專案後即可使用該介面，我們將以 C#作為主要的開發語言程式來取得眼動座標值(x, y)與時間戳(Timestamp)，並儲存該資訊作為後續所分析的數據資料。中介軟體 (Middleware) 是一個介於上層應用程式與底層裝置驅動程式或作業系統核心 (Kernel) 的一個軟體，用來進行不同的獨立應用軟體間的溝通或資料串接。由上述所示，Eyetribe Server 與 Tobii EyeX Engine 即為中介軟 18.

(32) 體，在使用眼動裝置之前，該裝置商會透過網路的方式提供開發者進行下載安裝。從本論文的實驗中，我們在取得數據資料的軟體作法上會透過向 SDK 的應用程式介面註冊一個數據資料需求的回呼函式(callback function)，當中介軟體收到此項需求時將會與裝置進行溝通，並將數據資料轉換為 SDK 所需的資料格式，即時回傳至回呼函式內，送達至我們實驗所需的數據資料分析，因此中介軟體對於裝置的資料取得與操作扮演很重要的角色。. 3.1.1.3 校正程序過程. 政治大過此方式來記錄眼球轉動角度對應到螢幕上所注視的位置。此一校正程序藉著螢立. 眼動裝置需要透過測試者來執行眼動凝視位置的校正程序(Calibration)，透. 幕上不同位置顯示圓點，來要求測試者凝視該點而完成，不同的測試者在使用眼. ‧ 國. 學. 動儀前都需要執行該程序。一般而言，校正點位越多結果會越精準，但是校正時. ‧. 間便會拉長，所以在正常情況下使用 9 點校正即可。根據校正結果計算眼球轉動. y. Nat. 角度所對應在螢幕上的位置座標，而這些計算後的座標值會被反應在當時所使用. er. io. sit. 的螢幕解析度上，因此開發者隨時就可以知道測試者在看螢幕上的哪個座標位置，或是停留在某個地方多久等等，是眼動裝置當中一項很重要的執行程序。. al. n. v i n 如圖 3.3 所示，為了讓校正程序能夠順利完成，The Eye Tribe 定義了四種以 Ch engchi U. 圖形化的方式來描述目前的眼動裝置狀態，提供測試時預先做一些問題上的排除。圖 3.3(a)代表實驗電腦並無法正常與眼動裝置進行溝通，導致無法偵測測試者的瞳孔位置。圖 3.3(b)為最完美的狀況，這也是測試者目前處於最佳的眼動實驗位置，是進行校正的最佳時機。圖 3.3(c)會呈現綠色與紅色閃爍的現象發生，建議需調整眼動裝置至最佳位置的角度。而最後的圖 3.3(d)為最糟糕的狀態，表示眼動裝置是運作狀態，但無法偵測到相關瞳孔位置，測試者需進入到眼動裝置所規定的範圍內。. 19.

(33) (a). (b). (c). (d). 圖 3.3、The Eye Tribe 四種圖性化眼動裝置狀態[22] The Eye Tribe 採用較典型的校正程序，測試者需凝視畫面上所出現的圓點，圓點會出現在九個不同的位置上，每次停留時間 2 至 3 秒，如圖 3.4(a)即說明原. 政治大開發者可決定品質結果對於研究容忍度所影響的大小決定是否重新校正。在此，立. 點出現的順序。而圖 3.4(b)為校正後的結果評估，並以五顆星來呈現校正品質，. 為了能夠讓第三節可用性分析的實驗過程能夠公平的進行，我們要求每一位測試. ‧ 國. 學. 者在校正程序後的結果都需要達到五顆星，以確保每一次的實驗都是可靠的。. ‧. n. er. io. sit. y. Nat. al. (a). Ch. engchi. i(b)v n U. 圖 3.4、The Eye Tribe 校正程序與結果 Tobii EyeX 在執行效正程序前，也提供了四種圖形化眼動狀態描述，比較特別的是，狀態還包含眼動距離所建議的訊息在其中。如圖 3.5(a)所示，此狀態為眼動裝置接受範圍，可立即至下一步進行校正程序。圖 3.5(b)(c)呈現出測試者與眼動裝置的建議距離，此時，測試者可以很明確根據使用者介面的狀態描述進行調整。而圖 3.5(d)則代表眼動裝置為正常運作狀態，但測試者以偏離可偵測瞳孔範圍內，需立即調整可接受角度範圍，對初次使用者而言是很容易上手的。. 20.

(34) (a). (b). (c). (d). 圖 3.5、Tobii EyeX 四種圖性化眼動狀態此外，Tobii EyeX 在校正過程中也做了一些改變，跳脫過去使用者必須跟隨畫面原點所出現不同的位置進行注視的動作。如圖 3.6 為校正程序過程圖，由圖. 政治大開始進入記錄眼動資料的動作，每筆注視時間約 2 至 3 秒，並在完成校正程序立. (a)至圖(c) 分別為 1 至 3 階段，比較特別的是，測試者必須注視到該圓點，才會. 後，可選擇不同條件的測試者進行校正調整(如圖(d))。. ‧. ‧ 國. 學. n. a l (b) Ch. er. io. sit. y. Nat (a). i n U. (c). engchi. v. (d). 圖 3.6、Tobii EyeX 校正程序過程圖整體而言，我們提出三項要點來探討，分別是: 1.. 就圖形化介面而言，Tobii EyeX 添加了距離建議的訊息，可以明確且清楚的讓測試者了解如何移動，進而較快進入校正程序。. 2.. 就校正程序而言，傳統作法無法得知測試者是否有確實跟隨圓點的移動位置進行注視動作，因此很容易造成校正品質下降或失敗的狀況。Tobii EyeX 的校正程序可以偵測瞳孔的位置是否正在注視圓點位置，才開始進行記錄的動作，除了可以提高校正品質外，校正後的成功率也會提高。. 21.

(35) 3.. Tobii EyeX 在執行完校正動作後，還提供無近視者、配戴隱形者以及配戴眼鏡三個選項進行校正調整，增加校正結果的可靠性。. 根據上述分析結果，Tobii EyeX 在圖性化眼動偵測以及校正程序上，表現是比較出色的。. 3.1.2 可用性評估由於本論文使用的實驗裝置是以價格為考量來做選擇，而目前眼動技術雖已有成熟的發展，但相對在低成本眼動裝置硬體上的限制，不論在資料取樣率，穩定性以及準確度還是無法與高階眼動裝置相比的。為此，我們希望能夠在使用最. 政治大. 少成本的基礎下，針對兩款眼動裝置進行比較。在本節中我們將提出一套眼動裝. 立. 置的比較方式，由應用程式來紀錄每一筆測試者的資料數據，透過分析與比較挑. ‧ 國. 學. 選出一台性價比(Price-performance ratio)高且適合研究的眼動裝置。. ‧. 3.1.2.1 使用介面設計並制定比較規則. y. Nat. sit. 由上述 3.1.1.3 節所知，眼動裝置在經過校正後，會根據實驗螢幕解析度的. n. al. er. io. 大小回傳測試者目前注視所相對應的座標值。實際上，如果直接從這些座標值的. i n U. v. 數據資料來看，是無法很容易辨別出哪一台眼動裝置是我們所需要的。為此，一. Ch. engchi. 個完整的比較過程將透過三個階段性的步驟來說明，分別為目標物建立、目標物消除以及結束比較程序，描述如下: (一)目標物建立:在目標物建立的作法上，我們將在應用程式上建立不同顏色的方形塊，在本文中將以目標物 (Target) 來稱之。一個完整的測試過程共分為個 10 回合，每一回合目標物數量會增加 2 個，而目標物的尺寸相對縮小，計算方式如下:. Size(i) =. 400 , 0 ≤ i ≤ 9 , i:回合數 ………(3.1) 1+(0.5 × i). 22.

(36) 為了確保目標物位置可以平均的分佈在畫面上，我們將畫面分成左右兩邊。以本論文所使用的實驗螢幕為例，此螢幕解析度為 1280x1024，因此畫面左半邊為 1~640 像素(座標位置)，而畫面右半邊為 641~1280 像素(座標位置)，決定目標物位置將採用 C#所提供的虛擬亂數產生器隨機產生，每一個目標物的中心將標示一個紅心點，目的讓測試者注視在紅心點位置上，可用來計算眼動裝置的注視準確度。如圖 3.7(a)~(j)為完整目標物呈現過程，並在附錄 A.4 詳細記載不同回合所計算目標物的座標位置與尺寸大小結果。. 政治大. (b). 學. (a). ‧ 國. 立. (c). ‧. n. al. er. io. sit. y. Nat (e). (d). Ch. (f). engchi. (i). i n (g) U. v. (h). (j). 圖 3.7、10 回合目標物呈現過程 (二)目標物消除:當目標物根據不同回合呈現在畫面上後，測試者必須跟隨著目標物的位置進行注視的動作，而人眼專注在某一物體的狀況下，眼球動作也會無意識的發生顫抖，在此我們稱它作微跳動 (Microsaccade)現象[23][24]。為了能測出 23.

(37) 這種非意識的微跳動現象對於眼動裝置所影響的程度，在目標物消除作法上將透過以讀秒時間限定的方式來進行，秒數限定的門檻值設為 2 秒，避免測試者注視停留時間過長，導致眼睛不舒適而間接影響後續的結果。如圖 3.8(a)所示，若注視位置不在目標物的範圍內，是不會進行讀秒動作的，而當注視位置進入範圍內方可進行讀秒動作。有一點需要注意的是，若因為是微跳動現象或其他因素所造成注視位置偏離出目標物的範圍外，秒數必須重新計算且不能累計。而圖 3.8(b) 說明了一個完整的讀秒動作，測試者必須在 2 秒以內不離開範圍的條件下將可消除目標物。. 立. 政治大. ‧ 國. 學. (a). ‧. n. er. io. sit. y. Nat. al. Ch. (b). engchi. i n U. v. 圖 3.8、目標物消除規則. (三)結束比較程序: 如上規則描述所知，測試者是必須經過目標物的消除方式來進行比較程序，那麼我們將預先考慮比較程序的過程中在哪些狀況下會被結束。第一種狀況即在比較的過程中隨著回合數的累加，目標物的數量會被建立在更多的位置上，目標物的尺寸也會越來越小，考慮到眼動裝置若已到達極限，導致無法準確且穩定的停留在目標物的範圍內，這可能會造成比較程序無法結束。如圖 3.9 紅色虛線框所示，為了避免這樣的現象發生，在設計上會在每一回合的開始觸發一個 60 秒的運作時間，測試者若在運作時間內無法完全清除的情形下，比較程序將被結束，並開始進行數據計算與紀錄比較結果。 24.

(38) 第二種狀況為完整目標物消除流程。當測試者在每回合的限制時間內(60 秒) 完成目標物消除動作後，會先判斷回合數是否已達到最後階段(10 回合)，若未達到最後階段，將重置 60 秒的運作時間來進行下一回合的測試(如圖 3.9 綠色虛線框所示)。反之，即會開始進行數據計算並紀錄比較結果來結束此程序。. 比較程序開始. 1.觸發60秒運作時間 2.設定N=1 (N:回合數). 立. 否. 政治大第N回合目標物刪除程序. 目標物完全清除?. 否. y. Nat. n. al. sit. 是. er. io 是. ‧. ‧ 國. 學. 運作時間已到60秒?. Ch. 完成全部回合數?. engchi. i n U. v. 1.重置60秒運作時間. 否 2.進入下一回(N=N+1). 是數據計算程序. 紀錄比較結果. 比較程序結束. 圖 3.9、眼動裝置比較程序軟體流程圖 25.

(39) 為了排除外在的因素，我們以建立目標物方式來評估眼動儀，避免受到文字干擾影響實驗結果。目標物的紅色中心點能輔助研究者檢驗不同位置所注視的準確度，距離中心點越近代表準確度越高。而目標物大小則是檢驗眼動座標的分散程度，對於分散程度較大的儀器而言，會因為目標物尺寸越來越小而無法刪除。. 3.1.2.2 數據收集與計算程序在設計眼動裝置比較的想法上，為了確保測試結果都是公平的，因此在設計. 政治大所呈現目標物位置都是相同的情形下來進行。而在測試端，考慮到收集數據資料立端，我們會讓每位測試者在實驗 The Eye Tribe 與 Tobii EyeX 眼動裝置的過程中，. 時，每位測試者在實驗過程中在想法上與專注上都是有差異的，例如注視時是否. ‧ 國. 學. 會隨意注視，又是否會花費太多時間去注視某一個目標物而忽略到還有其他的選. ‧. 擇可以優先處理等等。為了能夠縮短這些差異性，在開始實驗之前我們都會預先. y. al. v i n 若有目標物已無法精準注視而不能被消除的情況下，測試者應當先改注視 Ch engchi U n. . io. 標物範圍內。. sit. 測試者在注視時需盡可能的觀看紅色中心點，而不是只將注視點停留在目. er. . Nat. 告知測試者需要遵守的事項:. 其他目標，避免發生應當消除卻沒消除的情形，可以有足夠時間去確認其他位置的目標物。 . 測試者可先取鄰近的目標物作為注視點的標的物，不需花費太多心思在意注視的順序上。實驗總共十位測試者，分別針對 The Eye Tribe 與 Tobii EyeX 所收集的資料. 做計算，並以三項數據為下一節的結果分析參考。實驗數據也在附錄 A.5 中提供。. (一) 距離總和: 計算測試者注視每一筆目標物中心點的距離總和。如上述目標物消除規則所提及，考慮到在還沒穩定的情形下就立即開始計算距離值，可能無法 26.

(40) 收集到較準確的數據資料。如圖 3.10 所示，當注視點進入目標物範圍時會開始進行讀秒，在過程中僅會持續觀察眼動座標是否已偏離範圍外，直到第 2 秒才開始計算距離值，我們也將此時間作為我們數值儲存的時機點。. 政治大. 圖 3.10、計算眼動距離值的過程. 立. (二) 總花費時間: 計算每回合花費時間的總和。每回合有 60 秒的時間限制，越. ‧ 國. 學. 順利刪除目標物，每回合所累積的時間就越少。對於在回合內已無法刪除目標物. ‧. 的情況下，需等待至 60 秒結束後才可做時間總結計算，而不可提前結束程序。. y. Nat. (三) 移除目標物數量: 紀錄測試者所移除目標物的個數，上限值為 110 個，會在. n. al. er. io. 時間的平均值。. sit. 每回合結束後統計所移除目標物的數量，主要用來後續計算距離總和以及總花費. C. hengchi 3.1.2.3 數據結果分析與裝置評估結果. i n U. v. 從 3.1.2.2 節中取得各個測試者實驗數據後，本節將沿用數據內容的結果做出相關評估分析與比較。此外，每位測試者雖然在使用眼動裝置上的經驗都是差不多的，但是實際從數據內容來看，彼此之間在實驗過程中的熟悉程度還是有所不同。我們可從測試者對這兩種眼動裝置的數據來做分析，透過直條圖的方式來呈現分析結果。為了統一所呈現的方式，我們以藍色直條狀代表為 The Eye Tribe 眼動裝置;紅色直條狀代表 Tobii EyeX 眼動裝置，而在 x 軸表示每位測試者; y 軸表示數據資料。. 27.

(41) 圖 3.11 為距離總和所計算的平均值結果，透過距離平均值可以觀察測試者在眼動裝置上所注視目標物的準確程度。在數據資料的預期上，數值越小代表越準確;反之則表示偏差越大。由直條圖上可以看出 Tobii EyeX 的平均距離值相對於 The Eye Tribe 較小，也可在此認為 Tobii EyeX 在注視位置上較為準確。. 立. 政治大. ‧ 國. 學. 圖 3.11、從數據上所計算的距離平均比較直條圖. ‧. 圖 3.12 為總花費時間所計算的目標物平均刪除時間值，從資料的預期結果. y. Nat. 上，數值越小表示測試者在刪除目標物的過程較為順利。觀察直條圖的比較結果，. n. al. er. io. sit. Tobii EyeX 所呈現的數據值是比較小的，也表示該眼動裝置的穩定性較高。. Ch. engchi. i n U. v. 圖 3.12、目標物的平均刪除時間比較直條圖然而，距離平均值與平均刪除時間雖已可評斷出眼動裝置之間的差異性，但對於整體的比較性還略顯不足，例如，高準確度與高穩定性的數據表現卻只完成在少數回合的情況下，這並無法完全表示該裝置的優勢與否。為此，我們制定了 28.

(42) 一個成本指標 (Cost Index) 來評估眼動裝置之間整體的效能差異，公式如下:. Cost Index =. 距離總和刪除個數. ×. 比較總時間刪除個數. ×. 目標物總數(110) 刪除個數. ………(3.2). 由距離平均值(距離總和/刪除個數)、平均刪除時間 (比較總時間/刪除個數)與刪除比例的倒數(目標物總數/刪除個數)來計算比較數據結果，在預期的分析上，成本數值越小代表該裝置的整體表現越好，如圖 3.13 為成本指標的數據結果。. 學圖 3.13、成本指標所計算的數據結果. Nat. y. ‧. ‧ 國. 立. 政治大. sit. 綜合上述的結果，我們可以分析出 Tobii EeyX 不論在精確度、穩定性與成本. n. al. er. io. 指標的數據表現上都比 The Eye Tribe 還來的出色，因而筆者在本論文實驗工具. i n U. v. 的選擇上，將採用 Tobii EyeX 為後續所要使用之研究眼動裝置。. Ch. engchi. 第二節前期規劃進入研究主題之前，我們會根據眼動軌跡的數據資料進行參數設置調整以及在實驗作法上的一些限制，以下將分成三個部分，包括: 凝視點識別並制定範圍大小、設定閱讀內容的行距高度以及針對不同眼動軌跡狀況來限定測試者條件等部分。基於前期的規劃之下，不僅有助於資料上的採集，也有利於後續實驗進行。. 3.2.1 凝視點識別並紀錄凝視點特徵在了解眼動裝置透過 Tobii EyeX 所提供的 SDK 後，便可讀取到眼動裝置所產生的座標資料，而座標資料僅記錄測試者眼睛在移動過程中所經過的連續數據 29.

(43) 位置，卻無法表達測試者目前所觀看內容的停留位置(凝視點)，為了可以確認這些座標資料與凝視點之間的關係，本論文引用 dispersion-based 演算法[25]，設置了兩個臨界值來定義凝視點的成立條件，分別為: . 最大分散程度 (maximum dispersion value). . 最小凝視時間 (minimum fixation duration). 最大分散程度在定義上是以一個中心座標作為參考的基礎下，與周圍座標資料之間的距離是否在臨界值之內，在參數的設計上，為了能夠觀察測試者眼睛凝視在固定位置上時，眼動裝置所呈現出眼動座標的分散程度，我們製作了一張類. 政治大觀看圖片九個藍點，每個點需觀看 3 秒，測試者在觀看藍點的過程中，眼動座標立似於眼動裝置校正的圖片提供給測試者觀看。如圖 3.14 所示。測試者依照編號. 1. 學. ‧ 國. 會遍佈在藍點周圍的位置上，藉此記錄每個藍點上的全部座標資料。 2. 3. y. ‧. Nat 4. n. er. io. al. 7. 6. sit. 5. Ch. e n g8 c h i. i n U. v. 9. 圖 3.14、眼動座標分散程度測試內容計算總平均距離差的作法是先將個別藍點(依照藍點編號)的 x 座標與 y 座標加總後並計算平均座標值(中心參考座標值)，利用該座標來計算與鄰近眼動座標的距離長度，藉此得到每組編號的平均距離差。觀察附錄 A.6 中的表格可以發現，並不是每個位置上的座標資料分散程度都是相近的，距離畫面越中間的位置分散程度會越小，為了取得較為平均的數據，分別再對每個藍點編號的結果取總平均距離差，如下公式:. 總平均距離差 =. 各個藍點平均距離差總和 ………………(3.3) 藍點總數 30.

(44) 為了讓分散程度的參數定義可以更加精確，該實驗總共進行 20 次測試。如表 3.1 所示，將每次的總平均距離差累加後取平均值，所得結果為 13.97 像素，因此以 14 像素作為分散程度的參數設定。分散程度所計算的距離差是以中心座標作為距離參考基準，這也說明一個凝視點範圍大小將是以 28 個像素來表示。測試-2. 測試-3. 測試-4. 測試-5. 15.22. 16.69. 14.12. 16.35. 12.46. 測試-6. 測試-7. 測試-8. 測試-9. 測試-10. 14.87. 14.97. 12.52. 14.01. 16.42. 測試-11. 測試-12. 13.56. 13.65 立. 測試-16. 測試-17. 測試-18. 測試-19. 測試-20. 11.11. 13.63. 11.88. 14.34. 13.94. 政測試-13治測試-14 大 12.86 14.49. 測試-15 12.43. 學. ‧. ‧ 國. 測試-1. 單位:像素(pixel). sit. y. Nat. 表 3.1、針對九個藍點分散程度所計算出總平均距離差的 20 次結果. io. er. 最小凝視時間則定義座標資料若符合在分散程度臨界值的條件下，所能持續. al. 的時間是否在限定臨界值之內。一般而言，最小的凝視時間多數介於 70ms 至. n. v i n Ch 100ms[25]，本論文將採用 70ms 作為最小凝視時間參數設定。圖 3.15(a)為原始眼 engchi U 動座標與軌跡圖，而圖 3.15(b)的藍色方形即為轉換後的凝視點與凝視軌跡，在後續論文的研究上，也都將以凝視點的呈現方式進行探討。. (a). (b). 圖 3.15、由眼動資料轉換為凝視點的結果 31.

(45) 在決定凝視點的動作後，為了能有效在測試者進行眼動實驗時，找出凝視點彼此間之關聯性，特別是在理解測試者的閱讀歷程上。因此在每一個凝視點形成後都會進行數據的計算，作為凝視點不同的特徵資訊，預期能幫助我們進行後續的探討與分析，其特徵包括如下: . 總凝視時間. . 凝視點時間差. . 凝視點水平距離差/凝視點垂直距離差. . 凝視點中心 X 座標/凝視點中心 Y 座標. . 凝視點水平移動方向/凝視點垂直移動方向. 立. 政治大. ‧ 國. 學. 3.2.2 製作文字內容，並決定適當的行距高度. 如 3.2.1 的實驗結果，我們已經可以由座標資料中觀察測試者在注視內容過. ‧. 程中所停留的位置。但就所觀看的內容而言，考慮行距之間的高度是有其必要性. y. Nat. sit. 的。行距過於緊密的情況下，會造成行與行之間凝視點的重疊現象，這樣在注視. n. al. er. io. 位置的判讀上很容易造成混淆;而過於鬆散的行距雖可解決重疊現象的發生，卻. i n U. v. 也衍生出文字內容在空間使用上過度浪費的問題，如何在行距之間找到一個有效. Ch. engchi. 的平衡點，這將是本節所要致力的目標。. 文字內容使用微軟開發的 Word 套裝軟體來製作，以不斷行的方式進行編輯，較為容易比較行距之間凝視點的重疊現象。Word 在編輯文字後即儲存為 PDF 檔案，由 smallpdf 網站[26]所提供的免費工具轉換成 JPG 圖片檔，並透過一個自製簡易的應用程式來載入該圖片進行實驗，圖片檔如圖 3.16 所示。閱讀內容採用中文的方式呈現，所有的測試者的母語都是以中文為主，避免測試者之間語言程度上的差異所造成的變因。. 32.

(46) 圖 3.16、測試範本內容. 政治大小行高，再以累加方式觀察不同行高之間的凝視點重疊變化。圖 3.17 為 8 組由立而實驗一開始並無法知道合適的行距高是多少，因此會先假定一組合理的最. ‧ 國. 學. 配戴隱形眼鏡者所測量的行高軌跡圖，高度範圍介於在 24 像素至 46 像素，在這裡所使用的是 19 吋，比例為 4:3 (40.5 cm:30.5 cm)，預設解析度 1280x1024 作為. ‧. 實驗用螢幕，行距高度所對應的實際高度如下表 3.2 所示。. a l 28 Ch. n. 行距高度(pixel). 24. 實際高度(mm). 7.15. 8.34. c. d. e. 32. 36. 40. e9.53 hi n g c10.72. f. g. h. 42. 44. 46. 12.51. 13.11. 13.7. er. io. b. sit. y. Nat a. 圖例. i n U 11.91. v. 表 3.2、依據實驗用螢幕高度與像素高度所對應的結果. (a). (b). (c). 33. (d).

(47) (e). (f). (g). (h). 圖 3.17、8 組不同行距高所測試的凝視點比較圖. 政治大知測試者的閱讀換行動作，例如水平距離大於畫面 2/3，以及從右至左的水平凝立. 由於凝視點是連續形成的，在探究重疊現象之前，可先透過凝視點特徵來得. 視方向，此作法不但可把行與行之間分隔開來，還可找出每行的凝視點有哪些。. ‧ 國. 學. 在上述圖例的凝視點有兩種顏色標示，藍色代表凝視點無重疊現象發生，由於我. ‧. 們並不考慮在同一行時凝視點是否重疊，因此一併給予藍色標記;橘色凝視點則. y. Nat. 代表不同行之間有凝視點重疊的現象發生，若橘色點越少表示行距越大，誤判的. er. io. sit. 錯誤機率也就隨之變少，可以透過錯誤率的計算來找尋合適的行距高，公式如下:. al. n. v i n 錯誤率(%) = C h e i U ………………(3.4) 全部凝視點總數 n g c∗ h100% 重疊凝視點個數. 圖 3.18 是依據不同行高所計算的錯誤率結果。從數據觀察，行距範圍介於在 24~40 像素之間的錯誤率是較明顯變化的，而當行距大於 40 像素時，錯誤率則趨於穩定且逐漸降低。在錯誤率的定義上，我們預期容許 10%的錯誤結果，並以 42 像素為行距參考值，但是我們並不確定該數值是否適用於其他不同條件的測試者，因此在前後各取 40 像素與 44 像素進行第二次小範圍的驗證實驗。. 34.

(48) 圖 3.18、由配戴隱形眼鏡者所測試 8 組不同行高所計算的錯誤率結果. 政治大第二次驗證人選。如圖 3.19 所示，無近視者(圖 a)和配戴眼鏡者(圖 b)的錯誤率結立. 延續上述初步分析，我們在測試者的挑選上，採用無近視者與配戴眼鏡者為. 果，在範圍 40 至 44 像素內，都是符合在 10%的錯誤預期內，但是考量到其他條. ‧ 國. 學. 件下的測試者也可適用，挑選 42 像素的行距高將會是最為理想的，在後續製作. Nat. n. al. er. io. sit. y. ‧. 閱讀內容的行距規劃上也將以該數據作為設計參考值。. Ch. engchi. (a). i n U. v. (b). 圖 3.19、第二次小範圍錯誤率驗證結果行距高度設置考量測試者在閱讀不同行的內容時，會有凝視點重疊在一起的現象發生，所以比一般排版的設計行距還要高。從研究中發現，特徵選取是以凝視點中心 x 與 y 為參考座標，對於凝視點重疊而言並不會是影響實驗結果的主要因素。而在本實驗中所容許 10%的錯誤率，能依據研究需求與目的進行設置，行距也能更接近一般排版的設計高度，具有調整的彈性空間。 35.

(49) 第三節研究設計與實施方法在完成前期規劃後，本節中將先為研究實施流程做完整的描述，說明在實驗的安排上是如何進行，並針對研究軟體流程做詳細的介紹。. 3.3.1 研究實施步驟研究實施步驟分成三個階段來完成，如圖 3.20 所示。. 政治大. 立. ‧. ‧ 國. 學. n. er. io. al. sit. y. Nat 圖 3.20、研究實施流程圖. i n U. v. 第一階段為內容製作，使用者介面設計為提供測試者使用的眼動實驗程式，. Ch. engchi. 該程式可選擇不同的文章內容進行閱讀實驗，並紀錄凝視點資訊以利後續特徵挑選。依據所定義好的閱讀模式製作初版閱讀內容，並在開始進入收集眼動數據前，評估不同條件下測試者的軌跡狀況是否適用在實驗中。第二階段為資料收集，在確認好所有閱讀內容後，會開始大量收集眼動數據程序，該程序預計由 30 位測試者，依照不同的閱讀模式進行眼動數據收集。挑選有效的凝視點特徵後，並透過資料正規化來建立不同維度的訓練資料。第三階段為結果驗證與分析，對不同維度資料進行分類器訓練與訓練結果評估，由交叉驗證分析程序找出適合的資料維度，最後驗證測試資料的分類結果並對其結果進行深入探討與分析。 36.

(50) 3.3.2 軟體流程設計. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. 圖 3.21、軟體流程圖 37. v.

(51) 如圖 3.21 所示，軟體流程圖設計分成凝視點識別程序(灰色區塊)與預測閱讀分類程序(綠色區塊)兩部分，凝視點識別程序為讀取眼動座標資料轉換成凝視點的處理過程。為了記錄一個凝視範圍內所包含的座標資料有哪些，在讀取座標資料時都需檢驗是否已設定凝視點中心座標，用於計算與鄰近座標資料之間的距離長度。在設計上，凝視點識別需符合如下三項條件，否則將有重新設定參考座標之必要。 1.. 需包含 2 筆以上的座標資料. 2.. 與前一個眼動座標的距離需小於 14 像素. 政治大在預測閱讀分類程序中，會依據所記錄的凝視點進行特徵選取(Feature 立 3.. 總累積時間需大於 70ms 以上. selection)，由於進入 SVM 程序的資料格式是由連續數量的凝視點特徵值組合而. ‧ 國. 學. 成，在預測閱讀分類結果前都會先檢查是否已達到預先設定的資料維度標準，若. ‧. 未達到標準的情況之下，則會持續進行凝視點識別的動作。預測分類的作法是採. y. Nat. 用支持向量機(Support Vector Machins，SVM)函式庫[27]，利用現有的實作來完成. n. al. er. io. 行研究與說明。. sit. 預測分類之處理程序。而在後續的章節中，也將針對特徵挑選與維度設定標準進. Ch. engchi. 38. i n U. v.

(52) 第四章. 研究過程與結果. 在本節中，我們將撰寫一個可以收集眼動數據與整合訓練資料的應用程式，依照所定義的閱讀模式製作相關文章內容，提供給使用者進行閱讀實驗。在完成所有的資料收集後，會針對該資料進行初步評估與驗證分析，以完成本論文所預期的結果和目標。. 第一節研究過程 4.1.1 眼動實驗應用程式. 政治大. 如同 3.1.1.2 節描述，眼動實驗應用程式以 Microsoft Visual Studio 2015 作為. 立. 開發工具，並選用 C#程式語言所建立的 Windows form 專案為設計標的。圖 4.1. ‧ 國. 學. 為使用者介面設計圖，程式在實驗螢幕的建議解析度:1280x1024 像素下被執行，佈局規劃分為兩個區域，分別是內容區與設置區。. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 4.1、眼動實驗應用程式的介面設計圖. 39.