低價眼動儀硬體與軟體開發

全文

(1)國立臺灣師範大學應用電子科技學系碩士論文. 指導教授：何宏發博士低價眼動儀硬體與軟體開發 Development of Low Cost Eye Tracking Hardware and Software. 研究生：劉鑑儀撰. 中華民國 103 年 07 月.

(2) 低價眼動儀硬體與軟體開發. 學生：劉鑑儀. 指導教授：何宏發博士. 國立臺灣師範大學應用電子科技學系碩士班. 摘. 要由於目前市售的眼動儀大部分還市價格偏高，本論文的方向為開發出低. 價、取樣頻率高、方便攜帶的眼動儀，可以開發出多台眼動儀讓更多人使用。本論文會介紹眼動儀的發展過程以及眼動實驗常見的參數，各種眼球追蹤系統，主要分為接觸式和非接觸式，接觸式的方法有眼電圖法、搜尋線圈法，非接觸式的方法有 Purkinje 影像追蹤法、紅外線眼電圖法、紅外線視訊系統法，還會介紹著名的眼球追蹤演算法。最後就是本研究開發出的眼動儀，有固定式螢幕眼動儀、頭動式螢幕眼動儀、實景眼動儀，固定式螢幕眼動儀需要利用 Chin Rest 固定下巴，頭部不能任意移動，優點是準確度高，取樣頻率最高約為 180Hz；頭動式螢幕眼動儀不需要固定下巴，頭可以稍微的在電腦螢幕前移動，但是準確度較差，取樣頻率約為 75Hz；實景眼動儀以螢幕眼動儀為基礎，外加一個實景攝影機作為錄影之用途，在錄製的螢幕範圍內需要貼 Glyph Code 做定位的功能，使用者可以戴著眼動儀到處觀看，電腦記錄影片及眼動座標、凝視點時間，作為事後分析的參數，錄製的影片每秒為 30 個畫格。關鍵字：眼動儀(Eye Tracker、Eye Tracking、Eye Movement)、眼球追蹤系統、人機介面、紅外線. I.

(3) Development of Low Cost Eye Tracking Hardware and Software student：Chien-Yi Liu. Advisors：Dr. Hong-Fa Ho. Department of Applied of Electronics Technology National Taiwan Normal University. ABSTRACT Due to a high cost of current commercial eye tracking systems, this study aimed to develop an eye tracker system with low-cost, portable, and high sampling frequency for multiplayer usage. This study described the process and common parameters for the eye tracker development and its related eye movement experiments. Current eye-tracking systems are primarily divided into contact methods and non-contact methods. Contact methods include EOG method and search coil method. Non-contact methods include Purkinje image tracking method, infrared EOG, infrared video system law, and the famous eye-tracking algorithm. This study developed a fixed screen eye tracker, a Head-Mounted screen eye tracker, and a Real-Time eye tracker. The fixed screen eye tracker uses a Head-Chin Rest to secure the head position to the same level of a computer monitor and 50cm away from the eyes. The fixed screen eye tracker avoids head movements, therefore, highly increases accuracy of eye movement data. The maximum sampling frequency is also able to reach 180Hz. Though the Head-Mounted screen eye tracker allows minor head movements, poorer data accuracy is a disadvantage and a less sampling frequency up to 75Hz. The Real-Time eye tracker is an extension of screen-based eye trackers. With a video camera attached externally and eye position calibrated with Glyph Code within the video recording area, users can wear the RealTime eye tracker everywhere. The eye-tracking computer records video with 30 frames per second, and analyses eye movement variables of eye coordinates, gaze fixation, and gaze duration. Keywords: eye tracker (Eye Tracker, Eye Tracking, Eye Movement), eye-tracking systems, human-machine interface, infrared. II.

(4) 誌. 謝. 來師大兩年的時間時間過得特別快，從當初進來實驗室學長們陸陸續續的畢業，很快的輪到我了!在此要謝指導教授何宏發博士，感謝老師不厭其煩地耐心指導，三不五時就走進來實驗室問進度如何，每天的叮鈴，讓我原本寫成式一竅不通，到現在出去可以順利找到工作，除了課業之外，老師還時常跟我說做人處事的道理，還有做事情的態度，我覺得這些比課業上更重要。在如今的 Lab515 中，感謝學長郭紹偉、胡育碩、葉幸彰，在我剛進來實驗室常常糾我打球，讓我很習慣就習慣台北的生活了!也要感謝同實驗室的學弟侯冠宇、周文瑞、鐘宜曄、呂承益的大力支持與幫忙，幫我分擔很多瑣碎的事情，才能讓我那麼順利的畢業，之後希望你們玩歸玩，還是要快點把研究做出來，順利畢業，這邊要特別感謝高雄大學陳冠安學弟，也是未來我們實驗室的學弟，從大三就幫忙用分析軟體到現在，每天都回報進度，是我看過最認真的學弟了，有你的幫忙我才可以那麼順利的論文弄完，可惜你來師大我就要畢業了，除了實驗室的夥伴們，還要感謝系辦的秀文，在我之前不會報帳的時候教我如何報帳，婷節會提醒很多該注意的事情，尤其是口試要注意的事項，還有常常在系辦聊天，還有嘉安，只要是技術上不會的問題找你就馬上解決了。還要感謝口試委員高雄大學蕭培墉博士與佛光大學賴惠德博士抽空前來擔任口試委員以及碩士論文的指導，提供我寶貴的建議，使得此碩士論文能夠更加完整。最後還是要再一次感謝在師大認識的夥伴們，包括老師、學長、學弟、還有同學們，謝謝你們的支持與鼓勵。. III.

(5) 目. 錄. 摘要……………………………………………………………………………………I ABSTRACT…………………………………………………………………………..II 致謝………………………………………………………………………………III 目錄…………………………………………………………………………………. IV 圖目錄……………………………………………………………………………VI 表目錄……………………………………………………………………………IX 第一章緒論…………………………………………………………………………1 1.1. 背景與研究動機………………………………………………………...1. 1.2. 研究目的………………………………………………………………...3. 1.3. 論文架構………………………………………………………………...4. 第二章眼動追蹤發展與相關文獻…………………………………………………5 2.1. 眼動儀的發展…………………………………………………………...5. 2.2. 眼球追蹤方法…………………………………………………………...7. 2.3. 2.4. 2.2.1. 眼電圖法(Electro-Oculography，EOG)………...............................7. 2.2.2. 搜尋線圈法(Search Coil，SC)…………………………...………..8. 2.2.3. Purkinje 影像追蹤法(Dual-Purkinje-Image，DPI)………………..9. 2.2.4. 紅外線眼動圖法(Infra-Red Oculography，IROG)………………11. 2.2.5. 紅外線視訊系統法(Infra-Red Video System，IRVS)…………...12. 2.2.6. 各種方法比較……………………………………………………..13. Starburst Algorithm 介紹………………………………………………13 2.3.1. Starburst Algorithm……………………………………………….13. 2.3.2. 影像處理…………………………………………………………..16. 2.3.3. 尋找特徵點………………………………………………………..16. 2.3.4. 最佳橢圓的產生…………………………………………………..19. Circular Hough Transform 眼球偵測………………………………….20 2.4.1. 影像前處理………………………………………………………..20 IV.

(6) 2.5. 2.4.2. 參數驗證…………………………………………………………..20. 2.4.3. Circular Hough Transform………………………………………...21. 市售商品介紹 Tobii Glass Eye Tracker………………………………22. 第三章眼動儀系統架構……………………………………………………………27 3.1. 眼動儀系統架構……………………………………………………….27. 3.2. 固定式螢幕眼動儀…………………………………………………….28. 3.3. 3.4. 3.2.1. 固定式螢幕眼動儀硬體架構……………………………………..28. 3.2.2. 固定式螢幕眼動儀軟體架構……………………………………..33. 實景眼動儀…………………………………………………………….40 3.3.1. 實景眼動儀硬體架構……………………………………………..40. 3.3.2. 實景眼動儀軟體架構……………………………………………..42. 3.3.3. 實景眼動儀分析系統……………………………………………..47. 頭動式螢幕眼動儀(無 Chin Rest)…………………………………….59 3.4.1. 硬體架構…………………………………………………………. 59. 3.4.2. 軟體架構…………………………………………………………..59. 第四章實驗結果…………………………………………………………………….63 4.1. 固定式螢幕眼動儀實驗結果………………………………………….64. 4.2. 頭動式螢幕眼動儀實驗結果………………………………………….71. 4.3. 實景眼動儀實驗結果………………………………………………….80. 第五章結論及未來展望…………………………………………………………….81 參考文獻……………………………………………………………………………...82 名詞索引……………………………………………………………………………...85. V.

(7) 圖目錄圖 2-1. Buswell 觀看的圖片…………………………………………………………..6 圖 2-2. Buswell 觀看的路徑和凝視點………………………………………………..6 圖 2-3. 實驗者觀看的圖片…………………………………………………………...7 圖 2-4. 眼電圖法示意圖………………………………………………………………8 圖 2-5. 搜尋線圈法示意圖……………………………………………………………9 圖 2-6. 瞳孔與第一組 Purkinje image 關係圖………………………………………10 圖 2-7. Purkinje 影像追蹤法示意圖………………………………………………….10 圖 2-8. 紅外線眼動圖法示意圖……………………………………………………..11 圖 2-9. 經由紅外線反射……………………………………………………………..11 圖 2-10. 紅外線視訊法示意圖………………………………………………………12 圖 2-11. Starburst 演算法流程圖……………………………………………………..15 圖 2-12. 影像前處理…………………………………………………………………16 圖 2-13. 特徵偵測……………………………………………………………………18 圖 2-14. 特偵點偵測每個階段結果…………………………………………………19 圖 2-15. 霍夫圓轉換…………………………………………………………………22 圖 2-16. Tobii Glass…………………………………………………………………...23 圖 2-17. Recording Assistant………………………………………………………….23 圖 2-18. IR Marker 和 IR Marker Holder……………………………………………..24 圖 3-1. 眼動儀系統架構圖…………………………………………………………..27 圖 3-2. PlayStation 3 Eye……………………………………………………………..28 圖 3-3. 拆解 PlayStation 3 Eye………………………………………………………29 圖 3-4. 鏡頭座及監視器鏡頭………………………………………………………..29 圖 3-5. 電磁波譜……………………………………………………………………..30 圖 3-6. 有、無紅外線補償比較………………………………………………………31 圖 3-7. IR-LED 電路…………………….. …………………………………………..31 圖 3-8. 固定鏡頭支架………………………………………………………………..32 VI.

(8) 圖 3-9. Chin Rest………………………………………………………………………33 圖 3-10. 系統流程圖…………………………………………………………………34 圖 3-11. Gaze Tracker…………………………………………………………………34 圖 3-12. 調整適當門檻值……………………………………………………………36 圖 3-13. 固定式螢幕眼動儀校正示意圖……………………………………………37 圖 3-14. 使用者介面………………………………………………………………....39 圖 3-15. 重新校正畫面………………………………………………………………39 圖 3-16. 電腦螢幕座標………………………………………………………………40 圖 3-17. 螢幕眼動儀攝影機與紅外線………………………………………………40 圖 3-18. Logtech Webcam…………………………………………………………….41 圖 3-19. 固定攝影機…………………………………………………………………41 圖 3-20. 使用方式……………………………………………………………………41 圖 3-21. 實景眼動儀流程圖…………………………………………………………42 圖 3-22. 計算上下左右極限範圍方法………………………………………………43 圖 3-23. 計算上下左右極限範圍流程………………………………………………44 圖 3-24. 校正點計算…………………………………………………………………45 圖 3-25. 校正 Glyph Code……………………………………………………………46 圖 3-26. Glyph Code 矩陣的形式…………………………………………………….46 圖 3-27. Glyph Code 校正點………………………………………………………….46 圖 3-28. 分析系統模組………………………………………………………………47 圖 3-29. Glyph Code 影像處理過程………………………………………………….48 圖 3-30. 相同圖形、不同旋轉角度…………………………………………………49 圖 3-31. 實際錄影畫面………………………………………………………………49 圖 3-32. LookZone 功能………………………………………………………………50 圖 3-33. 眼睛凝視點表示法…………………………………………………………50 圖 3-34. LookZone 流程圖……………………………………………………………51 圖 3-35. LooZone 結果………………………………………………………………..52 VII.

(9) 圖 3-36. ScanPath 主模組與子模組…………………………………………………53 圖 3-37. ScanPath 資料結構示意圖…………………………………………………53 圖 3-38. ScanPath 繪製示意圖………………………………………………………54 圖 3-39. 數據平移示意圖…………………………………………………………...54 圖 3-40. ScanPath 流程圖……………………………………………………………55 圖 3-41. ScanPath 結果………………………………………………………………56 圖 3-42. HotZone 顏色定義………………………………………………………….56 圖 3-43. HotZone 流程圖…………………………………………………………….57 圖 3-44. 熱區圖……………………………………………………………………...57 圖 3-45. ROI 功能……………………………………………………………………58 圖 3-46. 頭動式螢幕眼動儀攝影機位置…………………………………………...59 圖 3-47. Haarcascade eye detection…………………………………………………..60 圖 3-48. 眼睛 ROI……………………………………………………………………60 圖 3-49. 頭動式螢幕眼動儀校正示意圖……………………………………………61 圖 4-1. 測試點………………………………………………………………………..63 圖 4-2. 誤差角度計算………………………………………………………………..64 圖 4-3. 固定式螢幕眼動儀各點誤差角度…………………………………………..66 圖 4-4. 固定式螢幕眼動儀各點水平標準差………………………………………..68 圖 4-5. 固定式螢幕眼動儀各點垂直標準差………………………………………..70 圖 4-6. 頭動式螢幕眼動儀各點誤差角度…………………………………………..73 圖 4-7. 頭動式螢幕眼動儀各點水平標準差………………………………………..75 圖 4-8. 頭動式螢幕眼動儀各點垂直標準差………………………………………..77. VIII.

(10) 表目錄表 1-1. 市售眼動儀比較………………………………………………………………4 表 2-1. 各方法比較表………………………………………………………………..13 表 2-2. 各參數定義………………………………………………………………….24 表 2-3. 眼動儀公司………………………………………………………………….26 表 4-1. 固定式螢幕眼動儀(上) ……………………………………………………..77 表 4-2. 固定式螢幕眼動儀(中) ……………………………………………………..78 表 4-3. 固定式螢幕眼動儀(下) ……………………………………………………..78 表 4-4. 頭動式螢幕眼動儀(上) ……………………………………………………..79 表 4-5. 頭動式螢幕眼動儀(中).. ……………………………………………………79 表 4-6. 頭動式螢幕眼動儀(下) ……………………………………………………..80 表 4-7. 實景眼動儀誤差角度………………………………………………………..80. IX.

(11) 第一章緒論. 1.1 背景與研究動機眼動儀(Eye tracking)[1]是近幾年快速發展，很多研究者會利用眼動儀做各種實驗(心理學、閱讀等)，這些實驗都需要很多受測者進行實驗蒐集數據，但是現在外面市售的眼動儀價格偏高(新台幣數十萬到數百萬)，很難多台眼動儀同時一起做實驗，造成實驗效率低，如何設計出一套低成本且準確度高的眼動儀是本論文主要動機。眼動儀是屬於人機互動(Human-Machine Interaction，HMI)或人機介面 (Human-Computer Interface，HCI)[2]的裝置，人機介面簡單的說，就是人與機器之間透過某種媒介傳達訊息，例如一般常見的鍵盤、滑鼠，以及現今流行的觸控式輸入裝置、語音、手勢、腦波等，透過這些媒介來傳達人類的指令或訊息給電腦，電腦接收到訊息，也會透過聲音、螢幕顯示傳遞訊息給人類，屬於雙向性的互動，人機互動容易上手並且適合不同背景、性別，年齡、操作經驗的使用者，可以提升效率與速度、增加方便性，以及人性化，廣受一般大眾歡迎。雖然人機介面看起來很方便且容易操作，但是對一些身體障礙人士(如頸椎受傷者)，可能全身只剩下少數的器官可以活動(如眼睛、嘴巴等)，以上說的人機介面可能就會面臨挑戰，身體障礙人士如何用有限的行為來表達他們內心的想法，拉近身體障礙人士與機器間的距離，成為一個重要的課題。眼睛是人類的靈魂之窗，人類從外界取得的訊息中，有很多來自眼睛，眼球運動是最直接、最客觀，也是最有效率的，眼睛接受大量的外界訊息傳到大腦處理，進行日常生活中各種動作，如開燈、打字、開電視機、駕駛等，這些看似平常的動作，對身體障礙人士卻是一大挑戰，有些人手腳無法自由的活 1.

(12) 動，但是眼睛還是可以看得到，這樣就可以透過眼睛與外界溝通，或做一些簡單的動作。眼動儀就是一種儀器透過攝影機偵測瞳孔位置，並將瞳孔座標轉換到電腦螢幕上的座標透過分析軟體可以了解人類的觀看的凝視時間、凝視次數、觀看路徑等，或轉換成人們容易看得懂的熱區圖(HotZone or HotMap)和掃視路徑圖 (ScanPath)，眼動儀是相當方便的實驗工具。除此之外，身體障礙人士也可以透過眼睛在電腦螢幕上的鍵盤打字，表達他們想說的話，增加溝通的方便性，只要用眼睛看電燈的開關，燈就會自動打開，眼睛看電視螢幕，就會自動打開電視還可以轉台等，這樣可以解決很多身體障礙人士原本無法獨自完成的事。眼動儀除了在人機介面的應用，在心理學方面[3]，Calvo 研究發現受測者在看人臉的各種表情如快樂、驚訝、憤怒、悲傷、恐懼等，快樂的表情會先被受測者發現。在教育方面[4]，Tsai 研究學生在作自然科學相關多選題時，利用眼動儀記錄學生在作答時的眼動情形。在閱讀上方面[5]，Beymer 提出圖片與文字的相關性影響線上閱讀的情形，如圖片與文字相關、圖片與文字無關、或無圖片，對速度、回歸、重讀都有顯著的差異。廣告心理學方面[6]，Kuisma 探討線上動畫和廣告對消費者關注的情形，研究發現消費者不會特別關注在對自己不相關的廣告上。在運動方面[7]，Catteeuw 透過眼動儀幫助助理裁判在足球場上判斷是否有越位的情形。常見眼動研究分析的參數有很多，除了以上的熱區圖和掃視路徑圖可以直接將記錄的時間參數和座標畫出來用直觀的方式看得到外，還有很多分析是需要透過定義而得到的，以下是 Jacab 在[8]提到常見的眼動分析參數: 1. Gaze duration mean, on each area of interest(每個感興趣區域平均凝視時間) 2. Number of fixation, overall(整體注視次數) 3. Fixation duration mean, overall(整體平均注視時間) 4. Number of fixation on each of interest(每個區域的注視次數) 2.

(13) 5. First area of interest fixated(第一次注視的區域) 6. Gaze % (proportion of time) on each area of interest(凝視百分比) 7. Fixation duration total(總注視時間). 1.2 研究目的本研究主要是低成本(新台幣 1 萬元以內)、體積小(29cm*15cm*41cm)、方便攜帶，可以大量製造，同時多人一起使用，增加實驗的效率提供各種領域使用(心理學、教學實驗等)，可以了解學生在閱讀時遇到的困難或障礙，以利各領域專家設計出更合適的教材。眼動儀主要以影像為基礎，透過影像處理和電腦視覺(Computer Vision)的技術找出眼球中心，在使用之前使用者透過注視螢幕上的特定點做校正，並利用校正的技術取得眼球座標，再透過座標轉換對應到螢幕的相對位置，判斷觀看的位置，本論文軟體部分主要以 OpenSource 的眼睛偵測，透過裡面的 API[9]取得我們要的參數並搭配 Visual C#[10]軟體開發，硬體以外面市售的攝影機、監視器鏡頭，並設計出一個 Chin Rest[11]做為一個下巴固定裝置搭配一台筆記型電腦開發出價格低廉且方便攜帶的眼動儀，本研究主要開發的眼動儀有固定式螢幕眼動儀、螢幕頭動眼動儀，前者會將觀看的資料以時間和座標的方式記錄下來，事後將這些資料畫成路徑、熱區圖，還有分析總凝視時間、凝視次數、凝視持續時間、第一次凝視時間等[12]，後者會將觀看的過程以影片記錄下來，還有凝視時間和凝視座標做熱區圖跟掃視路徑圖的分析。近十年，由於眼動儀的發展，在眼動儀大廠【表 1-1】都開發出各式的眼動儀，國外的如瑞典眼動儀大廠 Tobii[13]、德國眼動儀大廠 SMI[14]等，都可以藉由單眼或雙眼的偵測，得到瞳孔資訊，且準確度都在 0.25∘~0.6∘之間。現在眼動儀主要分為近距式或頭戴式眼動儀(Head-Mounted Eye Tracker)與遠距離式眼動儀(Remote Eye Tracker)，前者主要是要將抓取眼球影像的攝影機近距離的偵測眼球，以固定的方式將下巴放在 Chin Rest 上，或是像實景眼動儀戴在頭上可以 3.

(14) 到處觀看並將影像錄製下來做事後分析，後者是將攝影機放在電腦螢幕前方，使用者只需要坐在電腦前方就可以使用。. 型號規格. SMI RED. RED-M. Tobii IView. X2-60. TX300. T60 XL. Hi-Speed 取樣. 雙眼. 雙眼. 單或雙眼. 單或雙眼. 雙眼. 單或雙眼. 頭動. 可. 可. 不可. 可. 可. 可. 距離(cm). 60~80. 50~75. NA. 45~90. 65. 50~75. 準確度. 0.4∘. 0.5∘. 0.25~0.5∘. 0.34~0.45. 0.4~0.6. 0.4~0.5. 取樣頻率 Hz. 60/120. 60/120. 1250. 60. 49~83.8. 56~75. 校正點. 2,5,9. 2,5,9. 2,5,9,13. 9. 9. 9. 戴眼鏡. 可. 可. 不可. 可. 可. 可. 紅外線. 有. 有. 有. 有. 有. 有. 表 1-1. 市售眼動儀比較. 1.3 論文架構本論文共分為六個章節，第一章簡單介紹本篇論文的研究動機還有研究目的，還有本論文的研究架構；第二章介紹人類第一台眼動儀，以及眼動儀的發展過程還有一些眼球追蹤的文獻探討；第三章主要介紹本論文的方法和系統架構，主要硬體架構有利用 Chin Rest 做為固定下巴的裝置，利用攝影機取得眼球的影像，並透過紅外線發射 LED 增強影像，軟體部分是利用 Gaze Tracker OpenSource Code[5]和 C#開發實驗介面取得 API 做應用，最後是事後的分析；第四章為實驗的結果；第五章為結論及未來展望，主要介紹我們眼動儀的優點及缺點，並且希望未來能做成 SoC 以減少體積和成本。 4.

(15) 第二章眼動追蹤發展與相關文獻. 眼動儀的發展眼動儀發展已有 100 多年的歷史，在早期人們用簡單的儀器或設備以侵入式的方式，偵測人眼大概看的位置，隨著眼動儀發展漸漸改成非侵入式的方法，將眼動儀應用在心理學及閱讀方面，到了近幾十年，眼球追蹤發展越來越成熟，各式各樣的眼動儀也都相繼出現，如在運動場上、室外、在電腦螢幕前等，目的都是為了要紀錄人們觀看過程，並做各種的分析。 1879 年眼科醫生 Javal[15]發現人們在閱讀時不是連續的看所有文字，而是快速瀏覽或短暫停留在某個文字上，視線的移動是由凝視或掃視組成，在 1897 年 Huey[16]為了知道受測者在閱讀文字的過程而做出人類第一套眼動儀，利用受測者在眼睛戴上一個挖有小洞的石膏杯加上一個鋁製的指引棒，受測者在閱讀時，指引棒就會指到眼睛所看的位置。Huey 研究發現人們閱讀文章第一眼凝視的字通常都是第二或第三個字，而不是第一個字，有些字詞人們會直接忽略沒有注視，最後的凝視點也不會是最後一個字詞。1935 年 Busswell[17]製作了第一台非侵入式眼動儀，原理為利用束光打在眼睛上，然後接收反射出來的光，計算眼睛凝視點的位置，研究人類在觀看圖片【圖 2-1】的眼動行為，【圖 2-2】分別為凝視點的先後順序(Sequece of visual fixation)和凝視點的持續時間(Duration of the fixation)。1967 年 Yarbus[18]在 Eye Movements and Vision 書中提到凝視點的移動與實驗素材的內容有絕對的影響，他給定受測者一些關於圖片的問題，並記錄受測者對圖片的眼動行為，讓受測者觀看一張圖片，並問受測者圖片裡面人物的穿著，他們在吃什麼等【圖 2-3】。1980 年 Just and Carpenter[19]提出了凝視點代表思考的假說，也就是說讀者在看一段文字或一篇文章時，眼睛都會在每個字至少凝視一次，這和大眾平常的認知有所不同。 5.

(16) 圖 2-1. Buswell 觀看的圖片(取自 Buswell [17]). 圖 2-2. Buswell 觀看的路徑和凝視點(取自 Buswell [17]). 6.

(17) 圖 2-3. 實驗者觀看的圖片(取自 Yarbus [18]). 眼球追蹤方法 2.2.1. 眼電圖法(Electro-Oculography，EOG)[20, 21]. 眼電圖法【圖 2-4】屬於接觸式的方法，利用電極的改變來量測眼球的轉動方向，是一種最直接的量測方式，並且價格低廉，實作上也相對容易，只需要將感測訊號的貼片貼在眼睛附近的上、下、左、右皮膚上，眼睛在角膜的地方為正電位端，在視網膜為負電位端，在正常的情況下眼睛固定在中央時，電位保持平衡，當眼球微量轉動時，會依據眼睛轉動的方向，電壓也會向眼球轉動的方向移動，量測角膜與視網膜之間的電位差，例如眼睛往右轉動，電壓就會轉為正值，當眼睛向左轉動，電壓就會由正轉負，眼電圖法就是利用這樣電壓的微量變化了解眼睛轉動的情形，EOG 值在 DC-100Hz 的情況下，變化在 503500μV，實際水平凝視角度在±50 度，垂直凝視角度在±𝟑𝟎度，由於眼電圖法需要貼在皮膚上，長時間容易受到皮膚分泌影響而改變電阻值，造成訊號不穩定，而且屬於接觸式的方法，比較不受到大眾所接受。 7.

(18) 圖 2-4. 眼電圖法示意圖. 2.2.2. 搜尋線圈法(Search Coil，SC)[22, 23] 搜尋線圈法【圖 2-5】是屬於接觸式的方法，受測者需要戴一個較大的雙. 層軟式鏡片在眼睛上，且需要覆蓋在虹膜和鞏膜上，利用感應線圈接在軟式鏡片，外部加上固定磁場，透過電磁感應的方式量測眼睛的轉動位置，在眼睛轉動時軟式鏡片也會跟著動，此時外部的磁場就會不斷的變化，透過不同的磁場來計算眼睛所看的位置。此方法雖然準確度較高，而且可以量測眼睛和頭部的相對位置，但是容易受到受測者眼睛狀況的干擾，因為需要配戴一個鏡片在眼睛上，會影響到視力，且在實驗過程中需要加上人工的淚液，外部的儀器較龐大，移動不便，加上使用者在使用時屬於接觸式，比較不容易讓一般人所接受，所以目前較少人使用此方法。. 8.

(19) 圖 2-5. 搜尋線圈法示意圖(取自[15]). 2.2.3. Purkinje 影像追蹤法(Dual-Purkinje-Image，DPI)[24]. Purkinje 影像追蹤法屬於非接觸式，利用光線進入眼睛的各個組織折射率不同，產生不同的反射影像，主要分為四組不同的反射影像，這些影像稱為 Purkinje-image；第一組為角膜前方與表面的反射光源【圖 2-6】；第二組為角膜表面的反射影像；第三組為水晶體前方的反射；第四組為水晶體與眼球內部的反射，其中第二、三組反射量太小不易觀測，所以忽略，主要以第一和第四組影像來觀測眼睛，稱為 dual-Purkinje image (DPI)，分為水平和旋轉運動，如【圖 2-7】所示 IL 為入射光源(incoming light)；A 為水樣液(aqueous humor)；C 為角膜(cornea)；S 為鞏膜(sclera)；V 為玻璃體(vitreous humor)；I 為虹膜(iris)； L 為水晶體(lens)；CR 為旋轉中心(center of rotation)；EA 為眼軸(eye axis)；a 約 6mm；b 約 12.5mm；c 約 13.5mm；d 約 24mm；r 約 7.8mm。此方法較為精準，但是頭部需要固定，圖為瞳孔與第一組 Purkinje image 的關係。. 9.

(20) 圖 2-6. 瞳孔與第一組 Purkinje iamge 關係圖(取自[24]). 圖 2-7. Purkinje 影像追蹤法示意圖(取自[24]). 10.

(21) 2.2.4. 紅外線眼動圖法(Infra-Red Oculography，IROG)[25]. 紅外線眼動圖法(Infra-Red Oculography)屬於非接觸式，如【圖 2-8】利用紅外線光源以固定的角度照射在眼角膜的四周，虹膜黑色的部分反射率低，將大部分的光吸收，白色部分將紅外線的光反射出來【圖 2-9】，由攝影機擷取反射出來的影像，經由電腦作影像處理，並計算瞳孔的位置，此方法較為簡單且成本較低，但是容易受其他光源影響，造成紅外線反射誤差。. 圖 2-8. 紅外線眼動法示意圖(取自[1]). 圖 2-9. 經由紅外線反射(取自[1]). 11.

(22) 2.2.5. 紅外線視訊系統法(Infra-Red Video System，IRVS)[26]. 紅外線視訊系統法【圖 2-10】屬於非接觸式的方法，此方法採用紅外線追蹤眼球的位置，需要在攝影機旁加裝紅外線 LED，使用時將攝影機調整到眼球中央，利用紅外線光源照射到眼球上，攝影機接收反射的影像到電腦端作影像處理，在這過程中攝影機會不斷的擷取影像，將眼球的影像傳送到螢幕顯示出來，此時擷取的速度跟電腦處理的速度有關，現今電腦效能越來越好，處理的速度不是太大的問題，此方法精確度高，可計算瞳孔位置及大小，但是需固定眼球與攝影機的相對位置，使用時需要花較多的時間在調整及校正的動作，相較於其他方法耗時，價格也相較昂貴，且紅外線容易受到其他光源影響，如太陽光，所以在使用時通常以室內場合為主。. Monitor Screen Eye. IR LED. Arm IR CCD. 圖 2-10. 紅外線視訊法示意圖. 12.

(23) 2.2.6. 各種方法比較方法. 優點. 缺點. 眼電圖法. 價格便宜、簡單. 必須貼電極在皮膚上容易受皮膚分泌影響. 接觸式. 訊號容易不穩搜尋線圈法. 準確度高. 容易受眼睛情況影響需戴上鏡片固定磁場. Purkinje 影像. 精確度高. 價格較昂貴. 紅外線眼動圖. 簡單. 紅外線容易受其他光源. 法. 成本較低. 影響. 紅外線視訊系. 精確度高. 較耗時. 統法. 計算瞳孔大小、位置. 價格較昂貴. 追蹤法非接觸式. 表 2-1. 各方法比較表. Starburst Algorithm 介紹[27] 2.3.1. Starburst Algorithm. Starburst 演算法【圖 2-11】可用在可見光譜和紅外線頻譜的瞳孔偵測，可見光譜通常成像較為困難，因為外在光線較難控制且容易受到睫毛、眼皮、眼睛等干擾，紅外線光譜較容易得到清楚地影像，利用紅外線照射在眼球周圍，由於瞳孔部分反射率較低的關係，容易偵測瞳孔黑色部分的圖像，得到清楚地輪廓特徵，但是紅外線也有缺點，就是不能用在有太陽光的環境下。. 13.

(24) 以下是 Starburst 演算法的過程: 1. Input: Eye image,Scene image 2. Output: Point of gaze 3. Procedure: 4. Detect the corneal reflection 5. Localize the corneal reflection 6. Remove the corneal reflection 7. Iterative detection of candidate feature points 8. Apply RANSAC to find feature point consensus set 9. Determine best-fitting ellipse using consensus set 10. Model-based optimization of ellipse parameters 11. Apply calibration to estimate point of gaze. 此方法結合特徵基礎 feature based 和模型基礎 model based 演算法所組成，特徵基礎包含偵測和定位眼球的位置，通常會給定一個門檻值，並且由使用者自行決定門檻值的大小，決定是否為想要的特徵點，找特偵點的方法有 leastsquares fitting 和 Hough transform。模型基礎是結合 Random sample consensus (RANSAC)目的是為了找到一個最佳模型，例如，可以用積分-微分運算找到瞳孔邊緣的最佳橢圓，所以模型基礎可以提供比特徵基礎較佳的精確度計算，並找到瞳孔的形狀和瞳孔中心。. 14.

(25) Eye image. Detect the corneal reflection 影像處理. Localize the corneal reflection Remove the corneal reflection Detect the feature points. RANSAC to find feature point 尋找特徵點. Determine best-fitting ellipse. Optimization of ellipse parameters. Estimate gaze point 圖 2-11. Starburst 演算法流程圖. 15.

(26) 2.3.2. 影像處理. 此步驟為影像前處理【圖 2-12】，是將輸入的圖片做影像處理，將圖片中不必要的雜訊做移除，雜訊的主要來源有 shot noise 和 line noise，利用高斯濾波器濾除 shot noise，高斯濾波為低通是一種線性平滑的濾波，一般有 3*3 或 5*5 模板，可以應用在影像的雜訊處理，具有旋轉對稱性，表示每個方向的平滑程度都相同，濾波後的平滑程度取決於標準差，輸出為加權平均，越接近中心點加權值越高，再利用標準化因子將每一條的直線轉化成連續的均值，接著尋找角膜反射的區域，並將反射點過量的部分移除。. C (i, l )   I (i, l )  (1   )C(i  1, l ). (2.1). 每條線 l 因子為 C， I (i, l ) 為直線強度，ß 為 0.2，當雜訊夠小時，會自動忽略此步驟。. 圖 2-12. 影像前處理(a) 原始圖片 (b) 去除雜訊 (c) 移除角膜反射(取自[27]). 2.3.3. 尋找特徵點. 特徵點偵測是要將影像前處理完的圖片，得到清楚地眼睛圖像後，就是要找出我們想要的特徵點，在這裡我們要找的就是瞳孔部位的輪廓，在此要介紹的是特徵點偵測流程。. 16.

(27) 1.. Input: Eye image with corneal reflextion removed, Best guess of pupil center. 2.. Output: Set of feature points. 3.. Procedure:. 4.. Iterate. 5.. Stage 1:. 6.. Follow rays extending from the starting point. 7.. Calclate intensity derivative at each point. 8.. If derivate > threshold then. 9.. Place feature point. 10.. Halt march along ray. 11.. Stage 2:. 12.. For each feature point detected in Stage 1. 13.. March along rays returning towards the starting point. 14.. Calculate intensity derivative at each point. 15.. If derivative > threshold then. 16.. Place feature point. 17.. Halt march along ray. 18.. Starting point = geometric center of feature points. 19. Until starting point converges. 特徵點偵測分為兩個階段，首先利用手動的方式猜出一個最佳的瞳孔中心點，接著利用上一張瞳孔中心點的圖像當作下一個起始點，從中心點以放射 (N=18 rays)的方式向外延伸到超過門檻值(ψ=20)，當超過門檻值就停止處理，該點即為特徵點，如果射線延伸到圖片的邊界，特徵點則不會被定義【圖 2-13 a】。對於每個參考特徵點，以循環的方式進行搜尋，但是限定放射線的角度 γ 在正負 50 度之間，就是為了要確保特徵點在瞳孔的輪廓上【圖 2-13b】，如果 17.

(28) 參考的特徵點不在瞳孔輪廓上，就會產生不與任何瞳孔上橢圓一致的特徵點【圖 2-13c】。. 圖 2-13. 特徵點偵測(取自[27]). 第二階段就是要提高特徵點的精確度，由於眼球運動可能從某個點快速的跳到另外一個點，導致找到的特徵點都不在瞳孔上，為了減少這些偏移個特徵點，在此利用迭代的方式，每一次迭代時，將上一次所得到的特徵點的平均值，作為下一個起始點，這樣可以快速的找到瞳孔中心點，直到特徵點變化 d 小於 10 個像素時，停止迭代。假設的值跟瞳孔很接近，那就只需要迭代一次，如果估計的值跟預期的值落差太大時，當迭代的次數等於 10 次，可能是找不到瞳孔的狀態，此時就停止動作，【圖 2-14】為每個階段所得到的結果。. 18.

(29) 圖 2-14. 特徵點偵測每個階段結果 (a)黃色點為起始點，藍色線為放射線，綠色點為瞳孔參考點 (b)(c)為了找到更多參考點 (d) 迭代的結果，紅色圈為平均值的位置，作為第二次迭代的起始點 (e) 第二次迭代的結果，紅色點較接近瞳孔中心 (f) 黃色點為每一次迭代的起始點(取自[27]). 2.3.4. 最佳橢圓的產生. 找到特徵點後，接著就是要將這些特徵點建立一個最佳的橢圓，找最佳橢圓的方法有 least-squares fitting[28, 29]和 Random Sample Consensus (RANSAC)[30]，前者容易受到一些在特徵點偵測階段所產生額外不必要的點而受影響，造成橢圓估計錯誤，使得準確度下降。. 19.

(30) RANSAC 目的是為了要找出最佳的橢圓模型，首先是透過很多的特徵點中隨機選取的幾個點作為參考點建立模型，接著利用不斷迭代的方法找出適合的橢圓點，在此設定的迭代次數為 5 次，在這 5 次中找到最佳的橢圓參數並畫出橢圓，如果在設定的次數中找不到適合的參考點可能因為眨眼或其他因素，導致搜尋不到參考點，就會停止迭代。. Circular Hough Transform 眼球偵測[31] 霍夫轉換(Hough Transform)是影像識別常用的方法，從任意圖像中做影像識別進行特偵擷取，可以用在很多幾何影像識別，如直線、矩形、圓、橢圓等，霍夫轉換的優點是受雜訊的干擾較低，且不會受影圖片旋轉的影響，可以快速的做轉換，在此可以做瞳孔中心點和半徑的計算，虹膜邊緣的描繪。. 2.4.1. 影像前處理. 為了要得到理想的影像，首先要做影像的補償，利用中值濾波器，此濾波器可以濾除訊號或影像中的雜訊，屬於非線性低通濾波器，可以用來平滑影像，在這裡可以去除雜訊加強影像的亮度和對比度。. 2.4.2. 參數驗證. 首先要建立臉部的梯度和梯度大小，寫成二維一階導數:. h  cos hx  sin  hy 其中， h : 任一方向角度的導數； hx : 水平方向的導數；. hy : 垂直方向的導數. 20. (2.2).

(31) 影像梯度 a  m, n :. a . a a ix  iy   hx  a  ix   hy  a  iy x y. (2.3). ix 和 i y 為水平和垂直方向的單位向量影像梯度大小:. a .  hx  a . 2.   hy  a . 2. (2.4). ix 和 i y 為水平和垂直方向的單位向量將上式近似:. a  hx  a  hy  a. (2.5). 將梯度大小用方程式表示成:. f k  xi    aij X j n. j 1. (2.6). aij : 梯度大小； X j : 對稱矩陣； f k  xi  : 梯度大小. 2.4.3. Circular Hough Transform[31]【圖 2-15】. 經過以上步驟，將不必要的背景去除並去除雜訊後，將眼睛區域找到後，接著就是利用霍夫轉換將眼睛圓的形狀畫出來，是在未知圓半徑的情況下，計算出三維參數(x,y,r)，在一開始先找到圓中心點的座標，在以放射線的方式向外發射，找到邊緣輪廓，利用圓的標準式:.  x  x0 . 2.   y  y0   r 2 2. 21. (2.7).

(32) 上式  x0 , y0  為圓的中心點， r 為圓的半徑，以局部最大值的方式在感興趣區域偵測圓的中心點，如果像素中最小值符合形成圓的形狀，該區域就是眼睛的區域。. 圖 2-15. 霍夫圓轉換. 市售商品介紹 Tobii Glasses Eye Tracker[13] Tobii 公司設立於瑞典，在眼球追蹤和眼控技術都有相當不錯的發展，眼控技術可以讓眼睛取代其他設備控制電腦的操作，也可以成為殘疾人士溝通的工具，Tobii 的研究範圍包括人機介面、廣告研究、神經科學、心理學及閱讀等，都運用到眼控追蹤的技術。 Tobii 出了多款眼動儀，在此要介紹一個攜帶式眼動儀 Tobii Glasses Eye Tracker，顧名思義就是可以戴著眼鏡到處走動，可以用在真實場景的錄影和研究，不必侷限在電腦前面，並且方便攜帶、輕巧。應用領域可以在駕駛、戶外廣告研究、產品包裝設計、體育研究、駕駛模擬等，是一種相當理想的工具。 Tobii Glases Eye Tracker 包含了 Tobii Glasses【圖 2-16】、Recording Assistant 【圖 2-17】、IR markers【圖 2-18】。 Tobii Glasses 上有 Scene camera 為錄製影像的用途，Illuminators、IR reflective glass 用在眼球影像的反射，IR Marker sensor 用於與 IR markers 的溝通，Eye tracking sensor 接收眼球反射的影像，最後是 Microphone 用來收音。. 22.

(33) 圖 2-16 Tobii Glasses(取自[13]). Recording Assistant 是用來記錄眼動資料、取得 AOA(Areas of Analysis)的區域、音效和聲音的記錄，取得 IR markers 所在的位置。. 圖 2-17. Recording Assistant (取自[13]). 23.

(34) IR markers 是利用不可見的紅外光與 Tobii Glasses 的溝通，IR Markers 會放置在 IR Marker Holder 作為固定，目的是為了定義 AOAs 的範圍。. 圖 2-18. IR Marker 和 IR Marker Holder (取自[13]). 除了以上介紹的硬體之外，Tobii 還有 Tobii Studio Software 進行眼動資料的分析，功能有資料的分析與計算、凝視點位置的繪製、熱區圖、群聚圖、 ROI 定義，統計方面【表 2-2】有 Time to first fixation、Fixation length、 Fixation count、Observation length、Observation count、Fixations before、 Participant %。參數. 定義. Time to first fixation. 從開始到第一次凝視 ROI 的時間. Fixation length. ROI 裡面凝視時間. Fixation count. ROI 裡面的凝視次數. Observation length. 從在 ROI 內凝視點開始到凝視 ROI 外的時間. Observation count. 重新看 ROI 的次數. Fixations before. 觀看 ROI 之前的凝視次數. Participant %. 參與者凝視同一區域的百分比表 2-2. 各參數定義. 24.

(35) 眼動儀製造公司公司 The eye tribe[32]. 產品. 網址. The Eye Tribe. https://theeyetribe.com/. Tracker SMI[14]. SMI RED. http://www.smivision.com/en.html. GLASSES IVIEW X Tobii[13]. Glasses. http://www.tobii.com/. Tobii X Tobii T iMotions[33]. Remote Eye. http://imotionsglobal.com/. Trackers Eye Tracking Glasses Applied Science. Mobile Eye. Laboratories[34]. Mobile Eye-XG. http://www.asleyetracking.com/Site/. glasses SR Research[35]. EyeLink 1000 Plus. http://www.sr-research.com/. RRI/MEG Eye Tracking EyeLink Smarteye[36]. Vehicle Eye. http://www.smarteye.se/. Trackers Simulator Eye Trackers 25.

(36) OEM Eye Tracking Arrington. HeadLock. http://www.arringtonresearch.com/. Research[37]. SceneCamera. Cambridge. MR Safe Eye. Research. Tracking. http://www.crsltd.com/. Systems[38] Blickzentrum[39]. ExpressEye. EyeTech Digital. ET OEM AEYE. http://www.blickzentrum.eu/exe.htm http://www.eyetechds.com/. Systems[40] LC. Eyegaze Edge. http://www.eyegaze.com/. Model MonCv3. http://www.metrovision.fr/. Technologies[41] Metrovision[42]. MonPackONE NAC Image. EMR. www.nacincproducts.com/. CS681. http://www.primelec.ch/. technology[43] Primelec[44]. Angle-Meter 由田新技[45]. i-Seizer. http://www.utechzone.com.tw/index.aspx. Seeing. faceLAB. http://www.seeingmachines.com/. Machines[46] 表 2-3. 眼動儀公司. 26.

(37) 第三章眼動儀系統架構. 本章將介紹眼動儀的系統架構包含硬體部分與軟體部分，硬體部分包含抓取眼球影像的攝影機、固定下巴的 Chin Rest，以及抓取實景影像的攝影機，軟體部分包含 Gaze Tracker、使用者介面的開發，以及眼動儀分析軟體。本研究目只要將我們軟體安裝在任何的電腦上，外接 USB 攝影機就可以使用所以具有攜帶性，由於以上的因素，我們可以開發出多台眼動儀提供學術上的各種研究，同一時間多人一起做實驗，大大的提高實驗的效率，在眼動儀操作頻率上，螢幕眼動儀頻率可達 180Hz，實景眼動儀影片每秒鐘為 30 個畫格，都具有相當不錯的特性。. 3.1 眼動儀系統架構以下是一般眼動儀的系統架構圖，無論是螢幕眼動儀或實景眼動儀都包含了三個部分【圖 3-1】，第一部分為硬體架構，第二部分為軟體架構，第三部分為資料分析，硬體部分包含抓取眼球畫面的攝影機、抓取實景影像的攝影機、 Chin Rest、電腦等；軟體部分有計算眼球位置和凝視點位置的 Gaze Tracker，配合實驗所設計的使用者介面，以及實景錄影的影片檔；最後是資料分析系統包含軟體所記錄下來的各種資料如凝視點的時間、座標、或是影片檔，透過資料分析軟體將資料轉換成熱區圖、掃視路徑圖等。. 硬體架構. 軟體架構. 圖 3-1. 眼動儀系統架構圖. 27. 資料分析.

(38) 3.2 固定式螢幕眼動儀固定式螢幕眼動儀需要將下巴固定在 Chin Rest 上，讓頭部固定以確保準確度，所以在使用的過程中不可以任意的移動頭部，如果晃動到頭部會造成準確度下降，需要重新校正，固定式螢幕眼動儀的優點是在頭部不移動的情況下準確度高，所以可以用來做一些需要高準確度的實驗，如觀看一些圖片或閱讀方面。. 固定式螢幕眼動儀硬體架構 A. PlayStation 3 Eye (PS3 Eye)【圖 3-2】攝影機[47] 此攝影機目的是要抓取眼球的影像，需要安裝 CL-Eye-Driver 進行驅動，會選用此攝影機的原因為價格便宜約(新台幣 990 元)、重量輕(約 173 g)、體積小且效能高，影像擷取為 640*480 pixel，解析度在 60 fps 時為 648*480 畫格，在 120fps 時為 320*240 畫格，可以支援高解析度的動態影像，對於眼球移動的擷取有相當大的幫助。由於本研究所設計的眼動儀需要紅外線 LED，此攝影機鏡頭有紅外線濾鏡功能，會阻擋紅外線光的反射，所以必須針對攝影機進行拆解，並加以改裝，以下會做詳細的介紹。. 圖 3-2. PlayStation 3 Eye(取自[47]). 28.

(39) B. 拆解 PS3 Eye【圖 3-3】將攝影機進行拆解，將外部的塑膠板拔除，我們只需要利用內部的電路板，如此也可以減輕重量。. 圖 3-3. 拆解 PlayStation 3 Eye. C. 更換鏡頭及鏡頭座【圖 3-4】為了讓我們發射的紅外線經過眼球的反射可以順利進入 CCD 影像，我們將原來的 PS3 Eye 攝影鏡頭換成監視器鏡頭，焦距為 3.6mm，並固定於合適的鏡頭座上。. 圖 3-4. 鏡頭座及監視器鏡頭 29.

(40) D. 外接紅外線電路電磁波譜【圖 3-5】[48]可分為珈瑪射線(Gamma Ray) 為天文、醫療用；X 射線(X-Ray)能穿過物質，作為透視物體的功能；紫外線(Ultraviolet)來源主要來自太陽，會讓人的皮膚產生灼熱感；可見光(Visible)是一般人眼所看得到的所有光線，如燈泡所發出來的光；紅外線(Infared)可分為遠紅外線、中紅外線、近紅外線，紅外線可在夜間使用，利用皮膚或物體所產生的熱作為夜間偵測，例如夜視鏡；微波(Microwave)可用在無線通訊；無線電波(Radio)用在調頻，如電視、收音機、手機等。. NIR:75~3nm MIR:3~50nm FIR:50nm~1mm. 圖 3-5. 電磁波譜. 我們利用外接兩顆波長為 850nm 的紅外線發光二極體(Infrared-LED，IR-LED) 固定於鏡頭旁邊作為補償光源，紅外線波長介於可見光與微波，波長範圍在 760nm 到 1mm 之間，我們所用的是近紅外線，屬於不可見光，目的是為了讓眼球的影像更清楚，增加影像的解析度，得到我們想要的瞳孔黑色部分，【圖 3-6】有無紅外線補償比較，在有紅外線補償的情況下，可以很準確的抓取瞳孔中心點，. 30.

(41) 此方法屬於暗瞳法(dark pupil)，增加影像處理的速度，又不至於造成眼睛有太大的傷害。. (a). (b). 圖 3-6. 有無紅外線補償比較(a)有紅外線補償 (b)無紅外線補償. 為了提供 IR-LED 電源，我們設計一個電路並從攝影機接出電源【圖 37】，此電源為電腦 USB 所提供的 5V 電壓，二極體電壓為 1.8V，電流為 64mA，可以穩定的提供電壓讓 IR-LED 維持一定的亮度。. 50Ω. 5V. 1.8V. 圖 3-7. IR-LED 電路. 31.

(42) E. 固定鏡頭支架【圖 3-8】我們利用具有彈性且可以容易調整方向的支架並將攝影機鏡頭固定在上面，可以依據每個人眼睛的特色的不同調整到攝影機所能抓取眼球影像的最佳位置，也可以減少戴眼鏡所帶來的鏡框干擾。攝影機. 金屬支架. 圖 3-8. 固定鏡頭支架. F. Chin Rest【圖 3-9】 Chin Rest 用來固定下巴之用途，我們利用 AutoCAD 繪圖，設計出理想的模型之後，利用 CNC(computer numerical control)洗床，將模具製造出來後並組裝，只需要將其支架鎖在桌上便可以使用，Chin Rest 可以依據每個人的高度不同進行下巴支架的調整，使用上相當穩固，Chin Rest 目的是在操作眼動儀時可以固定頭部，不會任意移動，提高在實驗室的準確度，接著將固定鏡頭支架夾在 Chin Rest 的任一側就可以完成固定式螢幕眼動儀的硬體架構。. 32.

(43) (a) 正面圖. (b) 側面圖. (c) 裝上攝影機. 圖 3-9. Chin Rest. 固定式螢幕眼動儀軟體架構【圖 3-10】在軟體方面，我們分成兩個部分，第一部分為 OpenSource 軟體 Gaze Tracker 【圖 3-11】，利用 OpenCV(Open Source Computer Vision Library)，電腦視覺資料庫，做影像處理。將攝影機所讀取到的影像，做雜訊去除再進行瞳孔偵測，在這邊我們是用固定下巴且單眼偵測，利用 9 點校正的方式讓使用者觀看螢幕上面的白點，計算眼球在電腦螢幕上各點的凝視點(Gaze Points)位置，作為之後的參考點位置。第二部分是利用 Microsoft C#作為開發環境進行使用者介面的設計，取得第一部分的 API 及各種眼球的資訊，如座標、時間等，將這兩部分作結合，此部分針對不同的應用進行調整，開發出不同的實驗介面和人機介面的遊戲。以下是軟體部分的流程圖，之後會針對每個步驟做詳細的介紹。. 33.

(44) Video. Import Material. Image Processing. Start Experiment User Interface. Gaze Tracker no. Adjust Threshold. Confirm yes. Gaze Point Calibration. Data Out. 圖 3-10. 系統流程圖. 使用者介面應用影像 GUI. 影像處理校正眼動計算. 瞳孔偵測眼動. 校正取得凝視點座標圖 3-11. Gaze Tracker. 34. 取得眼動資料.

(45) A. 影像讀取利用 PS3 Eye 攝影機外加兩顆紅外線光源照射到眼球周圍，由於眼球黑色部分反射率較低，會將大部分的紅外線吸收，白色部分容易被反射，利用對比差異，可以讓眼球影像更清楚減少雜訊的干擾，加快處理速度。 B. 影像處理將攝影機所讀取的影像做雜訊的處理，移除不必要的反射點，接著利用門檻值(threshold value)將灰階影像設定一個臨界值，如果灰階影像值(0~255)大於設定的臨界值時就設定為白色，小於臨界值時就設定為黑色，找到瞳孔和虹膜的輪廓並計算瞳孔中心點，再利用 RANSAC 找出最佳輪廓點，畫出最佳橢圓形狀。 255 if f ( x, y )  threshold , g ( x, y )   otherwise. 0. (3.1). f 為原始影像，g 為結果影像，threshold 為門檻值. 橢圓方程式:. ax2  2bx  cy 2  2dx  2 fy  g  0. (3.2). ( x0 , y0 )為橢圓中心點座標:. x0 . cd  bf b2  ac. y0 . af  bd b2  ac. (3.3). 軸長半徑: a =. 2  af 2  cd 2  gb 2  2bdf  acg . b. 2.  ac   . a  c. 2.  4b 2   a  c   . 35. (3.4).

(46) b=. 2  af 2  cd 2  gb 2  2bdf  acg . b. 2.  ac    . a  c. 2. (3.5).  4b 2   a  c   . 較長的軸設定為長軸半徑，較短的軸設定為短軸半徑. 接著利用 RANSAC 法，隨機選取 8 個點做為內群，並且建立內群模型，並利用迭代的方式，找出適合內群的點，迭代的最大次數設為 15，迭代完後內群數量最多的那次，即為我們要的解。 C. 調整門檻值調整適當的門檻值，如果門檻值太低，會抓不到瞳孔位置【圖 3-12(a)】；門檻值太高，會造成抓取瞳孔的十字偏移【圖 3-12(c)】；讓藍色十字出現在瞳孔中心點位置【圖 3-12(b)】，確保眼球在轉動時還可以正確抓取瞳孔中心點位置，在校正時才不會因為眼球轉動而造成精確度降低。. (a). (b). (c). 圖 3-12. 調整適當門檻值. D. 校正利用二次多項式將瞳孔點 Pg，座標為(Xg ,Yg)投射到螢幕的校正點座標 (Xs ,Ys)，如【圖 3-13】所示。其中瞳孔座標二次多項式為 X s  ax 0  ax1 X g  ax 2Yg  ax 3 X gYg  ax 4 X g2  ax 5Yg2 Ys  a y 0  a y1 X g  a y 2Yg  a y 3 X gYg  a y 4 X g2  a y 5Yg2. 36. (3.6).

(47) (Xs ,Ys). (Xg ,Yg). 圖 3-13. 固定式螢幕眼動儀校正示意圖. 將九個點( X s1 , Ys1 ) ~ ( X s9 , Ys 9 )寫成矩陣 A， A  R96 ， ax 0 ~ ax 5 和 a y 0 ~ a y 5 寫成向量 x ，投影到螢幕上座標為( X s1 , Ys1 ) ~ ( X s9 , Ys 9 )寫成向量 b ，將以上的線性方程式寫成 Ax  b ，得到 X s 為 1 X g1  1 X g 2   1 X g 9. Yg1 Yg 2. X g1Yg1 X g 2Yg 2. X g21 X g22. Yg 9. X g 9Yg 9. X g29. Yg1 Yg 2. X g1Yg1 X g 2Yg 2. X g21 X g22. Yg 9. X g 9Yg 9. X g29. Yg21   ax 0   X s1   Yg22   ax1   X s 2            Yg29   ax 5   X s 9 . (3.7). Yg21   ax 0   Ys1   Yg22   ax1  Ys 2           Yg29   ax 5  Ys 9 . (3.8). 得到 Ys 為 1 X g1  1 X g 2   1 X g 9. 為了得到最小的誤差係數，在此利用最小平方法(least square)求解最佳的參數 x 使得 Ax  b 為最小，在這邊利用奇異值分解法(SVD)[49]對矩陣 A 進行分解，計算最小平方差，將矩陣 A 寫成: 37.

(48) A  V U T ,U T  U 1,V T =V -1. (3.9). 將 Ax  b 寫成: Ax  b  V U T x  b  U T x  V T b. (3.10).  為奇異值 1 , 2 ,  r ，所構成之對角矩陣，奇異值個數為 rank(A)。 1 0 0  2    0 0   0 0. 將以上式子整理完得到 x  U  應的參數 y ，求得 ax 0. 0 0  0  0   0. 0 0. r 0 1. (3.11). V T b ，接著將 Ys 做一樣的分解，得到相對. ~ ax5 和 ay 0 ~ a y 5 就可以得到最小平方解，並將瞳孔中. 心點的位置投射到電腦螢幕的座標。. E. 匯入實驗材料根據每次使用的需求，將想要觀看或實驗的材料以圖片的型式匯入使用者介面中，讓受測者進行觀看。 F. 進行實驗實驗時將下巴靠在 Chin Rest 上進行頭部固定的動作，使用者可以根據自己觀看的速度進行換題的動作，【圖 3-14】紅色圓圈就是使用者所觀看圖片的位置，在這個過程中頭部不能移動，以免影響準確度，如果因為外在因素造成凝視點偏移時，就進行下一步驟。 38.

(49) 圖 3-14. 使用者介面. G. 確認凝視點是否偏移在使用過程中螢幕會出現紅色「十」符號【圖 3-15】，使用者可以凝視「十」，確定凝視點是否有偏移的情形，如果發現凝視點偏移時，可以重新校正以確保準確度。. 圖 3-15. 重新校正畫面. H. 結果螢幕眼動儀輸出結果為文件檔的型式，出來的格式我們設定為(ms,x,y)，其中第一個座標為使用者觀看某個座標的時間，單位為毫秒，第二個數字是螢幕上的 x 座標，第三個數字為螢幕上的 y 座標，例如(6,372,221)，表示在(372,221) 這個點凝視的時間為 6 毫秒，【圖 3-16】為電腦螢幕座標定義。 39.

(50) (0,0). (1366,768). 圖 3-16. 電腦螢幕座標. 3.3 實景眼動儀實景眼動儀的是透過原本螢幕眼動儀的架構，利用一個 PS3 攝影機和紅外線偵測眼睛的凝視點位置，外加一個實景攝影機作為錄影之用途，特點是可以戴著眼動儀在頭上到處觀看，不需要固定在電腦螢幕前方，並且將觀看的影像透過實景攝影機錄影成 AVI 影片的型式，並透過分析軟體進行分析。. 3.3.1. 實景眼動儀硬體架構. A. 雙攝影機利用前面所介紹螢幕眼動儀的架構，PS3 攝影機加上兩顆 IR-LED【圖 317】，目的是為了偵測眼睛的凝視點位置，外加一個實景攝影機，在這裡我們利用 Logitech Webcam【圖 3-18】，此攝影機是為了實景影像的錄影。. 圖 3-17. 螢幕眼動儀攝影機與紅外線 40.

(51) 圖 3-18. Logtech Webcam. B. 頭帶將兩個攝影機固定在頭帶上面，目的是將兩個攝影機相對位置固定【圖 319】，並且可以方便的戴在頭上【圖 3-20】，在使用時不會因為頭轉動時滑動而影響準確度。. 圖 3-19. 固定攝影機. 圖 3-20. 使用方式 41.

(52) 3.3.2. 實景眼動儀軟體架構【圖 3-21】. 在軟體方面，我們分成兩個部分，第一部分為 OpenSource 軟體 Gaze Tracker，利用 OpenCV(Open Source Computer Vision Library)[50]，電腦視覺資料庫，做影像處理。將攝影機所讀取到的影像，做雜訊去除再進行瞳孔偵測，利用 9 點校正的方式讓使用者觀看螢幕上面的白點，計算眼球在電腦螢幕上各點的凝視點(Gaze Points)位置，作為之後的參考點位置。第二部分是利用 Microsoft C#作為開發環境進行使用者介面的設計，取得第一部分的 API 及各種眼球的資訊，如時間與座標，透過實景的 Glyph Code[51]做單點校正，並在我們觀看環境的周圍貼上不同的 Glyph Code 可以方便定義 ROI 區域，最後錄製實景影像成 AVI 的型式，作為之後分析的資料，【圖 3-21】為軟體部分的流程圖。. Video. 啟動實景攝影機. 影像處理. 取得API. Glyph Code單點校正. Gaze Tracker 調整門檻值. 紀錄眼動資料. 螢幕九點校正資料輸出圖 3-21. 實景眼動儀流程圖. 42. User Interface.