• 沒有找到結果。

適用於可見光環境之高速眼動儀系統設計

N/A
N/A
Protected

Academic year: 2021

Share "適用於可見光環境之高速眼動儀系統設計"

Copied!
101
0
0

加載中.... (立即查看全文)

全文

(1)國立臺灣師範大學應用電子科技學系 碩士論文. 指導教授:高文忠 博士. 適用於可見光環境之高速眼動儀系統設計 Design of High Speed Gaze Tracking System Under Visible Light Condition. 研究生:張維德 撰 中 華 民 國 一零二年八月 1.

(2) 適用於可見光環境之高速眼動儀系統設計 學生 : 張維德. 指導教授 : 高文忠 博士 中文摘要. 國立臺灣師範大學應用電子科技學系碩士班. 摘. 要. 多數的眼球追蹤系統依靠較強的紅外光(IR)增強亮度,以達到不錯的準確度, 但對使用者來說會略感不適。在本篇論文中,我們提出一可運行於一般光源的高 速眼動儀系統,能夠克服光源不足以及當取樣率提升,所導致的光源閃爍問題。. 本論文提出的系統包含四大部分,如何在影像中決定適當的搜尋範圍,如何 透過特徵辨識找出受試者可能注視的方向,如何在搜尋範圍內找出合適的特徵並 決定凝視點,最後計算如何由影像中的凝視點映射到螢幕上的凝視點,以及本文 所提出的系統準確度計算。在 240 fps 的取樣率下,能夠達到水平方向 0.76o 與垂 直方向 1.43o 的準確度。. 關鍵字:可見光、眼動儀、高速. I.

(3) 英文摘要. Design of High Speed Gaze Tracking System Under Visible Light Condition. Student:Wei-Te Chang. Advisor:Dr. Wen-Chung Kao 英文摘要. Institute of Applied Electronics Technology National Taiwan Normal University. ABSTRACT. Most gaze tacking system relies on strong IR light to enhance illumination and fulfill high accurate rate, thus this results in poor user experience. In this thesis, we present a high speed gaze tracking system which is operated in a normal lighting condition and overcome the insufficient of lightness and flicker coursed by high speed capture rate.. The proposed system contains four parts: how to decide the search space in image, how to roughly get the gaze direction by pattern recognition technique, how to extract useful features under known search space, how to calculate the mapping function from image coordinate to screen coordinate and finally, how to get the accurate rate of this system. Under 240 frames/s sample rate, this system can achieve the accuracy of 0.76o and 1.43o for the horizontal and vertical coordinates of the detected gaze center, respectively.. Keywords: visible light, gaze tracking, high speed II.

(4) 致. 謝. 首先要感謝我的指導教授,同時也是師大電子所的所長兼應用電子科技學系 系主任高文忠教授,在系務繁忙之餘,仍願意空出時間與我討論學術上的研究與 做人處事的道理,讓我獲益良多,高教授對學生非常用心,我曾經搭過老師的車 前往商討產學合作事宜,路上老師不時與我分享他的親身經歷與處事態度,讓我 印象深刻,也從中學到許多出社會應有的做事態度與思維,高教授嚴謹的專業態 度與清晰的脈絡思維,都成為我的最佳的典範。. 今天能夠順利畢業,需要感謝的人非常多,沒有這些人的幫忙,我沒有辦法 達到今日的成就。我要感謝我的父母與我的女朋友,在研究所沒日沒夜的生活中, 給我許多的關懷與建議,特別是我的女朋友乃文,我的大半時間都待在學校,沒 有時間陪妳,謝謝妳對我的包容,謝謝妳陪我度過許多心情低落的時刻,讓我可 以勇敢的面對自己的負面情緒,並帶著笑容走出來。感謝系辦的助教鄭琇文、蘇 婷節,不論是採買、報帳或是協助老師處理行政業務,沒有妳們的幫忙,我無法 在短時間內閱讀完那些繁瑣的規範與條文,實驗室的運作更無法如此順利,感謝 系辦的技術專員兼大學長葉嘉安,感謝他在研究上、生活上與待人處世上給我的 意見與教誨,系統晶片實驗室今日的豐功偉業,嘉安學長功不可沒,沒有他在過 去播下的種子,今日無法長出這棵大樹讓實驗室的成員享有豐碩的果實。. 在研究所的日子裡,我有幸接觸到許多優秀且願意與我分享的老師,很感謝 有您們的幫忙與教誨,讓我對未來的規劃以及做事的態度有更加全面與穩重的想 法。感謝林政宏老師,不論是在作業系統、程式設計還是資料結構上,都讓我獲 益匪淺,也感謝老師與我分享許多的生活點滴,讓我更加穩重。感謝許陳鑑老師, 在出國期間對我的照顧與分享許多做事經驗,讓我做事更加顧全大局,感謝王嘉 斌老師在我面試研發替代役的時候幫我分析落點,並給予我鼓勵與協助,感謝蘇 III.

(5) 崇彥老師,在我當班代的時候給我許多意見與指導,感謝劉一宇老師,在我參加 嵌入式系統研習時,給我許多的邏輯思考與創新的思維,感謝李佩君老師,在前 往大陸比賽時的照顧,以及前往歐洲參加研討會的時候與我分享許多待人處事的 道理,當然還有口試時的高抬貴手,感謝蔡政沛學長、后希廷學長、顏旭男老師、 莊晉東老師與盧明智老師,在國外與我分享您們的自身經驗與教導我如何處理團 體中的大小事,讓我獲益良多,感謝一路走來教導過維德的老師,沒有您們的幫 忙,維德在研究所的日子不會如此充實。. 當我踏入這個大家庭,系統晶片實驗室,感謝許多學長對我的幫助與建議, 感謝黃志祥、劉人瑞、楊岳穎、朱明毅學長,在我仍是專題生的時候,於學業上 的幫助與告訴我與人相處的道理,讓我在實驗室能與學弟們和樂融融的互動,感 謝黃湘婷與劉奕珣學姊,在專業上的指導與討論,透過她們的幫忙讓我遇到的問 題可以迎刃而解,感謝 VIP 實驗室的陳俊廷、范修源、張明凱、游重賢學長,在 我感到研究無助時,能夠提供許多不一樣的思考方法,順利解決問題,感謝林育 正學長對於採購以及一些行政業務的幫忙,感謝林翰江學長在於研究上與口條上 的諄諄教誨,感謝實驗室的同學黃紹綱、王泓淳與劉書呈,沒有你們的互相協助, 實驗室的風氣與運作不會如此融洽,感謝從大學就一起就讀師大的好朋友楊誠愷, 能夠一起討論實驗室上的行政業務,以及在我面對一些選擇問題時給我許多寶貴 的意見與想法,感謝鍾懿威與張華恩,也是從大學就一起讀師大,讓我們能夠一 起分享與面對研究所的生活與學業,感謝以前一起做專題的夥伴吳冠範與施易良, 即使大家分散在不同的學校,仍能分享許多重要的訊息與資訊,感謝 100 級的各 位,在我當班代的時候非常配合我,沒有給我太多的難題,最後大家一起和樂融 融的步出畢業的大門。. 在實驗室的日子,感謝許多學弟妹的幫忙,讓實驗室的氣氛如此融洽,感謝 學弟昇儒,在眼動儀系統上的人機介面設計以及數據分析,承接實驗室對外廠商 的聯絡事宜,讓實驗室在今年六月有新的面貌,感謝學弟建輝,一手接下實驗室 的報帳、設備與電子紙的相關業務,雖然你偶爾會抱怨事情很多沒時間做研究, IV.

(6) 但是大家都看得出來這些事情對你來說就只是一塊蛋糕,再來我要感謝張喻涵與 杜昱璇,很抱歉耽誤妳們跟男朋友約會的時間,我總是把學弟在六日叫來學校做 研究,或是平常在學校留很晚討論事情,讓他們無法在晚上過去陪妳們,還好在 我畢業的時候妳們兩對的關係都很穩定,這樣我就放心了。感謝學弟一成,在美 國時,親戚的招待,還有你跟建輝,在我們一起去大陸比賽的互相幫助,感謝學 弟妹百成、英浩、星羽、詩堯、大洲與建臻,在實驗室幫忙許多事情與整理環境, 感謝學弟重淯幫實驗室規劃新的網路架構,感謝在研究所幫過我的許多同學與朋 友,沒有你們,我在研究所的日子不會有這麼多的回憶。 張維德 謹誌 於台師大系統晶片實驗室 2013 年 7 月 31 日. V.

(7) 目 目. 錄. 錄. 中文摘要 ..................................................................................................................................................................I 英文摘要 ................................................................................................................................................................ II 致. 謝 .............................................................................................................................................................. III. 目. 錄 ...............................................................................................................................................................VI. 圖 目 錄 ............................................................................................................................................................VIII 表 目 錄 ...............................................................................................................................................................XI 第一章. 緒論 ..................................................................................................................................................... 1. 1. 1. 研究動機與背景 .................................................................................................................................. 1. 1. 2. 眼動儀相關研究概述 .......................................................................................................................... 3. 1. 3. 現有可見光眼動儀系統問題描述與本文提出的系統功能概述....................................................... 5. 1. 4. 本文架構 .............................................................................................................................................. 6. 第二章 2. 1. 眼動儀相關研究與探討 ..................................................................................................................... 7 非侵入式眼動儀介紹 .......................................................................................................................... 7. 2. 1. 1. 紅外光眼動儀系統介紹............................................................................................................. 7. 2. 1. 2. 可見光眼動儀系統介紹............................................................................................................. 9. 2. 2. 現有可見光眼動儀介紹 ...................................................................................................................... 9. 2. 3. 本篇提出的眼動儀系統架構 ............................................................................................................ 13. 第三章. 高速眼動儀系統架構 ....................................................................................................................... 14. 3. 1. 系統架構圖 ........................................................................................................................................ 14. 3. 2. 系統流程設計理念 ............................................................................................................................ 15. 3.2.1. 對比增強演算法比較 : 色調重現與直方圖等化演算法 .......................................................... 16. 3.2.2. Starburst Algorithm 介紹與存在問題 ......................................................................................... 19. 3.2.3. 霍夫圓搭配最小平方法概念介紹 ............................................................................................... 23. 第四章 4. 1. 高速眼動儀演算法流程 ................................................................................................................... 26 定位眼睛區域 .................................................................................................................................... 26. 4. 1. 1. 影像對比增強 .......................................................................................................................... 26. 4. 1. 2. 定位眼睛可能範圍 .................................................................................................................. 32. 4. 1. 3. 膚色偵測判別膚色與非膚色特徵........................................................................................... 33. 4. 1. 4. 重建眼睛範圍 .......................................................................................................................... 35. 4. 2. 估計眼睛位置 .................................................................................................................................... 41 VI.

(8) 4. 2. 1. 閉眼影像偵測 .......................................................................................................................... 41. 4. 2. 2. 眼睛局部特徵增強 .................................................................................................................. 42. 4. 2. 3. 眼睛特徵抽取 – DCT .............................................................................................................. 43. 4. 2. 4. 眼睛特徵訓練與預測 .............................................................................................................. 44. 4. 3. 定位虹膜中心 .................................................................................................................................... 45. 4. 3. 1. 眼睛反光點去除 ...................................................................................................................... 45. 4. 3. 2. 定位可能的虹膜中心 .............................................................................................................. 48. 4. 3. 3. 虹膜特徵抽取 .......................................................................................................................... 48. 4. 3. 4. 求得最適虹膜的圓 .................................................................................................................. 52. 4. 4. 凝視點計算與校正 ............................................................................................................................ 55. 4. 4. 1. 分離各群虹膜中心點 .............................................................................................................. 55. 4. 4. 2. 虹膜中心點篩選 ...................................................................................................................... 56. 4. 4. 3. 凝視點座標轉換參數計算....................................................................................................... 56. 4. 4. 4. 取得眼睛凝視點 ...................................................................................................................... 57. 第五章. 實驗結果 ........................................................................................................................................... 58. 5. 1. 實驗環境介紹 .................................................................................................................................... 58. 5. 2. 高速眼動儀模組分析與測試 ............................................................................................................ 59. 5. 3. 受試者實驗結果 ................................................................................................................................ 68. 第六章. 結論與未來展望 ............................................................................................................................... 77. 6. 1. 結論 .................................................................................................................................................... 77. 6. 2. 未來展望 ............................................................................................................................................ 78. 參考文獻 ............................................................................................................................................................... 79 自傳 ....................................................................................................................................................................... 85. VII.

(9) 圖 目 錄 圖 2-1.. 眼睛構造圖 .......................................................................................................................................... 8. 圖 2-2.. 亮瞳 ...................................................................................................................................................... 8. 圖 2-3.. 暗瞳 ...................................................................................................................................................... 8. 圖 2-4.. EYELINK1000 實驗環境 ................................................................................................................... 8. 圖 2-5.. EYELINK1000 紅外光裝置 ............................................................................................................... 8. 圖 2-6.. 大型反光影像 1 ................................................................................................................................... 9. 圖 2-7.. 大型反光影像 2 ................................................................................................................................... 9. 圖 2-8.. KUO 提出的可見光眼球追蹤流程................................................................................................... 10. 圖 2-9.. CUONG 提出的凝視點偵測流程 .................................................................................................... 11. 圖 2-10.. CUONG 的論文準確度判別依據 ..................................................................................................... 12. 圖 2-11.. JOSE SIGUT 提出的可見光虹膜追蹤處理流程 ............................................................................. 12. 圖 3-1. 本文所提出的高速眼動儀系統架構圖 ............................................................................................ 14. 圖 3-2. 不同取樣頻率在日光燈下的影響 .................................................................................................... 15. 圖 3-3. 對比增強演算法比較 ........................................................................................................................ 18. 圖 3-4. 計算虹膜中心演算法比較 ................................................................................................................ 25. 圖 4-1. 影像對比增強流程圖 ........................................................................................................................ 27. 圖 4-2. 色調映射流程圖 ................................................................................................................................ 27. 圖 4-3. 對比增強比較圖 ................................................................................................................................ 31. 圖 4-4. HAAR 矩形特徵............................................................................................................................... 32. 圖 4-5. HAAR 特徵偵測眼睛範圍 ............................................................................................................... 32. 圖 4-6. 理想的眼睛範圍 ................................................................................................................................ 32. 圖 4-7. 重建眼睛範圍流程 ............................................................................................................................ 36. 圖 4-8. 初始矩形範圍 .................................................................................................................................... 37. 圖 4-9. 矩形上的各條 LINE 示意圖 ............................................................................................................ 38. 圖 4-10. 重疊膚色影像 .................................................................................................................................... 38. 圖 4-11. 檢查與移動後的矩形四邊 ................................................................................................................ 39 VIII.

(10) 圖 4-12. 重建後的矩形 I.................................................................................................................................. 39. 圖 4-13. 檢查與移動矩形的邊 ........................................................................................................................ 40. 圖 4-14. 重建後的矩形 II ................................................................................................................................ 40. 圖 4-15. 矩形範圍太小 .................................................................................................................................... 40. 圖 4-16. 僅更新矩形高度,保持寬度 ............................................................................................................ 40. 圖 4-17. 雙邊可用特徵 .................................................................................................................................... 41. 圖 4-18. 左邊可用特徵 .................................................................................................................................... 41. 圖 4-19. 右邊可用特徵 .................................................................................................................................... 41. 圖 4-20. 無可用特徵 ........................................................................................................................................ 41. 圖 4-21. 閉眼偵測虛擬程式碼 ........................................................................................................................ 42. 圖 4-22. 局部增強示意圖 ................................................................................................................................ 43. 圖 4-23. DCT 轉換示意圖 ............................................................................................................................... 44. 圖 4-24. SVM 流程圖 ...................................................................................................................................... 44. 圖 4-25. OAO 流程圖 ...................................................................................................................................... 45. 圖 4-26. 去除反光點流程 ................................................................................................................................ 46. 圖 4-27. 去除反光點各流程中間圖 ................................................................................................................ 46. 圖 4-28. 一條射線上各個像素的亮度值 ........................................................................................................ 50. 圖 4-29. 一條射線上各個像素的亮度變化值 ................................................................................................ 50. 圖 4-30. 虹膜特徵點 ........................................................................................................................................ 54. 圖 4-31. 累計對照表 ........................................................................................................................................ 54. 圖 4-32. 對照表直方圖等化結果 .................................................................................................................... 54. 圖 4-33. 9 點校正圖像 ..................................................................................................................................... 55. 圖 4-34. 受試者凝視狀態 ................................................................................................................................ 55. 圖 4-35. 受試者、螢幕和相機間的相對關係 ................................................................................................ 57. 圖 5-1. 實驗環境示意圖 ................................................................................................................................ 58. 圖 5-2. CASIO ZR100 .................................................................................................................................... 59. 圖 5-3. 下巴支撐架 ........................................................................................................................................ 59. 圖 5-4. 系統架構圖 ........................................................................................................................................ 59. 圖 5-5. 眼球移動至內眼角影像 .................................................................................................................... 61 IX.

(11) 圖 5-6. 搜尋範圍比較圖 ................................................................................................................................ 62. 圖 5-7. 亮度影像 ............................................................................................................................................ 64. 圖 5-8. CANNY 邊緣特徵 ............................................................................................................................ 64. 圖 5-9. SOBEL 邊緣特徵 ............................................................................................................................. 64. 圖 5-10. 受試者測試狀況 ................................................................................................................................ 68. 圖 5-11. 9 點校正流程 ..................................................................................................................................... 69. 圖 5-12. 校正中間圖 I...................................................................................................................................... 69. 圖 5-13. 校正中間圖 II .................................................................................................................................... 69. 圖 5-14. 誤差計算示意圖 I.............................................................................................................................. 71. 圖 5-15. 誤差計算示意圖 II ............................................................................................................................ 72. 圖 5-16. 受試者水平誤差 ................................................................................................................................ 73. 圖 5-17. 受試者垂直誤差 ................................................................................................................................ 73. 圖 5-18. 校正點水平標準差 ............................................................................................................................ 76. 圖 5-19. 校正點垂直標準差 ............................................................................................................................ 76. X.

(12) 表 目 錄 表 3-1. STARBURST 演算法虛擬碼 ........................................................................................................... 21. 表 4-1. 膚色演算法比較表 ............................................................................................................................ 33. 表 4-2. 240 FPS 與 30 FPS 錄製圖像之各種膚色偵測比較 ........................................................................ 34. 表 4-3. 240 FPS 取樣率下,重疊膚色示意圖............................................................................................. 35. 表 4-4. 頭髮或眼鏡邊框,造成非膚色區域斷錯誤 .................................................................................... 36. 表 4-5. 重建眼睛範圍流程與虛擬程式碼 .................................................................................................... 36. 表 4-6. 邊緣特徵篩選 .................................................................................................................................... 49. 表 4-7. 梯度特徵篩選 .................................................................................................................................... 49. 表 4-8. 擬合圓過程 ........................................................................................................................................ 55. 表 5-1. 搜尋範圍比較圖 ................................................................................................................................ 60. 表 5-2. 搜尋範圍效能比較表 ........................................................................................................................ 60. 表 5-3. 去除反光點比較 ................................................................................................................................ 63. 表 5-4. 不同特徵計算虹膜中心比較 ............................................................................................................ 65. 表 5-5. 不同計算虹膜中心演算法比較 ........................................................................................................ 66. 表 5-6. 受試者眼球移動軌跡 ........................................................................................................................ 70. 表 5-7. 水平方向標準差 ................................................................................................................................ 74. 表 5-8. 垂直方向標準差 ................................................................................................................................ 75. 表 6-1. 相關眼動儀系統比較 ........................................................................................................................ 78. XI.

(13) 第一章. 緒論. 1. 1 研究動機與背景 古人云: 「眼睛為靈魂之窗。」 ,孟子曰: 「觀其眸子,人焉廋哉。」 ,前人的 智慧讓我們了解眼睛對人的重要,而眼動儀,便是一種追蹤、紀錄眼球移動軌跡 的系統,也有人稱它眼球追蹤系統。. 時至今日,眼動儀已不再是一個新的名詞,由於科技的快速進步讓眼球追蹤 的相關應用接踵而至,如心理學研究者,在與人交談的過程中,觀察受試者的眼 睛移動狀況,判定他的情緒起伏或對談內容的真實性;教育研究者,藉由觀察記 錄學生在閱讀時對特定圖像的停留時間與眼球的移動軌跡,便可了解學生對哪些 文字擁有較高的注意力,是否在閱讀過程中容易受到圖像的影響,更可以分析成 績較優秀的學生與較排斥學習的學生之間的閱讀行為差異。語言教學者,可以透 過觀察學生在閱讀以母語寫作文章的眼球移動狀況,與閱讀非母語文章的眼球移 動狀況,找出學生對不同語言間的接受度,並適時的給予協助。各種產品設計師, 也可透過邀請消費者至擺設許多產品的房間,觀察與分析消費者在哪一項產品上 視線停留的時間較久,推算該產品對消費者的吸引力。. 目前已有幾家國際大廠投入眼動儀的研發與設計,如德國的 SMI (SensoMotoric Instruments)公司[1],成立於 1991 年,是全球第一間專門從事眼球 與視線軌跡追蹤的公司,他們的產品共分為 HED 型(頭戴式)、ETG 型(眼鏡式)、 RED 型(桌面式)、RED-M 型(小型桌面式)與 Hi-Speed 型(高取樣率式)共 5 種類型, 根據使用者目的不同,可以客製化選擇不同產品,並進行不同的研究。另一間是 瑞典的公司 Tobii[2],其成立於 2001 年,與 SMI 較大的不同在於 Tobii 積極將其 產品運用於醫療上,並將眼動儀運用於癱瘓或相關重症患者(如四肢無法動彈)的 1.

(14) 醫療輔具,透過這套工具的輔助與其特殊的使用者介面設計,讓患者透過眼睛的 各種動作,將心裡的想法與感受傳遞給醫生,是一項對社會非常有貢獻的發明。. SMI 與 Tobii 的先後成立,讓我們更加相信透過眼睛能夠傳遞許多訊息,然 而這兩家公司在產品的設計上有一個共同點:選擇紅外光做為光源。首先,紅外 光為非可見光,能夠避免環境光源的影響,因此不需要擔心錄製的影像中是否有 額外的光源出現(如窗戶或檯燈),再者紅外光屬於光譜上能量較低的光源,相較 於一般自然光源,長期照射受到的影響也較小,最後是將它作為眼動儀的輔助光 源,得到單通道影像(灰階影像),使各種處理相較於彩色影像迅速與便利,因此 紅外光是一個擁有先天優勢的光源。如果要得到眼球移動的更多資訊,可以透過 提高取樣率的方式進行,當取樣率的提升,將造成感測器的曝光時間縮短,必須 增加紅外光強度才能得到預期的效果,此時紅外光為非可見光的優點便成為一項 令人擔憂的議題,當照射在眼睛的紅外光強度增強,人們幾乎無法察覺這項變化, 如果光源是可見光源,當亮度提升,人們對亮度產生的反射作用能夠對眼睛進行 保護,雖然尚未有文獻提出高強度紅外光對人體造成的影響,而臨床實驗僅提到 長期高劑量照射之下,可能引發視網膜灼傷、角膜灼傷,更嚴重可能造成白內障, 而根據我使用 Tobii 進行 1000 fps 實驗時的感受,臉部會有輕微的溫熱感,因此 高取樣率的研究仍為許多受試者心中所擔心的一個問題。. 因此本論文希望能夠在一般正常光源下,設計一套高速眼動儀系統,使受試 者能夠排除對高量紅外光照射的健康疑慮,並設計與優化核心演算法,使其能夠 運行於一般消費型網路攝影機上且具有一定的準確度。. 2.

(15) 1. 2 眼動儀相關研究概述 最早的眼動儀在 1897 年被建造,是第一台有文獻記載的侵入式眼動儀系統。 根據文獻上的紀載,Huey,建造了一個類似隱形眼鏡的裝置,並在其中間挖一個 洞,讓光線可由該洞進入瞳孔,其餘部分與一鋁製指針相連接,讓眼球的移動與 指針的移動達到同步,藉此抓取眼球的移動軌跡[3][4],這樣的作法對受試者而言 非常不舒服,而且必須請受試者自行描述實驗過程中眼球的真實移動狀況與抓取 到的資料作比較,因此實驗結果與受試者的主觀意識相依性太高,結果較不客觀。 直到 1901 年,Dodge 與 Cline 首次提到利用外部光源照射在眼睛上,藉由紀錄由 瞳孔反射出的光線,得到眼球移動軌跡[5],其原理為瞳孔是一個讓光線進入的洞, 當照射方向固定,便能夠估算反射光的可能路徑,藉由記錄理想反射光與實際反 射光之間的誤差,就能得到眼球移動軌跡,當這項作法被提出,非侵入式的眼動 儀系統與研究方法逐漸成為研究眼球移動的主流。. 1935 年,由 George Buswell 建造第一台非侵入式眼動儀,其做法為朝受試 者的眼球照射一道光,再利用底片記錄眼球所反射的光點,用記錄到的連續光點 做為眼球的移動軌跡,雖然準確度並不高,卻是較客觀的資料。1948 年,Hartidge and Thompson 發明了第一台頭戴式眼動儀,使得受試者能夠在較自由的情況下接 受實驗,雖然各種不同的眼動儀相繼被開發,但造價昂貴以及安全上的疑慮導致 眼球追蹤的研究至 1980 年代才開始慢慢熱絡,其主要的原因在於,1980 年,Just 與 Carpenter 提出了一項理論,說明人們眼睛所注視的地方與大腦正在進行的處 理是同時的,所以我們能夠藉由觀察眼睛所注視的地方,得知受試者感興趣的地 方[6]。然而十九世紀末,眼科醫師 Louis Émile Javal 提出人類閱讀時是由跳視 (saccade)與凝視(fixation)所組成的行為模式,並發現眼球在快速「跳視」的過程 中難以察覺訊息,該現象又稱「跳視抑制」 (saccadic suppression) ,Just 提出的理 論與眼科醫師 Louis Émile Javal 的想法大相逕庭,因此在當時引發許多爭議[7], 3.

(16) 但也因為這篇論文,與當時的社會逐漸接受進行眼球追蹤研究的目的是為了幫助 殘障人士,使得眼球追蹤技術至 1980 年代之後才逐漸受到重視,以下將介紹幾 項重要的眼球追蹤技術:. 第一種是在 1935 年被提出的方法,並經過多次的改良,做法為朝受試者的 眼球照射一道光,再利用鏡子紀錄反光點,作為移動軌跡,這個做法在 1950 至 1970 年非常盛行,雖然在當時能夠達到不錯的準確度,對受試者而言卻非常不舒 服。. 第二種是「電磁線圈感應法」,其做法為請受試者將一個載有感應線圈的隱 形眼鏡戴在眼睛上,並施加磁場,利用眼球移動或轉動時所造成的磁場變化,產 生感應電動勢,紀錄感應電動勢的變化,判別眼睛的移動狀況,也有人稱作「鞏 膜搜尋線圈」(Scleral Search Coil),是當時最精準的眼動儀,但是在戴上隱形眼 鏡之前,必須先對眼睛角膜進行麻醉,屬於侵入式測量,因此較少人使用。. 第三種是「眼框電位測量法」(Electrooculography),其做法為將電極片放置 眼球肌肉附近,當眼球移動時,將產生電位差,記錄該電位變化,但是僅能觀察 眼球水平方向的移動,這個方法在 1970 年代被廣泛使用,但是電位訊號容易受 到皮膚分泌物或眼睛附近其他肌肉的干擾而出錯,雖然準確度不高,在當時卻是 最便宜的測量方式。. 第四種是「眼球影像分析法」 (Photo-Oculography or Video-Oculography) ,其 做法為使用紅外光源並投射至受試者的眼球表面,再使用一個紅外光攝影機擷取 眼球影像,最後經由電腦快速分析眼球的瞳孔形狀、虹膜邊界位置以推斷眼球的 凝視位置及移動方向。由於需要使用高量的紅外光進行補償,將產生對眼睛造成 傷害的疑慮,除此之外,受試者必須固定其頭部,讓受試者感到不自在。 4.

(17) 第 五 種 是 「 瞳 孔 與 角 膜 的 影 像 合 併 分 析 法 」( Video-Based Combined Pupil/Corneal Reflection),這個方法是第四種的改良,也是現在最受歡迎的方法 [8]-[11],它同時記錄及分析特定方向的紅外光在角膜上的反射點以及瞳孔中央位 置的差異,計算瞳孔的位置以及頭部的移動狀況,受試者便不需要固定頭部或將 攝影機戴在頭上,不過仍需要使用紅外光進行補償,依然有對眼睛造成傷害的可 能。. 由於科技的發展與進步,幾乎人人都有消費型相機或是網路攝影機,因此本 論文提出的方法是在一般自然光源下,使用數位相機錄製眼球移動影像再進行分 析與找出虹膜中心,再以其為凝視點,免除受試者對紅外光照射於眼睛所造成安 全上的疑慮,並達到相當的準確度。. 1. 3 現有可見光眼動儀系統問題描述與本文提出的系統功能概述 現有可見光眼動儀的最大功能在於能夠辨別使用者的視線方向,能夠判斷受 試者目前是注視前方,上方、下方、左方或右方,但仍沒有辦法透過眼球的移動 資訊,推算出受試者可能的凝視點是在螢幕的哪一個位置,更不用考慮將這些演 算法運用於高取樣率(如 120 fps 以上)的影像上,隨著科技的進步,許多相關的演 算法相繼被提出,但仍適用於紅外光影像上,雖然達到不錯的準確度,但與本系 統的訴求不同。. 因此我們將利用影像處理的做法,如增強對比演算法[34]-[38],膚色偵測演 算法[42][45],影像邊緣偵測演算法[24][39],各種最佳化演算法[50][55],與校正 演算法[27],建構一能夠運行於 240/480/1000 fps 等不同取樣率的可見光眼動儀, 最後將計算出的凝視點座標映射至螢幕上,達到平均誤差在 2o 以下的準確度。 5.

(18) 1. 4 本文架構 本論文中,第一章會闡述研究動機,其次會簡述眼動儀的發展緣由,最後針 對現有可見光眼動儀的已知問題與本文提出的系統功能概述。第二章中首先提到 非接觸式眼動儀的各項發展,其次對現有紅外光眼動儀以及可見光眼動儀系統架 構進行探討,最後簡述本文提出的系統流程以及搭配的演算法。第三章說明本文 的系統設計流程,包含系統架構、系統流程以及在幾個重要模組中選用特定演算 法的原因。第四章將對本系統架構中,所有模組的實作方式與設計理念進行詳細 的解說。第五章則說明實驗結果以及本文如何測量系統的準確度。第六章是結論 與未來展望。並在最後附上相關的參考資料。. 6.

(19) 第二章. 眼動儀相關研究與探討. 眼動儀的種類繁多,使用上可分為侵入式與非侵入式二類,差別在於受試者 進行實驗的同時,儀器是否與眼睛進行接觸,基於安全考量,本文提出的眼動儀 系統屬於非侵入式眼動儀,而非侵入式眼動儀又可細分為二類,一為必須使用紅 外光源才能進行實驗的紅外光眼動儀,另一為能夠運行於一般光源下的眼動儀。 文後將於 2.1 節,介紹二類非侵入式眼動儀,並於 2.2 節介紹現有的可見光眼動 儀系統架構,最後於 2.3 節,介紹本文提出的可見光眼動儀系統架構。. 2. 1 非侵入式眼動儀介紹 隨著科技的進步以及人們對人身安全與道德觀念的提升,非接觸式眼動儀已 慢慢的成為趨勢,藉由錄製眼球移動影像並進行分析、計算取得眼球位置,估算 受試者於測試環境的凝視點,並分析凝視點停留狀態以及移動軌跡,了解受試者 對測試條件的感興趣程度或心理狀態。市面上擁有這樣條件的眼動儀可以分為兩 類,一為紅外光眼動儀,另一為可見光眼動儀。. 2. 1. 1. 紅外光眼動儀系統介紹. 紅外光為非可見光,屬於頻譜中能量較低的光源,使用紅外光源的眼動儀其 最主要原因為避免環境中的諸多影響,諸如室內光源,窗戶或玻璃所造成的反光, 加上眼睛的特殊構造,光線由瞳孔進入眼球(圖 2-1),我們之所以能夠錄製出影像, 是因為有光照射至人臉,再由人臉反射至攝影機,紅外光源的影像也是如此,但 紅外光進入瞳孔後,可能產生 2 種結果,一為完全反射,另一為完全吸收(紅外光 無法反射出瞳孔或接收端無法捕捉紅外光反射訊號),使得錄製影像出現亮瞳 (bright pupil,圖 2-2)與暗瞳 (dark pupil,圖 2-3) 兩種現象,無論為哪一種,皆可 利用動態設定門檻值的方式,分離出瞳孔與非瞳孔區域,快速求得瞳孔中心,因 7.

(20) 此紅外光源擁有不受環境光源影響以及運算過程簡單的優點,而廣為大家使用。. 圖2-1.. 眼睛構造圖. 圖2-2.. 亮瞳. 圖2-3.. 暗瞳. 雖然有上述優點,但對配戴眼鏡的人,將使預測的準確度降低,誠如上述紅 外光影像的捕捉方法,當紅外光經過眼鏡,將因為介質的不同產生折射後才進入 眼睛,再經過眼球的反射後,紅外光將再次穿過眼鏡,再一次發生折射的狀況, 最後離開眼鏡,這 2 次的眼鏡折射,將造成系統誤判眼睛的瞳孔位置,因此現有 的紅外光眼動儀對戴眼鏡的使用者無法達到與未戴眼鏡的使用者相同的準確度, 另一問題為紅外光源的反光問題[12],雖然已有人提出解決方法,但為了得到更 精確的影像,從過去僅使用一個紅外光源(IR LED),增加至使用 5 個 IR LED 為 一組[13],或更多[14][15],以國立台灣師範大學,教育心理與輔導學系,眼動儀 實驗室所購買的 EyeLink1000 為例,如圖 2-4[59]與圖 2-5,該系統含有的 IR LED 數目超過 21 顆,再者這樣的紅外光眼動儀僅能於室內使用,如果使用頭戴式眼 動儀至戶外,瞳孔將受到日光的影響而縮小,一旦晃動,將使得影像品質下降, 導致準確度降低。. 圖2-4.. EyeLink1000 實驗環境. 圖2-5.. 8. EyeLink1000 紅外光裝置.

(21) 2. 1. 2. 可見光眼動儀系統介紹. 可見光眼動儀發展至今,尚未有人提出準確度如紅外光眼動儀的系統,原因 為環境光源對可見光影像的影響甚大,必須有足夠的光源,才能夠取得精確的影 像,而當影像的解析度提升,勢必將產生反光問題,依照過去的測試經驗,反光 影像有時不僅僅是一個點,更常以一片反光區域的方式出現(圖 2-6,圖 2-7),因 此這些問題也是目前較難以解決的。. 圖2-6.. 大型反光影像 1. 圖2-7.. 大型反光影像 2. 雖然可見光眼動儀有著容易受影響,可靠度低的缺點,卻有幾個非常重要的 優點,首先能夠避免大量的紅外光對眼球的照射,再者對於戴眼鏡的受試者,亦 能夠進行追蹤,[16][17]便提出可見光下的眼動儀系統,不過其準確度較低,而[18] 所建構的系統與本文提出的系統較相似,但其處理速度較慢,且需要一台 PTZ (pan-tilt-zoom)相機,並非一般大眾能夠隨手取得,雖然達到不錯的準確率,但與 紅外光眼動儀相比,仍略為遜色,以下將對與本文系統較接近的系統架構如 [16][17][18] 進行探討。. 2. 2 現有可見光眼動儀介紹 現有的可見光眼動儀系統[16][17]多為低速,並使用網路攝影機 Webcam 進行 實驗,其判別系統準確度的方法是判斷人眼的視線,看上、下、左或右的哪一個 方向,直到 2011 年的一篇論文[18],使用 PTZ 相機,進行眼動儀測試,以下將 對[16][17][18]共三篇論文進行詳細的介紹與分析。 9.

(22) Yung-Lung Kuo, Jiann-Shu Lee 與 Sho-Tsung Kao 共同於 2009 年發表一篇於 可見光環境下的眼球追蹤方法[16],該論文提到當時的環境仍以紅外光眼動儀為 主流,如果是低解析度的紅外光眼動儀,需要搭配訓練或類神經網路的計算方式, 才能達到較高的準確度,然作者認為這樣的過程太過複雜且費時,如果將光源改 為可見光,便能抓取更多資訊,避免不必要的運算,因此該作者提出一套演算法 流程如圖 2-8。. Get Luminance. Gaussian Noise Filter. Skin Detection. Image Inverse. Top-Hat Transform. Morphology. Remove Small & Vertical Object. Get Eye & Eyebrow. 圖2-8.. Kuo 提出的可見光眼球追蹤流程. 圖 2-8 流程的最大重點在於,作者使用膚色偵測,將搜尋範圍縮小,再利用 Top-Hat Transform[39],能夠將影像中較亮的部分突顯出來,因此在執行 Top-Hat Transform 之前要做影像反轉,因為膚色偵測會將膚色設定為白色,非膚色設定 為黑色,經過反轉後,可以將非膚色部分設為白色,再進行 Top-Hat Transform, 分離出的白色影像,包含眼睛與睫毛,再進行影像型態學處理,使影像更加完整, 此時便能夠標示出影像中的眼睛與睫毛位置,作者將這 2 個區域作為搜尋範圍, 使用粒子濾波器(Particle Filter)[19][20],定位出眼球中心。整個流程中,參考膚 色資訊,將搜尋特徵縮小是一大關鍵,能夠大幅減低計算量,但是最後使用粒子 濾波器,需要經過多次迭代才能得到最佳的圓(認定虹膜為圓形),較為費時,再 者作者於評估系統準確度的依據是測試系統是否能夠判別眼睛的視線方向,判斷 使用者注視的方向是前方、上方、下方、左方或右方,雖然準確度高達 98%,但 此數據是粗略的方向判斷,而非精確的數據,如眼球在移動的過程,造成的偏移 是幾度,以及受試者觀察螢幕時所計算出的凝視點與實際凝視點的誤差量。 10.

(23) Nguyen Huu Cuong 與 Huynh Thai Hoang 於 2010 年發表一篇利用網路攝影機 (Web Camera)偵測凝視點的方法[17],並強調該系統能夠達到即時運算,其演算 法流程如圖 2-9。. Get Luminance. Dynamic Threshold. 圖2-9.. Harris Corner Detection. Select Useful Corner. Eye Model Match. Cuong 提出的凝視點偵測流程. 圖 2-9 流程中,先將彩色影像轉為灰階影像,並動態決定一門檻值將影像分 離出虹膜,眼瞼與眉毛,讓整張影像中除了虹膜、眼瞼與眉毛為黑色之外,其他 部分呈現白色,接著對影像進行 Harris Corner Detection[21][22],找出眼角並透過 眼角資訊,將影像中的虹膜、眼瞼分為一群,與眉毛分開,便得到一個僅包含眼 瞼與虹膜的搜尋範圍,接著將虹膜與眼瞼部分的輪廓相連接,得到包含最多低於 門檻值像素的區域,該區域即為可能的虹膜區域,最後作者使用建模的方式,假 定虹膜為一個圓形,將該圓移動至可能的虹膜區域內進行比對,找到一個包含最 多虹膜特徵的圓,此圓的圓心即為眼球凝視中心。. 此流程有一個先決條件,影像中必須僅包含人臉,不能有太暗的背景,再者 作者並沒有提到如何選定門檻值,如果需要根據受試者的不同,手動調整門檻值, 對使用者而言較不方便,最後作者提到使用建模的方式進行虹膜中心搜尋的方法 較費時,而判斷系統優劣的依據為能否準確辨識人的視線,即使用者是觀看上方、 下方、左方還是右方,作者搭配眼角資訊以及虹膜中心座標,如圖 2-10,除了向 下看的準確度較低,其他三個方向皆能達到 99%的正確率,整體平均準確度達到 98.2%,但與[16]演算法相同,此準確度的判別是粗略的方向判斷,而非精確地估 算實際凝視點與計算出的凝視點之間的誤差。 11.

(24) 圖2-10. Cuong 的論文準確度判別依據. 最後與本文所提出的系統最相似的演算法是 Jose Sigut 與 Sid-Ahmed Sidha 在 2011 年所發表的期刊論文[18],該論文使用一 PTZ 相機,錄製受試者的眼球影像, 其流程如圖 2-11 所示。. Face Detection. PTZ Camera Zoom-In. Get Luminance. Dynamic Threshold (Y). Dynamic Threshold (Cb, Cr). Edge Detection Canny Algorithm. Distance Filter. RANSAC_5 Circle Fitting. 圖2-11. Jose Sigut 提出的可見光虹膜追蹤處理流程. 圖 2-11 流程中,作者先利用快速人臉辨識演算法[23],找出影像中的人臉, 再使用 PTZ 相機對焦到該範圍內,讓相機顯示的範圍內佔有大部分的人臉影像, 接著作者將原本的彩色影像進行色彩空間變換,將影像轉至 YCbCr 色彩空間, 並動態的決定亮度(Y)的門檻值,同時標記影像中較小的過亮區域,該區域可能是 光源造成的反光點,再對 Cb 與 Cr 動態選取門檻值,其目的在於辨識出眼睛與非 眼睛的部分,作者提到眼睛周圍的區域擁有較高的 Cb 值與較低的 Cr 值,決定以 上 3 個門檻值的目的在於進行下一個步驟,Canny Edge Detection[24]的同時,能 夠排除反光點以及眼睛以外的特徵點,如眼皮或眼角,以降低錯誤特徵的數量, 接著使用距離濾波器(distance filter),限制 Canny Edge Detection 的範圍,排除距 離 虹 膜 中 心 過 遠 的 特 徵 點 ( 邊 緣 點 ) , 最 後 使 用 RANSAC (RANdom Sample Consensus )演算法[25][26],該演算法是一個經過多次迭代的最佳化演算法,其做 12.

(25) 法為在一群特徵點之中隨機抽選 N 個特徵點用以計算圓方程式,再將剩下的特徵 點代入並計算與記錄誤差,並重複該步驟直到誤差不再變化或達到允許的容忍範 圍內即停止,該圓的大小即為虹膜大小並以其圓心作為凝視點,如果受試者在頭 不晃動的情況下,達到平均 1.05o 的準確度,但其平均處理速度較慢,約為 25 fps, 針對每一位受試者,必須個別決定 YCbCr 三參數的門檻值,在使用上較不方便。. 2. 3 本篇提出的眼動儀系統架構 有別於一般紅外光源的眼動儀系統,我們提出的高速眼動儀系統運行在可見 光之下,在一般運用下(30 – 240 fps),不需要額外的補充光源,如果要使用紅外 光源錄製高速影像,必須增加紅外光的數目以增強紅外光的能量。一般能夠運行 在 30fps 的紅外光眼動儀系統,搭配頭戴式裝置,僅需要一顆 IR LED,其影像 品質即可接受,並足以完成簡單的眼動實驗,但[27]-[32]所製作的紅外光眼動儀 系統,皆使用至少 5 顆以上的 IR LED。其中[32]所提出的系統能夠運行於 407fps 取樣率的感測器,但因為亮度不足的因素,其使用的 IR LED 個數超過 30 顆,而 其最高的準確度是使用長度為 500 ms 的 FIR 濾波器。. 因此,我們使用各種影像處理技術,針對亮度不足的地方進行增強對比處理, 並使用可見光源的優勢 : 彩色影像,抓取皮膚顏色再標示出非皮膚顏色區域,如 眼睛,並縮小搜尋範圍,以提升整體運算速度;設計抽取特徵與定位虹膜中心的 演算法,讓系統得到更穩健的虹膜中心位置,最後再將計算出的虹膜中心點透過 映射方程式得到受試者於螢幕上的凝視座標,系統的設計規劃與如何選定演算法 的比較將於第三章介紹,各模組的實作方法請見第四章。. 13.

(26) 第三章. 高速眼動儀系統架構. 3. 1 系統架構圖 眼動儀皆含有幾個重要步驟,一、必須從整張影像中找出感興趣的部分(整張 影像中包含眼睛的一個較小搜尋範圍),二、在已經包含眼睛的影像中抽取有用的 訊息,如瞳孔資訊或虹膜資訊,三、根據演算法的不同,將找到的資訊計算出眼 球中心,四、將計算出的眼球中心座標映射至螢幕,因此我們著手設計一套高速 眼動儀系統,並從中改良,讓本文的眼動儀系統能夠運行於高速環境下,不僅克 服高速錄影時光源不足的問題,更能夠達到平均 1.05o 的誤差,本文的高速眼動 儀流程如圖 3-1,並在 3.2 節說明本流程的設計原因,各模組的細部說明與實作請 見 4.1 - 4.4 節。. Image Data. Locate Possible Eye Region Contrast Enhancement. Estimate Eye Position Mark Close Eye. Calibrate Gaze Point. Locate Iris Center Remove Reflection Point. Classify 9 Group Points. Locate Possible Eye Region. Local Contrast Enhancement. Locate Approximate Iris Center. Select Useful Points. Remove Light Source Flicker. DCT Transform. Feature Extraction. Rectification. Refine Eye Region. SVM. Calculate Iris Center. Calculate Gaze Points. Gaze Points. 圖3-1. 本文所提出的高速眼動儀系統架構圖 14.

(27) 3. 2 系統流程設計理念 眼動儀的目的在於抓取眼球的移動軌跡,因此在整張影像中包含眼睛的最小 範圍,即為演算法將進行處理的範圍,因此我們希望將所有的演算法優化,如果 可以將所有計算都針對僅包含眼睛的區域進行處理,在整體的運算效能上將有一 定的突破,因此我們利用可見光的優勢,皮膚顏色,利用皮膚的顏色資訊將眼睛 的範圍獨立出來,便能夠避免許多不必要的運算。. 由於本系統的設計目的為讓使用者能夠於一般正常光源下運行,當影像錄製 的速度上升,環境光源對影像品質的影響將逐漸提升;我們使用數位相機進行影 像錄製,其擁有較大的光圈,能夠捕捉較多的光源,然而當相機光圈設定在最大 的情況下,取樣率的上升會造成曝光時間縮短,擷取到的影像亮度將越趨不足, 因此在高速錄製環境下,是無法使用一般偵測眼睛的演算法進行處理,因此我們 將影像先行經過對比增強處理,再進行眼睛位置偵測;然而在一般室內環境下, 光源多半來至日光燈管,日光燈本身的閃爍特性,也將對本文提出的高速眼動儀 系統造成影響。. 240fps. 480fps. 1/120 sec. 圖3-2. 不同取樣頻率在日光燈下的影響 15.

(28) 由於台灣的交流電為 60 Hz,而日光燈管在電源的正半周與負半周時皆會變 亮,因此當取樣率高於 120Hz 將有機會出現閃爍現象(flicker),一旦取樣率為 240 Hz,必定能看到日光燈的閃爍,圖 3-2 的波形表示為日光燈的亮度,但是在一般 30 fps 或 60fps 的錄影下,由於曝光時間較長,對亮度產生累積的效果,因此我 們錄製出的影像並感覺不到日光燈的閃爍現象,但當攝影速度提升至 240 fps 或 更高,此時曝光的時間較短,僅需要至多 4.2 ms (1/240 秒)即可輸出影像資訊, 此時日光燈的閃爍現象將被記錄下來,如圖 3-2,因此在 240 fps 的錄製速度下, 連續 2 個畫面將得到 2 張不同亮度的影像,如果是 480 fps 的錄製環境,將會得 到 4 張不同亮度的影像,因此除了亮度不足的問題,日光燈的閃爍也是本系統需 要克服的議題。. 當我們縮小搜尋範圍,克服光線的影響並提升影像品質的同時,是否能夠直 接將紅外光眼動儀的演算法套入使用,答案是否定的,因為可見光影像的組成太 過複雜,儘管影像品質已經提升,仍會出現許多令人無法接受的雜訊,因此我們 使用較強健的霍夫圓演算法,並搭配最小平方法,求出一個最近似於人眼虹膜大 小的圓,並以其圓心作為眼球中心。. 因此在 3.2.1 節,將說明我們如何挑選增強對比的演算法,3.2.2 節,將介紹 在紅外光眼動儀上大為廣泛使用的演算法- Starburst Algorithm,最後在 3.2.3 節, 描述我們選擇運用霍夫圓轉換並搭配最小平方法計算虹膜中心的原因。. 3.2.1. 對比增強演算法比較 : 色調重現與直方圖等化演算法. 增強影像對比的方法有很多,直方圖等化是最常見的方法,其主要作法是統 計影像中像素色階的直方圖,並計算機率密度函數(probability density function, PDF),與累積機率函數(cumulative distribution function,CDF),將計算後的數值 16.

(29) 重新對應到較廣的分布,使色階分布更加平均,計算 PDF 與 CDF 的公式如 (3-1)(3-2)。. PDF (i ) = n(i ) / N. (3-1). i. CDF (i ) = ∑ PDF ( j ). (3-2). j =0. 式(3-1)中,n(i)表示統計第 i 個色階在影像中出現的次數,N 為影像中所有像 素的個數,因此式(3-1)得到第 i 個色階在整張影像中出現的機率,式(3-2) 可透過 式(3-1),計算累積機率函數。. (i ) LMax ⋅ CDF (i ) H=. (3-3). Lnew = H ( Lorg ). (3-4). 式(3-3)、(3-4)為直方圖等化的過程,首先將式(3-3)乘上當前影像色彩深度的 最大值,如果影像深度是 8 位元,則 LMax = 255,重新調整值域,如果影像的深 度是 10 位元,則 LMax = 1023。經過式(3-4)的處理,能夠將影像的直方圖重新分 配至較廣的範圍,但觀察式(3-4),可以發現調整後的每一個像素都會經過處理, 不論原始影像資料正確與否(雜訊)皆會進行處理。. 17.

(30) (a). (b). (c). (d). (e). (f). (g). (h). 圖3-3. 對比增強演算法比較. 圖 3-3-(a) 原始影像,圖 3-3-(b) 色調重現演算法增強影像,圖 3-3-(c) 對亮度進 行直方圖等化影像,圖 3-3-(d) 對 RGB 三通道進行直方圖等化影像,圖 3-3-(e) – 圖 3-3-(h)為 對圖 3-3-(a) – 圖 3-3-(d)進行膚色偵測的結果。. 直方圖等化雖然可以提升對比,但對原始影像的彩度保留度較低,因此我們 選用色調重現演算法[34]-[38] 增強影像對比,圖 3-3 -(a)為 240 fps 錄製下的影像, 圖 3-3-(b)為對圖 3-3-(a)使用色調重現演算法處理的結果影像,詳細作法見 4.1.1 節,圖 3-3-(c)的作法是將圖 3-3-(a)的亮度與彩度分離,這裡使用國際照明協會 (International Commission on Illumination, CIE)所定義的標準 XYZ 色彩空間,並以 Y 做為參考亮度,我們對 Y 進行直方圖等化後,再轉換回 RGB 色彩空間,圖 3-3-(d) 是對圖 3-3-(a)的 R、G 與 B 個別進行直方圖等化,再合併為一張影像的結果。. 首先圖 3-3-(b)使用色調重現演算法,不僅對比提升,更能夠讓影像呈現其原 始的顏色,圖 3-3-(c)為對亮度進行直方圖等化的結果,與圖 3-3-(a)比較,其對比 大大提升,然而在亮度方面受到影響,有種強光照射於受試者的感受,並影響皮 膚色彩,最後圖 3-3-(d)為個別對 R、G、B 三通道進行直方圖等化的結果,與圖 18.

(31) 3-3-(a)相比,其對比提升但彩度嚴重偏離。由於本文希望找到一明顯、易於區隔 眼睛與皮膚色彩的演算法,因此將圖 3-3-(a)至圖 3-3-(d)經過膚色偵測處理後的結 果列於圖 3-3-(e)至圖 3-3-(h),其中白色代表膚色,黑色代表非膚色,比較圖 3-3-(e) 至圖 3-3-(h),可以得知經過色調重現演算法處理後的影像,不僅能夠提升對比、 維持皮膚顏色的正確性,而且膚色偵測後的結果最符合我們的需求,因此本文最 後選擇色調重現演算法做為增強對比的演算法,膚色偵測的作法請見 4.1.3 節。. 3.2.2. Starburst Algorithm 介紹與存在問題 Starburst 演算法[33] 為在紅外光眼動儀上被大量使用的演算法,其核心. 技術包含 Feature-based 與 Model-based 兩個部分 :. Feature-based 的方法在於利用影像中的一些重要資訊,例如紅外光拍攝 的眼睛影像,能夠得到清楚的瞳孔區域,再選取一個適當的門檻值,便能夠 將瞳孔與其他部分分離,此時僅需要計算幾何中心便能得到瞳孔中心座標, 也就是眼球的中心位置。. Model-based 的方法為利用瞳孔可能的形狀,如圓形或橢圓形,並在影 像中找尋適當的瞳孔或虹膜輪廓特徵,再將這些特徵代入適當的方程式(圓或 橢圓方程式),經過不斷篩選這些特徵點,直到所有特徵代入方程式後,得到 的誤差達到容忍範圍內才停止,此時計算得到的圓形中心(橢圓中心)即為瞳 孔的中心位置,Starburst 演算法虛擬程式碼如表 3-1。. 19.

(32) Starburst 演算法的流程共分為 2 個步驟: 步驟 I : 從眼球中的任一起始點 Pstart 出發,選定使用 N 條射線由 Pstart 向外延 展,每一條射線在向外延伸的同時,記錄連續 2 個像素亮度的絕對值,如果 絕對值大於門檻值,便停止向外延伸,並決定該點為特徵點 Pfeature,直到每 一條射線都停止前進。(如果超過搜尋範圍,也停止前進). 步驟 II : 從步驟 I 找到的各個特徵點為中心,重新對每一點 Pfeature 再使用 N 條射線向外延展,但是延展的方向是朝著步驟 I 的起始點 Pstart 方向延伸,並 同時記錄連續 2 個像素亮度的絕對值,如果絕對值大於門檻值便停止向外延 伸,並決定該點為特徵點,直到每一條射線都停止前進(如果超過搜尋範圍, 也停止前進),最後將所找到的特徵點取幾何中心,令其為新的起始點 P’start, 再重複步驟 I,直到 P’start,收斂為止。. 20.

(33) 表 3-1. Starburst 演算法虛擬碼. Iterate Stage 1: Follow rays extending from the starting point Calculate intensity derivative at each point If derivative > threshold then Place feature point Halt marching along ray Stage 2: For each feature point detected in Stage 1 March along rays returning towards the start point Calculate intensity derivative at each point If derivative > threshold then Place feature point Halt marching along ray Starting point = geometric center of feature points Until starting point converges. 透過以上步驟,經過多次迭代,便能夠定位出瞳孔中心,發明 Starburst 演算法的作者提到,這個演算法不僅適用於紅外光下的眼睛影像,一般光源 下的眼睛影像也可適用,但經過我們的測試之後,一般光源環境下使用 Starburst 演算法,將造成中心點無法收斂的狀況,或收斂的結果非常糟糕。 以下是二個最主要的原因:. 21.

(34) 1. 黑眼球形狀不完整: 一般光源下我們無法得到如紅外光影像清楚的瞳孔邊緣,僅能得到黑眼 球(虹膜)與眼白(鞏膜)間的邊緣影像(異色邊緣),而瞳孔無論在那種情況下, 幾乎都不會被遮擋,因此形狀完整,邊緣對比度高,曲線平滑完整,而黑眼 球的形狀較容易受到外在因素(環境中的其他光源造成的反光點)影響,導致 破碎或不完整,因此在可見光的環境下使用 Starburst 演算法所找到的特徵點 錯誤率將會提高不少,導致計算得到的圓有所偏差,如果一般光源下的影像 邊緣完整,而且沒有反光點,那 Starburst 演算法將會是個強健的演算法。. 2. 反光點不固定: 紅外光眼動儀在紅外光不足的情況下,會提供額外的紅外光源進行補償, 雖然這些額外光源同樣在紅外光影像上產生反光點,但是額外光源的位置是 已知的,而且這些反光點不會出現在瞳孔上,因此是相對容易捕捉及去除的, 然而在一般光源下,儘管是單純的室內環境,光源的數量、位置以及大小皆 為無法預知的,因此處理更加困難,依照 Starburst 演算法只利用門檻值比較 延伸線上連續 2 個像素亮度的絕對值,影像中的反光點邊緣也有可能被選定 為特徵點,因此其穩定度是令人擔憂的。. 22.

(35) 3.2.3. 霍夫圓搭配最小平方法概念介紹 異於紅外光影像藉由設定門檻值的方法標示瞳孔區域,再計算標示區域. 的幾何中心以得到高準確度的瞳孔中心,本文提出的系統是運行在可見光環 境下,在複雜的環境光源中,我們使用虹膜中心而不是瞳孔中心做為眼球中 心或視線中心,並捕捉彩色影像中的異色邊緣(虹膜與鞏膜的交界處),藉由 抽取出影像中的異色邊緣,以及假定虹膜是一個圓,便可將計算虹膜中心的 過程化為一最佳化過程,將求出的特徵點帶入圓方程式,找出最小誤差的圓 方程式,再以該圓心作為虹膜中心。. 市面上仍沒有可見光眼動儀產品,國際期刊與研討會論文中探討可見光 眼動儀的技術資訊也不多,針對求出虹膜中心的演算法,可以分為 3 大類, 一、使用最小平方法[50],二、使用霍夫圓轉換[51],三、使用建模的方法, 求出虹膜中心,以下將逐一介紹上述三方法。. 使用最小平方法[50]的作法是將影像中抽出的特徵點帶入計算,詳細流 程將於 4.3.4 節介紹,它的優點是,如果特徵點的數量夠多,且足夠集中,便 能夠得到唯一解,而且不需要複雜的遞迴運算,然其缺點在於如果特徵點中 錯誤的點太多或有幾個非常離譜的錯誤特徵點,都將導致計算後的圓受到錯 誤特徵的影響,導致計算得到的圓產生偏差。. 霍夫圓轉換有一個重要特色,在一群特徵點中,只要正確的特徵點多於 錯誤的特徵點,便必定能找出正確的圓,對錯誤特徵點有非常強的排斥性, 但有幾個缺點,必須預先知道這個圓的可能半徑,以及求得的圓心座標必定 為整數。整數的圓心座標將導致在凝視點校正程序的過程中,產生非常大的 誤差,由於本實驗的硬體限制,整張影像中擷取出的眼睛解析度為 200×100, 23.

(36) 而眼睛的移動範圍約為水平 60 個像素,垂直 40 個像素,如果直接將解析度 60×40 的大小映射到解析度 1024×1024 的螢幕,將產生移動不連續的情況, 因此我們希望能夠產生浮點數的座標點,以增加凝視點的移動流暢度,詳細 作法請見 4.3.4 節。. 使用建模的方法計算虹膜中心相當費時,其做法為假設虹膜為一個圓, 並將該圓於整張影像內搜尋移動,計算哪一個圓上包含最多的特徵點,而其 圓半徑的選擇是經多次迭代而得,因此本系統不使用建模的方法,並將霍夫 圓轉換與最小平方法結合。. 圖 3-4-(a)為經過 4.1 節處理後的影像,圖 3-4-(b)為 4.3.3 節所抓取到的 特徵點,圖 3-4-(c)將圖 3-4-(b)中的特徵點分離以方便觀察,圖 3-4-(d)將特徵 點(圖 3-4-(c))進行最小平方誤差法,並找出誤差最小的圓,圖 3-4-(e)為將同 一群特徵點(圖 3-4-(c)),經由霍夫圓轉換後所得到的圓,圖 3-4-(f)為我們設 計的方法,整合最小平方法與霍夫轉換所求得的圓,而圖 3-4-(d)至圖 3-4-(f) 的圓心與半徑資訊(x, y, r)分別為(88.91, 37.46, 37)、(93, 35, 41)與(92.64, 34.14, 41.56),比較圖 3-4-(d)至圖 3-4-(f)的結果,本文提出的方法擁有較高的準確 度,詳細作法請見 4.3.4 節。. 24.

(37) 原始影像. 捕捉到的特徵點. 分離特徵點. (a). (b). (c). (d). (e). (f). 圖3-4. 計算虹膜中心演算法比較. 圖 3-4-(a) 原始影像,圖 3-4-(b) 捕捉到的特徵點(紅色),圖 3-4-(c) 特徵點與影 像分離圖,圖 3-4-(d) 使用最小平方法求得最適圓,圖 3-4-(e) 使用霍夫圓轉換 求得最適圓,圖 3-4-(f) 使用本論文提出的方法求得最適圓,圖 3-4-(d) – 圖 3-4-(f)之上圖,為去除原始影像後的特徵點與最適圓合併圖. 25.

(38) 第四章. 高速眼動儀演算法流程. 本章將介紹本文所提出的高速眼動儀系統中的四個流程與其所包含的各模 組細節說明與實作方式。. 4. 1 定位眼睛區域 本節將對高速錄製的影像進行處理,首先透過色調重現技術[34]-[38]增強影 像對比(4.1.1 節),再將增強後的影像進行初步的眼睛定位,概略性地找到一包含 眼睛的區域(4.1.2 節),並針對該區域內的影像進行分析,分離出眼睛與非眼睛特 徵(4.1.3 節),最後透過上述特徵,設計一套演算法,繪出恰包含眼睛的最小矩形 (4.1.4 節)。. 4. 1. 1. 影像對比增強. 當錄製影片的取樣率越來越高,相同光圈(最大光圈)的設定下,進光量將愈 來愈少,影像的亮度也越來越低,因此我們對影像進行對比增強處理,以提高影 像的動態範圍[37],本文所採用的方法為色彩色調重現技術,參考[38]實現,該演 算法包含四個步驟,a. 影像頻率分割,b. 色調映射,c. 影像頻率合併,d. 多重 色調映射,圖 4-1 為該模組之流程圖。. 26.

(39) a. Y1In. c.. YH. -. YL. +. Low Pass Filter. First LUTs In. b.. d.. Out. Tone Mapping. Tone Mapping. Second LUTs. YnIn. Low Pass Filter. YL. In. Y1Out. -. +. YH. 圖4-1. a.. Out. YnOut. 影像對比增強流程圖. 影像頻率分割 本節的目的在於提升暗處的亮度與整體影像對比並保留影像細節資訊,. 因此我們將影像先分為高頻影像(YH)與低頻影像(YL),並對低頻影像做色調重 現,避免破壞細節,而低頻影像是由原始影像透過平均濾波器[49]處理後的 影像,高頻影像為利用原始影像減去低頻影像所得。. b.. 色調映射( Tone Mapping) 色調映射流程共包含四個階段:i. 參數計算,ii. 中間灰階映射,iii. 白. 點映射,iv. 正規化,如圖 4-2 ,參考[40]進行設計,說明如下:. Y. Parameter Estimation. 圖4-2. i.. YS. Scaling with Middle Gray. Scaling with White Value. YT. Normalization. YN. 色調映射流程圖. 參數計算(Parameter Estimation) 本步驟目的在預先計算 ii. 與 iii. 所用到的參數。於 ii. ,將利用色調映. 射演算法[41],所設計的參數α做一調整,其意義代表將原始影像調整至人 27.

(40) 眼視覺感受的中間亮度位置,舉例來說,如果α設為 0.30,表示以整張影像 亮度 30%的位置做為中間灰階值。在大多數的影像中,α只要設定為 0.18 即 可,但少數影像如光線太亮或太暗的影像便需要作些許調整,在本文的可見 光眼動儀中,使用 240 fps 錄製得到的影像大多是處於亮度非常不足的情況, 因此中間灰階的調整將對整體影像有非常大的改善,調整方法如式(4-1),其 中 log2Ymin 與 log2Ymax 為影像中的最小亮度值與最大亮度值取對數,為了避免 受到雜訊等影響,計算 Ymin 與 Ymax 前先去除最亮與最暗 1%的像素,YGavg 表 示影像的平均亮度。. = a 0.18 × 2. 2×. (2 log 2 YGavg − log 2 Ymin − log 2 Ymax ) log 2 Ymax − log 2 Ymin. (4-1). 於 iii. 會使用到的參數為 YSW,該參數的作用在於限制影像增強的程度, 在色調映射演算法[41],YSW 代表調整亮度的過程中,被調到最亮的眾多像素 中,亮度最低的值,而在一般的高動態範圍影像中,YSW 只要夠大即可,但 在低動態或中動態範圍的影像中,YSW 的選擇需要非常謹慎,才能在運算過 程中避免對比度的降低,因此透過式(4-2)計算 YSW。. W 1.5 × 2(log2 Ymax −log2 Ymin − N /2) YS=. (4-2). 式(4-2)中的 N 為影像資料的動態範圍取對數,N /2 表示影像動態範圍的 一半,用來對應到真實場景的中間灰階值,式(4-2)中的 1.5 為[40]作者 Reinhard 計算 YSW 的經驗數字。. ii.. 中間灰階映射(Scaling with Middle Gray) 本階段類似數位相機控制曝光量的動作。由於人眼對亮度的反應曲線在 28.

(41) 對數域下幾乎成線性關係,因此真實場景給人的整體亮度感受可以使用對數 域中的平均值做為一個基準,之後再將影像中對數平均的灰階值對應到中間 灰階值,意即映射對數域中的平均灰階值到一般灰色調空間的中間灰階值, 如式(4-3),YG(i, j) 表示在(i, j)位置的像素亮度值,YGavg 表示 YG(i, j)的平均值。. avg G. Y. YS= a × YG (i, j ) / YGavg. (4-3).  ∑ log(δ + YG (i, j ))    = exp  i , j  N    . (4-4). 式(4-3)中的α表示期望達到的中間灰階,該值於 i. 計算完畢,如式(4-1), 當 YG(i, j)趨近於 0,取對數會得到負無限大,因此我們修改 YGavg 如式(4-4), 加上一微小的偏移量δ,避免負無限大的狀況發生。. iii. 白點映射(Scaling with White Value) 本階段利用一數學模型進行局部的對比調整,類似區域曝光技術,可能 會提升選定較暗區域的亮度或壓低選定較亮區域的亮度。由於一般場景中, 動態範圍的決定,多由一個主要的平均動態範圍與該影像中光源或亮點附近 的少數高亮度像素所決定,雖然人眼的動態範圍比一般數位相機高上許多, 但真實場景的動態範圍仍比人眼高,因此在光源附近的高亮度像素可以視為 過度曝光的點,並不需要耗費動態範圍在這些極亮的部分,因此白點映射的 目的在於找出純白亮度中,亮度最低的白點 YSW,以此為一個調整門檻,而 該值於 i. 已計算完畢,如式(4-2)。. 29.

參考文獻

相關文件

一般而言,主動 式收集系統常用 於大型之熱水系 統和特殊面積地 形,因為這些地 方不適合於板子 上方架設一個儲 熱筒,所以通常

Computer Science and Information Engineering National Taiwan University. 2014 APEC Cooperative Forum on Internet

Os Serviços do Governo, em especial o Conselho do Ambiente, a Câmara Municipal de Macau Provisória e a Câmara Municipal das Ilhas Provisória têm promovido acções, convergentes

Results of the analysis carried out by the Laboratory of the Civic and Municipal Affairs Bureau indicated that the quality of potable water of the distribution networks and

Relativamente à qualidade da água das redes da península de Macau, Taipa e Coloane, e das estações de Tratamento de Água, a apreciação geral dada pelo Laboratório do Instituto

Relativamente à qualidade da água das redes da península de Macau, Taipa e Coloane, e das estações de Tratamento de Água, a apreciação geral dada pelo Laboratório do Instituto

Qualidade química da água das estações de tratamento de água potável Chemical quality of potable water from water treatment plants. A5

使瞭解系統櫥櫃應用 於室內設計及室內裝 修之組裝概念,並可達 快速施作之成效,瞭解 系統櫥櫃之元件模具