基於二階層式支持向量機之即時注視區域分析

全文

(1)國立台灣師範大學資訊工程研究所碩士論文. 指導教授：李忠謀博士. 基於二階層式支持向量機之即時注視區域分析 Two-Layer SVM for Real-Time Gaze Estimation. 研究生：陳美琪撰中華民國 103 年 07 月.

(2) 摘要眼動追蹤過去經常被使用在學術研究方面，近年來由於技術的進步眼動追蹤也被應用在醫療以及交通方面，抑或是應用於駕駛或課堂學生專注度的分析等。然而，過去相關的研究技術許多會利用侵入性的紅外線設備照射眼睛，或是利用較為昂貴的眼動儀輔助，雖然可提高注視點分析辨識率及準確度，但卻忽略了對人體可能的潛在傷害或是無法為大眾輕易取得的缺點。本研究提出一個使用筆記型電腦內建之低解析度的網路攝影機即時偵測眼睛與注視點分析方法，實現以低成本且可輕易取得之設備達到正確偵測眼睛與注視點分析的目的。本研究主要方法分成兩大部分，首先利用 Adaboost 的人臉及人眼偵測獲得眼睛影像，接著加入光線濾波，利用眼睛區域平均灰階值過濾過強的光線，並且記錄使用者的眼睛特徵資訊（包含眼睛開合高度、上眼瞼斜率以及瞳孔位置）；其次記錄使用者於不同注視區塊的眼睛資訊，透過本論文提出之二階層式支持向量機（2-Layer Support Vector Machine），建構使用者相對於當下環境的注視點模型，藉由比對測試資料及模型資訊以達到注視區塊的決策。注視區塊決策準確度在注視輔助點固定的狀況下平均可達 84%，比使用單一層支持向量機之準確度高出 9.4%，而在注視輔助點是隨機出現的情況下平均約為 80%。. 關鍵字：人眼偵測、注視區域分析、支持向量機. i.

(3) Abstract Eye-gaze estimation has been used in attention analysis and human behavior research. Eye tracker has been an expensive tool used in these researches. In recent resent researches, intrusive and nonintrusive methods for eye-gaze estimation have been proposed to replace eye tracker. In this research, we proposed a non-intrusive real-time gaze estimation system using webcam as input device. A 2-layer support vector machine (SVM) is proposed to determine the human eye gaze region. We had 9 gaze regions within the monitor, which was divided into 3 × 3 grids. Two types of eye features were. used in the 2-layer SVM: 1st layer SVM applied shape type features. (eye height and eyelid slope) to determine which row the gaze located, and 2. nd. layer applied location type features (pupil location). to finally determine the gaze region. Experiments with 7 subjects showed an 84% average accuracy on fixed-point gaze estimation, and 80% average accuracy on random-point gaze estimation. Keywords: Eye detection, Gaze estimation, SVM. ii.

(4) 致謝本論文得以完成首先必須感謝指導教授李忠謀教授，在每一次的討論中給予許多的意見，也促使我對研究有許多的新想法產生。除此之外也要感謝老師在研究所期間給予我一些行動裝置應用程式開發的專案，讓我除了在影像處理領域外，也能有學習其他程式開發的機會。其次，要感謝育慈學姊，不論工作再忙碌，都還是願意抽空與我 meeting 討論。感謝學姊在研究上引導我思考許多從未想過的問題，提出寶貴建議及想法。在論文的寫作上，學姐也給予了許許多多修改的建議，使得論文可以更加完整。除此之外，也要謝謝學姊常常給予我鼓勵，使我能耐心完成研究。感謝政杰學長及德清學長在實驗室的 meeting 中給予許多的建議以及提問，幫助我找到在閱讀 paper 上的盲點。感謝姿卉學姊、怡涵學姊、雅淳學姊，在畢業後仍不忘給予加油打氣。感謝 flora 學姊，在 Intel 教育 app 上給予我許多的程式開發意見及協助。感謝 VIPLab 的成員：祐生、鈺新、軒宇、晟麟、信實、子婷、奕凌、峻瑋、國輔學長，因為有你們在實驗室的生活才會充滿樂趣。感謝 CVIU 的巧珊姊姊，我們一起熬過了無數個頭痛的日子，謝謝你陪我度過兩年的研究生涯！還有懿真、2000、仲文、雯婷、亦鈞，以及隱形成員米奇，讓 Lab108 就像我第二個實驗室一樣，可以隨時與你們分享我的生活。最後，要感謝親愛的家人們，每當遇到研究或生活上的不順遂時，一通電話或回家一趟，總能得到滿滿的力氣再出發。因為有你們的支持，才讓我能堅持地在這條路上走下去。謝謝你們！永遠愛你們！. iii.

(5) 目錄摘要 .................................................................................................................................... i Abstract ............................................................................................................................ ii 致謝 .................................................................................................................................. iii 目錄 .................................................................................................................................. iv 圖目錄 ............................................................................................................................. vii 表目錄 .............................................................................................................................. ix 第一章前言 ...................................................................................................................... 1 1.1 研究動機 ................................................................................................................. 1 1.2 研究目的 ................................................................................................................. 1 1.3 研究範圍與限制 ..................................................................................................... 2 1.4 論文架構 ................................................................................................................. 3 第二章文獻探討 .............................................................................................................. 4 2.1 人臉偵測 ................................................................................................................. 4 2.1.1 Knowledge-Based Approach ........................................................................... 6 2.1.2 Feature Invariant Approach ............................................................................. 6 2.1.3 Template Matching Approach .......................................................................... 7 2.1.4 Appearance-Based Approach ........................................................................... 8 2.2 人眼偵測 ................................................................................................................. 9 2.2.1 Shape-Based Approaches ................................................................................. 9 2.2.2 Feature-Based Shape Methods......................................................................... 9 2.2.3 Appearance-Based Methods .......................................................................... 10 2.2.4 Hybrid Models ............................................................................................... 10 2.3 瞳孔偵測 ................................................................................................................ 11 2.3.1 Template Matching ......................................................................................... 11 2.3.2 Feature-Based Approach ................................................................................. 11 2.4 注視點分析 ........................................................................................................... 13 2.4.1 Appearance-Based Methods .......................................................................... 13 2.4.2 Feature-Based Methods ................................................................................. 13 2.4.3 Neural Network.............................................................................................. 14. iv.

(6) 第三章研究方法 ............................................................................................................ 15 3.1 研究目標 ............................................................................................................... 15 3.2 系統架構 ............................................................................................................... 16 3.3 前處理（PREPROCESSING） ................................................................................. 18 3.3.1 灰階影像轉換 ............................................................................................... 18 3.3.2 伽馬校正 ....................................................................................................... 19 3.4 人臉偵測（FACE DETECTION）........................................................................... 19 3.4.1 積分影像（Integral Image） ........................................................................ 20 3.4.2 矩形特徵（Haar-Feature） .......................................................................... 21 3.4.3 階層式分類器（Cascade Classifier） .......................................................... 22 3.5 人眼偵測（EYE DETECTION）............................................................................. 23 3.6 眼睛特徵擷取（EYE FEATURE EXTRACTION）................................................... 24 3.6.1 光線濾波器（Lighting Filter） .................................................................... 25 3.6.2 瞳孔偵測（Pupil Detection） ...................................................................... 26 3.6.3 OTSU 演算法 ................................................................................................ 28 3.6.4 眼睛開合幅度 ............................................................................................... 31 3.7 注視區域分析（GAZE ESTIMATION） ................................................................. 32 3.7.1 支持向量機（Support Vector Machine, SVM） .......................................... 33 3.7.2 基於二階層式支持向量機（2-Layer SVM）之注視區域決策 ................. 34 第四章實驗結果與分析 ................................................................................................ 39 4.1 程式開發環境 ....................................................................................................... 39 4.2 實驗環境 ............................................................................................................... 39 4.3 人眼偵測實驗結果 ............................................................................................... 40 4.4 瞳孔偵測實驗結果 ............................................................................................... 42 4.4.1 實驗一：以 CASIA 資料庫評估瞳孔偵測演算法準確度 .......................... 42 4.4.2 實驗二：以系統實際擷取的眼睛影像評估瞳孔偵測準確度 .................... 45 4.5 注視區域分析實驗結果 ....................................................................................... 47 4.5.1 實驗一：第一層支持向量機（1st SVM）準確度驗證 .............................. 48 4.5.2 實驗二：比較使用單一支持向量機及二階層式支持向量機之實驗結果 49 4.5.3 實驗三：注視輔助點隨機產生之二階層式支持向量機決策準確度 ........ 51. v.

(7) 第五章結論及未來研究 ................................................................................................ 54 5.1 結論 ....................................................................................................................... 54 5.2 應用 ....................................................................................................................... 54 5.3 未來研究 ............................................................................................................... 55 參考文獻 ......................................................................................................................... 56. vi.

(8) 圖目錄圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖圖. 1 實驗環境示意圖 ........................................................................................... 3 2 利用人臉結構訂出 Knowledge-based Approach 的規則 ........................ 6 3 Payman Moallem[16]等人提出將顏色分類後取得人臉位置 .................. 7 4 利用 Template Matching 方法找出人臉位置[6] ..................................... 8 5 Viola 與 Jones[28]提出人臉偵測方法之結果 ........................................ 8 6 Shape-Based 方法中，以圓形及拋物線等數學式子描述眼睛及瞳孔 ... 9 7 利用眼睛在 YUV 色彩空間中的特性擷取眼睛範圍 ................................ 10 8 事先定義虹膜及瞳孔樣板 ........................................................................ 11 9 眼球 3D 模型 .............................................................................................. 14 10 3 × 3注視區塊示意圖 ............................................................................. 15 11 系統架構 ................................................................................................... 17 12 前處理步驟流程圖 .................................................................................. 18 13 伽馬校正 .................................................................................................. 19 14 人臉偵測流程圖 ...................................................................................... 20 15 位置𝑥, 𝑦之積分影像值為灰色區塊相加 ................................................. 21 16 灰色區域內之積分影像可透過𝑖4 + 𝑖1 − 𝑖2 − 𝑖3計算獲得 ................... 21 17 矩形特徵之範例 ....................................................................................... 22 18 利用 AdaBoost 演算法找出人臉的矩形特徵範例 ................................. 22 19 階層式分類器示意圖 ............................................................................... 23 20 人眼偵測流程圖 ...................................................................................... 23 21 縮小眼睛搜尋區域示意圖 ...................................................................... 24 22 眼睛偵測結果 ........................................................................................... 24 23 眼睛特徵擷取流程圖 ............................................................................... 25 24 光線濾波 ................................................................................................... 26 25 瞳孔位置偵測示意圖 ............................................................................... 27 26 左、右眼瞳孔偵測結果，白色圓圈位置及為偵測出之瞳孔位置 ...... 28 27 不同門檻值之二值化影像 ...................................................................... 30 28 二元化影像比較 ....................................................................................... 30 29 眼睛開合高度擷取示意圖 ....................................................................... 31 30 上眼瞼斜率計算方式示意圖 ................................................................... 32 31 SVM 概念示意圖 ....................................................................................... 34 32 二階層式支持向量機架構圖 ................................................................... 35 33 眼睛開合差異 ........................................................................................... 36. 圖 34 第一層 SVM 決策流程圖 ........................................................................... 38 圖 35 注視區域分層示意圖 .............................................................................. 38 vii.

(9) 圖圖圖圖圖圖圖圖圖圖圖圖圖. 36 系統執行圖 .............................................................................................. 40 37 眼睛偵測 ................................................................................................... 41 38 CASIA[19]虹膜資料庫內，眼睛影像之範例 ........................................ 42 39 CASIA 資料庫瞳孔偵測準確度 ............................................................... 43 40 CASIA[19]資料庫瞳孔偵測，偵測正確之範例 .................................... 44 41 CASIA[19]資料庫瞳孔偵測，偵測錯誤之範例 .................................... 44 42 實際資料瞳孔偵測準確度 ....................................................................... 45 43 實際影像瞳孔偵測正確之範例 ............................................................... 46 44 實際影像瞳孔偵測失敗之範例 ............................................................... 46 45 注視區塊劃分示意圖 ............................................................................... 47 46 不同人眼形狀特徵差別 ........................................................................... 49 47 注視區塊（區塊內中心顯示紅色注視輔助點）示意圖 ....................... 50 48 注視區塊（區塊內隨機出現紅色注視輔助點）示意圖 ....................... 52. viii.

(10) 表目錄表表表表表表. 1 參考 Yang 等人整理之人臉偵測方法 ........................................................ 5 2 眼睛偵測率 ................................................................................................ 41 3 CASIA[19]資料庫實驗結果，與 Daugman[8]方法之時間比較 ............. 43 4 第一層 SVM 注視區塊決策準確率 ............................................................ 48 5 注視區塊決策準確度（注視輔助點於區塊中央） ................................. 51 6 注視區塊決策準確度（隨機出現 3 個注視輔助點） ............................. 53. ix.

(11) 第一章前言 1.1 研究動機. 眼睛是人體唯一的視覺感知器官，在生活中扮演著獲取外界資訊的重要媒介角色。近年來，隨著科技技術迅速地發展，人機介面的設計除了早期的鍵盤、滑鼠外，也多了手勢辨識、姿勢辨識、聲音辨識以及眼球追蹤…等。. 眼球追蹤可以被廣泛的應用在各個領域，例如在商業應用上，廣告公司藉由觀察客戶對於產品的注視區域及注視時間來分析產品是否能達到預期的廣告效果；在醫療應用上，眼球追蹤可以提供一個良好的人機介面，使得嚴重肢體障礙人士也能操控電腦等設備與外界溝通；在交通安全應用方面，可被應用於交通工具上，藉由眼球追蹤來監控駕駛人的狀態，在異狀發生時先提出警示，以期降低意外發生的機率。另外，眼球追蹤也可被應用在教學成效分析，以及學生專注度評估上。. 由於近兩年來穿戴式科技興起，許多設備設計紛紛出現，如 google glasses，也使得眼球追蹤等相關領域的研究成為目前非常引人注目的議題。. 1.2 研究目的. 一般市面上販售的眼動儀能夠較精準的測量到使用者的眼球運動狀況以及瞳孔縮放變化，透過分析這些資料可得知使用者的視線軌跡，然而這些精密的. 1.

(12) 眼動儀器要價不菲，無法為一般大眾所取用，且某些眼動儀器的體積較為龐大，在移動攜帶上也較為不方便。. 近年來多數眼動相關的研究轉而傾向使用一般可取得的攝影機來進行，而本研究考慮到筆記型電腦的普及化以及可攜帶性較高的特點，將設備定位於筆記型電腦上。主要研究目的為：. （1）利用便利性及可攜性較高的筆記型電腦作為系統硬體設備。. （2）透過筆記型內建之低解析度攝影機取得使用者的畫面，並擷取眼睛區域特徵。. （3）達到即時的眼睛偵測及注視區域分析。. 1.3 研究範圍與限制. 本論文以室內空間為實驗環境，使用筆記型電腦內建的攝影機來擷取使用者觀看螢幕之影像。. 實驗環境示意圖如圖 1 所示，使用 13.3 吋筆記型電腦，螢幕開合幅度約 120° ，webcam 鏡頭位於螢幕上方。使用者採坐姿，眼睛位置略高於鏡頭。. 2.

(13) 圖 1 實驗環境示意圖. 由於本研究主要偵測的目標為使用者的雙眼區域，而本研究提出的方法可能受到環境光線或使用者的姿勢、與鏡頭距離、配戴的眼鏡等外在因素影響最終辨識結果。因此，我們假設實驗過程中使用者無配戴眼鏡，且必須處於光源穩定的室內環境，坐姿及與鏡頭間的距離皆為固定。. 本研究限制使用者雙眼距離螢幕約 30 公分，且眼睛（雙眼）區域於攝影機的畫面上不可小於50 × 20像素，否則無法提供足夠的眼睛區域特徵資訊，來辨. 識使用者的注視區域。. 1.4 論文架構. 本論文共分成五個章節，第二章為相關文獻探討，將相關的技術方法提出來討論；第三章為研究方法，深入探討整體架構流程、理論以及方法;第四章為實驗結果與分析，第五章為結論及未來研究。. 3.

(14) 第二章文獻探討在探討眼睛偵測以及注視點分析的相關技術與應用部分，本論文將相關文獻分成下列四大類：（1）人臉偵測（2）人眼偵測（3）瞳孔偵測（4）注視點分析，之後比較本研究與相關文獻之方法技術與應用。. 2.1 人臉偵測. 取得人眼之前，必須先找出人臉位於影像上的區域，有足夠大且明顯的人臉區域位置，有助於後續針對眼睛偵測的處理。在電腦視覺以及影像處理的領域中，對於人臉偵測已有相當大量且成熟的研究被提出，根據 Yang[31]等人的統整，將人臉偵測的方法分為四大類：（1）Knowledge-Based Approach （2） Feature Invariant Approach （ 3 ） Template Matching Approach （ 4 ） Appearance-Based Approach，如相關文獻整理如表 1 所列：. 4.

(15) 表 1 參考 Yang 等人整理之人臉偵測方法. Approach Knowledge-Based. Representative Works Multiresolution rule-based method[29]. Feature Invariant - Facial Features - Texture - Skin Color - Multiple Features Template Matching - Predefined Face Templates - Deformable Templates Appearance-Based - Eigenface - Distribution Based - Neural Network - Support Vector Machine (SVM) - Naïve Bayes Classifier - Hidden Markov Model (HMM) - Information Theoretical Approach - AdaBoost Learning Algorithm. Grouping of edges[13, 32] Space Gray-Level Dependence matrix (SGLD) of face pattern[7] Mixture of Gaussian[15, 30] Integration of skin color, size and shape[11] Shape template[6] Active Shape Model (ASM)[12] Eigenvector decomposition and clustering[27] Gaussian distribution and multilayer perception[24] Ensemble of neural networks and arbitration schemes[21] SVM with polynomial kernel[17] Joint Static of local appearance and position[22] Higher order statistic with HMM[20] Kullback relative information[5, 14] A machine learning algorithm[28]. 5.

(16) 2.1.1 Knowledge-Based Approach. Knowledge-based Approach 是根據人臉的外觀型態來做人臉的定義，例如對稱的眼睛、鼻子以及嘴巴，利用這些部位間的相對距離、相對位置關係，或是區域顏色分布（圖 2）來建立偵測人臉的規則集合[29]，這些規則可以有效地將人臉資訊簡單化、統一化。但因為人臉會因為種族、性別等因素而有所不同，要建立一個適合所有人臉五官特性的規則集合非常不容易。如若規則要求過於嚴苛，會降低人臉辨識率；反之，則會降低人臉偵測的精準度。. 圖 2 利用人臉結構訂出 Knowledge-based Approach 的規則. 2.1.2 Feature Invariant Approach. Feature Invariant Approach 為尋找人臉結構的特徵，包括影像上的紋理描述、人臉五官位置分布及顏色等來偵測人臉位置[15, 30]。例如 Payman Moallem[16]等人利用膚色在 YCbCr 色彩空間中可以明顯被區分的特性，將顏色. 6.

(17) 做分類並計算連通區域。取得可能的臉部區域位置後，再藉由嘴唇顏色的分布做人臉或非人臉的驗證（圖 3）。因為每一種特徵都有可能受到外在環境的干擾而降低辨識率，因此大多數使用 Feature Invariant 方法的研究會結合至少一種以上的特徵來做人臉的偵測。. 圖 3 Payman Moallem[16]等人提出將顏色分類後取得人臉位置，由左而右分別為（a）原. 始影像（b）膚色偵測結果（c）經過形態學處理之可能為人臉之連通區域. （d）嘴唇偵測結果（e）人臉偵測結果. 2.1.3 Template Matching Approach. Template Matching Approach 是一種較為直觀的人臉偵測方法，此方法需要先定義好幾種人臉輪廓的樣板[6]（圖 4），針對每一個輸入影像計算影像與樣板的相似程度，來找出正確的人臉位置。但要訂定出符合所有人臉的樣板與定義人臉結構的規則一樣，無法訂定出滿足所有臉型的樣板，且此一方法在輸入影像與樣板相對位置差異不大的情況下可以有較高的精準度，但在人臉有縮放（scaling）、旋轉（rotation）甚至是扭曲（skew）等情況下需要耗費大量的計算成本來處理。 7.

(18) 圖 4 利用 Template Matching 方法找出人臉位置[6] (a)人臉樣板 (b)人臉偵測結果. 2.1.4 Appearance-Based Approach. Appearance-Based Approach 主要是以學習的方式，從影像資料庫中訓練出代表人臉的特徵來建立模型，再利用訓練完成的模型將影像作人臉及非人臉的分群。例如 Viola 與 Jones[28]提出之基於積分影像（Integral Image）計算 Haar-Like Features，再使用 Cascade 的概念將 Adaboost Algorithm 挑選出來的弱分類器組合成強分類器做人臉偵測（圖 5）。. 圖 5 Viola 與 Jones[28]提出人臉偵測方法之結果. 此種方法需要擷取大量的臉部影像當作訓練資料，實作成本較高也較為複雜，但由於此一方法可有較高的人臉偵測率而經常被使用。. 8.

(19) 2.2 人眼偵測. 眼睛是人臉中非常重要的特徵，人眼偵測的結果對於本論文之注視區域分析有明顯的影響。依據 D.W. Hansen 和 Q. Ji[9]的統整，將常見眼睛偵測分為四大類：（ 1 ） Shape-Based Approaches （ 2 ） Feature-Based Shape Methods （3）Appearance-Based Methods（4）Hybrid Models。. 2.2.1 Shape-Based Approaches. Shape-Based Approaches 主要是利用定義好的數學模型來描述開眼時的明顯特徵，例如虹膜與瞳孔的輪廓、上下眼瞼的曲度等[25]（圖 6）。虹膜與瞳孔因形狀近似於圓形，故常以圓形或橢圓形的方程式表示，而上下眼瞼的曲度則可用拋物線或 B-Line 方程式表示。透過這些數學模型的描述，在輸入影像中找尋最為符合的部分。. 圖 6 Shape-Based 方法中，以圓形及拋物線等數學式子描述眼睛及瞳孔等部分. 2.2.2 Feature-Based Shape Methods. Feature-Based Shape Methods 是依據人眼的特性來找出眼睛周圍的區域. 9.

(20) 特徵。例如 Shuo Chen 與 Chengjun Liu[4]使用 YUV 色彩空間中 U 通道的影像（圖 7），藉由眼睛區域的灰階值通常小於其他區域的特性，擷取出眼睛可能的位置。. 圖 7 利用眼睛在 YUV 色彩空間中的特性擷取眼睛範圍，由左而右分別為 (a)Y 通道 (b)U 通道. (c)V 通道之眼睛影像. 2.2.3 Appearance-Based Methods. Appearance-Based Methods 藉由人臉特徵的亮度特性預先定義一些眼睛樣板，而後將影像經過樣板比對的方式，找尋最像似的區域。此方法主要是依樣板比對的概念而來，必須針對影像大小、旋轉角度或扭曲等情況做處理，實作成本較高。. 2.2.4 Hybrid Models. Hybrid Models 主要以結合不同方法的眼睛偵測方法，期望結合不同方法的優點來克服僅使用單一方法的不足。常見的有結合 Shape-Based Approaches 和 Appearance-Based Methods，以及結合 Shape-Based Approaches 和 Colors 特徵的方法。. 10.

(21) 2.3 瞳孔偵測. 瞳孔的偵測在不使用特殊設備（如紅外線、接觸式隱形眼鏡等）的情況下，常見的偵測方法有兩類：（1 ）Template Matching（2 ） Feature-Based Approach. 2.3.1 Template Matching. Template Matching 方法須事先定義好幾種瞳孔的樣板，針對每一個輸入的臉部影像與定義好的瞳孔樣板[10]（圖 8）進行相似度計算，來找出正確的瞳孔位置。此一方法在輸入影像與樣板相對位置差異不大的情況下可以有較高的精準度，如若輸入影像有縮放、旋轉或是是扭曲等情況下可能造成匹配失敗，需要耗費大量的計算成本來處理。. 圖 8 事先定義虹膜及瞳孔樣板，其中 r 為瞳孔（R1 ）半徑，並且假設虹膜（R 2 ）的半徑為瞳孔的兩倍. 2.3.2 Feature-Based Approach. Feature-Based Approach 主要是依據人眼的特性來找出瞳孔的特徵，例如 11.

(22) 瞳孔與虹膜顏色強度的特徵[26]，或是因為顏色差異造成的邊界特徵等。但此方法僅能使用在影像品質佳且單純的環境下，若影像解析度太低或是有其他色光影響的情況下很容易造成準確度大幅下降。. 12.

(23) 2.4 注視點分析. 一般使用電腦視覺或影像處理方式實作注視點分析當常見做法有三種：（ 1 ） Appearance-Based Methods （ 2 ） Feature-Based Methods （ 3 ） Neural Network. 2.4.1 Appearance-Based Methods. 藉由蒐集大量的訓練資料進行學習，以投票機制（voting）或是進行內插法（interpolation）的方式作注視區域決策。此種方法最大的缺點是容易受到環境光線及使用者晃動的影響，導致準確度降低。. 2.4.2 Feature-Based Methods. Feature-Based Methods 方法又可以被細分為兩類：. （1）. Interpolation-Based：基於回歸（regression-base）的方式達到注視點分析的目的，但此一方法主要被應用在有紅外線輔助的情況下，故不在本研究之討論範圍。. （2）. Model-Based：透過擷取到的特徵建立眼睛的 3D 模型，根據模型來判斷注視點位置，如圖 9。此種方法可以克服頭部晃動的情況，對於環境的敏感度也較低，但建置 3D 模型需要至少兩台以上的攝影機，且所需花費的計算成本也較高[2]。 13.

(24) 圖 9 眼球 3D 模型 (a)眼球模型示意圖，黑色區塊代表虹膜部分，灰色區塊眼球運動時虹. 膜移動到不同的位置 (b)以數學參數描述眼球模型. 2.4.3 Neural Network. 輸入眼睛影像並透過多層感知器（Multilayer perceptron, MLP），使系統學習人眼注視不同區域時眼睛狀態及外觀的改變，藉此模擬人類的注視行為，進而達到判斷注視位置的目的[23]。. 14.

(25) 第三章研究方法本章共分成六個小節，3.1 節為研究目標，3.2 節為系統架構，說明本研究之系統架構及流程，3.2 節為前處理方法，3.3 節為人臉偵測，3.4 節為人眼偵測，3.5 節為眼睛特徵擷取，3.6 節為注視區域分析。. 3.1 研究目標. 本研究提出一個利用筆記型電腦內建單一低解析度攝影機，針對室內環境即時偵測眼睛的方法，並透過擷取瞳孔位置及眼睛開合幅度等特徵，來分析使用者的注視區域。注視區域依據螢幕大小平均分成3 × 3共 9 個區塊，如圖 10 所示，注視區域分析結果為使用者目前的注視位置位於編號 1~9 中的哪一個區塊。. 圖 10 3 × 3注視區塊示意圖 15.

(26) 3.2 系統架構. 本研究系統架構如圖 11，自攝影機讀取影像後，會經過五大處理步驟：. （1）前處理（Preprocessing），包含灰階轉換及伽馬校正等。. （2）人臉偵測（Face Detection）。. （3）人眼偵測（Eye Detection）。. （4）眼睛特徵擷取（Eye Feature Extraction），包含瞳孔偵測及眼睛開合幅度偵測等。. （5）注視區域決策（Gaze Point Determination）。. 16.

(27) 圖 11 系統架構. 17.

(28) 3.3 前處理（Preprocessing）. 前處理部分針對減少運算時間及增加影像上細節部分的凸顯做（1）灰階化，及（2）伽馬校正兩個步驟，步驟流程如圖 12。. 圖 12 前處理步驟流程圖. 3.3.1 灰階影像轉換. 由於眼睛在影像上具有非常強烈的黑白對比變化，為減少計算複雜度及運算時間，在本研究中使用灰階影像來做後續運算。. 針對每一個輸入影像𝐼𝑐𝑐𝑐𝑐𝑐 進行灰階影像的轉換，轉換公式參考 ITU-R BT.601-7[1]定義如（1）：. (1). 𝐼𝑔𝑔𝑔𝑔 (𝑥, 𝑦) = 0.299 ∗ 𝐼𝑅 (𝑥, 𝑦) + 0.587 ∗ 𝐼𝐺 (𝑥, 𝑦) + 0.114 ∗ 𝐼𝐵 (𝑥, 𝑦) 其中𝐼𝑔𝑔𝑔𝑔 (𝑥, 𝑦)為𝐼𝑐𝑐𝑐𝑐𝑐 上(𝑥, 𝑦)位置的像素值經過轉換後的結果，𝐼𝑅 、𝐼𝐺 、𝐼𝐵 分別. 表示紅、綠和藍各個通道的影像。. 18.

(29) 3.3.2 伽馬校正. 伽馬校正是針對光線強度做非線性的運算，將黑暗中的細節部分表現得較為清楚，本研究在偵測臉部區域前，先將灰階影像進行伽馬校正。伽馬校正可由計算輸入影像的冪次方獲得，公式如（2）： 𝐼𝑔𝑔𝑔𝑔𝑔 (𝑥, 𝑦) = 𝐼𝑔𝑔𝑔𝑔 (𝑥, 𝑦)𝐺. (2). 其中𝐼𝑔𝑔𝑔𝑔𝑔 為經過伽馬校正後的影像，𝐺 為可依輸出環境調整之伽馬校正參數，0 ≤ 𝐺 ≤ 1。圖 13 為影像經過伽馬校正前後的影像比較，可以看到經過校正後眼睛邊緣及虹膜的部分被明顯的表現出來。. 圖 13 伽馬校正 (a)校正前之眼睛影像 (b)校正後之眼睛影像. 3.4 人臉偵測（Face Detection）. 人臉偵測在電腦視覺以及影像處理的領域上已經有相當大量的研究產出，如 2.1 節所述。為了實現快速且準確地在一張影像上搜尋出人臉，本研究使用 Viola 與 Jones[28]所提出的演算法來進行人臉偵測。人臉偵測流程如圖 14。. 19.

(30) 圖 14 人臉偵測流程圖. 3.4.1 積分影像（Integral Image）. 為了提升影像處理的速度，Viola 與 Jones[28]提出的積分影像方法，讓影像可透過較簡單的運算方式取得每一個影像上位置的像素值。. 對於一張積分影像𝐼𝑖𝑖𝑖𝑖𝑖𝑖𝑖𝑖 上位於(𝑥, 𝑦)位置的點（圖 15），其值可用左上方. 所有像素值的總和來表示。積分影像即： 𝐼𝑖𝑖𝑖𝑖𝑖𝑖𝑖𝑖 (𝑥, 𝑦) =. �. 𝑥 ′ ≤𝑥,𝑦′≤𝑦. 𝐼𝑔𝑔𝑔𝑔 (𝑥′, 𝑦′). (3). 其中𝐼𝑔𝑔𝑔𝑔 為輸入的灰階影像，(𝑥′, 𝑦′)為𝐼𝑔𝑔𝑔𝑔 影像上 X 座標為𝑥′，Y 座標為𝑦′的位. 置。然而，積分影像可以透過簡單的遞迴式快速計算完畢，即：. 𝑠(𝑥, 𝑦) = 𝑠(𝑥, 𝑦 − 1) + 𝐼𝑔𝑔𝑔𝑔 (𝑥, 𝑦). (4). 𝐼𝑖𝑖𝑖𝑖𝑖𝑖𝑖𝑖 (𝑥, 𝑦) = 𝐼𝑖𝑖𝑖𝑖𝑖𝑖𝑖𝑖 (𝑥 − 1, 𝑦) + 𝑠(𝑥, 𝑦). (5). 其中𝑠(𝑥, 𝑦)為影像累積的像素值。. 20.

(31) 圖 15 位置(𝑥, 𝑦)之積分影像值為灰色區塊相加. 圖 16 灰色區域內之積分影像可透過𝑖4 + 𝑖1 − 𝑖2 − 𝑖3 計算獲得. 3.4.2 矩形特徵（Haar-Feature）. Viola 與 Jones[28]所提出的人臉偵測方法中，依據積分影像概念生成數個矩形特徵（圖 17），這些矩形的大小不一定相同，但灰色區域面積和以及白色區域面積會一樣大。將這些矩形如同遮罩一般在影像中移動計算積分影像的矩形特徵值，並且利用 AdaBoost 演算法找出適合用於分類的重要矩形特徵。圖 18 為利用 Viola 與 Jones[28]所提出之 AdaBoost 演算法找出適合人臉的矩形特徵範例。. 21.

(32) 圖 17 矩形特徵之範例. 圖 18 利用 AdaBoost 演算法找出人臉的矩形特徵範例. 3.4.3 階層式分類器（Cascade Classifier）. 階層式分類器可讓 AdaBoost 演算法更有效率地進行，其主要概念為結合數個分類器成為一個強分類器，如圖 19 所示。在階層式分類器中，越前面的分類器計算較為簡單但辨識度較低，而越後面的分類器計算較為複雜但辨識度較高。先利用辨識度較低的分類器快速過濾掉非人臉的影像，後面的分類器雖計算複雜但所需處理的區塊量相對減少很多，因此階層分類器能夠兼顧到運算速度與準確率兩部分。. 22.

(33) 圖 19 階層式分類器示意圖，T 表示判對結果可能為人臉，F 表示判斷結果為非人臉. 3.5 人眼偵測（Eye Detection）. 透過 3.4 節之人臉偵測方法得到原始輸入影像中的人臉位置後，需要再將範圍縮小到眼睛區域附近，才可進行後續的眼睛特徵擷取。人眼偵測流程如圖 20，利用 3.4 節提到之矩形特徵替換為適合眼睛的矩形特徵，階層式分類器改為眼睛分類之決策，再搭配積分影像之技術可以達到快速尋找人眼位置。. 圖 20 人眼偵測流程圖. 此外，由於人臉五官之間相互的距離有一定的比例，故人眼的搜尋範圍不需要涵蓋整張人臉，可將搜尋範圍縮小在上半臉，以提升搜尋速度。縮小之範圍示意圖如圖 21，其中. 𝐹𝑎𝑎𝑎ℎ𝑒𝑒𝑒ℎ𝑡 為 3.4 節提出之方法偵測到的人臉高度。 23.

(34) 𝐹𝑎𝑎𝑎𝑥 及𝐹𝑎𝑎𝑎𝑦 分別代表相對於整張影像來說，偵測到的人臉區域最左上角之 X. 座標及 Y 座標位置。. 𝑊ℎ1 及𝑊ℎ2 為實驗設定之參數，本研究設定為𝑊ℎ1 = 0.25，𝑊ℎ2 = 0.33。縮小眼睛搜尋區域之實際影像結果如圖 22 所示。. 圖 21 縮小眼睛搜尋區域示意圖，灰色虛線內為人臉區域，紅色虛線內為縮小後的搜尋範圍. 圖 22 眼睛偵測結果，(a)臉部影像 (b)縮小眼睛搜尋區域結果 (c)偵測出之眼睛影像. 3.6 眼睛特徵擷取（Eye Feature Extraction）. 取得眼睛影像後，會進行眼睛區域的特徵結取。眼睛特徵擷取流程如圖 23，本研究將主要擷取的眼睛特徵分為兩大類：（1）形狀特徵（眼睛開合高 24.

(35) 度、上眼瞼斜率）及（2）位置特徵（瞳孔位置）。後續將依據不同特徵的不同性質，來設計進行注視區域的分析。. 圖 23 眼睛特徵擷取流程圖，紫色框內為位置特徵擷取，藍色框內為形狀特徵擷取. 3.6.1 光線濾波器（Lighting Filter）. 光線的干擾對於偵測方法是一大挑戰，許多方法利用色彩空間的轉換，來避免光線造成的影響，例如 YCbCr、YIQ 或是 HSV 等色彩空間。然而，眼睛是黑白強烈變化的部分，故本研究直接針對灰階影像進行光線過濾的動作，其過濾方法如（6）所示： (𝑥, 𝑦), 𝑖𝑖 𝐼𝑔𝑔𝑔𝑔 (𝑥, 𝑦) < 𝐺𝑟𝑟𝑟𝑚𝑚𝑚𝑚 𝐼 𝐼𝑓𝑓𝑓𝑓𝑓𝑓 (𝑥, 𝑦) = � 𝑔𝑔𝑔𝑔 ， 𝐺𝑟𝑟𝑟𝑚𝑚𝑚𝑚 , 𝑜𝑜ℎ𝑒𝑒𝑒𝑒𝑒𝑒. (6). 其中𝐼𝑓𝑓𝑓𝑓𝑓𝑓 為經過光線濾波後的影像，𝐺𝑟𝑟𝑟𝑚𝑚𝑚𝑚 為眼睛區域內像素統計的平 25.

(36) 均值，0 < 𝐺𝑟𝑟𝑟𝑚𝑚𝑚𝑚 < 255。由於一般室內光線由上往下照時，因為臉部結構的差異會造成眼睛區域與周圍反射的燈光強度不同，取平均值過濾表示將過強的光線值濾掉。經過光線濾波的影像如圖 24，處理前鼻樑區域及右眼角部分膚色較亮，但左眼周邊膚色卻相對顯得較暗；經過光線濾波處理後的影像膚色部分會呈現較一致的效果，也仍然保留有眼睛的區域資訊。. 圖 24 光線濾波（a）前、（b）後影像變化. 3.6.2 瞳孔偵測（Pupil Detection）. 眼睛的成像原理是由於光線經過瞳孔進入眼睛，再經由水晶體後成像在視網膜上，故在觀察眼睛視線所在時，可透過觀察瞳孔的位置來作判斷。在眼睛的構造上，虹膜及瞳孔為兩同心圓，且瞳孔的顏色較虹膜深，因此我們可利用虹膜及瞳孔灰階梯度方向內積來找尋瞳孔的位置。. 本研究以 Fabian Timm 與 Erhardt Barth[26]所提出的演算法作為基礎，然而此一演算法可能受到不均勻光線以及睫毛陰影的影響，故本研究利用的 3.6.1 提出的光線濾波方法，先將影像經過前處理，並針對內積給定權重值的部分加以改善，以期達到更精準的偵測結果。 26.

(37) 令c為一個可能的候選瞳孔點，𝑥𝑖 （𝑖 ∈ 1, … , 𝑁）為眼睛灰階影像上的任一. 點，𝑑𝑖 為c點之單位灰階梯度向量，𝑔𝑖 為𝑥𝑖 上之單位灰階梯度向量，如圖 25。. 圖 25 瞳孔位置偵測示意圖，灰色部分視為虹膜區域， 𝑑𝑖 與𝑔𝑖 方向（a）相異（b）相同. 根據數學中向量內積的意義，在不考慮正負符號情況下，若兩向量角度差為0° 或180° 做內積運算會有最大的數值。觀察眼睛影像可得瞳孔與虹膜呈現放射狀的顏色變化，故計算每一個𝑑𝑖 與所有𝑔𝑖 的內積和，最佳瞳孔位置𝑐 ∗ 即為可產生內積和最大的c。. 此外，由於瞳孔相較於眼睛其他的部份是屬於灰階值較低的區塊，由此一特性可將每一個c乘上一個權重值𝑤𝑐 ，表示灰階值越低的地方較有可能是瞳孔的位置所在。本研究利用前一節光線濾波處理時所計算出的眼睛區域平均灰階值 𝐺𝑟𝑟𝑟𝑚𝑚𝑚𝑚 來加強權重的部分，將灰階值大於𝐺𝑟𝑟𝑟𝑚𝑚𝑚𝑚 的像素權重𝑤𝑐 訂為 0，削弱其對於整體瞳孔位置判斷的影響。圖 26 為利用本研究瞳孔偵測演算法偵測出. 之瞳孔位置，白色圓圈標示之位置即為瞳孔位置。瞳孔計算方式及權重設定方式如（7）~（9）：. (7) 27.

(38) 𝑁. 1 𝑐 ∗ = 𝑎𝑎𝑎max � � 𝑤𝑐 �𝑑𝑖𝑇 𝑔𝑖 �� 𝑁 𝑐 𝑖=1. 𝑤ℎ𝑒𝑒𝑒 𝑁 𝑖𝑖 𝑡ℎ𝑒 𝑛𝑛𝑛𝑛𝑛𝑛 𝑜𝑜 𝑝𝑝𝑝𝑝𝑝𝑝 𝑥 −𝑐. 𝑑𝑖 = ‖𝑥 𝑖−𝑐‖ ，∀𝑖: ‖𝑔𝑖 ‖2 = 1 𝑖. 𝑤𝑐 = �. 2. 255 − 𝐼𝑔𝑔𝑔𝑔 �𝑐𝑥 , 𝑐𝑦 �, 𝑖𝑖𝐼𝑔𝑔𝑔𝑔 �𝑐𝑥 , 𝑐𝑦 � ≤ 𝐺𝑟𝑟𝑟𝑚𝑚𝑚𝑚 0, 𝑜𝑜ℎ𝑒𝑒𝑒𝑒𝑒𝑒. (8). (9). 圖 26 左、右眼瞳孔偵測結果，白色圓圈位置及為偵測出之瞳孔位置. 3.6.3 OTSU 演算法. 眼睛具有明顯的黑白顏色變化，利用門檻值將眼部影像中像素值做二元化分類，可以凸顯虹膜與眼白間的對比，然而此一門檻值設定的好壞也會直接影像到後續特徵擷取的結果。本研究為了讓系統能夠自動選擇一個適合的門檻值，讓二值化的影象對影像內容可以有較好的區分效果，使用 Otsu[18]所提出的二值化方法。. Otsu 提出的方法概念為，若整張影像中有𝐿個灰階度[1,2, … , 𝐿]，令𝑛𝑖 為灰. 階度𝑖 的像素點的個數，整張影像共有𝑁 = 𝑛1 + 𝑛2 + ⋯ + 𝑛𝐿 = ∑𝐿𝑖=1 𝑛𝑖 個像素點，每個灰階度出現的機率為𝑃𝑖 =. 𝑛𝑖 𝑁. 。二元化最主要的目的是找出一個門檻值. 𝑇(1 ≤ 𝑇 ≤ 𝐿)使得像素點可以被分成[1, 𝑇]及[𝑇 + 1, 𝐿]兩群，分別以𝐶0 和𝐶1 代 28.

(39) 表，兩群的出現機率為𝜔0 和𝜔1. 𝑇. 𝜔0 = � 𝑃𝑖 𝑖=1. (10). 𝐿. 𝜔1 = � 𝑃𝑖 = 1 − 𝜔0. (11). 𝑖=𝑇+1. 兩群的平均值𝜇0 和𝜇1 分別為. 𝑇. 𝜇0 = � 𝑖=1 𝐿. 𝑖 ∗ 𝑃𝑖 𝜔0. 𝜇1 = �. 𝑖=𝑇+1. 兩群的變異數𝜎0 和𝜎1 分別為 𝜎02 𝜎12. 𝑇. 𝑖 ∗ 𝑃𝑖 𝜔1. = �(𝑖 − 𝜇0 )2 𝑖=1 𝐿. (12). 𝑃𝑖 𝜔0. = � (𝑖 − 𝜇1 )2 𝑖=𝑇+1. (13). 𝑃𝑖 𝜔1. (14). (15). 群體變異的加權總和為. 𝜎 2 = 𝜔0 𝜎02 + 𝜔1 𝜎12. (16). 經過計算𝜎0 及𝜎1 後，在影像中若能找到一個𝑇使得𝜎 2 最小，即為所求之門檻值。之後，針對整張灰階影像上所有像素值進行二值化，可凸顯出虹膜部分。 29. (17).

(40) 二值化公式如（17）： 0, 𝑖𝑖 𝐼𝑔𝑔𝑔𝑔 (𝑥, 𝑦) < 𝑇 𝐼𝑏𝑏𝑏𝑏𝑏𝑏 (𝑥, 𝑦) = � 1, 𝑜𝑜ℎ𝑒𝑒𝑒𝑒𝑒𝑒. 圖 27 比較三種不同門檻值設定方法所得到的二值化影像，圖 27(a)設定門檻值過高，得到的二值化影像範圍較大，且無法較精準的掌握眼睛輪廓；圖 27(c)設定門檻值過低，僅能顯現出部分虹膜區域，亦無法掌握眼睛輪廓；圖 27(b)利用 Otsu 提出的方法取得較適合的門檻值，可以看到二值化的結果將眼睛區域的輪廓突顯得較為完整。. 另外，由圖 28 可以看到，經過 3.6.1 提出之光線濾波處理後，使得原本膚色變化很大的部分變得較為一致，也使得二值化的結果能將眼睛輪廓部分明顯表現出來，對後續取得眼睛開合幅度特徵有非常大的幫助。. 圖 27 不同門檻值之二值化影像，(a)門檻值過高、(b)門檻值適中、(c)門檻值過低. 圖 28 二元化影像比較，(a)光線濾波前、(b)光線濾波後之二元影像. 30.

(41) 3.6.4 眼睛開合幅度. 由於人眼注視於螢幕上不同的垂直高度位置時造有眼睛開合幅度上的不同，在本研究中利用眼睛開合高度以及上眼瞼的斜率兩種特徵來幫助注視區域之決策。. 眼睛開合高度擷取方法示意圖如圖 29，利用二元影像中分別由上而下搜尋邊緣，找到眼睛最高的一點；以及由下而上搜尋邊緣，找到眼睛最低的一點，以兩者的水平高度差做為眼睛開合高度特徵。. 圖 29 眼睛開合高度擷取示意圖. 上眼瞼斜率利用[33]所提出的方法計算，在二元影像中由上而下搜尋邊緣，找到眼睛最高的一點𝑒1 ，接著由左向右𝑤個像素，往下尋找另一個邊緣𝑒2 ，上眼瞼斜率計算方式示意圖如圖 30。 𝑆𝑐𝑐𝑐𝑐𝑐 =. 𝑤. �𝑒1𝑦 − 𝑒2𝑦 �. 其中𝑆𝑐𝑐𝑐𝑐𝑐 即為上眼瞼形狀的斜率，本研究取𝑤 =10。. 31. (18).

(42) 圖 30 上眼瞼斜率計算方式示意圖. 3.7 注視區域分析（Gaze Estimation）. 由於眼睛在注視螢幕上不同高度的位置時會有較明顯的形狀改變，故本研究在注視區域決策的部分設計出先利用形狀特徵做初步判斷可能的注視範圍，再利用位置特徵做最終決策的二階層式 SVM（Support Vector Machine）架構。. 使用者每次使用系統前須先建立訓練資料集合，針對每一個注視實驗區塊系統必須取得 50 張有效影像，即可開始分析眼睛注視區域。. 樣本訓練部分，針對單眼而言會有 4 維的特徵，如（19）所示：. 𝐹𝑉 = (𝐹𝑠ℎ𝑎𝑎𝑎 ‖𝐹𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙 ). (19). 其中，. 𝐹𝑉 表示眼睛區域的整體特徵向量。 𝐹𝑠ℎ𝑎𝑎𝑎 表示眼睛區域所取得的形狀特徵向量，𝐹𝑠ℎ𝑎𝑎𝑎 = �𝑆ℎ𝑒𝑒𝑒ℎ𝑡 , 𝑆𝑐𝑐𝑐𝑐𝑐 �。 𝐹𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙 表示眼睛區域所取得的位置特徵向量，𝐹𝑙𝑙𝑙𝑙𝑙𝑙𝑙𝑙 = �𝐿𝑥 , 𝐿𝑦 �，𝐿𝑥 及𝐿𝑦 分別 32.

(43) 為 3.6.2 節偵測出之瞳孔𝑐 ∗ 的 X 座標及 Y 座標位置。本研究中，對於注視區域的判斷採用雙眼資訊共同決策，因此左右眼之特徵向量共 8 維。. 𝐹𝐸 = (𝐹𝑉𝐿 ‖𝐹𝑉𝑅 ). (20). 其中，𝐹𝑉𝐿 及𝐹𝑉𝑅 分別代表左眼與右眼的整體特徵向量，𝐹𝐸 為針對單一注視點之雙眼整體特徵向量。. 3.7.1 支持向量機（Support Vector Machine, SVM）. 支持向量機是一套相當有效的機器學習分類方法，主要目的是透過訓練資料中的分類標記和特徵來建立一個模型，利用此一模型和測試資料中的特徵，計算特徵值的距離，判斷測試資料的類別。. 支持向量機的概念是希望找到一個理想超平面（hyperplane），此一平面可將兩個不同類別的資料區分開來。以圖 31 為例，在所有資料點的分布下找到一條能將橘色圓圈及綠色三角形兩類資料點分開，且此一分隔線距離兩個集合越遠越好。. 33.

(44) 圖 31 SVM 概念示意圖 (a)三條 hyperplane 皆能將兩個類別分開 (b)應選擇能夠將此兩類. 資料點分得最遠的一條. 3.7.2 基於二階層式支持向量機（2-Layer SVM）之注視區域決策. 當人眼注視於不同區域時，眼睛的形狀及瞳孔位置會有不同的變化，本研究修改林智仁教授開發之 LibSVM[3]支持向量機，發展二階層式支持向量機。依據不同特徵之特性，結合兩個支持向量機架構（如圖 32），用以決定使用者當下的注視區塊。. 34.

(45) 圖 32 二階層式支持向量機架構圖. 觀察人眼的注視行為，可以發現在注視螢幕不同高度位置時，眼睛的開合幅度不盡相同（圖 33），若能由眼睛的形狀特徵初步判斷出注視範圍，可以減少 SVM 所需載入的訓練模型資訊，也可以降低錯誤判斷的發生。. 本研究提出之二階層式 SVM，其中第一層 SVM 針對眼睛開合的形狀特徵計算出一個機率值集合{𝑃𝑈 ,𝑃𝑀 ,𝑃𝐿 }，分別代表針對注視區塊為上層（Upper，注視. 區塊編號 1~3）、中層（Middle，注視區塊編號 4~6）或下層（Lower，注視區塊 7~9）的機率，利用此機率值集合決定第二層 SVM 所要載入的訓練模型。接著由第二層的 SVM 針對瞳孔的位置變化，來做最終的注視區塊的決策。以位置特徵. 35.

(46) 建立之注視點訓練模型依據眼睛形狀特徵計算出的機率值組合不同，共分成 6 種不同的注視點訓練模型。. 圖 33 眼睛開合差異 (a)注視上層 (b)注視中層 (c)注視下層. 第一層 SVM 決策流程如圖 34，利用眼睛開合的形狀特徵計算出的機率值集合{𝑃𝑈 、𝑃𝑀 及𝑃𝐿 }作為判斷依據，選擇適合的注視點訓練模型，其中 𝑀𝑜𝑜𝑜𝑜𝑙 表示 6 種不同注視區域範圍組合的注視點資料所訓練出來的模型，. 𝑙𝑙{𝑈, 𝑈 + 𝑀, 𝑀, 𝑀 + 𝐿, 𝐿, 𝐴}。如圖 35 所示， 𝑈、𝑀、𝐿、𝐴分別代表注視區域在上層（Upper，注視區塊編號 1~3），中層（Middle，注視區塊編號 4~6），或是下層（Lower，注視區塊編號 7~9）以及 All data（注視區塊編號 1~9）。. 𝑃𝑈 、𝑃𝑀 及𝑃𝐿 分別代表屬於水平分層的上層、中層及下層的機率值。 𝑃𝑚𝑚𝑚 及𝑃𝑠𝑠𝑠 分別代表𝑃𝑈 、𝑃𝑀 及𝑃𝐿 中最大機率值及第二大機率值。 ∗. 𝑃𝑚𝑚𝑚 及 ∗𝑃𝑠𝑠𝑠 分別代表產生最大機率值及第二大機率值的分層， ∗𝑃𝑚𝑚𝑚 、. ∗. 𝑃𝑠𝑠𝑠 𝜖{𝑈𝑈𝑈𝑈𝑈, 𝑀𝑀𝑀𝑀𝑀𝑀, 𝐿𝐿𝐿𝐿𝐿}。. 𝑇1 及𝑇2 為實驗設定參數，本實驗設定𝑇1 =0.7，𝑇2 =0.9。（1） branch1 先判斷𝑃𝑚𝑚𝑚 是否大於𝑇1 ，若𝑃𝑚𝑚𝑚 ≥ 𝑇1，表示眼睛的形狀可以 36.

(47) 幫助系統明確的區分出眼睛正在注視於某一層的範圍，由 branch2 針對 ∗𝑃𝑚𝑚𝑚 挑選出該層的注視點訓練模型；反之，代表無法立即區分出注視於哪一層。. （2） branch3 利用𝑃𝑚𝑚𝑚 及𝑃𝑠𝑠𝑠 的和判斷注視區域是否介於某兩層之間的範圍，若𝑃𝑚𝑚𝑚 + 𝑃𝑠𝑠𝑠 ≥ 𝑇2 ，則表示注視區域介於某兩層範之間，換句話. 說我們可明確排除一層不可能的注視區域。由 branch4 利用 ∗𝑃𝑚𝑚𝑚 及 ∗. 𝑃𝑠𝑠𝑠 決定注視區域介於 Upper 和 Middle 之間，或者 Middle 和 Lower. 之間；反之，則代表眼睛形狀資訊不足以讓系統判斷所屬的注視區域，將使用包含三層的注視點模型𝑀𝑜𝑜𝑜𝑜𝐴 來做決策。. 37.

(48) 圖 34 第一層 SVM 決策流程圖. 圖 35 注視區域分層示意圖. 38.

(49) 第四章實驗結果與分析在本章共分為五節，4.1 節為程式開發環境介紹，4.2 節為實驗環境介紹， 4.3 節為眼睛偵測實驗結果，4.4 節為瞳孔偵測實驗，4.5 節為注視區域判斷實驗結果。針對不同的實驗會在各小節提出正確及錯誤的實驗影像實例，並針對實驗結果做討論及分析。. 4.1 程式開發環境. 【硬體部分】. 作業系統：Windows 7 64bit 硬體設備：1.7 GHz Intel Core i5 4GB 1600MHz DDR3 螢幕尺寸：13.3 吋. 【軟體部分】. 程式開發介面為 Visual Studio 2010 Express，以 C++程式語言撰寫，基本的影像處理使用 OpenCV 函式庫做輔助。. 4.2 實驗環境. 本研究實驗之操作包含訓練以及辨識兩個部分，其輸入影像來自筆記型電腦內建之網路攝影機，影像大小為640 × 480。擷取使用者注視螢幕不同區塊的 39.

(50) 影像後，即可啟動辨識功能即時分析判斷使用者注視的區塊。系統執行圖如圖 36 所示，系統會顯示即實抓取的人臉以及標記出瞳孔位置，紅色點為系統產生之注視輔助點。. 圖 36 系統執行圖. 4.3 人眼偵測實驗結果. 【實驗方法與目的】. 針對 3.5 節所提出的縮小眼睛搜尋範圍前、後的人臉影像做人眼偵測，並比較有縮小搜尋範圍及未縮小搜尋範圍兩種方法的人眼偵測準確率的差別。計算準確率的公式如（21）：. 𝐷𝑒𝑒𝑒 =. 𝑁𝑒𝑒𝑒 × 100% 𝑁𝑓𝑓𝑓𝑓. (21). 以準確偵測到人眼的影像總數𝑁𝑒𝑒𝑒 除以正確偵測到的人臉影像總數𝑁𝑓𝑓𝑓𝑓 ，表示 40.

(51) 準確率。. 【資料庫】. 在一般室內環境中設置系統，對使用者進行 Adaboost 之人臉影像擷取。資料庫內包含七位使用者，總共 630（90 張/人）張人臉影像。. 表 2 眼睛偵測率 𝑫𝒆𝒆𝒆 (%). case Non-Refine eye search region Refine eye search region. 94.29(594/630) 99.68 (628/630). 由實驗結果可以看到，經過縮小眼睛搜尋範圍後，眼睛的偵測準確率可達到 98.85%（表 2），與直接利用整張影像搜尋人眼的正確率相差約 5%。此外，除了提高準確度外，縮小搜尋範圍也有助於提升偵測速率。觀察實驗結果影像可以發現，準確率提升的部分大多是落在改善偵測到眉毛的部分。由於較粗的眉毛很容易被誤判為眼睛（圖 37），在做了搜尋範圍的限制後，會因為分布位置不符合，剔除掉此一候選區域。. 圖 37 眼睛偵測 (a)成功 (b)失敗，偵測到眉毛. 41.

(52) 4.4 瞳孔偵測實驗結果. 本節將針對 3.6 節提到的瞳孔偵測演算法進行準確度的分析，實驗分兩部分：（1）使用開放資料庫進行準確度分析、（2）使用系統截取之人眼影像進行準確度分析。. 4.4.1 實驗一：以 CASIA 資料庫評估瞳孔偵測演算法準確度. 【實驗目的與方法】. 針對 3.6.2 節提出之改良後的瞳孔偵測演算法，使用開放資源之 CASIA Iris Image Database Version 1.0[19]資料庫內 756 張眼睛影像，計算瞳孔偵測準確度以及平均處理一張影像所需的時間。. 【資料庫】. 使用的資料庫為 CASIA Iris Image Database Version 1.0[19]，包含 108 位使用者之單眼影像，共 756 張。CASIA[19]資料庫影像範例如圖 38，影像解析度為 320*280，所有影像皆為單通道之灰階影像。. 圖 38 CASIA[19]虹膜資料庫內，眼睛影像之範例. 42.

(53) 實驗結果如圖 39 所示，準確率在實驗誤差容許 2 像素範圍時，準確率可達 92.13%。觀察實驗結果之影像可發現，若虹膜區域周邊沒有睫毛遮蔽干擾的情況下，可較容易偵測的準確的瞳孔位置（圖 40）；反之，則偵測的瞳孔位置會因為濃密的睫毛影響，導致偵測位置往睫毛濃密的方向位移一些（圖 41）。. 表 3 比較本論文提出之方法與 Daugman[8]提出之方法之，雖然本論文之方法準確率較低，但在誤差容忍為 2 像素的範圍內可達到不錯的準確率，同時平均每秒能處理的影像張數能達到 40 張，較 Daugman[8]所提出的方法高出許多，可以達到即時偵測的目的。. 表 3 CASIA[19]資料庫實驗結果，與 Daugman[8]方法之時間比較. 方法 Daugman The proposed method. 執行時間（s）. FPS. 4031.9 18.8. 0.2 40.2. 圖 39 CASIA 資料庫瞳孔偵測準確度 43.

(54) 圖 40 CASIA[19]資料庫瞳孔偵測，偵測正確之範例（白色點為偵測出之瞳孔位置）. 圖 41 CASIA[19]資料庫瞳孔偵測，偵測錯誤之範例（白色點為偵測出之瞳孔位置）. 44.

(55) 4.4.2 實驗二：以系統實際擷取的眼睛影像評估瞳孔偵測準確度. 【實驗目的與方法】. 以本研究之系統在一般實驗環境下，實際資料取得的人眼影像評估所瞳孔偵測方法準確度，並比較與實驗一之差別。. 【資料庫】. 在本研究之實驗環境中設置系統，對七位使用者擷取眼睛影像。資料庫內包含七位使用者，總共 1260（180 張/人）張單眼睛影像。. 觀察實驗結果影像可發現，由於實際實驗環境所擷取到的眼睛影像品質不如 CASIA[19]資料庫穩定，在實驗數據（圖 42）上亦可發現準確度有下降的趨勢，但在誤差為 3 像素以內時仍可達到 92.4%的準確度。. 圖 42 實際資料瞳孔偵測準確度. 45.

(56) 圖 43 實際影像瞳孔偵測正確之範例（白色點為偵測出之瞳孔位置）. 圖 44 實際影像瞳孔偵測失敗之範例（白色點為偵測出之瞳孔位置）. 圖 43 為實際影像瞳孔偵測正確之範例，當眼睛未受到眼瞼或睫毛遮蔽的情況下，較容易正確偵測的瞳孔的位置；相反的，若眼睛注視於螢幕較下方的位置或是在眨眼（圖 44），虹膜的部分會受到眼瞼的遮蔽，導致瞳孔無法正確被偵測到。. 46.

(57) 4.5 注視區域分析實驗結果. 在一般光源穩定的室內環境中設置系統，對七位使用者進行注視區域之分析。注視區塊決策準確率𝐺𝐺𝐺𝐺𝑟 計算方法如（22）： 𝐺𝐺𝐺𝐺𝑟 =. 𝑁𝑐. 𝑁𝑓𝑓𝑓𝑓𝑓. × 100%. (22). 以系統正確決策出注視區塊的影像數𝑁𝑐 除以影像總數𝑁𝑓𝑓𝑓𝑓𝑓 ，評估系統準確度。. 注視區塊依本研究使用之 13.3 吋筆記型電腦螢幕大小平均分成3 × 3的九. 宮格，由左而右，由上而下分別編號為 1~9，如圖 45 所示。蒐集訓練資料時使用者必須保持頭部位置，並依照區塊號碼依序注視 1~9 個區塊內顯示的紅色注視輔助點。針對每一個注視區塊，系統必續蒐集到 50 張以上有效影像，方可進行注視區域分析。. 圖 45 注視區塊劃分示意圖 47.

(58) 4.5.1 實驗一：第一層支持向量機（1st SVM）準確度驗證. 【實驗目的與方法】. 由於本研究之注視區域決策演算法採用二階層式 SVM 做判斷，因此我們必須確保第一層 SVM 的決策結果能夠達到一定程度的準確度，否則會將失誤代價轉嫁到第二層 SVM 上。實驗一針對 3.7.2 節提出之二階層式支持向量機中第一層 SVM 注視區域初步判定方法的部分，做準確度的分析。. 【資料庫】. 依序於九個區塊內出現注視輔助點讓使用者注視，實驗進行期間使用者須保持頭部位置。對於每一個注視區塊，紀錄 50 張有效影像。資料庫內包含七位測試者，每位測試者有 450 張影像。. 表 4 第一層 SVM 注視區塊決策準確率. Layer （區塊編號）準確率(%). Up （1~3）. Middle （4~6）. Lower （7~9）. 94.13. 91.0. 93.60. 由表 4 可得知注視區域的初步判定準確度可達 90%以上，顯示眼睛開合幅度可的提供注視區塊分析一個初步且有效的輔助判斷。但由於人類基因的不同，有些人的眼睛開合幅度明顯（圖 46 左欄），可以有很好的判斷結果。然而，相對來說有些人的眼睛開合幅度並不能夠非常明顯的被判斷（圖 46 右 48.

(59) 欄），此種狀況下先利用眼睛形狀特徵來縮小注視區域的範圍效果有限，在本研究終由眼睛的位置特徵來做主要的注視區塊決策。. 圖 46 不同人眼形狀特徵差別. 4.5.2 實驗二：比較使用單一支持向量機及二階層式支持向量機之實驗結果. 【實驗目的與方法】. 在每個注視區塊內，固定於區塊中心顯示注視輔助點（圖 47），記錄使用者之注視狀況。計算使用單一支持向量機及使用本研究所提出之二階層式支持向量機應用於注視區域決策的準確度，並比較兩種方法的實驗結果。實驗進行期間使用者須保持頭部位置，對於每一個區塊，可以分別計算注視準確度。. 【資料庫】. 依序於九個區塊中心位置出現注視輔助點讓使用者注視，針對每個區塊擷取 50 張有效影像作為測試資料。資料庫共包含七位測試者的資料，每位測試者 49.

(60) 提供 450 張有效之測試影像。. 圖 47 注視區塊（區塊內中心顯示紅色注視輔助點）示意圖. 實驗結果如表 5 所示，使用本論文提出之二階層式支持向量機的平均實驗時間約為 90 秒（包含擷取訓練資料及測試資料），整體平均準確率為 84%。眼睛注視區域落在編號 1 到 3 號的區塊時，眼睛張開的幅度最大，不容易阻擋到虹膜及瞳孔的部分，影響瞳孔位置的偵測，故此一範圍的準確率會較高，可達到 88%以上。相對來說，當眼睛的注視區域落在編號 7 到 9 號的區塊時，由於眼睛的開合幅度較小，瞳孔位置容易受到上眼瞼及暗色睫毛遮蔽的影響，導致偵測出來的瞳孔位置會有些偏移。另外，若眼睛較小的人在看此一區域時容易和閉眼相似，瞳孔位置一樣容易受到上眼瞼遮蔽的影響而產生偏移，故此一區域的準確率會較低。. 50.

(61) 表 5 注視區塊決策準確度（注視輔助點於區塊中央）. 注視區塊編號 1 2 3 4 5 6 7 8 9. 單一 SVM 準確率(%) 80.6 82.3 81.1 76.6 79.7 74.0 67.1 65.4 64.4. 二階層式 SVM 準確率(%) 90.3 91.1 89.1 88.9 88.2 83.7 75.4 76.0 72.9. 比較使用單一支持向量機及本論文提出之二階層式支持向量機準確率可發現，本論文提出之方法平均可提升準確度約 9.4%。其主要原因為筆記型電腦之螢幕相對一般桌上型電腦之螢幕要來的小許多，且眼睛外觀形狀是屬於扁而寬的，導致眼睛在看不同垂直高度位置時瞳孔的 y 座標改變幅度也較小，因此較無法區別；而本研究所提出之二階層支持向量機主要改善的部分，即為利用眼睛的形狀特徵在不同注視高度時會有明顯變化的特性來輔助眼睛注視高度的判斷，進而達到提升注視區塊決策準確度的效果。. 4.5.3 實驗三：注視輔助點隨機產生之二階層式支持向量機決策準確度. 【實驗目的與方法】. 在每一個注視區塊內以隨機描點的方式出現注視輔助點，目的在於模擬人眼實際注視外界事物的狀況。受測者在進行實驗時須盡量保持頭部位置，對於每一個注視區塊，可以分別計算注視準確度。. 51.

(62) 【資料庫】. 依序在每一個注視區塊內隨機出現 3 個注視輔助點（圖 48），每個注視輔助點擷取 15 張以上有效影像，針對每個注視區塊由三個注視輔助點取總共 50 張有效影像作為測試影像。資料庫包含七位測試者，每位測試者提供 450 張有效之測試影像。. 實驗結果如表 6 所示，由於筆記型電腦螢幕相對於一般桌上型電腦螢幕要來得小許多，在注視輔助點以隨機方式呈現時，容易與鄰近注視區塊的位置造成干擾，故此實驗結果較實驗二的準確率結果下降一些，但平均注視區塊決策準確度可維持在接近 80%。. 圖 48 注視區塊（區塊內隨機出現紅色注視輔助點）示意圖. 52.

(63) 表 6 注視區塊決策準確度（隨機出現 3 個注視輔助點）. 準確率(%). 注視區塊編號 1 2 3 4 5 6 7 8 9. 87.4 87.7 86.3 82.3 83.1 78.6 69.7 70.6 67.7. 53.

(64) 第五章結論及未來研究 5.1 結論. 本研究提出一個使用筆記型電腦內建之單一攝影機的即時注視區域分析方法，由人臉五官位置的分布，利用啟發式規則針對眼睛搜尋區域做適當的縮減，除了加速偵測眼睛的速率外，亦有助於提高 Adaboost 眼睛偵測的準確率。在找到眼睛區域後，利用瞳孔位於眼睛區域內最深色之虹膜中心的部分，以及虹膜區域顏色為由淺而深輻射向內的特性，修改[26]之演算法，透過內積法快速計算出瞳孔位置。最後經由本研究所提出的二階層式支持向量機，利用形狀特徵經過第一層支持向量機所產生的區域機率值先做注視區域的初步判斷篩選後，再由位置特徵經過第二層支持向量機做最終的注視區塊判定。. 本研究提出之二階層式支持向量機除了能降低載入的訓練模型量，亦能提高整體注視區域判定的準確度。利用本研究提出之注視區塊決策方法，平均準確度可達 80%~84%。且較僅使用單一層支持向量機之準確度提升了約 9.4%。. 5.2 應用. 本研究可進一步延伸應用於醫療服務上，發展為重度肢體障礙人士的輔助工具，例如將系統安裝置行動載具並安置於輪椅之固定位置，配合相關的應用程式在本系統設定之九宮格上配置幾項大功能。例如向前、向後、向左、向右. 54.

(65) 之方向控制或是加裝 IP Camera 的控制功能等等，可以讓患者有更多的方式與外界接觸，了解外界狀況。. 5.3 未來研究. 本研究提出之方法存在許多限制，例如在眼睛偵測及瞳孔偵測上，若是眼睛區域受到遮蔽或是環境光線不佳的情況下，會導致偵測效果不彰；而注視區域分析部分，由於使用的特徵皆為 2D 平面上的資訊，當使用者移動後便會失去準確性。. 未來工作在演算法部分可針對以下方向做改進，以增加本研究的實用性：. （1）對於使用者佩戴的粗框眼鏡造成眼睛偵測失敗的部分，可加入去除眼鏡的演算法來加以改善。. （2）若能增加第二台攝影機，或是利用如 kinect 等能提供 3D 資訊的攝影機來做輔助，透過景深的資訊建立真實空間的位置關係，以動態方式調整改變模型，以達到動態注視區域分析，可降低相關之使用限制。. 此外，由於本研究所使用的是筆記型電腦內建之網路攝影機，相對高階攝影機來說是屬於解析度較低的，若能提高解析度，對於注視區域分析上也會有顯著的幫助。. 55.

(66) 參考文獻 [1] "Studio Encoding Parameters of Digital Television for Standard 4:3 and Wide-Screen 16:9 Aspect Ratios," ed: International Telecommunication Union, 2011. [2] S.J. Baek, K.A. Choi, C. Ma, Y.H. Kim, and S.J. Ko, "Eyeball Model-Based Iris Center Localization for Visible Image-Based Eye-Gaze Tracking Systems," IEEE Transactions on Consumer Electronics, vol. 59, pp. 415-421, 2013. [3] C.C. Chang and C.J. Lin, "LIBSVM: A Library for Support Vector Machines," ACM Transcations on Intelligent Systems and Technology, 2011. [4] S. Chen and C. Liu, "Fast Eye Detection Using Different Color Spaces," in IEEE Internation Conference on Systems, Man, and Cybernetics, ed. Anchorage, AK, 2011, pp. 521-526. [5] A. J. Colmenarez and T. S. Huang, "Face Detection with Information-Based Maximum Discrimination," in Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, 1997, pp. 782-787. [6] I. Craw, D. Tock, and A. Bennett, "Finding Face Features," in Proceedings of the Second European Conference on Computer Vision, 1992, pp. 92-96. [7] Y. Dai and Y. Nakano, "Face-Texture Model Based on SGLD and Its Application in Face Detection in a Color Scene," Pattern Recognition, pp. 238-242, 1996. [8] J. Daugman, "New Methods in Iris Recognition," IEEE Transactions on Systems, Man and Cybernetics, vol. 37, pp. 1167-1175, 2007. [9] D. W. Hansen and Q. Ji, "In the Eye of the Beholder: A Survey of Models for Eyes and Gaze," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 32, 2010. [10] T. Kawaguchi and M. Rizon, "Iris Detection Using Intensity and Edge Information," Pattern Recognition, pp. 549-562, 2003. [11] R. Kjeldsen and J. Kender, "Finding Skin in Color Images," in Proceedings of the Second International Conference onAutomatic Face and Gesture Recognition, 1996, pp. 312-317. [12] A. Lanitis, C. J. Taylor, and T. F. Cootes, "An Automatic Face Identification System Using Flexible Appearance Models," Image and Vision Computing, vol. 13, pp. 393-401, 1995. [13] T. K. Leung, M. C. Burl, and P. Perona, "Finding Faces in Cluttered Scenes Using Radom Labeled Graph Matching," in IEEE International Conference 56.

(67) on Computer Vision, 1995, pp. 637-644. [14] M. S. Lew, "Informaiton Theoretic View-Based and Modular Face Detection," in Proceedings of the Second International Conference on Automatic Face and Gesture Recognition, 1996, pp. 198-203. [15] S. McKenna, S. Gong, and Y. Raja, "Modelling Facial Colour and Indentity with Gaussian Mixtures," Pattern Recognition, vol. 31, pp. 1883-1892, 1998. [16] P. Moallem, B. S. Mousavi, and S. A. Monadjemi, "A novel fuzzy rule base system for pose independent faces detection," Applied Soft Computing, vol. 11, pp. 1801-1810, 2011. [17] E. Osuna, R. Freund, and F. Girosi, "Training Support Vector Machines: An Application to Face Detection," in Proceedings. IEEE Conference on Computer Vision and Pattern Recognition, 1997, pp. 130-136. [18] N. Otsu, "A Threshold Selection Method from Gray-level Histograms," IEEE Transactions on Systems, Man and Cybernetics, vol. 9, pp. 62-66, 1979. [19] P. J. Phillips, K. W. Bowyer, and P. J. Flynn, "CASIA Iris Image Database(ver 1.0)," 2007. [20] A. Rajagopalan, K. Kumar, J. Karlekar, R. Manivasakan, M. Patil, U. Desai, et al., "Finding Faces in Photographs," in Proceedings. Sixth IEEE International Conference on Computer Vision, 1998, pp. 640-645. [21] H. Rowley, S. Baluja, and T. Kanade, "Neural Network-Based Face Detection," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 20, pp. 23-38, 1998. [22] H. Schneiderman and T. Kanade, "Probabilistic Modeling of Local Appearance and Spatial Relationships for Object Recognition," in Proceedings. IEEE Conference on Computer Vision and Pattern Recognition, 1998, pp. 45-51. [23] W. Sewell and O. Komogortsev, "Real-Time Eye Gaze Tracking With an Unmodified Commodity Webcam Employing a Neural Network," in Human Factors in Computing Systems (CHI), 2010. [24] K.K. Sung and T. Poggio, "Example-Based Learning for View-Based Human Face Detection," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 20, pp. 39-51, 1998. [25] Y. L. Tian, T. Kanade, and J. F. Cohn, "Dual-State Parametric Eye Tracking," presented at the IEEE International Conference on Automatic Face and Gesture Recognition, 2000. [26] F. Timm and E. Barth, "Accurate Eye Centre Localisation by Means of Gradients," in Proceedings of the Int. Conference on Computer Vision Theory 57.

(68) and Applications, Algarve, Portugal, 2011, pp. 125-130. [27] M. Turk and A. Pentland, "Eigenfaces for Recognition," Cognitive Neuroscience, vol. 3, pp. 71-86, 1991. [28] P. Viola and M. J. Jones, "Robust Real-Time Face Detection," International Jounrnal of Computer Vision, vol. 57, pp. 137-154, 2004. [29] G. Yang and T. S. Hung, "Human Face Detection in Complex Background," Pattern Recognition, vol. 27, pp. 53-63, 1994. [30] J. Yang and A. Waibel, "A Real-Time Face Tracker," in Proceedings Third IEEE Workshop on Applications of Computer Vision, 1996, pp. 142-147. [31] M.H. Yang, D. J. Kriegman, and N. Ahuja, "Detecting Faces in Images: A Survey," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 24, pp. 34-58, 2002. [32] K. C. Yow and R. Cipolla, "Feature-Based Human Face Detection," Image and Vision Computing, vol. 15, pp. 713-735, 1997. [33] 許雅淳, "Gaze Estimation Using Single Webcam," Master, National Taiwan Normal University, 2013.. 58.

(69)