可應用於學生專注度之人眼開闔偵測研究

全文

(1)國立臺灣師範大學資訊工程研究所碩士論文. 指導教授：李忠謀. 博士. 可應用於學生專注度之人眼開闔偵測研究 Eye Opening Detection with Application for In-class Attention Monitoring. 研究生：中華民國. 簡郁菱 101 年. 撰 7月.

(2)

(3) 摘要本論文提出一個即時的簡易偵測方式，著重於解決遠距離低解析度下，光源與雜訊干擾等問題，能使得眼睛在不同開闔程度下皆能擁有優良的辨識率。藉由使用人臉偵測、局部影像擷取、眼睛區域決策與眼睛區域-可靠度檢查，截取出完整且無遮蔽物的眼睛影像，並且在低解析度時也能明確的找出眼睛位置。再使用簡易、快速且不受光源影響的紋理特徵分佈影像，強化開眼闔眼的對比，得到平順、破碎或群集分佈的二值化影像，分析其中平均值、變異值與分群數的差異，能有效的偵測眼睛狀態。在實驗中可以證明，辨識速率非常的快，在一般複雜環境下表現優異，在遠距離中也並未受到外在環境的干擾。眼睛狀態偵測可搭配人臉偵測與移動偵測，來推廣至學生專注度偵測應用，能有效的辨識出學生專心狀態。. 關鍵字：眼睛、人臉偵測、臉部特徵、監控、專注度監控系統、睡意、閉眼、五關位置。. i.

(4) Abstract This paper proposes a simple real-time method to detect eyes status, which focus on solving the problems of long-range camera, low-resolution image, light and noise interference and different degree of eyes open. By face detection, area of interest, eyes region decision and ER-reliable Decision, we can extract the eyes image without occultation. The methods also can find the position of eyes even with low resolution image. Furthermore, we apply a simple and fast method, texture features of distribution, to make the different status of eyes can be distinguished easily. After above step, we can get a smooth, broken or many clusters of image, which can be analyzed average, variation and the number of clusters to identify the status of eyes. By our experiment result, we can prove that our method can have a fast detection speed, and no matter the environment is under normal condition or low resolution with long distance camera. Therefore, we can use eye detection, face detection and motion detection, to promote a application for in-class attention Monitoring.. keyword：Eyes、Face detection、Facial features、Monitoring、Attention monitoring system、Drowsiness、Eye closure、facial features location.. ii.

(5) 誌. 謝. 首先要感謝我的指導教授李忠謀老師，讓我在剛踏入實驗室時，就能快速的理解影像處理實驗室的研究方向與擁有很多學習、磨練的機會，在父親中風陷入困境時給予援手，提供相當多的幫助，才能這麼順利的完成研究。感謝實驗室的前輩明男學長，在任何方向上，都給予極大的幫助；感謝小瑩學姐熱心的講解研究所期間該注意的事項、需要修習的課程與介紹這麼優質的本部資訊中心打工；感謝千儀學姐在撰寫手寫數字辨識系統時，細心的記錄每週需要更改的事項與不厭其煩的幫我找出錯誤的癥結；感謝小白學長在完全沒接觸過 c#時，耐心的指導我，讓我知道如何去學習與解決在影像處理這條道路上會遇到的疑難雜症；感謝阿呆學長在我很多話的時候可以讓我打擾；感謝上屆的學長們帶領著大家吃很多美食。認識你們真好，感謝實驗室夥伴的小巴、映如、雅淳體貼的幫忙我很多沒有注意到的細節、一起分享很多心情與感受、給予加油和打氣；感謝一同作戰的戰友阿正與世堯，一起處理很多的狀況與問題，在其他人去瑞典的期間，得以有伴相陪不孤單的面對挑戰。感謝屁恩、姿卉與怡涵在碩二忙碌的期間，幫忙分憂、減輕重擔。感謝其他 VIPLAB 的夥伴，一同打拼甘苦與共。最後感謝我的父母和妹妹，感謝媽媽把家裡照顧的無微不至，我才能放心的完成學業，家人的陪伴與支持，是我努力奮鬥的最大動力。. iii.

(6) 目錄附表目錄......................................................................................................................... v 附圖目錄........................................................................................................................ vi 第一章簡介................................................................................................................. 1 第一節研究動機................................................................................................. 1 第二節研究目的................................................................................................. 1 第三節研究範圍及限制..................................................................................... 2 第二章文獻探討......................................................................................................... 4 第一節人臉偵測................................................................................................. 4 第二節眼睛狀態偵測......................................................................................... 8 第三章研究方法....................................................................................................... 10 第一節人臉偵測（Face Detection） .............................................................. 12 3.1.1 Haar-Like Feature ............................................................................. 12 3.1.2 AdaBoost Learning Algorithm .......................................................... 13 第二節局部取像（AOI，Area of Interest） .................................................. 16 第三節眼睛區域決策（Eyes Region Decision） ........................................... 18 第四節眼睛區域-可靠度檢查(ER-Reliable Decision).................................... 20 第五節眼睛狀態決策 (Eyes Status Decision) ................................................ 22 第四章實驗............................................................................................................... 28 第一節眼睛開闔辨識....................................................................................... 30 第二節結果與分析........................................................................................... 33 第五章應用............................................................................................................... 36 第一節移動偵測 (Motion Detection).............................................................. 36 第二節學生專注度偵測架構........................................................................... 38 第三節實驗....................................................................................................... 41 5.3.1 實驗規劃........................................................................................... 41 5.3.2 結果與分析....................................................................................... 42 第六章結論............................................................................................................... 44 第一節結論....................................................................................................... 44 第二節未來研究............................................................................................... 45 參考文獻....................................................................................................................... 46. iv.

(7) 附表目錄表 1、Yang [1] 整理之人臉偵測方法與本研究所用之方法。 .................................. 5 表 2、AdaBoost Learning Algorithm [19]。 ............................................................... 15 表 3、眼睛狀態決策流程圖中每一個階段判斷出的結果影像，分析影像中依序是灰階眼睛影像、紋理特徵分佈影像、垂直投影分群影像、變異數與平均值。... 27 表 4、受試者皆無配戴眼鏡，環境與實驗三相同，共 3977 份眼睛資訊，右眼與左眼分別的狀態辨識率。............................................................................................... 28 表 5、實驗一，個別動作辨識率。............................................................................ 30 表 6、實驗二辨識率。................................................................................................ 31 表 7、實驗三辨識率。................................................................................................ 32 表 8、總合辨識率。.................................................................................................... 33 表 9、眼睛狀態決策與 SVM 作為辨識方式的辨識率。 ......................................... 35 表 10、架構下能有效判斷的學習狀態行為。.......................................................... 39 表 11、學生專注度偵測辨識率。 .............................................................................. 42. v.

(8) 附圖目錄圖 1、近距離環境示意圖。.......................................................................................... 2 圖 2、遠距離環境示意圖。.......................................................................................... 3 圖 3、Viola 與 Jones [19]提出的方法之結果。 .......................................................... 7 圖 4、利用色彩的彩度與亮度來作 eyes maps [20]。 ................................................ 8 圖 5、利用水平與垂直投影來判斷眼睛位置 [22]。 ................................................. 8 圖 6、利用 Radial Symmetry Transform 來找尋眼睛位置 [24]。 ............................. 9 圖 7、不同眼睛狀態在小波轉換後的影像 [26]。 ..................................................... 9 圖 8、眼睛狀態流程圖。............................................................................................ 10 圖 9、Haar-Like Feature [19]。................................................................................... 12 圖 10、臉部局部取像。.............................................................................................. 16 圖 11、在實驗中，使用的參數為 0.23， =0.77， 0.25， =0.5， ′ 0.33， ′=0.66，局部取像結果。 ..................................................................................... 17 圖 12、水平投影取像。.............................................................................................. 18 圖 13、右眼可靠度檢查示意圖。.............................................................................. 20 圖 14、眼睛狀態決策圖。.......................................................................................... 22 圖 15、低解析度下紋理特徵影像結果。(a)為人臉偵測(b)灰階單眼影像(c)眼睛狀態處理流程圖：眼睛區域、紋理特徵分佈影像、垂直投影、分群影像、變異數。 ....................................................................................................................................... 23 圖 16、紋理特徵分佈門檻值比較圖。...................................................................... 24 圖 17、眼睛狀態決策流程圖。平均數基準值、、，變異數基準值。 ........ 26 圖 18、實驗一受試中記錄之眼睛資訊。.................................................................. 31 圖 19、眼鏡干擾示意圖。.......................................................................................... 34 圖 20、學生上課學習狀態示意圖。.......................................................................... 36 圖 21、相差值影像門檻值示意圖。.......................................................................... 37 圖 23、眼睛開闔滑動視窗示意圖。.......................................................................... 40 圖 24、學生專注度偵測 UI 介面。 ........................................................................... 41 圖 25、專心看著老師上課與手邊有其他小動作誤判狀況。定義以二比一的票數歸類為專心，程式定義為不專心。............................................................................... 43. vi.

(9) 第一章第一節. 簡介. 研究動機. 在眼睛狀態辨識上，多年來研究者制定的方法在一般情況下都可得到不錯的辨識結果，但是許多應用是在影像背景較單純、距離位置固定且頭的晃動擺盪有所限制的環境下所研發出來的方法，例如在行車安全系統中，藉由判斷駕駛的眼睛的狀態來輔助其應用，分析目前駕駛是否有睡著的現象。而本篇的應用方向是利用眼睛狀態，來對在課堂中的學生作專注力分析，所以如果使用一般的眼睛偵測方法，常常會面臨影像解析度、遠距離光源影響、眼睛開合程度、是否有眼鏡、頭髮遮蔽及臉部轉向等多種狀況，進而影響辨識結果。本論文提出一個即時的簡易辨識方式，著重於解決遠距離低解析度下，光源與雜訊干擾等問題，能使得眼睛在不同開闔程度下皆能擁有優良的辨識率。. 第二節. 研究目的. 在遠距離教室中，能夠有效的辨別學生眼睛狀態，需要制定一個能適用於一般複雜環境下的人臉偵測與眼睛狀態即時偵測演算法，以便增加系統的應用範圍。. 1.

(10) 第三節. 研究範圍及限制. 此實驗皆可使用在真實環境底下，不易受到距離、光源影響，唯有個人資訊量要足夠，臉部影像至少要 60×60 像素。實驗環境分成近距離與遠距離兩種：. 近距離. 圖 1、近距離環境示意圖。. 測試環境在室內，受試者距離攝影機 120cm~150cm(圖 1)，燈源來自受試者上方，均勻光源下，記錄受試者的眼睛影像，受試者皆無配戴眼鏡。. 2.

(11) 遠距離以真實在課堂中上課的環境下，遠距離偵測學生眼睛開闔之情形。在教室中在黑板邊架設 HD 攝影機，攝影機面對於學生(圖 2) ，距離 450cm~1500cm，再從影像中擷取個別的學生資訊。學生是否戴眼鏡無特別規定，但因為是遠距離攝影，如有配戴眼鏡之情形易有遮蔽、反光等情形發生，容易降低辨識率。. 圖 2、遠距離環境示意圖。. 3.

(12) 第二章. 文獻探討. 眼睛位在臉部內且臉部特徵明顯，如果在眼睛偵測前先知道臉部位置，即可大量的減低運算時間與提高辨識率。所以此文獻探討主要分成二個部分，分別為人臉偵測及眼睛狀態偵測。. 第一節. 人臉偵測. 學者們對於人臉偵測已有相當多且成熟的研究，Yang [1] 有統合整理，將人臉偵測方法分為四類：Knowledge-Based、Feature Invariant、Template Matching 與 Appearance-Based，如表一所列。. (1). Knowledge-Based 靠著臉部的外觀型態來作人臉的定義，例如人臉對稱的眼睛、鼻子與嘴巴，互相之間的距離、相對位置關係來建立人臉規則，有助於將人臉資訊簡單化。但人臉會因為人種、性別等相異的變化因素，使得資訊差距相當大，建立規則不容易，要考慮制定的方式是否符合所有人臉的五官特性。如果要求過於嚴苛，勢必會降低辨識率；反之，則降低準確度。. 4.

(13) 表 1、Yang [1] 整理之人臉偵測方法與本研究所用之方法。類型. 使用方法. Knowledge-Based. Multiresolution rule-based method [2]. Feature Invariant - Facial Features. Grouping of edges [3] [4]. - Texture. Space Gray-Level Dependence matrix (SGLD) of face pattern [5]. - Skin Color. Mixture of Gaussian [6] [7]. - Multiple Features. Integration of skin color, size and shape [8]. Template Matching - Predefined Face Templates. Shape template [9]. - Deformable Templates. Active Shape Model (ASM) [10]. Appearance-Based - Eigenface. Eigenvector decomposition and clustering [11]. - Distribution Based. Gaussian distribution and multilayer perception [12]. - Neural Network. Ensemble of neural networks and arbitration schemes [13]. - Support Vector Machine(SVM). SVM with polynomial kernel [14]. - Naive Bayes Classifier. Joint statistic of local appearance and position [15]. - Hidden Markov Model (HMM). Higher order statistic with HMM [16]. - Information Theoretical Approach. Kullback relative information [17] [18]. - AdaBoost Learning Algorithm. A machine learning algorithm [19]. 5.

(14) (2). Feature Invariant Feature Invariant 演算法為尋找特徵的結構特性，包括姿勢、視覺上的紋理描述、視覺上的五官分佈位置與顏色變化等來偵測人臉位置。因為每一種特徵都易受到不同狀態的外在環境干擾而降低辨識率，所以通常會使用一個以上的特徵資訊來做人臉偵測，但在某些環境下還是有無法避免干擾的狀況發生。. (3). Template Matching Template Matching 為一種直觀尋找臉部的方法也常被廣為應用，如 Lanitis、C.J. Taylor 和 Cootes [10]使用 Active Shape Model (ASM)將臉部特徵定義為一種或多種臉部樣本，主要特徵為顯現的臉部輪廓或五官形狀等，人工定義出一個標準樣本，計算出此標準樣本的相關數值，人臉輪廓、眼睛、鼻子及嘴巴。然後計算輸入影像基於此標準樣本的相關數值，逐一比對與樣本之間的相似度。優點是此方法較簡單且易實踐，但只適用於與樣本相對位置差異不大的影像，無法處理臉部朝向、旋轉等情況。. 6.

(15) (4). Appearance-Based. 圖 3、Viola 與 Jones [19]提出的方法之結果。. Appearance-Based 靠著從影像資料庫中作學習，訓練代表人臉的特徵來建立模型，利用訓練完成的模型將臉部與非臉部影像作分群作人臉偵測。如 Viola 與 Jones 提出基於積分影像方法(Integral Image)計算 Haar-Like Features，再使用 AdaBoost Learning Algorithm 挑選出弱分類器組合而成為一個強分類器去建立模型作人臉偵測，其效能在人臉偵測領域極佳，快速且辨識率高，常被廣泛使用。但是，此方法需要大量的非人臉樣本來作事先訓練，才能得到較好的偵測效果，這些大量的非人臉樣本，會造成 AdaBoost Learning 在訓練模型時，需要花非常多的時間，成果的好壞也會因為訓練的樣本不同，而有很大的差異。. 7.

(16) 第二節. 眼睛狀態偵測. 人臉偵測之方法大多數都可用在眼睛偵測上，且眼睛有著與臉相對位置固定、顏色黑白分明、輪廓特徵強烈等特性，更可以使用多種不同面向的方式去做偵測。目前關於眼睛方面的研究有使用彩度與亮度的方法，利用瞳孔與人臉膚色強烈對比特性來作眼睛偵測 [20](圖 4)與眼睛狀態偵測 [27]；或如 [22] (圖 5) [23]中利. 圖 4、利用色彩的彩度與亮度來作 eyes maps [20]。. 圖 5、利用水平與垂直投影來判斷眼睛位置 [22]。. 用投影的方式來尋找眼睛位置；也有利用人臉中眼睛、眉毛、鼻子和嘴巴，在人臉上呈現較為複雜的紋理來找尋眼睛位置 [21]；另外利用虹膜形狀為圓形的特 8.

(17) 性，使用演算法計算圓形在臉上出現的累積統計值，統計值最高點即為最有可能是眼睛位置 [24] (圖 6) ；或使用 Facial Action Coding System (FACS)中的 action units (AU)作小波轉換視為特徵[26]，再利用類神經網路來作眼睛狀態偵測。. 圖 6、利用 Radial Symmetry Transform 來找尋眼睛位置 [24]。. 圖 7、不同眼睛狀態在小波轉換後的影像 [26]。 9.

(18) 第三章. 研究方法. 眼睛偵測的方法有很多種，本實驗除了需要偵測開眼狀態的資訊之外，也需要偵測闔眼狀態的資訊。闔眼狀態的偵測不如開眼那麼的黑白分明與輪廓清楚，其難易度更高，需要多種不同的決策才能得到優異結果，且因為在遠距離攝影的教室中，會有多種狀況發生，使用之偵測與辨識的方法需要更不易受外在環境所影響。本論文提出的方法(圖 8)是從影像中偵測人臉，再從偵測得來的人臉中局部取像，定義眼睛區域再以可靠度檢查得到完整的眼睛影像作眼睛狀態辨識。. 圖 8、眼睛狀態流程圖。 10.

(19) 步驟為先使用 Haar-Like Feature 與 AdaBoost Learning Algorithm 來作人臉偵測，得到臉部資訊。再根據眼睛在臉上位置的區域特性，針對局部取像作眼睛位置偵測。因為臉部資訊包含眼睛、鼻子、嘴巴等多種特徵，但此部份只需要眼睛資訊，所以針對臉部只截取小範圍區域，包含眼睛範圍的局部影像作為初步過濾範圍。接下來對局部取像作眼睛區域決策，首先對影像轉成灰階作 Otsu 二值化，以水平投影來分群，以明顯的分群方式區分眉毛與眼睛，之後針對分群為眼睛的部分以水平與垂直投影高峰點來定位中心位置，再截取其區域作為眼睛影像資訊。在正常的打電腦、看書、睡覺等行為中，兩隻眼睛的狀態在無刻意控制的情況下會是相同的，所以使用單隻眼睛的影像資訊已足夠表示此人的狀態資訊，並能大幅的減低運算時間提高效率。故本論文之方法只使用單眼影像作為依據，但是影像的優異程度會影響辨識結果，所得到眼睛區域更需要考量是否可靠，有無遮蔽物如頭髮等影響。為了避免此狀況發生，我們使用眼睛區域-可靠度檢查來確保單隻眼睛無受外物干擾，進而影響辨識結果。眼睛區域-可靠度檢查決定是否用預設的單隻眼睛作為眼睛開閉的依據，抑或是因為有遮蔽物等干擾需要更改成另一眼作眼睛狀態決策。最後在眼睛狀態決策中使用紋理特徵分佈影像，使用像素最小(顏色最深)的影像分佈位置作為特徵，利用開眼與闔眼分佈位置非常不相同的特性，來強烈拉 11.

(20) 開開眼與闔眼眼睛的差異度，來作眼睛狀態辨識。本研究方法說明主要分為四個小節，第一節為人臉偵測，第二節為局部取像與眼睛區域決策，第三節為眼睛區域-可靠度檢查，第四節為眼睛狀態決策。. 第一節. 人臉偵測（Face Detection）. 本篇研究是使用 Viola 與 Jones [19]所發表的 Robust Real-Time Face Detection 來做人臉偵測。首先使用 Haar-Like Feature 再使用 AdaBoost Learning Algorithm 挑選重要的 Haar-Like Features。組合所有被挑選的 Haar-Like Features 成為分類器就可將輸入的圖片作人臉偵測掃，掃描是否有臉部區塊。. 3.1.1. Haar-Like Feature. Viola 與 Jones [19]使用四種 Haar-Like Feature 來做人臉偵測(圖 9)，各種特徵視為一個 Window，分別在影像上掃描移動。. 圖 9、Haar-Like Feature [19]。 12.

(21) 並且因為 Haar-Like Feature 數量非常龐大，所需計算量多，故 Viola 與 Jones [19]提出了積分影像來加速計算，得到各個 Haar-Like Feature 值。積分影像概念如下:. ii(x, y)= 其中. 代表位在. (式 1) 包含了範圍內的像素值總和。. 根據遞迴的方式:. s(x, y)=s(s, y-1)+i(x, y). (式 2). ii(x, y)=ii(x-1, y)+s(x, y). (式 3). 表示該行到的總和，. -. 和 -. ，積分影像就可從原始影像中. 得到。. 3.1.2. AdaBoost Learning Algorithm. 根據 3.1.1 得到 Haar-Like Feature 再使用 AdaBoost Learning Algorithm 挑選權重較高的特徵，每一種被挑選到的 Haar-Like Features 皆可視為一種弱分類器 (Weak Classifier)，所有被挑選的弱分類器組合成一種強分類器(Strong Classifier)。利用強分類器可將整張影像掃描是否為臉部區。 AdaBoost Learning Algorithm 的概念為初始時所有的訓練集合權重是一樣的，但每經過一回合訓練就加重被分錯的集合權重，經過反覆回合的訓練後，越容易被分錯的集合權重就越高，意義為提高重視度在那些有鑑別度的弱分類器上，並 13.

(22) 給予它較高的權重值。實踐方法為(表 2)首先定義已知需要訓練的 n 個資料量性分別為. ，表示屬. ，而屬性為 0 或 1，並且初始所有的權重，在屬性為 0. 的項目權重為. ，在屬性為 1 的項目權重為. ，m 與 l 為個別的屬. 性集裡的元素個數。而後開始執行步驟 1 到 4 共 T 個回合：先正規化所有的權重. ，使在. 集合中的權重. 擇讓錯誤率降至最小的弱分類器. 總和為 1。再從眾多的弱分類器中選。錯誤率算法為. 。接下來定義選中的弱分類器之中的參數. ，使弱. 分類器產生的錯誤率降至最小。最後根據錯誤率來更新下回合的權重值，當分類正確時. ，當分類錯誤時. 根據錯誤率而算出的參數。最後總和 T 回合選出的. ，. ，建立起最後的強分類. 器ｃ。ｘ. ｃ. ，. ｘ. 14. 為. (式 4).

(23) 表 2、AdaBoost Learning Algorithm [19]。 . Given example images (. ), . . . , (. ) where. = 0, 1 for negative and. positive examples respectively. . ，. Initialize weights. =0 ,1 respectively, where m and l are the. number of negatives and positives respectively. . For t = 1, . . . , T ： 1. Normalize the weights, 2. Select the best weak classifier with respect to the weighted error = A weak classifier. thus consists of a feature (f), a threshold ( ) and a. polarity (p) indicating the direction of the inequality:. 3. Define. are the minimizes of. 4. Update the weights:. where. 1 otherwise, and .. . The final strong classifier is ： C(x) = = log 15.

(24) 第二節. 局部取像（AOI，Area of Interest）. 在 Haar-Like Feature 和 AdaBoost Learning Algorithm 中得到的臉部影像中，定義眼睛區域寬度介於與間，高度介於與為. ，左眼介於間區域為. 間，右眼介於左側至間區域. ，為一個廣域的眼睛範圍。. 圖 10、臉部局部取像。. (式 5) (式 6) 範圍為. 軸起點. 16. 軸起點寬度高度.

(25) 、高度，. 代表為人臉眼睛起始範圍，. 代表擷取眼睛區域與單眼區域之. 代表擷取眼睛區域之寬度，代表右眼單眼區域之寬度，代表左眼單眼區域之寬度。定義會在人臉右眼右側邊緣，會在. 左側邊緣；定義會在人臉左眼左側邊緣，會在右側邊緣；定義會在人臉雙眼上側，定義會在人臉雙眼下側。我們取較多的高度，保留更多眼睛局部取像空間，來應對是否臉部有左偏、右偏或歪斜的情形，當臉部有此狀況發生時，眼睛位置容易過高或過低，就能有足夠的空間，在局部取像內得到眼睛影像。在圖 11 中可發現，當臉為左右側偏或傾斜時，還是能正確的保留眼睛區域，雖然在非常傾斜的狀況下，會有局部眼睛被裁切，但是只要能知道部分的眼睛位置，就能用下章節的方法，左右位移眼睛位置，得到完善的眼睛影像。. 圖 11、在實驗中，使用的參數為 0.23， =0.77， =0.66，局部取像結果。. 17. 0.25， =0.5，. 0.33，.

(26) 第三節. 眼睛區域決策（Eyes Region Decision）. 為了使我們定位的眼睛位置能夠完整的取得眼睛資訊，讓其能豐富表現開眼與闔眼之間不同的特性，在此需要排除其他會影響辨識狀態的因素，例如眉毛等。. 圖 12、水平投影取像。. 先利用灰階公式：gray = red * 0.299 + green * 0.587 + blue * 0.114 (式 7)，對局部取像轉成灰階，再作 Otsu [25] 將影像二值化，Otsu 為一種對影像中局部個別進行運算，再利用統計得到門檻值(threshold)二值化的方法，且針對亮度分佈不均勻的影像可明顯的降低光源的影響。接著再對其作水平投影，分析水平投影中群聚狀態的群集個數，群聚狀態產生原因最大因素是眼睛與眉毛。所以當出現一個群聚狀態時，最大投影量即為眼睛位置；當有眉毛在影像上時，就會有兩個群聚狀態產生的情形，考量在常態狀況下的可能性，取在下方的高峰值為眼睛位置(圖 12)。 18.

(27) 當分群數為 1 時，取水平投影最大值當 y 軸中心點位移；當分群數為 2 時，取水平投影下半部的最大值當 y 軸中心點位移。根據水平投影取像之後再對 x 軸作位移的動作，x 軸中心點位置為取像後垂直投影最大值位置，位移後參照新位置重新取得眼睛取像。以上方法所用式子如下：. (式 8) (式 9) (式 10). (式 11) 為眼睛取像 y 軸中心點，，，. Rectangle. 為眼睛取像 x 軸中心點，為. 軸起點，. 為區域內水平投影最大值，. 為. 為區域內像素最大值之 x 軸位置，. 軸起點，. 為. 之寬度，. 為. 之高度。. 為了在無法預知臉部狀態的情況下能得到完整的眼睛資訊，我們在 3.2 節之中保留了較多的局部取像。但在使用這節的眼睛區域決策之後可以分群出眉毛區域與眼睛區域，使之得到正確的眼睛區域位置作接下來的眼睛區域-可靠度檢查。 19.

(28) 第四節. 眼睛區域-可靠度檢查(ER-Reliable. Decision) 大多數得到的眼睛區域影像，表現出的特性皆為可用資料，但是為了確認眼睛區域影像內的資訊完整性，就需要分析眼睛區域範圍內是否有遮蔽物覆蓋了我們原本需要的訊息，像是有時眼睛會有頭髮等遮蔽物影響判斷結果，使得到的眼睛資訊被外物所影響，表現之特性並非我們期望之狀態，就需要進行判斷，決定是否需要這個眼睛資訊。為了防止 3.3 節得到的眼睛區域會有這種情形發生，以預設的單眼資訊作為測量依據，分析 Otsu 二值化後垂直投影分佈方式是否常態，如有非常態狀況發生時，就改以另一眼作為接下來判斷眼睛狀態的依據。. 圖 13、右眼可靠度檢查示意圖。. 20.

(29) 所指的常態分佈是指，當影像擷取為完整眼睛，並無遮蔽物等外界干擾時，會有相當程度的平穩狀態出現在垂直投影上；而當異物或頭髮遮蔽時，得到影像會有不小的影像出現在左、右側邊緣，或是不規律的出現，使之垂直投影結果並非正規的常態分佈，如一定比例的出現在邊緣左右傾斜分佈(圖 13)，或是變異數過大的不規則分佈，其狀態即為非常態分佈，需捨棄預設的單眼資訊改為另一眼資訊作為依據。. 眼睛區域-可靠度檢查公式如下：. (式 12) 在此的預設門檻為，如果眼睛區域 Otsu 二值化後影像，右側值. 區域內累積. 大於眼睛區域影像的門檻值時；或是當異物直接遮蔽眼睛，使得眼睛. 區域 Otsu 二值化後影像垂直投影變異量大於門檻值，皆判斷為不正常狀態，改為另一眼影像作為依據。. 21.

(30) 第五節. 眼睛狀態決策 (Eyes Status Decision). 藉由在 3.4 節中擷取到的左眼或右眼資訊，使用紋理特徵分佈影像作垂直投影，再計算平均值、變異數與分群個數，能即時且有效的偵測此眼睛的狀態是開眼還是闔眼。. 圖 14、眼睛狀態決策圖。. 紋理特徵分佈影像處理方式為，灰階影像中取一定比例的像素較小值(意為顏色較深值)，對其的落點分佈位置作為特徵，再二值化後建構出的分佈影像。分析開眼與闔眼的眼睛狀態(圖 14)，可以發現其紋理特徵分佈落點的特性很不相同，當闔眼狀態時，會在ｘ軸上平均分佈；但是當開眼狀態時，紋理特徵的落點 22.

(31) 是分散且不固定的出現在ｘ軸上，靠著這個分佈落點特性可視為特徵來作接下來的開眼闔眼分析。紋理特徵分佈影像的特性為不管影像中畫面是否過暗、過亮、像素平均數大小、變異數大小得到的結果皆相同，因在影像中深淺的對比關係是不變的，可以大幅的改善光源、低解析度與眼鏡反光所帶來的影響。把局部取像轉成灰階後，對灰階影像作紋理特徵分佈影像處理。根據影像整體像素，動態的設立紋理特徵分佈影像的門檻值來作二值化。. ｐ. (式 13). ｐｐ為灰階影像每一點像素值，. 為灰階影像中第. 為紋理特徵分佈影像每一點像素值，. 像素小的像素值. 圖 15、低解析度下紋理特徵影像結果。(a)為人臉偵測(b)灰階單眼影像(c)眼睛狀態處理流程圖：眼睛區域、紋理特徵分佈影像、垂直投影、分群影像、變異數。 23.

(32) 在應用為遠距離教室低解析度的狀況下，更能傑出的表現紋理特徵分佈的特性(圖 15)。例如在眼睛區域影像中，因為低解析度的關係，人眼已經不易辨別出是開眼或是闔眼的狀態，但使用紋理特徵分佈影像處理過後，就能明顯分辨二值化後影像為平順、破碎狀態或是群集分佈。根據這些二值化影像分佈的特性，使用垂直投影、分群影像與變異數等來分析，就能有效的辨識眼睛狀態。取得適量的特徵對於之後的狀態辨別是很重要的，而紋理特徵分佈門檻值影響著特徵值數量的多寡，過低影像會過度破碎而有高變異數(圖 16)，過高則會有太多的雜訊，如臥蠶、眼睫毛、魚尾紋或是黑眼珠不明顯與睫毛部分混在一起等，也會干擾平均值與變異數，故我們需要訂立適中的紋理特徵分佈門檻值。但是對於眼睛紋路較於不明顯的眼睛來說，還是會有紋理特徵分佈門檻值過高的情形發生，所以除了會設立紋理特徵分佈門檻值的整體百分比基準之外，會再對灰階圖統計像素的狀況自動的調整門檻值。. 圖 16、紋理特徵分佈門檻值比較圖。. 24.

(33) 對眼睛區域影像轉成紋理特徵分佈後，當開眼狀態可以得到影像集中在瞳孔或分散的分佈；當闔眼狀態時，紋理特徵分佈門檻值會很完整的表現闔眼睫毛的輪廓及幅度。針對紋理特徵分佈我們得到了良好的特徵資訊，其開眼與闔眼的垂直投影變異數也有明顯的差異，所以變異數會在之後的方法中扮演著重要的角色；但對於不明顯的開眼與闔眼時，變異數差異並不顯著，對於不顯著的部分歸納後可以得知大多是出現在眼睛開合幅度小，但仍可明確地看到眼珠認定為開眼狀態，對於此狀況的解決辦法是增加一個篩選條件，判斷其分群個數。當分群個數大於一時，大多數時候是為開眼狀態。當開眼幅度並不大，開眼動作並不明顯，卻仍然能看到眼珠判斷為開眼時，其變異數與闔眼差異並不多，但是在分群個數中卻是可以幫助判斷是否為開眼狀態。根據以上所述的紋理特徵分佈特性，採用平均數、變異數與分群數來建立流程，判斷眼睛狀態。判斷流程需要非常 robust，在實驗中也有對於此眼睛狀態決策與 svm 方法來作辨識率與速度的比較。眼睛狀態決策的流程如圖 17 所示，共有 6 種眼睛開闔 Stage。首先根據平均數把明顯的狀況先作分類，當平均數小於一個非常小的基準值時，就視為 Stage 1 闔眼；當平均數大於另一個非常大的基準值時，就視為 Stage 2 開眼。先使用兩個過大與過小的基準值作為判斷條件，可減少後續流程的運算數量。. 25.

(34) 圖 17、眼睛狀態決策流程圖。平均數基準值、、，變異數基準值。. 接著檢查分群數量是否大於 1，把能看到眼珠的狀態給區分出來。當分群數量大於 1 時 Stage 3 視為開眼；當分群數量小於等於 1 時有可能為闔眼或開眼。經過分群數判斷之後，在紋理特徵的數量是固定的狀況下，與尚未被分類出來的狀態皆只有 1 個群體，其平均值皆會大於多個分群的狀態，故此稍微提高被視為是闔眼的門檻值. 作為依據。當平均值小於時，視為 Stage 4 闔眼狀. 態。 26.

(35) 大多數較不明顯的狀況，會使用最後一個判斷條件，決定一個基準值，當變異數小於等於基準值時，視為分佈狀態較為平均，即判斷為 Stage 5 闔眼狀態；當變異數大於基準值時，視為分佈狀態較為不平均，判斷為 Stage 6 開眼狀態。. 表 3、眼睛狀態決策流程圖中每一個階段判斷出的結果影像，分析影像中依序是灰階眼睛影像、紋理特徵分佈影像、垂直投影分群影像、變異數與平均值。階段. 分析影像. 眼睛狀態. 闔眼. 開眼. 開眼. 闔眼. 闔眼. 開眼. 表 3 可以明顯的展示每個階段的用處。Stage 1 能辨識出平均數非常小但分群數大於 1 的闔眼狀態；Stage 2 能快速的辨識出非常明顯平均數非常大的開眼狀態；Stage 3 能靠著分群數大於 1 的結果，辨識出變異數與平均數不高的微張眼睛開眼狀態；Stage 4 能辨識出變異數不低但平均數較低的闔眼狀態；Stage 5 能辨識出平均數不低但是變異數低的闔眼狀態；Stage 6 能辨識出分群數為 1 個，平均數不高但是變異數高的開眼狀態。. 27.

(36) 第四章. 實驗. 當有好的眼睛開闔辨識率才能有效的應用在之後的實驗，故此採用三種方法來驗證人眼開闔偵測的效果。實驗中使用之電腦配備為處理器：Intel(R) Core(TM) i5-2500S CPU @ 2.70GHz，記憶體(RAM)：8.0GB，系統：Windows 7. 64 位元作業系統。使用. Panasonic wv-sc385 1080x960 畫素攝影機。人類在一般的行為下，兩隻眼睛狀態會是相同的，以此為考量可只使用單眼影像取代雙眼影像作為狀態辨識的依據，加速辨識速率。故進行了一個小實驗，個別作對兩眼影像作開闔眼狀態辨識，從中分析在兩眼之中何者作為辨識依據較為妥當。從表 4 中可得知，以左眼或右眼為依據來辨識眼睛狀態的結果差異不大，所以實驗中預設眼睛位置為右眼。. 表 4、受試者皆無配戴眼鏡，環境與實驗三相同，共 3977 份眼睛資訊，右眼與左眼分別的狀態辨識率。眼睛位置. 右眼. 左眼. 眼睛狀態. 開眼. 闔眼. 開眼. 闔眼. 測試樣本數. 986. 1015. 942. 1034. 正確辨識數. 944. 887. 913. 901. 辨識率. 95.72%. 87.39%. 96.92%. 87.14%. 28.

(37) 另外在實驗中擷取之眼睛影像會有無法辨識資料的情形發生，多數原因在於人臉偵測錯誤、眼睛定位錯誤、眼睛干擾反光與遮蔽物阻擋等，如圖 19 所示，為眼睛干擾與反光之情形。實驗參數設定在局部取像中、. 、. ，眼睛區域-可靠度檢查中. 紋理特徵分佈影像中. ，眼睛狀態決策中. 29. 、. 、 =0.5、. 、ρ 、. 、τ 、. 、. ，。.

(38) 第一節. 眼睛開闔辨識. 實驗一在正常的上課環境下，常常會有學生往下看書本的情形，所以利用此實驗區別在課堂中常出現的往下看是否會被判斷為闔眼狀態。藉此驗證使用本論文提出的眼睛開闔偵測能夠有效的把往上看、往左看、往右看與往下看偵測為開眼。測試環境在室內，受試者距離攝影機 120cm~150cm(圖 1)，燈源來自受試者上方，均勻光源下，記錄受試者的眼睛影像。受試者共 18 位，皆無配戴眼鏡。在測試中會接收到指令執行往上看、往左看、往右看、往下看與闔眼之動作，每位會因人臉偵測的影響而有不同數量的資料，平均每位皆有 10~60 份資料，每人皆受到 5 種指示動作，在人臉偵測後，紀錄截取到的眼睛影像總共 2789 份(圖 18)。其中無法辨識資料為 27 份，可用資訊占整體資訊的 99.03%。表 5、實驗一，個別動作辨識率。開眼. 閉眼. 往上看. 往左看. 往右看. 往下看. 測試樣本數. 618. 569. 642. 433. 500. 正確辨識影像個數. 601. 569. 642. 410. 470. 辨識率. 97.2%. 100%. 100%. 94.7%. 94.0%. 執行速率. 0.0702 sec / frame. 30.

(39) 圖 18、實驗一受試中記錄之眼睛資訊。. 實驗二為與實驗一區別，在此增加了一個近距離遊戲式實驗，藉由遊戲讓受試者在自由，不受操控的情狀之下，自然的反應出開眼與闔眼狀態，以此得到更符合正常情況下的資料，來獲得較為客觀的辨識結果。測試環境在室內，受試者距離攝影機 120cm~150cm(圖 1)，燈源來自受試者上方，均勻光源下，記錄受試者的眼睛影像。受試者共 11 位，皆無配戴眼鏡。實驗有 6 段音效，會先請受試者閉上眼睛聆聽樂聲，而後作答是何種樂器所發出之聲音。在受試者聆聽樂聲時，記錄闔眼資訊；在受試者答題時記錄開眼資訊。在人臉偵測後，紀錄截取到的眼睛影像總共為 2048 份，其中無法辨識資料為 142 份，可用資訊占整體資訊的 96.06%。. 表 6、實驗二辨識率。開眼. 闔眼. 測試樣本數. 965. 941. 正確辨識數. 954. 870. 辨識率. 98.86%. 92.45%. 執行速率. 0.0701 sec / frame 31.

(40) 實驗三以真實學生在課堂中上課的環境下，遠距離偵測學生在上課中眼睛開闔之情形。受試者 39 位中 11 位無配戴眼鏡，28 位有戴眼鏡，在教室中在黑板邊架設 HD 攝影機，攝影機面對於學生(圖 2)，距離 450cm~1500cm，每秒截取 5 張影像，再從影像中擷取個別的學生資訊。在人臉偵測後，截取到的眼睛資訊內，無眼鏡配戴眼睛資訊共有 4829 份資訊，其中開眼為 3170 份，闔眼為 1206 份，無法辨識為 453 份，可用資訊占整體資訊的 90.62%；因為在課堂中戴眼鏡學生的比例較高，所以有眼鏡配戴擷得的資訊多過於無配戴眼鏡，共有 20777 份眼睛資訊，其中開眼為 8195 份，闔眼為 8278 份，無法辨識為 4304 份，可用資訊占整體資訊的 79.28%。. 表 7、實驗三辨識率。無眼鏡配戴. 有眼鏡配戴. 整體. 開眼. 闔眼. 開眼. 闔眼. 開眼. 闔眼. 測試樣本數. 3170. 1206. 8195. 8278. 11365. 9484. 正確辨識數. 3015. 1047. 7756. 7144. 10771. 8191. 辨識率. 95.11%. 86.82%. 94.64%. 86.30%. 94.77%. 86.37%. 執行速率. 0.0357 sec / frame. 32.

(41) 第二節. 結果與分析表 8、總合辨識率。實驗一. 實驗二. 實驗三. 開眼. 闔眼. 開眼. 闔眼. 開眼. 闔眼. 測試樣本數. 2262. 500. 965. 941. 11365. 9484. 正確辨識數. 2222. 470. 954. 870. 10771. 8191. 辨識率. 98.14%. 94.0%. 98.86%. 92.45%. 94.77%. 86.37%. 執行速率 (sec / frame). 0.0702. 0.0701. 0.0357. 在實驗一中，觀察辨識率可以得知，雖然往下看於其他動作相比，辨識較為不易，但是辨識率還是有 94.7%，並不會與其他者相差太多。在實驗二中，開眼辨識率有 98.86%，闔眼辨識率相較之下是比較低的，可能是因為拍攝時，闔眼狀態容易有陰影、眼睫毛、眼線等干擾被放大的狀況產生，所以闔眼辨識率低於開眼辨識率。在實驗三中，相較於實驗一與實驗二受試距離比較遠，容易因為解析度低，光源等雜訊干擾(圖 15)，影響辨識結果且無法辨識資訊比例會較為高。從實驗結果數據顯示辨識率並無大幅度的下降，開眼辨識率仍有 94.77%，闔眼辨識率仍有 86.37%，闔眼辨識率仍然低於開眼辨識率。顯示在遠距離的關係，容易會因為有過多的雜訊干擾，在此環境拍攝下，辨識率還是低於實驗一與實驗二。 33.

(42) 實驗三中無配戴眼鏡辨識率開眼為 95.11%，闔眼為 86.82%，有配戴眼鏡辨識率開眼為 94.64%，闔眼為 86.30%，有無配戴眼鏡的辨識結果差異並不大，唯有戴眼鏡中影像資訊無法辨識所占率為 79.28%低於無戴眼鏡的 90.62%。有戴眼鏡的無法辨識影像大多數原因為眼睛落點不正確，尋找眼睛區域時因為眼鏡的干擾而截取到錯誤的位置，或是眼鏡反光無法辨識眼睛真正狀態，如圖 19 為眼睛反光無法辨識眼睛狀態與黑框眼鏡干擾，截取到錯誤的中心位置之例子。. 圖 19、眼鏡干擾示意圖。. 在三種實驗中辨識速率皆非常的快，辨識率也很優異。唯有共同狀況，闔眼狀態容易有陰影、眼睫毛、眼線等干擾被放大的狀況產生，辨識率略低於開眼狀態，與影像還是會有資訊無法辨識的狀況發生，而且在戴眼鏡時格外明顯。. 34.

(43) 為了顯現此篇所用的眼睛狀態決策在各種環境下是足夠 robust，在此作了一個實驗，以 SVM 為比較對象，分析與眼睛狀態決策之間的辨識率與速度差異。方法是以眼睛影像的紋理分佈特徵平均數、變異數與分群數作為訓練特徵，送入 SVM 中建立模型，再利用模型辨識測試資料。因為實驗三為 4 堂課程中學生真實上課的錄影資料，取其中一堂課程的學生影像資料來當作訓練樣本，建立 SVM 模型，會較為合乎實際狀況。訓練資料共 4848 張，測試資料與實驗一、二、三相同。SVM 中 kernel 使用 Radial Basis Function。實驗結果(表 9)中，以 SVM 作為辨識方式的辨識率低於本論文研究的眼睛狀態決策，且 SVM 容易因訓練資料的差異有不同的結果，在實驗三的數據中也顯示因為低解析度的關係，不同的影像就算為同個眼睛狀態，彼此之間的個別差異度也不小，大幅降低了辨識率。速率上來說在眼睛狀態決策中，一張影像只需要 0.0064 毫秒的判斷時間但是 SVM 卻需要 2 毫秒，在執行速度上來說是相當大的差異，當執行數量多的時候，差異更加顯劇，或是在即時應用中，會拖慢不少整體的效率。表 9、眼睛狀態決策與 SVM 作為辨識方式的辨識率。實驗一測資. 實驗二測資. 實驗三測資. 眼睛狀態決策(圖 17). 97.4656%. 95.9678%. 90.9492%. SVM. 96.9225%. 95.5475%. 87.4258%. 35.

(44) 第五章. 應用. 使用人臉偵測、人眼開闔偵測與這章探討的方法移動偵測來制定架構與判斷條件，推論出學生學習狀態。. 圖 20、學生上課學習狀態示意圖。. 目的是為了讓每位學生在課堂中的表現，在課後老師能立即知道；對於學生精神狀況不佳的部分，明確的給予提醒。讓老師清楚的掌控學生對於哪部分學習較難吸收，也讓老師能思考是否需要放慢授課速度或加快，作適當的調整。使用第三章的方法作人臉偵測、人眼開闔偵測與下一節的移動偵測建立出學生專注度偵測架構。在此應用中制定的架構與判斷條件底下，可以明確的知道學生學習狀態，是為專心或不專心，以提供學生在上課精神狀況不濟時，可以讓老師明確的指出時間點，加強段落學習，提高學習成效。. 第一節. 移動偵測 (Motion Detection). 除了人臉與眼睛狀態，學生的移動量，也可以作為學生專注度的依據，偵測是否學生不專心於課堂中，出現了聊天、整理桌面等動作，所以我們對學生除了 36.

(45) 做眼睛狀態辨識外，也會對學生是否在移動作偵測。並且當學生有無法偵測到臉部資訊，例如學生轉頭、持續趴下、低頭翻書作筆記等，移動偵測也能幫助判斷學生的專注度。此篇所使用的移動偵測技術，是利用比較單張影像與後一張的差值的連續影像相減法(Temporal Differencing)，當差值大於門檻值時就會視為有移動發生。門檻值的設定反映出移動的強弱度，過弱的移動資訊視為雜訊且捨棄，就能夠維持移動資訊的完整且單純。但設定一個適當的門檻值是必要的，因門檻值太大時，易容易忽略重要資訊；當門檻值太低時，雜訊過多會干擾可用資訊。. 圖 21、相差值影像門檻值示意圖。. 再針對相差值影像作形態學中的侵蝕(Erosion)濾掉小範圍的雜訊後，就可加總所有移動點計算總和數量，視為此影像的移動資訊量。再根據之前所得到人臉偵測的資訊，可得知學生在影像上人臉的大小，依此作為基準，把移動資訊量分成四種等級 Weak 、 Middle 、 Strong 與 Very Strong。 37.

(46) 第二節. 學生專注度偵測架構. 使用第三章的人臉偵測(Face Detection)、人眼開闔偵測(Eye Opening Detection )與 5.1 節的移動偵測 (Motion Detection)來架構出學生專注度偵測的機制(圖 22)。. 圖 22、學生專注度偵測架構。. 我們列出在此架構下能夠有效的判斷學習狀態為專心之行為(表 10)，例如學生專心看著老師上課，大多數時可透過偵測到人臉與眼睛總是維持開眼狀態來作推測為專心狀態；或當學生專心看著老師上課但不定時低頭看書本，也可從中量或少量偵測到人臉與眼睛總是維持開眼狀態來作推測為專心狀態；或當學生專心看著老師上課但手邊有其他小動作，可從中或少量偵測到人臉、眼睛總是維持開 38.

(47) 眼狀態與少量晃動資訊來作推測為專心狀態。亦可從長時間辨識學生為闔眼狀態來作推測為不專心狀態；或當學生低頭不看老師上課，像是持續打筆電、持續玩手機、持續吃飯、持續翻書翻作雜事等，長時間無法偵測到人臉資訊來作推論為不專心狀態；或當學生動作很多的一直晃動，如持續摸臉、持續摸頭髮、持續講話與左右邊互動頻繁狀態時，可經由偵測到大量的移動資訊作推論為不專心狀態。. 表 10、架構下能有效判斷的學習狀態行為。定義狀態專心. 行為. 備註. 專心看著老師上課專心看著老師上課但不定時低頭看書本專心看著老師上課但手邊有其如:看著老師吃飯、看著黑板寫筆他小動作記、看著老師翻書等. 不專心. 閉眼睡覺. 頭抬著、手撐著頭或直接趴下. 低頭不看老師上課. 如:持續打筆電、持續玩手機、持續吃飯、持續翻書翻作雜事等. 動作很多的一直晃動. 如:持續摸臉、持續摸頭髮、持續講話與左右邊互動頻繁. 架構下能有效判斷的學習狀態行為皆需要長時間的記錄學生的狀態，所以在此我們使用滑動視窗(Sliding Window)來作單位時間內學生狀態的記錄。針對人臉偵測、人眼開闔偵測與移動偵測各自皆擁有一個滑動視窗，在使用者自定義尺寸為分鐘的滑動視窗內，記錄針對每種狀態的條件值。 39.

(48) 被判斷為不專心的條件如下：人臉偵測在尺寸為. 分鐘的滑動視窗，. 偵測不到人臉的秒數大於. 。. 眼睛開闔辨識 ‧在尺寸為長度大於. 分鐘的滑動視窗，的闔眼秒數大於. 。. ‧單一闔眼秒數大於基準值移動偵測尺寸為. 分鐘的滑動視窗，. 移動量大於. 的秒數大於. 圖 23、眼睛開闔滑動視窗示意圖。. 圖 23 為示意在偵測開闔眼狀態的滑動視窗進行方式，滑動視窗尺寸為分鐘，判斷其中闔眼狀態長度(藍色部分)是否有超過門檻值，如果超過就為不專心狀態。. 40.

(49) 第三節. 實驗. 5.3.1 實驗規劃測試環境在室內，以學生真實在課堂中上課的環境下，遠距離作學生專注度偵測。在教室中在黑板邊架設 HD 攝影機，攝影機面對於學生(圖 2)，距離 450cm~1500cm。大量的從各課堂中得到不同位同學的上課影像，偵測學生的學習狀態。共有 37 位學生分別於 4 堂不同的課堂之作中上課學習時側錄的實驗影片，每位同學的單臉部部影像皆超過 60x60 像素，每位同學的影片資料不超過 5 筆，每筆約 2 分鐘，總共 131 筆資料。各個測試資料的行為的歸類與專心狀態定義皆由三個人投票表決產生。. 圖 24、學生專注度偵測 UI 介面。 41.

(50) 根據架構下能判斷的學習狀態行為(表 10)來制定的偵測架構(圖 22)作學生專注度偵測，使用者可以使用自定義的條件來作偵測學生是否為不專心狀態。在此實驗中自定義的滑動視窗預設值為，. ，. ，. ，，. ，，. ， middle。. 5.3.2 結果與分析. 表 11、學生專注度偵測辨識率。辨識狀態. 行為歸類專心看著老師上課. 專心. 不專心. 佔總行為率. 辨識率. 42.75%. 87.5%. 專心看著老師上課與不定時低 6.1% 頭看書本. 100%. 專心看著老師上課與手邊有其 2.29% 他小動作. 66.67%. 閉眼睡覺. 20.61%. 92.56%. 23.66%. 100%. 4.58%. 100%. 低頭不看老師上課動作很多的一直晃動. 總辨識率. 88.06%. 96.88%. 實驗結果發現在課堂之中比較常出現的行為有專心看著老師上課佔總行為率 42.75%，其辨識率可達 87.5%，其餘較常出現的行為有低頭不看老師上課佔總行為率 23.66%，辨識率為 100%，與閉眼睡覺佔總行為率 20.61%，辨識率為 92.56%。整體而言，專心行為的辨識率有 88.06%，不專心行為的辨識率有 96.88%， 42.

(51) 皆有不錯的辨識率。唯有專心看著老師上課與手邊有其他小動作此行為的辨識率較低 66.67%，可能是因為在建立定義時，影片中有小動作的行為定義為專心或不專心的方式很主觀，每人認知皆不同，所以在較為模糊地帶的資料，所顯現的辨識率也會較低，如圖 25。. 圖 25、專心看著老師上課與手邊有其他小動作誤判狀況。定義以二比一的票數歸類為專心，程式定義為不專心。. 43.

(52) 第六章第一節. 結論. 結論. 本研究提出了一個有效且快速的偵測眼睛開闔方法，藉由人臉偵測後的影像作局部影像擷取、眼睛區域決策、眼睛區域-可靠度檢查後利用簡易、快速且不受光源影響的紋理特徵分布方式，取得平均值、變異值與分群數，可以有效的區分開眼或闔眼狀態，擁有較高的辨識率。. 本研究流程分為幾個主要部分： (1) 使用人臉偵測、局部影像擷取、眼睛區域決策與眼睛區域-可靠度檢查後可以的截取出完整且無遮蔽物的眼睛影像，且在低解析度時也能明確的找出眼睛位置。 (2) 使用紋理特徵分佈影像，能在人眼已經不易辨別出是開眼或是闔眼的狀態時，還是能夠有效分辨二值化後影像為平順、破碎狀態或是群集分佈，得到明確且有效的特徵。 (3) 使用紋理特徵分佈影像搭配眼睛狀態決策可優異的辨識出開眼與闔眼狀態。在三種實驗中辨識速率皆非常的快，辨識率也很優異，近距離中往下看容易被誤認為闔眼狀態的情況很少見，自然的行為與指示動作的開闔眼辨識率相差不大，在遠距離教室中學生的眼睛狀態辨識，也並未受到外在環境的干擾、配戴 44.

(53) 眼鏡的有無而大幅降低辨識率。 (4) 此眼睛狀態偵測可搭配人臉偵測與移動偵測，來推廣至學生專注度偵測應用，可有效的辨識出學生專心狀態。. 第二節. 未來研究. 為了讓本研究能夠更實用，可以針對以下方向作改進： (1) 人臉偵測是一個可以強化的部分，像是人臉在歪斜的時候或是人臉有局部手擋住的部分，如果人臉偵測能夠改善能夠適用的狀況會更多。 (2) 對於配戴眼鏡以至於眼睛定位失敗，可由去除眼鏡的演算法來加以改善。對於配戴眼鏡後反光，或是低解析度以至於眼睛模糊不清，可靠著強化銳利度的演算法加以改進。 (4) 設計更精細的眼睛狀態決策，可以更加強眼睛狀態辨識的效果。 (5) 在應用層面來說，可以多方的嘗試應用方向，來找尋不同層面的缺失並加以改進。. 45.

(54) 參考文獻 [1]. M. H. Yang, D.J. Kriegman, and N. Ahuja, "Detecting faces in images: A. survey, " Pattern Analysis and Machine Intelligence, IEEE Transactions, vol. 24, no. 1, pp. 34-58, 2002. [2]. G. Yang and T. S. Huang, "Human face detection in complex background, ". Pattern Recognition, vol. 27, no. 1, pp. 53-63, 1994. [3]. K.C. Yow and R. Cipolla, "Feature-Based Human Face Detection," Image. and Vision Computing, vol. 15, no. 9, pp. 713-735, 1997. [4]. T.K. Leung, M.C. Burl, and P. Perona, "Finding Faces in Cluttered Scenes. Using Random Labeled Graph Matching, "Proc. F fth IEEE Int’l Conf. Computer Vision, pp. 637-644, 1995. [5]. Y. Dai and Y. Nakano, "Face-Texture Model Based on SGLD and Its. Application in Face Detection in a Color Scene, "Pattern Recognition, vol. 29, no. 6, pp. 1007-1017, 1996. [6]. S. McKenna, S. Gong, and Y. Raja, "Modeling Facial Color and Identity with. Gaussian Mixtures, "Pattern Recognition, vol. 31, no. 12, pp. 1883-1892, 1998. [7]. J. Yang and A. Waibel, "A Real-Time Face Tracker," Proc. Third Workshop. Applications of Computer Vision , pp. 142-147, 1996.. 46.

(55) [8]. R. Kjeldsen and J. Kender, "Finding Skin in Color Images, "Proc. Second. Int’l Conf. Automatic Face and Gesture Recognition , pp.312-317, 1996. [9]. I. Craw, D. Tock, and A. Bennett, "Finding Face Features," Proc. Second. European Conf. Computer Vision, pp. 92-96, 1992. [10]. A. Lanitis, C.J. Taylor, and T.F. Cootes, "An Automatic Face Identification. System Using Flexible Appearance Models, " Image and Vision Computing, vol. 13, no. 5, pp. 393-401, 1995. [11]. M. Turk and A. Pentland, "Eigenfaces for Recognition, " J. Cognitive. Neuroscience, vol. 3, no. 1, pp. 71-86, 1991. [12]. K.-K. Sung and T. Poggio, "Example-Based Learning for View-Based. Human Face Detection, " IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 20, no. 1, pp. 39-51, Jan. 1998. [13]. H. Rowley, S. Baluja, and T. Kanade, "Neural Network-Based Face. Detection," IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 20, no. 1, pp. 23-38, Jan. 1998. [14]. E. Osuna, R. Freund, and F. Girosi, "Training Support Vector Machines: An. Application to Face Detection, " Proc. IEEE Conf. Computer Vision and Pattern Recognition, pp. 130-136, 1997. [15]. H. Schneiderman and T. Kanade, "Probabilistic Modeling of Local. Appearance and Spatial Relationships for Object Recognition, " Proc. IEEE Conf. 47.

(56) Computer Vision and Pattern Recognition, pp. 45-51, 1998. [16]. A. Rajagopalan, K. Kumar, J. Karlekar, R. Manivasakan, M. Patil, U. Desai,. P. Poonacha, and S. Chaudhuri, "Finding Faces in Photographs," Pro c. Sixth IEEE Int’l Conf. Computer V on , pp. 640-645, 1998. [17]. M.S. Lew, "Information Theoretic View-Based and Modular Face Detection,. " Pro c. Second Int’l Conf. Automat c Face and Ge ture Recognition, pp. 198-203, 1996. [18]. A. J . Co lmenarez and T.S. Hung, "Face Detection with Information-Based. Maximum Discrimination," Proc. IEEE Conf. Computer Vision and Pattern Recognition, pp. 782-787, 1997. [19]. Viola, P. and Jones, "Robust real-time face Detection," . Computer Vision,. Eighth IEEE International Conference, pp. 747, 2001. [20]. HSU, R.-L., ABDEL-MOTTALEB, M., AND JAIN, A. K. "Face detection. in color images," IEEE Trans. Pattern Analysis and Machine Intelligence vol. 24, no. 5, pp.696–706, 2002. [21]. G.C. Feng, P.C. Yuen, "Multi-cues eye detection on gray intensity image, ". Pattern Recognition, vol.34, no. 5, pp.1033–1046, 2001. [22]. Z.H. Zhou and X. Geng, "Projection functions for eye detection, " Pattern. Recognition vol.37, no. 5, pp.1049–1056, 2004. 48.

(57) [23]. G.C. Feng, P.C. Yuen, "Variance projection function and its application to. eye detection for human face recognition, " Pattern Recognition vol.19, no. 5, pp. 899–906, 1998. [24]. Loy, G. and Zelinsky, A. "A fast radial symmetry transform for detecting. points of interest, " Proc. ECCV, pp.358-368, 2002. [25]. Nobuyuki Otsu. "A threshold selection method from gray-level histograms,. " Systems, Man and Cybernetics, IEEE Transactions on vol.9, no. 1, pp.62–66, 1979. [26]. Y.-L. Tian, T. Kanade, and J. Cohn. "Eye-state action unit detection by. gabor wavelets, "Proceedings of International Conference on Multi-modal Interfaces (ICMI 2000) , pp.143–150, 2000. [27]. H. Liu, Y. Wu, H. Zha. "Eye states detection from color facial image. sequence, " Proc. SPIE The International Society for Optical Engineering vol. 4875, pp. 693–698, 2002.. 49.

(58)