第四章 實驗結果與分析
4.4 瞳孔偵測實驗結果
4.4.2 實驗二：以系統實際擷取的眼睛影像評估瞳孔偵測準確度
【實驗目的與方法】
以本研究之系統在一般實驗環境下，實際資料取得的人眼影像評估所瞳孔 偵測方法準確度，並比較與實驗一之差別。
【資料庫】
在本研究之實驗環境中設置系統，對七位使用者擷取眼睛影像。資料庫內 包含七位使用者，總共 1260（180 張/人）張單眼睛影像。
觀察實驗結果影像可發現，由於實際實驗環境所擷取到的眼睛影像品質不 如 CASIA[19]資料庫穩定，在實驗數據（圖 42）上亦可發現準確度有下降的趨 勢，但在誤差為 3 像素以內時仍可達到 92.4%的準確度。
圖 42 實際資料瞳孔偵測準確度
圖 43 實際影像瞳孔偵測正確之範例（白色點為偵測出之瞳孔位置）
圖 44 實際影像瞳孔偵測失敗之範例（白色點為偵測出之瞳孔位置）
圖 43 為實際影像瞳孔偵測正確之範例，當眼睛未受到眼瞼或睫毛遮蔽的情 況下，較容易正確偵測的瞳孔的位置；相反的，若眼睛注視於螢幕較下方的位 置或是在眨眼（圖 44），虹膜的部分會受到眼瞼的遮蔽，導致瞳孔無法正確被 偵測到。
(22) 4.5 注視區域分析實驗結果
在一般光源穩定的室內環境中設置系統，對七位使用者進行注視區域之分 析。注視區塊決策準確率𝐺𝑎𝐺𝑎𝑐計算方法如（22）：
𝐺𝑎𝐺𝑎𝑐 = 𝑁𝑐
𝑁𝑓𝑐𝑔𝑔𝑖× 100%
以系統正確決策出注視區塊的影像數𝑁𝑐除以影像總數𝑁𝑓𝑐𝑔𝑔𝑖，評估系統準確 度。
注視區塊依本研究使用之 13.3 吋筆記型電腦螢幕大小平均分成3 × 3的九 宮格，由左而右，由上而下分別編號為 1~9，如圖 45 所示。蒐集訓練資料時使 用者必須保持頭部位置，並依照區塊號碼依序注視 1~9 個區塊內顯示的紅色注 視輔助點。針對每一個注視區塊，系統必續蒐集到 50 張以上有效影像，方可進 行注視區域分析。
圖 45 注視區塊劃分示意圖
4.5.1 實驗一：第一層支持向量機（1st SVM）準確度驗證
欄），此種狀況下先利用眼睛形狀特徵來縮小注視區域的範圍效果有限，在本研 究終由眼睛的位置特徵來做主要的注視區塊決策。
圖 46 不同人眼形狀特徵差別
4.5.2 實驗二：比較使用單一支持向量機及二階層式支持向量機之實驗結果
【實驗目的與方法】
在每個注視區塊內，固定於區塊中心顯示注視輔助點（圖 47），記錄使用 者之注視狀況。計算使用單一支持向量機及使用本研究所提出之二階層式支持 向量機應用於注視區域決策的準確度，並比較兩種方法的實驗結果。實驗進行 期間使用者須保持頭部位置，對於每一個區塊，可以分別計算注視準確度。
【資料庫】
依序於九個區塊中心位置出現注視輔助點讓使用者注視，針對每個區塊擷 取 50 張有效影像作為測試資料。資料庫共包含七位測試者的資料，每位測試者
提供 450 張有效之測試影像。
圖 47 注視區塊（區塊內中心顯示紅色注視輔助點）示意圖
實驗結果如表 5 所示，使用本論文提出之二階層式支持向量機的平均實驗 時間約為 90 秒（包含擷取訓練資料及測試資料），整體平均準確率為 84%。眼 睛注視區域落在編號 1 到 3 號的區塊時，眼睛張開的幅度最大，不容易阻擋到 虹膜及瞳孔的部分，影響瞳孔位置的偵測，故此一範圍的準確率會較高，可達 到 88%以上。相對來說，當眼睛的注視區域落在編號 7 到 9 號的區塊時，由於 眼睛的開合幅度較小，瞳孔位置容易受到上眼瞼及暗色睫毛遮蔽的影響，導致 偵測出來的瞳孔位置會有些偏移。另外，若眼睛較小的人在看此一區域時容易 和閉眼相似，瞳孔位置一樣容易受到上眼瞼遮蔽的影響而產生偏移，故此一區 域的準確率會較低。
表 5 注視區塊決策準確度（注視輔助點於區塊中央）
【資料庫】
依序在每一個注視區塊內隨機出現 3 個注視輔助點（圖 48），每個注視輔 助點擷取 15 張以上有效影像，針對每個注視區塊由三個注視輔助點取總共 50 張有效影像作為測試影像。資料庫包含七位測試者，每位測試者提供 450 張有 效之測試影像。
實驗結果如表 6 所示，由於筆記型電腦螢幕相對於一般桌上型電腦螢幕要 來得小許多，在注視輔助點以隨機方式呈現時，容易與鄰近注視區塊的位置造 成干擾，故此實驗結果較實驗二的準確率結果下降一些，但平均注視區塊決策 準確度可維持在接近 80%。
圖 48 注視區塊（區塊內隨機出現紅色注視輔助點）示意圖
表 6 注視區塊決策準確度（隨機出現 3 個注視輔助點）
注視區塊編號 準確率(%)
1 87.4
2 87.7
3 86.3
4 82.3
5 83.1
6 78.6
7 69.7
8 70.6
9 67.7
第五章 結論及未來研究
5.1 結論
本研究提出一個使用筆記型電腦內建之單一攝影機的即時注視區域分析方 法，由人臉五官位置的分布，利用啟發式規則針對眼睛搜尋區域做適當的縮 減，除了加速偵測眼睛的速率外，亦有助於提高 Adaboost 眼睛偵測的準確率。
在找到眼睛區域後，利用瞳孔位於眼睛區域內最深色之虹膜中心的部分，以及 虹膜區域顏色為由淺而深輻射向內的特性，修改[26]之演算法，透過內積法快 速計算出瞳孔位置。最後經由本研究所提出的二階層式支持向量機，利用形狀 特徵經過第一層支持向量機所產生的區域機率值先做注視區域的初步判斷篩選 後，再由位置特徵經過第二層支持向量機做最終的注視區塊判定。
本研究提出之二階層式支持向量機除了能降低載入的訓練模型量，亦能提 高整體注視區域判定的準確度。利用本研究提出之注視區塊決策方法，平均準 確度可達 80%~84%。且較僅使用單一層支持向量機之準確度提升了約 9.4%。
5.2 應用
本研究可進一步延伸應用於醫療服務上，發展為重度肢體障礙人士的輔助 工具，例如將系統安裝置行動載具並安置於輪椅之固定位置，配合相關的應用 程式在本系統設定之九宮格上配置幾項大功能。例如向前、向後、向左、向右
之方向控制或是加裝 IP Camera 的控制功能等等，可以讓患者有更多的方式與 外界接觸，了解外界狀況。
5.3 未來研究
本研究提出之方法存在許多限制，例如在眼睛偵測及瞳孔偵測上，若是眼 睛區域受到遮蔽或是環境光線不佳的情況下，會導致偵測效果不彰；而注視區 域分析部分，由於使用的特徵皆為 2D 平面上的資訊，當使用者移動後便會失去 準確性。
未來工作在演算法部分可針對以下方向做改進，以增加本研究的實用性：
（1） 對於使用者佩戴的粗框眼鏡造成眼睛偵測失敗的部分，可加入去除眼 鏡的演算法來加以改善。
（2） 若能增加第二台攝影機，或是利用如 kinect 等能提供 3D 資訊的攝影 機來做輔助，透過景深的資訊建立真實空間的位置關係，以動態方式 調整改變模型，以達到動態注視區域分析，可降低相關之使用限制。
此外，由於本研究所使用的是筆記型電腦內建之網路攝影機，相對高階攝 影機來說是屬於解析度較低的，若能提高解析度，對於注視區域分析上也會有 顯著的幫助。
參考文獻
[1] "Studio Encoding Parameters of Digital Television for Standard 4:3 and Wide-Screen 16:9 Aspect Ratios," ed: International Telecommunication Union, 2011.
[2] S.J. Baek, K.A. Choi, C. Ma, Y.H. Kim, and S.J. Ko, "Eyeball Model-Based Iris Center Localization for Visible Image-Based Eye-Gaze Tracking Systems," IEEE Transactions on Consumer Electronics, vol. 59, pp. 415-421, 2013.
[3] C.C. Chang and C.J. Lin, "LIBSVM: A Library for Support Vector Machines," ACM Transcations on Intelligent Systems and Technology, 2011.
[4] S. Chen and C. Liu, "Fast Eye Detection Using Different Color Spaces," in
IEEE Internation Conference on Systems, Man, and Cybernetics, ed.
Anchorage, AK, 2011, pp. 521-526.
[5] A. J. Colmenarez and T. S. Huang, "Face Detection with Information-Based Maximum Discrimination," in Proceedings of IEEE Conference on Computer
Vision and Pattern Recognition, 1997, pp. 782-787.
[6] I. Craw, D. Tock, and A. Bennett, "Finding Face Features," in Proceedings of
the Second European Conference on Computer Vision, 1992, pp. 92-96.
[7] Y. Dai and Y. Nakano, "Face-Texture Model Based on SGLD and Its Application in Face Detection in a Color Scene," Pattern Recognition, pp.
238-242, 1996.
[8] J. Daugman, "New Methods in Iris Recognition," IEEE Transactions on
Systems, Man and Cybernetics, vol. 37, pp. 1167-1175, 2007.
[9] D. W. Hansen and Q. Ji, "In the Eye of the Beholder: A Survey of Models for Eyes and Gaze," IEEE Transactions on Pattern Analysis and Machine
Intelligence, vol. 32, 2010.
[10] T. Kawaguchi and M. Rizon, "Iris Detection Using Intensity and Edge Information," Pattern Recognition, pp. 549-562, 2003.
[11] R. Kjeldsen and J. Kender, "Finding Skin in Color Images," in Proceedings
of the Second International Conference onAutomatic Face and Gesture Recognition, 1996, pp. 312-317.
[12] A. Lanitis, C. J. Taylor, and T. F. Cootes, "An Automatic Face Identification System Using Flexible Appearance Models," Image and Vision Computing, vol. 13, pp. 393-401, 1995.
[13] T. K. Leung, M. C. Burl, and P. Perona, "Finding Faces in Cluttered Scenes
on Computer Vision, 1995, pp. 637-644.
[14] M. S. Lew, "Informaiton Theoretic View-Based and Modular Face Detection," in Proceedings of the Second International Conference on
Automatic Face and Gesture Recognition, 1996, pp. 198-203.
[15] S. McKenna, S. Gong, and Y. Raja, "Modelling Facial Colour and Indentity with Gaussian Mixtures," Pattern Recognition, vol. 31, pp. 1883-1892, 1998.
[16] P. Moallem, B. S. Mousavi, and S. A. Monadjemi, "A novel fuzzy rule base system for pose independent faces detection," Applied Soft Computing, vol.
11, pp. 1801-1810, 2011.
[17] E. Osuna, R. Freund, and F. Girosi, "Training Support Vector Machines: An Application to Face Detection," in Proceedings. IEEE Conference on
Computer Vision and Pattern Recognition, 1997, pp. 130-136.
[18] N. Otsu, "A Threshold Selection Method from Gray-level Histograms," IEEE
Transactions on Systems, Man and Cybernetics, vol. 9, pp. 62-66, 1979.
[19] P. J. Phillips, K. W. Bowyer, and P. J. Flynn, "CASIA Iris Image Database(ver 1.0)," 2007.
[20] A. Rajagopalan, K. Kumar, J. Karlekar, R. Manivasakan, M. Patil, U. Desai,
et al., "Finding Faces in Photographs," in Proceedings. Sixth IEEE International Conference on Computer Vision, 1998, pp. 640-645.
[21] H. Rowley, S. Baluja, and T. Kanade, "Neural Network-Based Face Detection," IEEE Transactions on Pattern Analysis and Machine
Intelligence, vol. 20, pp. 23-38, 1998.
[22] H. Schneiderman and T. Kanade, "Probabilistic Modeling of Local Appearance and Spatial Relationships for Object Recognition," in
Proceedings. IEEE Conference on Computer Vision and Pattern Recognition,
1998, pp. 45-51.[23] W. Sewell and O. Komogortsev, "Real-Time Eye Gaze Tracking With an Unmodified Commodity Webcam Employing a Neural Network," in Human
Factors in Computing Systems (CHI), 2010.
[24] K.K. Sung and T. Poggio, "Example-Based Learning for View-Based Human Face Detection," IEEE Transactions on Pattern Analysis and Machine
Intelligence, vol. 20, pp. 39-51, 1998.
[25] Y. L. Tian, T. Kanade, and J. F. Cohn, "Dual-State Parametric Eye Tracking,"
presented at the IEEE International Conference on Automatic Face and Gesture Recognition, 2000.
[26] F. Timm and E. Barth, "Accurate Eye Centre Localisation by Means of Gradients," in Proceedings of the Int. Conference on Computer Vision Theory
and Applications, Algarve, Portugal, 2011, pp. 125-130.
[27] M. Turk and A. Pentland, "Eigenfaces for Recognition," Cognitive
Neuroscience, vol. 3, pp. 71-86, 1991.
[28] P. Viola and M. J. Jones, "Robust Real-Time Face Detection," International
Jounrnal of Computer Vision, vol. 57, pp. 137-154, 2004.
[29] G. Yang and T. S. Hung, "Human Face Detection in Complex Background,"
Pattern Recognition, vol. 27, pp. 53-63, 1994.
[30] J. Yang and A. Waibel, "A Real-Time Face Tracker," in Proceedings Third
IEEE Workshop on Applications of Computer Vision, 1996, pp. 142-147.
[31] M.H. Yang, D. J. Kriegman, and N. Ahuja, "Detecting Faces in Images: A Survey," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 24, pp. 34-58, 2002.
[32] K. C. Yow and R. Cipolla, "Feature-Based Human Face Detection," Image
and Vision Computing, vol. 15, pp. 713-735, 1997.
[33] 許雅淳, "Gaze Estimation Using Single Webcam," Master, National Taiwan Normal University, 2013.