第二章 眼動儀相關研究與探討
眼動儀的種類繁多，使用上可分為侵入式與非侵入式二類，差別在於受試者 進行實驗的同時，儀器是否與眼睛進行接觸，基於安全考量，本文提出的眼動儀 系統屬於非侵入式眼動儀，而非侵入式眼動儀又可細分為二類，一為必須使用紅 外光源才能進行實驗的紅外光眼動儀，另一為能夠運行於一般光源下的眼動儀。
文後將於 2.1 節，介紹二類非侵入式眼動儀，並於 2.2 節介紹現有的可見光眼動 儀系統架構，最後於 2.3 節，介紹本文提出的可見光眼動儀系統架構。
2. 1 非侵入式眼動儀介紹
隨著科技的進步以及人們對人身安全與道德觀念的提升，非接觸式眼動儀已 慢慢的成為趨勢，藉由錄製眼球移動影像並進行分析、計算取得眼球位置，估算 受試者於測試環境的凝視點，並分析凝視點停留狀態以及移動軌跡，了解受試者 對測試條件的感興趣程度或心理狀態。市面上擁有這樣條件的眼動儀可以分為兩 類，一為紅外光眼動儀，另一為可見光眼動儀。
2. 1. 1
紅外光眼動儀系統介紹紅外光為非可見光，屬於頻譜中能量較低的光源，使用紅外光源的眼動儀其 最主要原因為避免環境中的諸多影響，諸如室內光源，窗戶或玻璃所造成的反光，
加上眼睛的特殊構造，光線由瞳孔進入眼球(圖 2-1)，我們之所以能夠錄製出影像，
是因為有光照射至人臉，再由人臉反射至攝影機，紅外光源的影像也是如此，但 紅外光進入瞳孔後，可能產生 2 種結果，一為完全反射，另一為完全吸收(紅外光 無法反射出瞳孔或接收端無法捕捉紅外光反射訊號)，使得錄製影像出現亮瞳 (bright pupil，圖 2-2)與暗瞳 (dark pupil，圖 2-3) 兩種現象，無論為哪一種，皆可 利用動態設定門檻值的方式，分離出瞳孔與非瞳孔區域，快速求得瞳孔中心，因
8
此紅外光源擁有不受環境光源影響以及運算過程簡單的優點，而廣為大家使用。
圖2-1. 眼睛構造圖 圖2-2. 亮瞳 圖2-3. 暗瞳
雖然有上述優點，但對配戴眼鏡的人，將使預測的準確度降低，誠如上述紅 外光影像的捕捉方法，當紅外光經過眼鏡，將因為介質的不同產生折射後才進入 眼睛，再經過眼球的反射後，紅外光將再次穿過眼鏡，再一次發生折射的狀況，
最後離開眼鏡，這 2 次的眼鏡折射，將造成系統誤判眼睛的瞳孔位置，因此現有 的紅外光眼動儀對戴眼鏡的使用者無法達到與未戴眼鏡的使用者相同的準確度，
另一問題為紅外光源的反光問題[12]，雖然已有人提出解決方法，但為了得到更 精確的影像，從過去僅使用一個紅外光源(IR LED)，增加至使用 5 個 IR LED 為 一組[13]，或更多[14][15]，以國立台灣師範大學，教育心理與輔導學系，眼動儀 實驗室所購買的 EyeLink1000 為例，如圖 2-4[59]與圖 2-5，該系統含有的 IR LED 數目超過 21 顆，再者這樣的紅外光眼動儀僅能於室內使用，如果使用頭戴式眼 動儀至戶外，瞳孔將受到日光的影響而縮小，一旦晃動，將使得影像品質下降，
導致準確度降低。
圖2-4. EyeLink1000 實驗環境 圖2-5. EyeLink1000 紅外光裝置
9
2. 1. 2
可見光眼動儀系統介紹可見光眼動儀發展至今，尚未有人提出準確度如紅外光眼動儀的系統，原因 為環境光源對可見光影像的影響甚大，必須有足夠的光源，才能夠取得精確的影 像，而當影像的解析度提升，勢必將產生反光問題，依照過去的測試經驗，反光 影像有時不僅僅是一個點，更常以一片反光區域的方式出現(圖 2-6，圖 2-7)，因 此這些問題也是目前較難以解決的。
圖2-6. 大型反光影像 1 圖2-7. 大型反光影像 2
雖然可見光眼動儀有著容易受影響，可靠度低的缺點，卻有幾個非常重要的 優點，首先能夠避免大量的紅外光對眼球的照射，再者對於戴眼鏡的受試者，亦 能夠進行追蹤，[16][17]便提出可見光下的眼動儀系統，不過其準確度較低，而[18]
所建構的系統與本文提出的系統較相似，但其處理速度較慢，且需要一台 PTZ (pan-tilt-zoom)相機，並非一般大眾能夠隨手取得，雖然達到不錯的準確率，但與 紅外光眼動儀相比，仍略為遜色，以下將對與本文系統較接近的系統架構如 [16][17][18] 進行探討。
2. 2 現有可見光眼動儀介紹
現有的可見光眼動儀系統[16][17]多為低速，並使用網路攝影機 Webcam 進行 實驗，其判別系統準確度的方法是判斷人眼的視線，看上、下、左或右的哪一個 方向，直到 2011 年的一篇論文[18]，使用 PTZ 相機，進行眼動儀測試，以下將 對[16][17][18]共三篇論文進行詳細的介紹與分析。
10
Yung-Lung Kuo, Jiann-Shu Lee 與 Sho-Tsung Kao 共同於 2009 年發表一篇於 可見光環境下的眼球追蹤方法[16]，該論文提到當時的環境仍以紅外光眼動儀為 主流，如果是低解析度的紅外光眼動儀，需要搭配訓練或類神經網路的計算方式，
才能達到較高的準確度，然作者認為這樣的過程太過複雜且費時，如果將光源改 為可見光，便能抓取更多資訊，避免不必要的運算，因此該作者提出一套演算法 流程如圖 2-8。
圖2-8. Kuo 提出的可見光眼球追蹤流程
圖 2-8 流程的最大重點在於，作者使用膚色偵測，將搜尋範圍縮小，再利用 Top-Hat Transform[39]，能夠將影像中較亮的部分突顯出來，因此在執行 Top-Hat Transform 之前要做影像反轉，因為膚色偵測會將膚色設定為白色，非膚色設定 為黑色，經過反轉後，可以將非膚色部分設為白色，再進行 Top-Hat Transform，
分離出的白色影像，包含眼睛與睫毛，再進行影像型態學處理，使影像更加完整，
此時便能夠標示出影像中的眼睛與睫毛位置，作者將這 2 個區域作為搜尋範圍，
使用粒子濾波器(Particle Filter)[19][20]，定位出眼球中心。整個流程中，參考膚 色資訊，將搜尋特徵縮小是一大關鍵，能夠大幅減低計算量，但是最後使用粒子 濾波器，需要經過多次迭代才能得到最佳的圓(認定虹膜為圓形)，較為費時，再 者作者於評估系統準確度的依據是測試系統是否能夠判別眼睛的視線方向，判斷 使用者注視的方向是前方、上方、下方、左方或右方，雖然準確度高達 98%，但 此數據是粗略的方向判斷，而非精確的數據，如眼球在移動的過程，造成的偏移 是幾度，以及受試者觀察螢幕時所計算出的凝視點與實際凝視點的誤差量。
Get
Luminance Gaussian Skin Detection Image Inverse
Noise Filter
Top-Hat
Transform Morphology
Remove Small & Vertical
Object
Get Eye & Eyebrow
11
Nguyen Huu Cuong 與 Huynh Thai Hoang 於 2010 年發表一篇利用網路攝影機 (Web Camera)偵測凝視點的方法[17]，並強調該系統能夠達到即時運算，其演算 法流程如圖 2-9。
圖2-9. Cuong 提出的凝視點偵測流程
圖 2-9 流程中，先將彩色影像轉為灰階影像，並動態決定一門檻值將影像分 離出虹膜，眼瞼與眉毛，讓整張影像中除了虹膜、眼瞼與眉毛為黑色之外，其他 部分呈現白色，接著對影像進行 Harris Corner Detection[21][22]，找出眼角並透過 眼角資訊，將影像中的虹膜、眼瞼分為一群，與眉毛分開，便得到一個僅包含眼 瞼與虹膜的搜尋範圍，接著將虹膜與眼瞼部分的輪廓相連接，得到包含最多低於 門檻值像素的區域，該區域即為可能的虹膜區域，最後作者使用建模的方式，假 定虹膜為一個圓形，將該圓移動至可能的虹膜區域內進行比對，找到一個包含最 多虹膜特徵的圓，此圓的圓心即為眼球凝視中心。
此流程有一個先決條件，影像中必須僅包含人臉，不能有太暗的背景，再者 作者並沒有提到如何選定門檻值，如果需要根據受試者的不同，手動調整門檻值，
對使用者而言較不方便，最後作者提到使用建模的方式進行虹膜中心搜尋的方法 較費時，而判斷系統優劣的依據為能否準確辨識人的視線，即使用者是觀看上方、
下方、左方還是右方，作者搭配眼角資訊以及虹膜中心座標，如圖 2-10，除了向 下看的準確度較低，其他三個方向皆能達到 99%的正確率，整體平均準確度達到 98.2%，但與[16]演算法相同，此準確度的判別是粗略的方向判斷，而非精確地估 算實際凝視點與計算出的凝視點之間的誤差。
Get Luminance
Harris Corner Detection
Select Useful Corner Dynamic
Threshold Eye Model Match
12
圖2-10. Cuong 的論文準確度判別依據
最後與本文所提出的系統最相似的演算法是 Jose Sigut 與 Sid-Ahmed Sidha 在 2011 年所發表的期刊論文[18]，該論文使用一 PTZ 相機，錄製受試者的眼球影像，
其流程如圖 2-11 所示。
圖2-11. Jose Sigut 提出的可見光虹膜追蹤處理流程
圖 2-11 流程中，作者先利用快速人臉辨識演算法[23]，找出影像中的人臉，
再使用 PTZ 相機對焦到該範圍內，讓相機顯示的範圍內佔有大部分的人臉影像，
接著作者將原本的彩色影像進行色彩空間變換，將影像轉至 YCbCr 色彩空間，
並動態的決定亮度(Y)的門檻值，同時標記影像中較小的過亮區域，該區域可能是 光源造成的反光點，再對 Cb 與 Cr 動態選取門檻值，其目的在於辨識出眼睛與非 眼睛的部分，作者提到眼睛周圍的區域擁有較高的 Cb 值與較低的 Cr 值，決定以 上 3 個門檻值的目的在於進行下一個步驟，Canny Edge Detection[24]的同時，能 夠排除反光點以及眼睛以外的特徵點，如眼皮或眼角，以降低錯誤特徵的數量，
接著使用距離濾波器(distance filter)，限制 Canny Edge Detection 的範圍，排除距 離 虹 膜 中 心 過 遠 的 特 徵 點 ( 邊 緣 點 ) ， 最 後 使 用 RANSAC (RANdom Sample Consensus )演算法[25][26]，該演算法是一個經過多次迭代的最佳化演算法，其做
Face Detection Get
Luminance
Dynamic Threshold (Y) PTZ Camera
Zoom-In
Dynamic Threshold (Cb, Cr)
Edge Detection
Canny Algorithm Distance Filter RANSAC_5
Circle Fitting
13
法為在一群特徵點之中隨機抽選 N 個特徵點用以計算圓方程式，再將剩下的特徵 點代入並計算與記錄誤差，並重複該步驟直到誤差不再變化或達到允許的容忍範 圍內即停止，該圓的大小即為虹膜大小並以其圓心作為凝視點，如果受試者在頭 不晃動的情況下，達到平均 1.05o的準確度，但其平均處理速度較慢，約為 25 fps，
法為在一群特徵點之中隨機抽選 N 個特徵點用以計算圓方程式，再將剩下的特徵 點代入並計算與記錄誤差，並重複該步驟直到誤差不再變化或達到允許的容忍範 圍內即停止，該圓的大小即為虹膜大小並以其圓心作為凝視點，如果受試者在頭 不晃動的情況下，達到平均 1.05o的準確度，但其平均處理速度較慢，約為 25 fps，