5. 1 實驗環境介紹
我們使用 Casio ZR100[56]錄製眼球影像，搭配 OpenCV [57]提供的影像編碼
/解碼工具，將錄製的影片串流轉換為一張張圖像，再透過我們建置的高速眼動儀 進行處理，最後輸出處理後的眼球凝視點座標，並合成凝視點軌跡影片以方便比 較。
當錄製影像的取樣率提升至 240 fps 以上，一般辦公室環境光源的亮度將非 常不足，若要進行高速錄影需要額外的光源，透過本文的演算法，能夠在不外加 光源的狀況下，實現 240 fps 的高速錄製，因此本文的實驗將在 240 fps 的取樣率 下進行。由於 240 fps 的高取樣率，受試者頭部的晃動將可能造成系統判斷錯誤，
為了避免上述問題，我們要求受試者使用下巴支撐架進行實驗，圖 5-1 至圖 5-3 分別為實驗環境示意圖、錄製影像的 Casio ZR100 數位相機以及下巴支撐架。
圖5-1 實驗環境示意圖
59
Region 的目的在於定位可能的眼睛範圍，增強對比演算法的選用原因已於 3.2.1
節介紹，而本流程最大的貢獻在於縮小處理範圍，如表 5-1 所示，左圖為完整影 像大小，解析度為 432×320，中圖為初步求得的眼睛大小，解析度為 200×200，Mark Close Eye
Local Contrast Enhancement
Estimate Eye Position
DCT Transform
SVM Contrast
Enhancement
Locate Possible Eye Region
Locate Possible Eye Region
Remove Light Source Flicker
Refine Eye Region
Remove Reflection Point
Locate Approximate Iris Center
Locate Iris Center
Feature Extraction
Calculate Iris Center
Classify 9 Group Points
Select Useful Points
Calibrate Gaze Point
Rectification
Calculate Gaze Points Image Data
Gaze Points
60
Enhance Full Image
Enhance ROI Image (Region Of Interest)
Enhance ROI Image and Dump ROI Image Eye
Region
初步
Sample
表 5-2 中的 Enhance Full Image 欄位，表示對整張影像進行對比增強，Enhance ROI Image 欄位表示僅對前幾張影像進行增強，待求出感興趣的範圍(ROI)後，對 該區域進行 4.2 節至 4.3 節的處理，最後一個欄位為 Enhance ROI Image and Dump ROI Image 表示模擬一般的眼動儀系統，在使用者介面上能夠看見系統偵測到的
61
眼睛影像；每一欄位中皆含有 2 種找尋眼睛的方法，一為初步的眼睛範圍(4.1.2 節)與經過 4.1 節所有處理的眼睛範圍(縮小的眼睛範圍)，觀察實驗數據，可以發 現定位眼睛範圍流程存在的必要性，如果沒有這個模組，將耗費太多的時間進行 不必要的運算，使整體效能降低。
Estimate Eye Position 的主要目的在於估計眼睛的位置以幫助分類特徵點，當
眼睛移動至內眼角處，如圖 5-5-(a)，儘管透過 4.3.3 節處理，邊緣與梯度特徵(圖 5-5-(b)與圖 5-5-(c))的左上方仍有錯誤特徵，將導致最後計算虹膜中心時產生誤差，因此我們使用 SVM，(Support Vector Machine)作為輔助，當眼球移動至眼角處，
SVM 將透過預測，告訴本系統此時右方特徵的可靠度較高，本系統的作法是將 在虹膜右方的特徵其權重變為原本的 2 倍，再用這些特徵計算虹膜中心，比較圖 5-5-(d)與圖 5-5-(e)，可以得知透過預測，能夠得到更為精準的虹膜中心。
(b) (c)
(a) (d) (e)
圖5-5 眼球移動至內眼角影像
圖 5-5-(a) 原始影像，圖 5-5-(b) 邊緣特徵，圖 5-5-(c) 梯度特徵，圖 5-5-(d) 未 參考 SVM 所求得最適圓，圖 5-5-(e) 參考 SVM 預測結果所求得最適圓
62
(a) (b) (c)
圖5-6 搜尋範圍比較圖
圖 5-6-(a) 原始影像，圖 5-6-(b) 限制邊緣特徵示意圖，圖 5-6-(c) 處理後特徵
Locate Iris Center 流程中，必須先將影像進行去除反光點處理，圖 5-6-(a)為
經過 Locate Possible Eye Region 處理後，定位出的眼睛範圍，圖中明顯看到黑眼 球中心有幾個較亮的反光區域，雖然 4.3.3 節已提出一些篩選特徵的方法，如限 制邊緣特徵的範圍，如圖 5-6-(b)、圖 5-6-(c)，雖然能夠去除大部分的錯誤特徵，但一些較靠近眼睛異色邊緣的反光點以及範圍邊界的錯誤特徵仍無法有效去除，
必須針對每一位受試者進行微調。再者，反光區域對本文提出的梯度搜尋法有相 當大的影響，當我們沿著射線向外延伸，計算梯度的同時，反光點的出現容易造 成判斷錯誤，雖然能夠藉由限制射線的發散角度進行限制，但必須對每一位受試 者以及環境光源的相對位置進行微調，對一套系統而言，手動微調是相當不明智 的作法，因此在進行 4.3.3 節抽取特徵之前，先對影像中的可能反光點進行標記，
作法見 4.3.1 節，最後將反光點移除以降低 4.3.3 節搜尋到錯誤特徵的數量。我們 比較有無去除反光點對系統準確度的影像，並列於表 5-3 中，藍色標記為將 10 位受試者的實驗數據經過去除反光點處理而得到的準確度，藍色標記旁的紅色標 記為同一位受試者資料，但不經過去除反光點偵測的結果，經比較後發現反光點 偵測對準確度的影響是相當劇烈的，表 5-3 最下二圖為將 10 位受試者的水平與垂 直錯誤率分別取平均，以方便觀察。
63
Non-Remove Reflection Remove Reflection
0
Non-Remove Reflection Remove Reflection
1.61
Reflection Remove
Reflection
Error (degree)
Horizontal
Reflection Remove
Reflection
Error (degree)
Vertical
64
可見光眼動儀如[18]，使用邊緣資訊做為計算虹膜中心的特徵，與本文在 4.3.3 節提出的邊緣特徵方法類似，[18]對亮度影像(圖 5-7)使用 Canny Edge Detection 計算邊緣特徵[24]，其找到的邊緣較細，而我們使用 Sobel 運算子[49]，找到的邊 緣特徵較粗，如圖 5-8 與圖 5-9。由於邊緣是一種較敏感的特徵，較容易受到雜 訊干擾，我們預期使用邊緣特徵計算虹膜中心的誤差會較高。
圖5-7 亮度影像 圖5-8 Canny 邊緣特徵 圖5-9 Sobel 邊緣特徵
本文於 4.3.3 節尚提出梯度搜尋法，檢查沿著射線上的亮度梯度變化，而有 較高的穩定度，因此我們比較個別使用以上兩方法以及將兩種特徵一起加入考量 共三種特徵搜尋法對系統準確度的影響，進行上述三種特徵搜尋比較時，皆將影 像進行去除反光點處理，如表 5-4，上圖為水平誤差，下圖為垂直誤差，其中藍 色為使用邊緣特徵計算虹膜中心，紅色為使用梯度特徵計算虹膜中心，綠色為將 上述兩種特徵共同使用並計算虹膜中心的準確度，表 5-4 最下二圖為將 10 位受試 者的水平與垂直錯誤率分別取平均，以方便觀察。
觀察表 5-4 得到與預期相當的結果，邊緣特徵的穩定度較低，梯度特徵的穩 定度較邊緣特徵穩定，透過將兩種特徵一起參考，能夠篩選得到更多有效特徵，
以降低整體錯誤率。
65
Edge Gradient Hybrid
Error (degree)
Horizontal
Edge Gradient Hybrid
Error (degree)
Vertical
66
Least Square Hough
Least Square Hough
Least Square Hough Hybrid
Error (degree)
Horizontal
Least Square Hough Hybrid
Error (degree)
Vertical
67
計算虹膜中心的演算法已在 4.3.4 節介紹，表 5-5 將針對最小平方誤差法、霍 夫圓轉換，以及本文提出結合霍夫轉換與最小平方誤差法的演算法進行比較，上 圖為水平誤差，下圖為垂直誤差，其中藍色為使用最小平方誤差法計算虹膜中心，
紅色為使用霍夫轉換計算虹膜中心，綠色為本文於 4.3.4 節提出的混合最小平方 誤差與霍夫圓轉換的方法計算虹膜中心，表 5-5 最下二圖為將 10 位受試者的水平 與垂直錯誤率分別取平均，以方便觀察。
綜合以上比較，從表 5-3 至表 5-5 可以得到以下小結：
由表 5-3 的結果得到將影像進行去除反光點後，在水平與垂直方向皆降低約 0.2o的誤差，並驗證 Remove Reflection Point 模組存在的必要。
由表 5-4 結果得到僅使用邊緣特徵，其平均水平與垂直誤差在 3.73o與 3.07o 左右，如果僅使用梯度特徵，其平均水平與垂直誤差在 2.08o 左右，當我們將兩 項特徵共同參考，將能夠達到平均水平與垂直誤差 0.76o與 1.42o，因此在特徵點 的選用上，同時使用邊緣特徵與梯度特徵能夠造成加倍的效果。
由表 5-5 結果得到使用最小平方法計算虹膜中心，其平均水平與垂直誤差在 1.93o與 1.81o左右，使用霍夫圓轉換，其平均水平與垂直誤差為 1.76o與 1.77o， 使用 4.3.4 節提出的計算虹膜中心方法，能夠達到平均水平與垂直誤差 0.76o 與 1.43o。
68
5. 3 受試者實驗結果
圖5-10 受試者測試狀況
圖 5-10 為本文提出的眼動儀系統受試者狀況，並將其應用於實際測試。測 試開始時，將要求受試者將頭部放置下巴支撐架上，受試者將可微調下巴支撐架 的高度，讓眼睛與螢幕中的紅色中心點達到水平，此時受試者的眼睛與螢幕中心 距離為 70 公分，相機與受試者的眼睛距離為 14 公分，為了避免實驗環境的參數 設定，我們將角架固定於桌面如圖 5-10 紫色圓圈所示，我們選用 17 吋方形螢幕 進行測試，解析度為 1280×1024，並設計相同解析度的校正動畫，以利計算誤差，
並請受試者注視動畫上的白色圓點，該白色圓點的半徑為 25 個像素，相鄰兩水 平校正點間的距離為 540 個像素，相鄰兩垂直校正點間的距離為 412 個像素，校
70 cm
14 cm
69
正整體時間為 27 秒，當受試者點選校正圖像中的紅色圓點，即開始進行測試，
如圖 5-10 、圖 5-11 。
圖5-11 9 點校正流程 圖5-12 校正中間圖 I 圖5-13 校正中間圖 II
當受試者使用滑鼠點擊校正動畫中的紅色圓點，將出現一白色圓點由紅點位 置出發，移至圖 5-11 中左上圓點處(如圖 5-11 橘線所示)，並依序遵循黃色路徑 前進，點與點之間的移動時間為 1 秒，停留時間為 2 秒，圓點停留時，將進行原 地大小縮放，讓受試者更加專注，移動時則以原始大小移動，如圖 5-12 與圖 5-13 。
使用 240 fps 的取樣率錄製 27 秒影像，將得到 6480 個畫面，而我們感興趣 的部分為眼睛在標記的 9 個白色圓點所停留的位置，由於每一個校正點停留時間 為 2 秒，將可得到 480 個有效資訊，為了避免移動的影響，我們扣除前 120 與後 120 筆資料，僅取中間 240 筆資訊做為有效資訊，如表 5-6 所示，上圖為 X 座標 的移動軌跡，由於設計的校正動畫為 9 點校正，將可得到 9 個較平穩的區域，即 為我們感興趣的部分(紫色標記範圍)，表 5-6 下圖為 Y 座標軌跡，當校正動畫中 的圓點移動至第二列，將出現較劇烈的 Y 方向座標變化(綠色標記範圍)。表 5-6 的下圖，Y 座標的位置為遞增，而圖 5-11 圓點的移動方向是向下，其原因為影 像的原點(0, 0)是在影像的左上角所致。
70
表 5-6 受試者眼球移動軌跡
每一位受試者經過測試後都將得到一份如表 5-6 的實驗資料，經過篩選後將 得到共 9 群的有用資料，此時透過 4.4.3 至 4.4.4 節的處理，將得到映射於螢幕的 凝視點，方能計算本系統的準確度，而本文使用計算實際凝視位置與估測凝視位 置的誤差角度以評估系統準確度。
以受試者觀察校正動畫中的第一個停留點，如圖 5-11 左上點為例，誤差角 度為圖 5-14 中θe所夾大小，而θe為三維空間中二直線所夾的角，非平面上的 夾角，因此我們選用餘弦定理計算θe，首先必須計算 Dgaze、Egaze與 derror的長度 (圖 5-14 中紅色虛線所構成三角形的三邊)，Dgaze為受試者與螢幕上標記的白色圓
0 20 40 60 80 100 120 140
1 158 315 472 629 786 943 1100 1257 1414 1571 1728 1885 2042 2199 2356 2513 2670 2827 2984 3141 3298 3455 3612 3769 3926 4083 4240 4397 4554 4711 4868 5025 5182 5339 5496 5653 5810 5967 6124 6281
X
0 10 20 30 40 50 60 70 80 90
1 158 315 472 629 786 943 1100 1257 1414 1571 1728 1885 2042 2199 2356 2513 2670 2827 2984 3141 3298 3455 3612 3769 3926 4083 4240 4397 4554 4711 4868 5025 5182 5339 5496 5653 5810 5967 6124 6281
Y
71
點中心的連線距離，Egaze為因演算法造成映射置螢幕的偏移凝視點與受試者之間
點中心的連線距離，Egaze為因演算法造成映射置螢幕的偏移凝視點與受試者之間