• 沒有找到結果。

粒子群移動演算法實現高速眼動儀系統

N/A
N/A
Protected

Academic year: 2021

Share "粒子群移動演算法實現高速眼動儀系統"

Copied!
96
0
0

加載中.... (立即查看全文)

全文

(1)國立臺灣師範大學電機工程學系 碩士論文. 指導教授:高文忠博士. 粒子群移動演算法實現高速眼動儀系統 Gaze Tracking with Particle Swarm Optimization. 研究生:李家宜 撰. 中 華 民 國 105 年 7 月.

(2) 國立臺灣師範大學電機工程學系 碩士論文. 指導教授:高文忠博士. 粒子群移動演算法實現高速眼動儀系統 Gaze Tracking with Particle Swarm Optimization. 研究生:李家宜 撰. 中 華 民 國 105 年 7 月.

(3) 粒子群移動演算法實現高速眼動儀系統. 學生:李家宜. 指導教授:高文忠 教授. 國立臺灣師範大學電機工程學系碩士班. 摘. 要. 眼動儀可以記錄眼球運動、轉換為凝視軌跡,用以研究人類視覺焦點並應 用於神經科學、認知心理學、教育、行銷/廣告分析等領域,為現今市場上具有 實用性的產品。目前市售的眼動儀多數使用紅外光技術,缺點為環境中的紅外 光源會影響系統準確率。因此近年的學術研究投入於可見光眼動儀,但至今市 面上尚未出現高精確度的實用性產品。. 本系統參考既有的眼球模型,改良眼球模型參數的計算方法與匹配方法以 處理一般辦公室光源環境下、480fps 工業用相機錄製的複雜影像。在匹配方法 中結合粒子群移動演算法大幅加速計算效率,並改良傳統九點校正使用的二次 映射曲線使虹膜中心更加準確地轉換至凝視點,實現 30fps 以上即時處理、平均 準確率 1.12 度的系統。 關鍵字:眼動儀、可見光、粒子群移動演算法. i.

(4) Gaze Tracking with Particle Swarm Optimization. student:Chia-Yi Lee. Advisors:Dr. Wen-Chung Kao. Department of Electrical Engineering National Taiwan Normal University. All ABSTRACT The eye tracking system is a new human machine interface device which can analyze the gaze path by tracking the eyeball movement. It has become increasingly popular in the consumer market, due to the fact that the recorded gaze tracking results can be applied to the study of human attention span, cognitive psychology and in the fields of neuroscience, psychology, education, as well as consumer products. However, gaze tracking system mostly rely on infra-ray (IR) light to enhance the image quality of the eyeball, making the application environments and scenarios of the gaze tracking system an issue to be solved. As a result, more and more researchers devoted themselves to the development of visible light eye tracking system, but very few reliable systems achieve high accuracy.. The proposed system aims to improve the system accuracy by modifying the eyeball matching algorithm, even when the images are taken in poor lighting conditions. The improvements come from the modifications of image preprocessing, searching algorithm with the particle swarm optimization (PSO), and a new calibration method. The experimental results indicate the system error is less than 1.12 degree and the entire system reaches processing speed of 30 frames/s.. Keywords: Gaze tracking, visible light, particle swarm optimization. ii.

(5) 誌. 謝. 首先,我要感謝實驗室的所有學長及學弟妹,包含張維德、王紹綱、劉書呈、 王泓淳、吳昇儒、劉建輝、吳禎庭、杜曉玟、廖重淯、林雋益、洪銘陽、柯百嶽、 蘇庭毅、侯冠豪、蔡瑞哲,從我進實驗室開始給予的所有協助,幫助我順利熟悉 實驗環境與給予我在課程上的建議,還有幫忙實驗室的所有業務(計畫和報帳), 讓我能夠順利完成研究及適應實驗室生活。另外,還要感謝系辦助教鄭琇文、蘇 婷節、葉嘉安在我不熟悉學校環境與行政規則時給予很多的提醒和協助,讓我在 很多工作上減少了時間和力氣。還有感謝實驗室助理 Vicky、Coco 和 Vivian 在報 帳和實驗室生活提供的所有幫助,讓我能在研究以外的事務都順利的處理。最後, 我要感謝指導教授高文忠教授。教授從研究文獻的蒐集方法、閱讀與思考的方法, 及我在研究遇到困難時都給予了許多指導與建議,花了很多時間和心力給予我許 多幫助讓這份論文能順利完成。 李家宜 謹誌 於台師大系統晶片實驗室 2016 年 1 月 18 日. iii.

(6) 目. 錄. 中文摘要 ......................................................................................................................... i 英文摘要 ........................................................................................................................ ii 誌. 謝 ....................................................................................................................... iii. 表目錄 ........................................................................................................................... vi 圖目錄 .......................................................................................................................... vii 第一章 緒論 ...................................................................................................................1 1.1. 研究背景 .......................................................................................................1. 1.2. 研究方法 .......................................................................................................2. 1.3. 論文架構 .......................................................................................................5. 第二章 文獻探討 ...........................................................................................................6 2.1. 可見光眼動儀概要 .......................................................................................6. 2.2. 文獻回顧 .......................................................................................................7. 2.3. 現有可見光眼動儀分析 .............................................................................10 2.3.1 Feature-based 方法與 Model-based 方法的比較 ................................ 11. 2.4. 球型的眼球模型(SEM)的討論與分析 ......................................................16 2.4.1 球型的眼球模型(SEM)介紹 ..............................................................17 2.4.2 權重兩項匹配條件決定最佳匹配虹膜 .............................................18. 第三章 系統架構 .........................................................................................................21 3.1. 系統架構圖 .................................................................................................21. 3.2. 眼球模型參數計算 .....................................................................................22 3.2.1 直方圖等化 .........................................................................................22 3.2.2 定位直視虹膜圓的 ROI .....................................................................23 3.2.3 計算直視虹膜圓 .................................................................................25. iv.

(7) 3.2.4 與現有方法的比較 .............................................................................31 3.2.5 參數代入與模型介紹 .........................................................................31 3.3. 模型匹配 .....................................................................................................32 3.3.1 輸入影像的問題分析 .........................................................................33 3.3.2 提出解決策略 .....................................................................................36 3.3.3 增強影像品質 .....................................................................................38 3.3.4 提出匹配演算法 .................................................................................40 3.3.5 系統加速使用粒子群移動演算法 .....................................................43 3.3.6 與現有方法的比較 .............................................................................48. 3.4. 凝視點校正與預測 .....................................................................................48 3.4.1 九點校正資料蒐集、分類與篩選 .....................................................49 3.4.2 映射曲線的設計與參數計算 .............................................................51 3.4.3 凝視點預測 .........................................................................................54. 第四章 實驗結果 .........................................................................................................55 4.1 實驗環境介紹 ................................................................................................55 4.2 高速眼動儀模組分析與測試結果 ................................................................57 第五章 結論與未來展望 .............................................................................................80 5.1 結論 ................................................................................................................80 5.2 未來展望 ........................................................................................................80 參 考 自. 文. 獻 ...........................................................................................................81. 傳 .......................................................................................................................84. v.

(8) 表目錄. 表格 4-1 虹膜直視影像單張計算時間比較表 ..........................................................63 表格 4-2 匹配誤差結果 ..............................................................................................67 表格 4-3 匹配方法的最大偏移誤差及平均偏移誤差比較表 ..................................71 表格 4-4 平均計算速度比較表 ..................................................................................72 表格 4-5 各校正點的水平平均誤差角度 ..................................................................73 表格 4-6 各校正點的垂直平均誤差角度 ..................................................................73 表格 4-7 傳統與新映射曲線方法水平平均誤差比較表(光源一) ...........................76 表格 4-8 傳統與新映射曲線方法垂直平均誤差比較表(光源一) ...........................76 表格 4-9 傳統與新映射曲線方法水平平均誤差比較表(光源二) ............................77 表格 4-10 傳統與新映射曲線方法垂直平均誤差比較表(光源二) ..........................77 表格 4-11 傳統與新映射曲線方法水平平均誤差比較表(光源三) ..........................77 表格 4-12 傳統與新映射曲線方法垂直平均誤差比較表(光源三) ..........................77 表格 4-13 傳統與新映射曲線方法水平平均誤差比較表(光源四) ..........................78 表格 4-14 傳統與新映射曲線方法垂直平均誤差比較表(光源四) ..........................78 表格 4-15 測試點平均最大水平誤差角度 ................................................................78 表格 4-16 測試點平均最大垂直誤差角度 ................................................................79 表格 4-17 測試點最大誤差角度的比較結果 ............................................................79. vi.

(9) 圖目錄. 圖 2-1 可見光眼動儀輸入影像及反射點光影干擾:(a)瞳孔明顯(b)瞳孔不明顯 ..6 圖 2-2. Canny 運算子抽取的邊緣特徵圖 ................................................................ 11. 圖 2-3 (a)為距離濾波方法前的影像(b)為方法使用後的影像..................................12 圖 2-4 虹膜形狀難以圓形穩定且精確擬合 ..............................................................14 圖 2-5 眼睛佔影像面積小的範例圖 ..........................................................................16 圖 2-6 眼睛佔影像面積大且準確定位 ......................................................................16 圖 2-7 虹膜旋轉的示意圖[17] ...................................................................................17 圖 2-8 眼球模型示意圖[17] .......................................................................................17 圖 2-9 Baek 第二項匹配條件的示意圖......................................................................19 圖 3-1 本眼動儀系統架構圖 ......................................................................................21 圖 3-2 眼球模型參數計算的流程圖 ..........................................................................22 圖 3-3 直方圖等化比較圖 ..........................................................................................23 圖 3-4 切割影像成 64 個區塊 ....................................................................................24 圖 3-5 概略虹膜中心 ..................................................................................................24 圖 3-6 切割區塊過大造成錯誤判斷 ..........................................................................24 圖 3-7 虹膜 ROI ..........................................................................................................24 圖 3-8 中值濾波後的影像 ..........................................................................................25 圖 3-9 Box Blurring 後的影像.....................................................................................25 圖 3-10 虹膜特徵點搜尋示意圖 ................................................................................26 圖 3-11 二值化影像 ....................................................................................................26 圖 3-12 輪廓描繪進入點 ............................................................................................27 圖 3-13 4 種搜尋方向 ..................................................................................................27 圖 3-14 最終輪廓特徵點 ............................................................................................28. vii.

(10) 圖 3-15 輪廓上取三點可組成一個圓 ........................................................................28 圖 3-16 擬合圓結果圖 ................................................................................................30 圖 3-17 模型匹配流程的演算法模組 ........................................................................32 圖 3-18 受試者在凝視同一方向上的眼睛 ................................................................33 圖 3-19 同一受試者凝視不同方向上的眼睛 ............................................................34 圖 3-20 具有反光點的眼睛影像 ................................................................................34 圖 3-21 (a)為(b)圖中紅色區塊內的放大影像............................................................35 圖 3-22 邊緣附近的平均亮度值 ................................................................................36 圖 3-23 虹膜候選形狀間匹配程度的比較關係 ........................................................37 圖 3-24 濾波器比較圖 ................................................................................................40 圖 3-25 亮度值增加方向 ............................................................................................42 圖 3-26 亮度取樣值 ....................................................................................................42 圖 3-27 得分範圍限制 ................................................................................................43 圖 3-28 匹配得分在 2 維旋轉空間上的分布 ............................................................45 圖 3-29 PSO 流程圖 ....................................................................................................47 圖 3-30 凝視點校正與預測流程圖 ............................................................................49 圖 3-31 9 點校正圖像 ..................................................................................................49 圖 3-32 受試者凝視狀態 ............................................................................................49 圖 3-33 由取樣時間控制分類 ....................................................................................50 圖 3-34 擷取影像與螢幕的映射關係示意圖 ............................................................52 圖 3-35 凝視形狀測試圖 ............................................................................................52 圖 3-36 虹膜中心的移動軌跡示意圖 ........................................................................52 圖 3-37 虹膜的垂直與水平旋轉角度的關係圖(立體) .............................................53 圖 3-38 虹膜的垂直與水平旋轉角度的關係圖(投影) .............................................53 圖 4-1 XIMEA F500 相機 ............................................................................................55 圖 4-2 USB3.0 傳輸介面 .............................................................................................55 viii.

(11) 圖 4-3 實驗環境示意圖 ..............................................................................................55 圖 4-4 下巴支撐架 ......................................................................................................56 圖 4-5 480fps 相機取樣率錄製的眼睛影像 ...............................................................57 圖 4-6 高速眼動儀系統的主要流程圖 ......................................................................57 圖 4-7 直方圖等化前後的影像與直方圖對照圖(光源一) .......................................58 圖 4-8 直方圖等化前後的影像與直方圖對照圖(光源二) .......................................59 圖 4-9 直方圖等化前後的影像與直方圖對照圖(光源三) .......................................59 圖 4-10 直方圖等化前後的影像與直方圖對照圖(光源四) .....................................60 圖 4-11 虹膜圓擬合結果(光源一) .............................................................................61 圖 4-12 虹膜圓擬合結果(光源二) .............................................................................61 圖 4-13 虹膜圓擬合結果(光源三) .............................................................................62 圖 4-14 虹膜圓擬合結果(光源四) .............................................................................62 圖 4-15 第一種光源環境的匹配結果圖 ....................................................................64 圖 4-16 第二種光源環境的匹配結果圖 ....................................................................65 圖 4-17 第三種光源環境的匹配結果圖 ....................................................................66 圖 4-18 第四種光源環境的匹配結果圖 ....................................................................67 圖 4-19 眼顫現象造成水平誤差 ................................................................................68 圖 4-20 眼顫現象造成垂直誤差 ................................................................................69 圖 4-21 理想虹膜形狀與實際虹膜形狀不完全符合時造成的匹配誤差................69 圖 4-22 Baek 匹配方法的誤差主因(a-1)(a-2)為錯誤結果(b-1)(b-2)為理想結果 ....70 圖 4-23 九點校正結果圖 ............................................................................................72 圖 4-24 異於校正點的 17 個測試點 ..........................................................................74 圖 4-25 17 個校正點的凝視熱區圖 ............................................................................75 圖 4-26 傳統二次曲線方法與提出方法得到的九點校正結果圖比較 ....................79. ix.

(12) 1. 第一章 緒論. 1.1 研究背景 眼睛又被稱為「靈魂之窗」 ,是人體主要的感知器官之一,具有辨別明暗、色 彩及距離的能力。因此,人類藉由眼睛獲得的資訊進行思考或行為[1][2]。分析眼 睛的構造:眼球的中央小窩(fovea)聚集高密度的感光細胞,是視覺感知區域中敏 銳度(visual acuity)最高的區域。因此,眼睛藉由眼球運動使凝視的目標聚焦於中 央小窩,以獲取清楚的資訊。總結上述,眼球運動與當下關注的目標密切相關, 凝視軌跡即反映相對的視覺歷程進而表示相對的認知處理歷程。因此,眼動儀又 稱為眼球追蹤儀,為記錄眼球運動並轉換至凝視軌跡的儀器。. 2015 年的今天,眼動儀是商品化並具有實用性的產品。眼動儀記錄下凝視追 蹤的結果,用來研究人類關注焦點,並應用在神經科學、認知心理學、教育、行 銷/廣告分析等領域。台灣的頂尖大學中,包括國立台灣師範大學教育與心理輔導 學系的教育神經科學實驗室[3]、國立政治大學心理系的眼動與閱讀實驗室[4],及 中央大學認知神經科學研究所的情緒與犯罪實驗室 [5]都使用市售的眼動儀進行 研究計畫。眼動儀紀錄的結果除了作為研究資料的依據外,也可用於身體障礙者 的溝通輔具。眼睛凝視點的移動、眨眼等功能都可用來表達意識,因此將眼動儀 蒐集的資料結合簡易的互動介面即可提供身障者不同的溝通管道。因此,對於漸 凍人、肌肉萎縮症、腦性麻痺、脊髓損傷、多發性硬化症、 中風人士等四肢或口 語表達困難者,眼動儀即可作為他們與外界溝通的輔具[6]。另外,在近年來消費 型電子興起的浪潮下,眼動儀也被期待成為另一種輸入或互動裝置,以提供更好 的使用者經驗。. 1.

(13) 從 1990 年代開始,國際大廠陸續投入眼動儀的研究與開發。包括德國的 SMI (SensoMotoric Instruments)[7]、瑞典的公司 Tobii[8],及台灣的由田新技股份有限 公司[9]。目前市售的產品包括頭戴式、眼鏡式適用於真實場景與物體的研究,及 小型靈活式、螢幕式等適用於其他更廣泛的研究,還有輔具看護應用設備及其他 的客製化商品或是相對應的軟體套件。在相關研究與應用需求的持續發展下,廠 商也持續的進行開發與設計,並且全球性的擴展業務。. 紅外光眼動儀為目前市售眼動儀的主流品項,它具有紅外光濾鏡並配置(近) 紅外光源照射至眼球表面定位。紅外光眼動儀的技術原理倚賴(近)紅外光源,若 環境光源有紅外光的成分(如太陽光),則容易干擾儀器對於系統中(近)紅外光源的 判斷。因此,紅外光眼動儀具有許多使用上的限制,如不適用於室外環境、必須 控制室內環境光源成分、使用者配戴眼鏡會干擾準確度等。近年來,相機設備及 具相機功能的行動設備日漸普及且快速發展,在解析度(resolution)、錄影時的畫 面更新率(frame rate)、光圈及焦距的調整上都有更好的功能與彈性。影像處理技 術在輸入端即具有更好的品質,並在未來更具有發展性。可見光眼動儀使用一般 相機做為系統的輸入裝置並僅倚賴環境光源。可見光眼動儀目前尚於發展階段, 市面上未出現高精準度的的產品,但在學術研究的發展日趨興盛[10]-[17]。. 1.2 研究方法 可見光眼動儀與紅外光眼動儀的技術原理不同,系統輸入影像不同。可見光 眼動儀無法穩定擷取瞳孔影像,改以定位虹膜判斷眼球運動,且相較於紅外光眼 動儀而言整體的輸入影像複雜性較高導致,一、影像處理時虹膜中心判斷困難, 二、計算時間的耗費。系統在對於虹膜中心進行影像處理並判斷時,包括外部光. 2.

(14) 源在虹膜上的反射點造成虹膜邊緣或內部形狀破損、瞳孔時有時無影響虹膜內部 完整性、眼瞼遮蔽虹膜、異色邊緣漸層問題、有限的特徵點不足以擬合出近似虹 膜形狀的橢圓形等問題都造成虹膜中心無法明確定義且在影像處理技術的困難。 為確保系統穩定度與準確度,複雜的計算常為必要的成本。龐大的計算量則導致 計算速度的耗費,增加其實現為實用產品的疑慮。. 目前可見光眼動儀尚處於發展階段,研究文獻中常以方法對於特徵點的需要 與否分為 Feature-based 方法與 Model-based 方法。Feature-based 方法使用眼睛特 徵(如邊緣特徵、梯度特徵、等光強線等)進行區域的判斷與抽取,將抽取出的特 徵以圓或橢圓進行擬合。Valenti 與 Gevers[10]提出等光強線定位虹膜圓形的方法 並以圓心作為虹膜中心,但其準確度約限制在 3.59°且在特徵點不足時易偵測到 眼角等錯誤特徵影響穩定度[11]。Sigut 與 Sidha[12]提出由可見光源製造的角膜反 射點與虹膜中心向量追蹤凝視點的方法,此方法的準確度達到 0.75°且可實現 25fps 的即時計算。但方法需使用到膚色參數可能依使用者不同需進行微調,在實 用上較為不方便。另外,由可見光源製造的角膜反射點易受其餘反射在角膜上的 可見光源干擾,在實用上具有穩定性的問題。Wang、Sung 和 Venkateswarlu[13]與 W. Zang、T.-N Zhang[14]皆由擷取虹膜左右兩側最長的垂直邊緣作為擬合橢圓形 的特徵點,並以橢圓中心作為虹膜中心。但是當眼球凝視方向使得虹膜旋轉至邊 緣時其中一邊的特徵點會被遮蔽導致特徵點錯誤的問題,方法具限制性且在實用 上較不穩定。觀察 Feature-based 方法通常具有特徵點穩定性不足導致虹膜錯誤定 位的問題。特別是以橢圓作為虹膜的擬合形狀時,由於相機擷取到的虹膜實際上 較近似為圓形投影於二維的影像,並非橢圓形,因此在特徵點數上若數量不足或 分布不均時則難以擬合出預想的橢圓形而擬合出錯誤的橢圓形。而以圓形作為虹 膜擬合形狀時,必須嚴格限制相機與眼球的相對位置使虹膜盡量呈現圓形,否則 雖然擬合出接近虹膜形狀的圓形也難以實現高準確度的系統。. 3.

(15) Model-based 方法是由預設的形狀、模型公式全域性的對於整張圖進行匹配判 斷,由投票或分類的方法在有限的模型候選人中找出最佳解。Daugman[15]提出 以圓形為虹膜形狀並以積分運算子遞迴的改變圓半徑及中心座標匹配虹膜圓形。 Nishino 與 Nayar[16]則延伸 Daugman 的方法以橢圓為匹配的形狀,遞迴改變中心 座標、長軸短軸及旋轉角度進行匹配。這類方法具有四個以上遞迴控制參數(圓為 四個、橢圓為六個),計算複雜度為四個維度以上,而計算時間會因眼睛大小在影 像中佔據像素面積的增加而增加,因此對於高精準度的系統需耗費較長的計算時 間。Baek 等人[17]利用球體與球體上平面的關係提出的眼球模型近似出眼睛在凝 視不同方向時,虹膜投影在二維影像上的各種形狀。再提出兩種匹配方法以虹膜 內亮度總和與邊緣內外差值為判斷標準並以權重決定最後的匹配結果。此匹配方 法的權重值在不同測試環境時需微幅調整但難以動態決定,但此匹配模型具有相 當高的擬真性。. 本系統為可見光眼動儀,在一般光源環境下,對於相機擷取的影像進行影像 處理,分析出虹膜中心位置的座標。輸出影像上的虹膜中心座標定位眼球運動的 軌跡後,轉換至螢幕上的實際凝視軌跡的儀器。本文參考 Baek 等人[17]提出的眼 球模型,改良計算眼球模型參數的方法與匹配方法以實現在一般辦公室光源環境 下,處理 480fps 的工業用相機錄製的影像時,能克服一般光源頻率低於 480Hz 造 成的閃爍問題且有能力處理複雜的輸入影像達成穩定且高準確率的效果並微幅 提升計算速度。匹配方法結合利用粒子群移動演算法(Particle Swarm Optimization/ PSO)大幅加速計算效率,使其成為一具有實用性的高速眼動儀系統,並改良傳統 九點校正使用的二次映射曲線使虹膜中心更加準確地轉換至凝視點,目前能夠實 現 30fps 以上的即時處理工作。. 4.

(16) 1.3 論文架構 本論文在第一章介紹研究背景及研究目的。由眼動儀的來由、目前應用與限 制確立了本文的明確研究目標。第二章針對發展中的可見光眼動儀進行簡介、近 年來的文獻探討與現有方法分析並對系統參考的模型進行較為仔細地介紹。第三 章則提出系統架構,依系統流程依序介紹模型參數的計算方法、匹配計算的方法 與最後凝視點校正的方法。第四章對於四種光源環境提出實驗結果與數據。第五 章是結論與未來展望。並且在最後附上相關的參考資料。. 5.

(17) 2. 第二章 文獻探討. 2.1 可見光眼動儀概要 一般可見光眼動儀用以定位眼球軌跡的輸入影像主要是較為深色的虹膜與較 為淺色的角膜與皮膚部分。視相機解析度的不同,有時在環境光源較強時能夠觀 察到虹膜內部具有深黑色圓形即為瞳孔,如圖 2-1(a)所示。但由於瞳孔的成像並 不適用於所有的光源環境,圖 2-1(b)為稍暗的環境光源瞳孔成像就不明顯,因此 在可見光眼動儀的系統中,我們通常認為輸入影像的眼睛區域內由深色虹膜(黑眼 球)與淺色角膜(眼白)兩個部分所組成。. (a). (b). 圖 2-1 可見光眼動儀輸入影像及反射點光影干擾:(a)瞳孔明顯(b)瞳孔不明顯. 由於瞳孔在可見光眼動儀中並不是穩定呈現,因此不適合作為眼球運動的定 位特徵。因此可見光眼動儀在定位眼球軌跡時,通常採用由同樣具有眼球運動特 徵的虹膜取代。相對於紅外光眼動儀中的瞳孔皆能呈現出完整的形狀,可見光眼. 6.

(18) 動儀中的虹膜在設計演算法進行判斷處理時常遇到下列幾個問題:在眼瞼交界處 的遮蔽情形、反光點造成的干擾、或是時有時無的瞳孔都使得影像處理的情況較 為複雜。仔細觀察圖 2-1(a)及圖 2-1(b)虹膜上的色階,可以發現除了紅色圓圈標 記出的反光點外,虹膜上介於虹膜與亮白色反光點間,不均勻分布的灰色條狀也 都是反光點造成的。. 另外,虹膜在許多拍攝角度及凝視方向皆呈現非圓形的形狀,在高準確度的 系統應用上,我們期待以較為近似的橢圓或其他更為精細的模型形狀作為定位虹 膜中心的依據。但由於上述眼瞼遮蔽或反光點等影像問題,增加了橢圓形或其他 精確形狀擬合的困難度。而精確且穩定的演算法通常就需耗費大量的計算成本。 因此,近幾年來可見光眼動儀始終無法在多變的環境因素下,使得準確率與效率 達成接近紅外光眼動儀的效果。. 2.2 文獻回顧 可見光眼動儀輸入資料的複雜性及不穩定性造成了影像處理上的嚴苛與困難。 即使近幾年相機發展快速,也未出現能夠獲得穩定結果的影像處理方法。本節將 先對於歷年來的可見光眼動儀文獻進行回顧,聚焦於影像處理方法的討論,作為 本眼動儀系統開發的參考。. Jose Sigut 與 Sid-Ahmed Sidha 在 2011 年提出使用可見光作為角膜反射點的 方法,角膜反射點的光源即為 5W 的燈泡[12]。此篇論文首先藉由兩種遮罩處理 找到可能的角膜反射點。第一種遮罩是 Y,是依據角膜反射點亮度值高的特性。 第二種遮罩是藉由 Cb 與 Cr 排除膚色區域。重疊兩種遮罩即可獲得可能的角膜反 射點候選人。將每個角膜反射點候選人置於大小符合眼睛區域的區塊(window)中. 7.

(19) 心,使用 Canny 邊緣偵測[18]找出區塊內的邊緣特徵,並使用距離濾波器(Distance Filter)排除距離該角膜候選人太近或太遠的邊緣特徵。利用選出的邊緣特徵進行 隨機抽樣一致演算法(Random sample consensus/ RANSAC) [19],依照橢圓形狀分 出內群與離群,具有內群最多的區塊(window)中心則為真正的角膜反射點。並利 用此內群計算出虹膜中心。此方法在固定頭部的條件下,系統平均誤差角度約為 0.75°,非常接近一般紅外光眼動儀的精準度。但由於方法中需要用到膚色參數值 Cb、Cr,因此推測此眼動儀在使用者改變時,參數設定上可能須針對使用者個別 進行微調,在使用上較不方便。. Roberto Valenti 與 Theo Gevers 在 2012 年使用等強光線來進行眼睛中心的定 位[10]。方法首先利用影像上每一點像素都有最大梯度(亮度差)的方向,取此梯度 值代表該像素點。若讓梯度值相同的像素以同一亮度值表示,影像上就會連出等 光強線。並同時記錄每一點的梯度方向,則可計算等光強線的曲率。最後由等光 強線的方向、曲率半徑、梯度值大小投票就可找出所有等光強線的中心點。在利 用投票找出中心時會先利用到高斯濾波器[26],但比起一般使用單一門檻值的方 法,此方法會疊加不同程度的高斯影像,原因為避免細節多、雜訊多造成等光強 線值離散或反之過度平滑導致梯度結構不見、等光強線錯誤。另外在決定投票結 果時,方法會使用中值平移演算法(mean shift)[27]在 centermap 上收斂至區域密度 高的 n 個點,再用尺度不變特徵轉換(Scale-invariant feature transform/SIFT)[28]分 辨之間關係,判斷哪個可能是取錯的,而非直接取投票最高分的單點。這篇論文 的主要貢獻在於使用低解析度的影像達成眼睛中心的定位並在解析度、光線、姿 勢改變時也保持穩定。但這個系統是使用整個頭部作為輸入影像,實驗主要聚焦 於虹膜定位而沒有凝視點準確率的數據,因此推測此系統需搭配頭部偵測的系統 進行最終的凝視點定位。另外,由於等光強線除了異色邊緣外還包括眼瞼、眼角 等特徵,因此在準確度上無法達到只用異色邊緣擬合出的橢圓中心準確。. 8.

(20) John Daugman 在 2004 年提出以積分運算子對虹膜中心與瞳孔中心進行定位 的方法[15]。此篇論文主要貢獻在於利用不同人具有不同的虹膜特徵進行個人辨 識(person recognition)。但因為在前段虹膜中心定位的部分即使在眼動儀的使用上 也具有相當的參考價值,因此對此篇論文進行探討。此方法是由 x 座標值、y 座 標值、半徑變換範圍∆r 與圓心角控制的圓周長度作為控制參數,藉由遞迴調整此 四項參數在影像上找出沿著圓形模型曲線積分並正歸化的最大梯度總和並記錄 於 x、y、r 的三維容器。再利用高斯濾波器找出最大值聚集的區域。此方法利用 遞迴參數的微調,全域性的對於影像進行計算因此準確率高,但相對的此方法計 算複雜度較高,因此在實現即時(real-time)眼動儀的應用上會有相當的困難度。. Seung-Jin Baek 等人在 2013 年提出了一基於眼球模型的虹膜中心定位方法 [17]。此方法首先需要一張眼睛直視前方(frontal-pose),使虹膜呈現圓形的影像。. 由上述提及 Daugman 的方法[15]計算出虹膜中心座標與半徑作為接下來提出的 模型的參數。提出模型則是參考 J.B.T.M Roerdink 在 1990 年的研究,利用形態學 數學近似探討球體與球體上平面的關係[20]。此提出模型可生成出的虹膜形狀的 候選人,作者則結合兩種匹配方法在輸入影像上計算出最適合的虹膜形狀。對於 此模型進行實際實驗後,發現此眼球模型對於不同測試者的眼球形狀都具有高適 應性,因此判斷由此模型公式生成的虹膜形狀集合為一有限且有效的虹膜形狀資 料庫。但是在有反光源的測試環境下進行匹配時會發生錯誤匹配的情況。而在對 於高解析度影像處理時,匹配公式的計算量較大。. Feng Lu、 Yusuke Sugano,、Takahiro Okabe 與 Yoichi Sato 在 2014 年提出了 利用全域影像資料進行遞迴線性迴歸的凝視點預測方法[21]。方法首先需要用到 邊緣偵測定位眼角位置,再利用眼角決定有用的眼睛影像範圍,將影像範圍切成 3x5 的區塊,每個區域亮度總合當作一個特徵值。利用線性迴歸的特性能夠決定 一組 w(權重值)符合特徵值間的線性組合與螢幕校正點間的線性組合。特徵點的 9.

(21) 線性組合𝑒̂ = ∑𝑖 𝑤𝑖 𝑒𝑖 ,而螢幕校正點的線性組合𝑥̂ = ∑𝑖 𝑤𝑖 𝑥𝑖 。但因為實際凝視點 不一定在校正點上,而該組權重只能符合上述線性組合的計算結果而無法對應至 所有凝視點,因此提出高維度線性回歸來找尋權重值的方法。透過訓練,在 15 個 特徵值中找出其中幾個特徵值,這幾個特徵值與新權重值的線性組合會和原 15 個 特徵值與步驟 2 所述權重值的線性組合誤差範圍小於ε則將新權重當作新的映射 公式。此方法在頭部固定的條件下使用九點校正可達到 1 度的準確率,但對於新 的使用者或使用環境都須重新訓練是無可避免的缺點。. 2.3 現有可見光眼動儀分析 除了在 2.2 節提出的文獻回顧外,有兩篇具參考價值的期刊整理了近 20 年的 眼動偵測方法。Dan Witzner Hansen 與 Qiang Ji,在 2010 年發表了” In the Eye of the Beholder: A Survey of Models for Eyes and Gaze ”[11]。此篇期刊對當時的方法依眼 睛偵測與眼動追蹤兩個方向進行討論,再依各篇論文的技術原理做出詳細的分類, 並整理出表格比較,最後由幾項指標做出分析與討論。Amer Al-Rahayfeh 與 Maid Faezipour 則在 2013 年發表了” Eye Tracking and Head Movement Detection: A Stateof-Art Survey” [22]。此篇期刊則聚焦於眼動儀應用方面的討論。回顧可見光眼動 儀的文獻後可發現,部分的可見光眼動儀實驗設備為一般相機或網路攝影機 (webcam),在對於眼睛部分影像解析度要求較低的情況下,多以視線方向作為系 統精準度的判斷標準,較少對於計算速度進行討論。其餘針對準確度討論的眼動 儀系統中,通常忽略了控制參數對於系統穩定性的討論或是計算成本的討論。另 外,整體而言,可見光眼動儀系統較少對於高速錄製情況的應用類型進行討論。 而本系統設定的應用類型即為在高速錄製環境中具有高準確度及實用性的眼動 儀系統,因此本節將先分析現有眼動儀系統中部分方法的優缺點做為系統開發時 的參考。. 10.

(22) 2.3.1 Feature-based 方法與 Model-based 方法的比較 一般的眼動儀系統的虹膜定位與追蹤方法通常可以分為兩個種類,一、 Feature-based 方法,二、Model-based 方法。在本眼動儀系統的核心方法選用上, 我們使用了 Model-based 的方法來找出虹膜中心座標,但在模型參數計算的部分 則是選擇了 Feature-based 的方法來進行一開始的定位。因此本節將先對於這兩個 類型的方法做出簡介與分析,分別針對它們的優缺點與適用情境進行介紹。並對 於幾種現有虹膜定位的相關演算法進行分析作為模型參數計算方法的參考。 A. Feature-based 方法 Feature-based 方法通常是對於常使用的眼睛特徵(如邊緣特徵、梯度特徵、等 光強線特徵等)進行區域的判斷與抽取,再對於抽取出的特徵以圓形或橢圓形進行 擬合以擷取出近似虹膜的形狀。常見的邊緣特徵抽取方法如 Canny 運算子[18]、 索貝爾運算子(Sobel Operator)[29]等,如圖 2-2[12][13]即為由 Canny 運算子所抽 取出的邊緣特徵,在兩張圖的圖中央的位置皆可以看出具有虹膜邊緣形狀的白色 特徵點。. 圖 2-2. Canny 運算子抽取的邊緣特徵圖[12][13]. 但是這樣單純的的特徵抽取方法通常會同時抽取到眼瞼、眼角或是虹膜內反 光區域的形狀,所以光靠這個方法通常不足以取得明確的虹膜特徵。因此多數方. 11.

(23) 法會在特徵抽取後加上其他演算法來去除錯誤特徵,而這些演算法的判斷方法或 其設置的參數會決定性的影響最後的結果。因此在 Feature-based 的方法中,最大 的缺點就是特徵抽取的正確性及穩定性問題與參數調整問題。對於不同的光源環 境、眼睛型態,難以穩定地找到充足且正確的虹膜特徵點或是系統參數。. 距離濾波方法(Distance Filter)[12]就是濾除錯誤特徵點的方法之一,距離濾波 是以某個基準點為標準,將與其距離太近或太遠的值直接濾除(圖 2-3[12])。這個 方法的效果將取決於基準點的訂定與濾除點的數量。距離濾波必須要濾除足夠的 數量點才有機會在最後的擬合圓階段得到好的結果,但由於基準點的訂定無法完 全位於虹膜中心,因此濾除的數量點必須能包含基準點偏移造成的距離誤差。由 於濾除數量的誤差將會決定性的影響此方法的結果,難以保證方法穩定。. (a). (b). 圖 2-3 (a)為距離濾波方法前的影像(b)為方法使用後的影像[12]. 在去除錯誤特徵的方法中,也有一些是使用 RANSAC(隨機抽樣一致演算法) 來濾除錯誤的特徵點。首先,RANSAC 方法中會有一可調整控制參數的模型來描 述資料分布,這邊通常是指圓的模型,控制參數則為圓心座標及半徑。接著,隨 機選取一些資料點設定為內群並計算出最符合的模型參數。然後,再計算其餘點 是否符合模型,若符合則歸類為內群並記錄下內群的數量。將上述步驟進行多次. 12.

(24) 疊代後,具有最多內群點的控制參數則為最終模型的參數。然而,RANSAC 的使 用通常需要足夠的內群點數量以定義出明確的內群。但大部分的特徵抽取方法都 留有幾乎與正確特徵點一樣多的干擾點,因此對於一般方法來說,RANSAC 難以 達到穩定。. 確立特徵點後,通常須利用擬合圓的方法將圓或橢圓作為近似虹膜的形狀, 再以其圓心作為虹膜中心。最小平方法[23]就是一種擬合圓的方法。在最小平方 法中,有一具有控制參數的模型。透過計算所有資料點與此模型的最小平方誤差 總和得到最終的控制參數。實作方法如下:一、定出模型公式與參數(2-1),二、 假設有一組解使得平方誤差總和達最小(2-2),三、分別對未知參數進行偏微分, 值為零者表示最小誤差(2-3),四、解三元一次聯立方程式並得到最終解答(2-4)。 雖然最小平方法在正確特徵點為資料點主體,也就是錯誤的特徵點為極少數時, 能夠有效的優化原本的資料點並找到模型參數的唯一解。但是在錯誤的特徵點過 多時就非常容易造成錯誤的結果。. 𝑥 2 + 𝑦 2 + 𝑎𝑥 + 𝑏𝑦 + 𝑐 = 0. (2-1). 𝑛. e = ∑(𝑥𝑖 2 + 𝑦𝑖 2 + 𝑎𝑥𝑖 + 𝑏𝑦𝑖 + 𝑐)2. (2-2). 𝑖=1. 𝑛. 𝜕𝑒 = ∑ 2(𝑥𝑖 2 + 𝑦𝑖 2 + 𝑎𝑥𝑖 + 𝑏𝑦𝑖 + 𝑐 )𝑥𝑖 = 0 𝜕𝑎 𝑖=1 𝑛. 𝜕𝑒 = ∑ 2(𝑥𝑖 2 + 𝑦𝑖 2 + 𝑎𝑥𝑖 + 𝑏𝑦𝑖 + 𝑐 )𝑦𝑖 = 0 𝜕𝑏 𝑖=1 𝑛. 𝜕𝑒 = ∑ 2(𝑥𝑖 2 + 𝑦𝑖 2 + 𝑎𝑥𝑖 + 𝑏𝑦𝑖 + 𝑐 ) = 0 { 𝜕𝑐 𝑖=1. 13. (2-3).

(25) 𝑎 𝑏 C(x, y) = (− , − ) 2 2 𝑎2 + 𝑏2 − 4𝑐 𝑅=√ 4 {. (2-4). B. Model-based 方法 相對於 Feature-based 方法使用區域性的特徵判斷,Model-based 方法通常由 預設的形狀、模型公式全域性的對於整張圖進行匹配判斷,由投票或分類的方法 在有限的模型候選人中找出最佳解。因此在模型正確定義的前提下(模型能以數學 式明確且準確地描述出虹膜型態),Model-based 方法通常能夠穩定地找出虹膜形 狀與位置。. 但對於 Model-based 方法來說,困難的部分就在於模型的定義。在多變的光 源環境造成的反光點干擾、不同的眼睛與虹膜型態(不同拍攝方向與凝視角度), 或是眼瞼遮蔽等問題都會造成原本就多變的虹膜形狀再產生形狀破損的問題,因 此以單純的圓形難以穩定且精確地定位虹膜位置(圖 2-4)。而過度精確的虹膜形 狀描述則可能需要使用遞迴參數微調精確虹膜形狀再進行匹配計算 [25],則通常 伴隨著龐大的資料計算量造成實用性的問題[17]。. 圖 2-4 虹膜形狀難以圓形穩定且精確擬合. 14.

(26) 在文獻探討中曾提到 Daugman 的積分運算子方法。此方法是一個簡單的 Model-based 圓形匹配方法。如(2-5),此方法先假設座標(𝑥0 , 𝑦0 )為圓中心,對於半 徑為 r 的圓,將圓的邊緣上所有像素的亮度值進行積分並正歸化。接著改變半徑 值並遞迴的計算相鄰半徑間的微分值,再由高斯濾波器找出極值點並紀錄座標點 與極值。接著移動圓中心,以此類推的找出屬於各點座標的極值與對應半徑。最 後比較所有點座標的極值並將最大值對應的圓中心與半徑作為虹膜中心座標與 半徑。. max |𝐺𝜎 (𝑟) ∗. (𝑟,𝑥0 ,𝑦0 ). 𝜕 𝐼(𝑥, 𝑦) ∮ | 𝜕𝑟 𝑟,𝑥0 ,𝑦0 2𝜋𝑟. (2-5). 此為簡易的 Model-based 方法中具代表性的一個方法,多個方法以此為基礎 延伸[16][24]。但假設一張圖片寬度為 w 高度為 h,因此在做積分時需要做 w*h*∆r 次,在眼睛佔影像面積較大的資料中計算量大所以速度會非常慢,且這是以圓形 匹配為目標,若匹配橢圓形狀將再增加其複雜度。. C. 針對不同應用的優缺點比較 眼動偵測的研究常使用頭部姿勢的偵測演算法搭配眼睛凝視方向判斷演算法 進行凝視點預測,由於眼睛佔影像整體面積較小且只需定位概略的虹膜中心位置 (圖 2-5[17])。對於上述應用來說,Feature-based 方法是比 Model-based 方法具有 較優異的效能。主要是因為應用若只需定位概略位置,使用遞迴微調模型定義則 對此類影像帶來相當可觀的計算量,在實用上並不符合效益。. 15.

(27) 圖 2-5 眼睛佔影像面積小的範例圖[17]. 在本系統的實驗環境中欲討論的是眼睛佔據主要的影像面積,對於不同的凝 視方向與角度都能夠準確的定位虹膜中心位置(圖 2-6),以利於其後虹膜中心位 置映射至準確的螢幕凝視位置。考量到多變且複雜的虹膜形狀,Feature-based 方 法難以用圓形或橢圓形精準擬合,因此 Model-based 方法會是較好的選擇。但在 對於模型定義的選擇上,還是需要考慮到模型是否能明確描述出虹膜形狀與計算 效能是否符合實用性。. 圖 2-6 眼睛佔影像面積大且準確定位. 2.4 球型的眼球模型(SEM)的討論與分析 球型的眼球模型 (Spherical Eyeball Model/SEM)是 Baek 等人[17]在 2012 年提 出的眼球模型。他參考了三維球體與球體上二維平面關係的數學近似模型[20], 16.

(28) 並套用於眼球與虹膜平面的關係上。此模型生成的虹膜形狀與相機擷取到的實際 虹膜形狀相似度高,且數量控制在眼球旋轉角度的範圍內,因此判斷為一良好的 眼球模型。此小節將先對此模型進行介紹,再說明本文的使用與改良方向。. 2.4.1 球型的眼球模型(SEM)介紹 在眼球旋轉以改變凝視方向時,相機擷取到的虹膜影像也會隨之改變。圖 2-7 [17] 為虹膜旋轉的示意圖,中央的黑色圓形表示虹膜在直視時相機擷取到的投影. 影像;灰色橢圓形(實際上會因投影而失真而只能近似橢圓形)表示虹膜轉動到不 同位置時的相機擷取到的投影影像。此模型假設虹膜邊緣在眼球球體上形成圓形, 且虹膜半徑𝑟𝐼 是眼球半徑𝑟𝐸 的 1/2(由人體測量關係[13]得知)(圖 2-8)。. (τ cos 𝛼 , τ sin 𝛼) α. 圖 2-7 虹膜旋轉的示意圖[17]. 圖 2-8 眼球模型示意圖[17]. 當虹膜呈現圓形時,圓上的各點可由(2-6)表示。這是一個以齊次項表示座標 的三維模型,因此半徑τ為原本的虹膜半徑𝑟𝐼 除以 Z 軸的距離(在此為眼球半徑𝑟𝐸 ), α 是虹膜圓的圓心角。當眼球非直視使得虹膜呈現其他形狀時,虹膜形狀上的各 點可由(2-7)表示。這邊假設直視時的虹膜中心位於原點且𝑟𝐸 = 1。 (x, y) = (τ cos 𝛼 , τ sin 𝛼). 17. (2-6).

(29) (𝑥𝑟 , 𝑦𝑟 ) = ((τ cos 𝜃 cos 𝛼 + √1 − 𝜏 2 sin 𝜃) cos 𝜑 − 𝜏 sin 𝛼 sin 𝜑, (2-7) (τ cos 𝜃 cos 𝛼 + √1 − 𝜏 2 sin 𝜃) sin 𝜑 + 𝜏 sin 𝛼 cos 𝜑). 利用控制旋轉角度θ與φ生成不同凝視方向時的虹膜候選形狀(由虹膜邊緣的 座標點組成)。再將這些虹膜候選形狀一個一個的對輸入影像進行匹配,則最後可 找出最佳的虹膜形狀。. 2.4.2 權重兩項匹配條件決定最佳匹配虹膜 由模型生成許多虹膜候選形狀後,Baek 提出兩項匹配條件,第一項匹配條件 將虹膜視為黑色實心圓盤,因此虹膜候選形狀內所有像素亮度值的總和越小,匹 配得分則越高。如(2-8),𝑝⃑為像素座標、f(𝑝⃑)為𝑝⃑的亮度值、𝑆1 為虹膜候選形狀內 部區域的像素、𝑁1 為𝑆1 區域的像素個數、𝐸1 為條件一的匹配分數。第二項匹配條 件為虹膜與角膜交界為異色邊緣,因此設計一 MxM 的遮罩在邊緣上移動,虹膜 候選形狀位於遮罩內的邊緣亮度值總和與內部亮度值總和的差值越大匹配分數 越高。如(2-9),𝑆2 為虹膜候選形狀的邊緣區域、𝑠1 為遮罩內虹膜候選形狀內部區 域、𝑠2 為遮罩內虹膜候選形狀的邊緣區域、𝑁2 為𝑆2 區域的像素個數、𝛼1,𝑝⃑ 為𝑠1 的像 素亮度值平均、𝛼2,𝑝⃑ 為𝑆2 的像素亮度值平均、𝐸2 為條件二的匹配分數(圖 2-9[17])。. 𝐸1 = (. 1 ) ∑ {𝑓𝑚𝑎𝑥 − 𝑓(𝑝⃑)} 𝑁1. (2-8). 1 ) ∑ {𝛼2,𝑝⃑ − 𝛼1,𝑝⃑ } 𝑁2. (2-9). 𝑝⃑∈𝑆1. 𝐸2 = (. 𝑝⃑∈𝑆2. 18.

(30) 圖 2-9 Baek 第二項匹配條件的示意圖[17]. 最後結合兩種匹配條件的得分,如(2-10)由權重值𝑤1 , 𝑤2 控制匹配條件一與匹 配條件二的配分比重得到最終匹配得分。比較所有虹膜候選形狀後,假設第 i 個 虹膜候選形狀的匹配得分最高,則其對應的虹膜中心 𝑔𝑖 ∗ 就是最終虹膜中心 𝑝∗ (2-11)。. E = 𝑤1 𝐸1 +𝑤2 𝐸2. (2-10). 𝑝∗ = 𝑔𝑖 ∗ , 𝑖 ∗ = arg max|𝐸𝑖 |. (2-11). 𝑖. 2.4.3 討論與改良方向 此模型先定義虹膜在直視的狀態下的位置與大小作為模型參數,利用模型公 式依照凝視的旋轉角度生成有限的虹膜形狀候選人。由於模型十分近似真實的眼 睛,且由虹膜直視定義限制住了虹膜位置與形狀的可能性,因此能夠有效的生成 虹膜候選人且不會有過量的計算。因此在 Model-based 方法設計時,本系統選用 了此模型作為方法的基礎。. 19.

(31) 由於本系統的輸入影像與其原先此模型的實驗設置的輸入影像中眼睛佔影像 範圍面積有差異(本系統的眼睛佔影像主要面積),因此在匹配的方法上做了適度 的調整。雖然此模型在生成的匹配候選數量已較其他模型少,但實際匹配時計算 上複雜度為五個維度(由眼球二個維度的旋轉角度、圓心角、兩個維度表示的圓面 積共五個控制參數進行迴圈計算),效率仍不足以作為實用的系統。因此本系統改 進匹配方法降至四個維度(由 PSO 演算法取代眼球二個維度的旋轉角度控制參數), 再加入最佳化演算法使其加速以符合應用上的要求。本系統在準確匹配的前提下, 加快匹配速度以實現本系統目標,在 480fps 的高速眼動儀系統上達成高準確率、 穩定性與實用性的效果。. 另外在定義模型參數的部分,就是找到虹膜直視時的虹膜中心座標及半徑。 由於此階段處理的虹膜影像為直視時的影像,較為單純,皆位於眼睛中央且扣除 被遮蔽的部分應呈現圓形。因此對照至 2.3.1 節提及 Feature-based 方法與 Modelbased 方法的應用分析,此類只需處理直視影像且擬合圓形的應用不同於一般眼 動追蹤定位而是屬於另一類型。因此本系統主要參考 Feature-based 的方法,並提 出了改良的方法以適用於本系統的應用情境。. 20.

(32) 3. 第三章 系統架構. 3.1 系統架構圖. 圖 3-1 本眼動儀系統架構圖. 本系統的眼動儀架構如圖 3-1,一、本系統為基於眼球模型(Model-based)方法 的眼動預測系統,因此首先將計算眼球模型的參數,二、接著使用模型公式生成 的虹膜候選形狀與輸入影像匹配找出九點校正影像的虹膜中心座標,三、已知九 點在凝視目標的位置,由步驟二的對應結果去計算出映射曲線。在三個步驟得到 映射曲線後,對於凝視螢幕上任意點的其他影像,皆可透過匹配計算找出其虹膜 中心座標再代入映射曲線完成凝視點預測。本章節將依系統流程對於使用的演算 法模組進行介紹。3.2 節將說明眼球模型參數計算階段的步驟,系統輸入為直視 的虹膜影像,在影像前處理後利用虹膜描繪與擬合圓方法找到虹膜中心座標與虹 膜半徑。3.3.節將說明匹配計算須輸入九點校正的影像,在增強影像品質後利用匹 配計算與粒子群移動(PSO)演算法加速找到所有輸入資料的虹膜中心座標。3.4 節. 21.

(33) 將說明凝視點校正的階段如何將步驟二的資料輸入進行分類與篩選,再計算出映 射曲線的參數就可以得到影像與實際凝視點間的映射關係。. 3.2 眼球模型參數計算. 圖 3-2 眼球模型參數計算的流程圖. 如圖 3-2 本節將對虹膜呈現正圓形的單張影像進行處理,目標為獲取該虹膜 的半徑及中心座標。方法首先透過直方圖等化增強影像對比(3.2.1 節),找出概略 虹膜中心及虹膜 ROI(3.2.2 節),在 ROI 影像區域內去除雜訊後標記虹膜特徵點並 進行二值化,再描繪出二值化後影像的外圍輪廓作為最終特徵點,利用圓組成的 基本概念畫出可能圓形,再以投票方式決定最終輸出的虹膜半徑及中心座標(3.2.3 節)。最後說明提出方法與現有方法的比較(3.2.4 節),與生成參數如何使用於模型 公式(3.2.5 節)。. 3.2.1 直方圖等化 本系統的輸入影像為高速錄製的灰階影像,曝光時間較短、原始影像的亮度值 會集中在較低的色階範圍。因此需先由直方圖等化的方法增強影像對比,以利於 在接下來的方法中運用虹膜特徵在亮度值上的特性。直方圖等化是先統計整張影 像中各亮度值的像素數量製作成直方圖,再計算其累積機率函數 (cumulative distribution function,CDF)以將原像素亮度值重新對應至較廣、較平均的色階區域。. 22.

(34) 圖 3-3 為原始影像(左)與直方圖等化後的影像(右)。. 圖 3-3 直方圖等化比較圖. 3.2.2 定位直視虹膜圓的 ROI 虹膜在此階段處理的影像中將近似正圓形,而該圓的中心座標及半徑為處理 目標。為了定位出精準的圓中心,系統將先由虹膜相對於全域影像中的亮度特徵 訂定一粗略的位置,由此概略虹膜中心定出虹膜 ROI(Region of Interest)以限制下 一階段的計算資料範圍。第二階段再由此較小的影像範圍搜尋相對亮度特徵以定 位出最終準確的圓中心。. 觀察 3.2.1 節增強對比後的影像(圖 3-3),虹膜相對於全域影像為一明顯的暗 色區塊。因此本小節概略虹膜中心的定位,將利用此「暗色區塊」的特性來完成 定位。 「暗色區塊」由亮度值的角度可描述為虹膜是由亮度值較低的像素群聚為區 塊組成。為了找出全域影像中亮度值較低的像素區塊,我們先將影像長寬分別平 均切割成 N 個區段,也就是將影像切割成 NxN 個區塊(圖 3-4),在此 N 訂為 8。 分別計算出各區塊的亮度值平均,並將平均亮度值最小的該區塊中心訂為概略虹 膜中心(圖 3-5)。. 23.

(35) 圖 3-4 切割影像成 64 個區塊. 圖 3-5 概略虹膜中心. 觀察圖 3-5 可發現用來判斷概略虹膜中心的區塊(圖中的紅色方框),遠小於 實際的虹膜大小。原因在於我們對於概略虹膜中心的預期,是在實際虹膜的內部 而非邊緣位置。因此以較小區塊去切割影像時,可以確保該區塊位於實際虹膜內。 若改以虹膜大小的區塊進行判斷時,不適當的切割就容易造成如圖 3-6 區塊中心 落在邊緣甚至虹膜外部的情況。. 圖 3-6 切割區塊過大造成錯誤判斷. 圖 3-7 虹膜 ROI. 虹膜 ROI 的目的僅為限縮虹膜特徵的資料取樣範圍,以利之後計算出準確的 虹膜圓中心座標。因此對於虹膜 ROI 的訂定,就是以縮小影像範圍但足夠容納實 際虹膜大小為基準。如圖 3-7,虹膜 ROI 是一個以概略虹膜中心為重心的正方形, 大小約為原影像的 1/2。因此在 648x488 的影像中,擷取一個邊長為 400 個像素 的正方形令為虹膜 ROI 區域。. 24.

(36) 3.2.3 計算直視虹膜圓 第二階段的虹膜中心計算需要盡量準確的標記虹膜特徵以完成最終的虹膜中 心定位,因此一開始將先對於虹膜 ROI 進行去雜訊的處理。而雜訊去除分為兩個 部分,一、使用中值濾波器(Median Filter)去除遮罩中突出的噪點(peak noise),結 果如圖 3-8 所示,二、由單純的遮罩平均(Box Blurring)使影像平滑。遮罩大小皆 為邊長為 7 個像素的正方形,結果如圖 3-9 所示。. 圖 3-8 中值濾波後的影像. 圖 3-9 Box Blurring 後的影像. 在去除雜訊後抽取虹膜特徵。與 3.2.2 節相同,此階段的虹膜特徵抽取也以虹膜 為一「暗色區塊」的概念進行。不同於一般先訂定門檻值再判斷特徵像素的作法, 本系統利用虹膜 ROI 與虹膜特徵數量的相對關係訂定虹膜亮度的門檻值。這是以 動態的方式,從初始值開始遞增至符合門檻值時訂出虹膜特徵的亮度值。最後再 進行二值化濾除特徵以外的像素。. 25.

(37) 圖 3-10 虹膜特徵點搜尋示意圖. 如示意圖 3-10 所示以虹膜 ROI 的區域做為計算範圍,以概略虹膜中心為基 準點,環形的向外搜尋並標記視為虹膜特徵的像素點。虹膜特徵亮度的初始值定 為Y0。標記虹膜 ROI 範圍中所有亮度值小於Y0 的像素,並計算其數量。若被標記 的特徵點數量小於門檻值 n 個點時,則增加特徵亮度值並進行下一輪的遞迴計算。 直到標記像素的數量大於 n 個點時,停止搜尋並將該輪的特徵亮度值設定為二值 化的門檻值Y𝑡,以Y𝑡 對影像進行二值化處理。影像處理的結果如圖 3-11 所示。由 於虹膜約占總影像面積的 1/9 至 1/16,因此在此 n 訂為影像總像素個數的 1/12 為 虹膜在總影像面積中的平均大小。. 圖 3-11 二值化影像. 26.

(38) 此階段影像中的虹膜近似一個正圓形,因此最終將以圓形擬合出虹膜形狀。 由於圓形擬合是利用虹膜(黑色)與角膜(白色)交界的異色邊緣,也就是虹膜輪廓。 因此首先將描出前段虹膜二值化後的特徵點輪廓作為擬合虹膜圓形的特徵點,再 進行擬合。方法首先以虹膜 ROI 的區域內最底端的虹膜特徵點(以黃色像素示意) 為描繪輪廓的進入點,並由上(Rear)為進入點的方向(圖 3-12)。. Entry point. 圖 3-12 輪廓描繪進入點. 以該虹膜特徵點為起始點,由進入點的反方向,對照至下(Front)、左(Left)、 上(Rear)、右(Right)定義的優先順序逆時鐘方向搜尋下一個虹膜特徵點(圖 3-13)。 搜尋到的虹膜特徵點即作為下一輪的起始點。當虹膜特徵搜尋的起始點回到一開 始的進入點時,則表示輪廓描繪結束。如圖 3-14,描繪出的輪廓則為一筆完成、 無斷點的連續環形。. P1 P2. P1. P3. P3. P3 P2. P2. RIGHT. FRONT. REAR. P2 P3 P1. 圖 3-13 4 種搜尋方向. 27. P1 LEFT.

(39) 圖 3-14 最終輪廓特徵點. 如前段的圖 3-14 所示,最終的虹膜特徵即為包含虹膜輪廓的環形形狀,因此 這節就是利用此虹膜輪廓擬合出最終的虹膜圓形。擬合圓方法是利用三點組成一 個圓的基本概念。在輪廓線段上找尋三個特徵點,利用這三點畫出一個圓圖 3-15, 並同時記錄三點的圓心座標與半徑。. 圖 3-15 輪廓上取三點可組成一個圓. 28.

(40) 計算三個特徵點畫成的圓的圓心與半徑的實現方法如下:假設已知三個特徵 點 A、B、C 的座標分別為(𝑥1 , 𝑦1 )、(𝑥2 , 𝑦2 )、(𝑥3 , 𝑦3 ),而圓心 O 座標(𝑥𝐶 , 𝑦𝐶 )為待 計算的未知數。我們分別列出每一點與圓心距離的假設式(3-1)。. A 與 O 的距離:√(𝑥1 − 𝑥𝐶 )2 + (𝑦1 − 𝑦𝐶 )2 B 與 O 的距離:√(𝑥2 − 𝑥𝐶 )2 + (𝑦2 − 𝑦𝐶 )2. (3-1). C 與 O 的距離:√(𝑥3 − 𝑥𝐶 )2 + (𝑦3 − 𝑦𝐶 )2. 由於圓的定義為圓上的每一點與圓心的距離應相同,因此上述的距離假設式 可列出三個等式。但求取 2 個未知數𝑥𝐶 、 𝑦𝐶 時只需要兩個方程式,因此這邊選 擇 A 與 B 的距離和 B 與 C 的距離列出兩個等式(3-2)。. √(𝑥1 − 𝑥𝐶 )2 + (𝑦1 − 𝑦𝐶 )2 = √(𝑥2 − 𝑥𝐶 )2 + (𝑦2 − 𝑦𝐶 )2 (3-2) √(𝑥2 − 𝑥𝐶 )2 + (𝑦2 − 𝑦𝐶 )2 = √(𝑥3 − 𝑥𝐶 )2 + (𝑦3 − 𝑦𝐶 )2. 展開方程式並移項後可得到(3-3),並將兩個方程式用來解出兩個未知數可得 到𝑥𝐶、 𝑦𝐶 如(3-4)。而在求得圓心座標後,則可計算 A 至 O 的距離得到半徑(3-5)。. 2(𝑥2 − 𝑥1 )𝑥𝑐 + 2(𝑦2 − 𝑦1 )𝑦𝑐 = (𝑥2 2 − 𝑥1 2 ) + (𝑦2 2 − 𝑦1 2 ) 2(𝑥3 − 𝑥2 )𝑥𝑐 + 2(𝑦3 − 𝑦2 )𝑦𝑐 = (𝑥3 2 − 𝑥2 2 ) + (𝑦3 2 − 𝑦2 2 ). 29. (3-3).

(41) 𝑥𝑐 2(𝑦2 − 𝑦1 )[(𝑥3 2 − 𝑥2 2 ) + (𝑦3 2 − 𝑦2 2 )] − 2(𝑦3 − 𝑦2 )[(𝑥2 2 − 𝑥1 2 ) + (𝑦2 2 − 𝑦1 2 )] = 4(𝑦2 − 𝑦1 )(𝑥3 − 𝑥2 ) − 4(𝑥2 − 𝑥1 )(𝑦3 − 𝑦2 ) 𝑦𝑐 2(𝑥3 − 𝑥2 )[(𝑥2 2 − 𝑥1 2 ) + (𝑦2 2 − 𝑦1 2 )] − 2(𝑥2 − 𝑥1 )[(𝑥3 2 − 𝑥2 2 ) + (𝑦3 2 − 𝑦2 2 )] = 4(𝑦2 − 𝑦1 )(𝑥3 − 𝑥2 ) − 4(𝑥2 − 𝑥1 )(𝑦3 − 𝑦2 ) (3-4). 𝑟 = √(𝑥1 − 𝑥𝐶 )2 + (𝑦1 − 𝑦𝐶 )2. (3-5). 在特徵點的選用上,我們在依輪廓形狀排序的特徵點中,將三點的間隔像素 距離設為控制變數,從初始像素距離𝑑0 開始取出三點為一組,沿著輪廓線取出所 有像素距離𝑑0 的組別。接著漸增控制變數,直到三點的像素距離𝑑𝑖 大於輪廓像素 的 1/3。將所有特徵點組訂出的圓心座標與半徑累加在一個三維的計數容器中。 利用一維高斯波形先在 r 方向上取出最大值後,再以二維高斯波形在 xy 平面取 出最大值。該點即為最終虹膜圓形的中心座標與半徑。圖 3-16 為最終獲得的結 果。. 圖 3-16 擬合圓結果圖. 30.

(42) 3.2.4 與現有方法的比較 提出方法使用了描繪輪廓的方式濾出了單層且連續的虹膜邊緣特徵點,因此 有效的濾除了虹膜內部與角膜上反光點可能造成的干擾與特徵的誤判。相較於距 離濾波器需要準確的初始基準點以有效的濾除內外雜訊,提出方法的初始點只須 限制位於虹膜內部,因此在系統實現上的穩定性較高。而相較於 RANSAC 遞迴 改變參數的計算方式,提出方法經過一次全域的影像計算即可獲得所有的邊緣特 徵點,因此計算效率較高。. 在擬合圓的部分提出方法利用三個點形成一個圓的原理,將獲得的圓心與半 徑進行投票。此方法在正確的特徵點多於錯誤特徵點的條件下就可以擬合出正確 的結果,比起最小平方法較不易受錯誤特徵點影響,因此穩定性較高。而此方法 的投票率除錯誤特徵點的概念與霍夫圓類似,但比起霍夫圓將所有點列入計算並 轉換參數空間的作法,此方法濾除可利用控制參數濾除部分計算,比起霍夫圓有 較高的計算效率。. 3.2.5 參數代入與模型介紹 在 2.2 節 的 文 獻 回 顧 中 曾 介 紹 Baek 提 出 的 眼 球 模 型 (Spherical Eyeball Model)[17]。如(3-6)所示,由控制參數θ與φ可決定虹膜候選人的旋轉角度。再由 控制參數α決定該點座標與虹膜候選人中心的夾角關係。另外,虹膜候選人對應 的虹膜中心座標則由(3-7)表示。在θ與φ不變的條件下,改變α就可以得到形成虹 膜形狀的邊緣上各點座標值。由 3.2.3 節得到的虹膜中心座標即為(3-6)與(3-7)的 𝑥𝐶 與𝑦𝐶 ,半徑 r 即為(3-6)與(3-7)式中的𝑟𝐼 。. 31.

(43) (x, y) = 2 ∗ 𝑟𝐼 1 1 √3 ∗ (( cos 𝜃 cos 𝛼 + sin 𝜃) cos 𝜑 − sin 𝛼 sin 𝜑 , 2 2 2. (3-6). 1 1 √3 ( cos 𝜃 cos 𝛼 + sin 𝜃) sin 𝜑 + sin 𝛼 cos 𝜑) + (𝑥𝐶 , 𝑦𝐶 ) 2 2 2. (𝑥0 , 𝑦0 ) = 2 ∗ 𝑟𝐼 ∗ (sin 𝜃 cos 𝜑 , sin 𝜃 sin 𝜑) + (𝑥𝐶 , 𝑦𝐶 ). (3-7). 3.3 模型匹配 Model-based 眼動儀系統的方法核心就是將提出模型所生成的虹膜候選形狀 們一個一個的在輸入影像上進行匹配程度的檢驗,並在所有虹膜候選形狀中挑選 出匹配程度最高的那個做為最終虹膜形狀,並輸出對應的虹膜中心為計算結果。 如圖 3-17,本眼動儀系統即藉由提出的匹配計算與 PSO 演算法對於去除雜訊後 的所有九點校正影像一一進行計算,最後輸出所有資料影像的虹膜中心座標。. 圖 3-17 模型匹配流程的演算法模組. 由於模型匹配的準確率與效率為整個眼動儀系統的核心,而這又立基於輸入 影像、虹膜候選形狀與匹配方法這三大要素的配合結果。因此,本節首先分析輸 入影像,明確的指出虹膜在實際輸入的 2 維影像中呈現的特性與這些特性在演算 法設計上可能會遇到的問題(3.3.1 節)。接著配合探討 2.4 節中所介紹的虹膜候選. 32.

(44) 形狀的特性,提出解決策略(3.3.2 節)。再由 3.3.3 節至 3.3.5 節說明提出方法,並 在 3.3.6 節討論與現有方法的差異。. 3.3.1 輸入影像的問題分析 在 2.1 節的可見光眼動儀概要中就有提到基本的可見光眼動儀影像由虹膜(黑 色橢圓)、角膜(眼白部分),與眼睛周圍的皮膚所組成。進一步以影像處理的角度 來觀察這些特徵可發現由於虹膜的特殊形狀,加上與角膜交界部分形成的異色邊 緣特性,將使得影像處理的演算法較易於判斷進而萃取。因此大多數 Model-based 方法皆會利用到下列兩項特性來做為模型設計的基礎,一、虹膜主體成黑色橢圓 的特性,二、虹膜邊界為異色邊緣的特性。但是我們將這兩項特性對照至實際影 像並詳加討論後發現了眼瞼遮蔽、反光點干擾與邊緣漸進這三個主要問題容易造 成演算法判斷式誤差。. 第一個問題為眼瞼遮蔽問題。觀察圖 3-18 受試者在凝視同一方向上的眼睛, 在一般情況下虹膜會因為不同受測者的各種眼睛形狀差異,造成不同程度的眼瞼 遮蔽虹膜的情形。接著再觀察圖 3-19,對於同一名受測者而言,虹膜在不同方向 的視角時也會造成虹膜在不同區域有不同程度的遮蔽情況。. 圖 3-18 受試者在凝視同一方向上的眼睛. 33.

(45) 圖 3-19 同一受試者凝視不同方向上的眼睛. 歸納這兩種狀況可以發現由於上下眼瞼的關係,虹膜的上緣部分面積及下緣 部分面積容易因遮蔽而消失虹膜亮度值低的特性、或是在虹膜上緣與下緣看不出 虹膜與角膜交界的異色邊緣。因此對於虹膜為黑色橢圓體這項特性來說,上下緣 的遮蔽都將對橢圓體的完整性造成破壞。而對於虹膜與角膜為異色邊緣這項特性 來說,在上下緣的部分也違背了這項特性。因此對於模型形狀在與輸入影像進行 匹配演算法的實現時,眼瞼上下緣造成的虹膜遮蔽將影響演算法的設計。. 第二個問題為反光點干擾(圖 3-20)。在 2.1 節即提到可見光眼動儀的特性, 在對於虹膜進行影像處理時不可避免的會有反光點的問題。由於室內環境中窗戶、 窗框、日光燈源、電腦螢幕都將造成虹膜或角膜上的反光點,而這些反光點或稱 反光區域的大小、位置或是亮度在不控制實驗環境的條件下是難以預測的,因此 反光點對可見光眼動儀系統來說是一個必須克服的問題。. 圖 3-20 具有反光點的眼睛影像. 34.

(46) 由虹膜兩項特性分別分析此問題可發現對於特性一虹膜為黑色橢圓體這項特 性來說,反光點相對於整個黑色橢圓區塊的面積比例差異大,因此造成的誤差或 誤判較沒有破壞性。但對於特性二虹膜與角膜為異色邊緣這項特性來說,由於邊 緣所佔的像素點數量相較於整體虹膜面積少的多。因此反光點干擾對於特性二來 說就必須考慮其在演算法設計上造成的干擾,如反光區域壓在虹膜邊緣上造成邊 緣完整性的破壞、或是將虹膜內的反光區域誤判成邊緣的可能性。. 特性一與特性二中,虹膜形狀完整性的破損與虹膜區域內的誤差都是造成干 擾的主要原因。但對於特性二虹膜與角膜為異色邊緣這項特性來說,還有另一個 影響判斷式的問題就是異色邊緣的邊緣漸進問題。如果以一般影像處理邊緣判斷 的方法通常會找到具有寬度的邊緣。原因在於假設一條由虹膜中心為起點並以邊 緣為射線方向的線段來看,在異色邊緣部分的亮度是漸進遞增的。觀察圖 3-21(a) 為圖 3-21(b)中虹膜左側紅色方框的區域放大圖,可以發現邊緣並不是黑白分明, 而是漸層遞增或遞減的關係。再觀察圖 3-22 可以由數值更加確立邊緣的漸進特 性。但對於模型的判斷式而言,漸進邊緣將使得判斷式的在異色亮度的門檻上難 以定義,因此這項特性在演算法的設計上也將造成影響,在此將其列入討論。. (a). (b). 圖 3-21 (a)為(b)圖中紅色區塊內的放大影像. 35.

(47) 亮度值. 90 80 70 60 50 40 30. -20. -10. 0. 10. 20. 30. 與邊緣點的像素距離. 圖 3-22 邊緣附近的平均亮度值. 3.3.2 提出解決策略 分析輸入影像,此節將先歸納 3.3.1 節所述的三項問題對於虹膜模型設計的 兩項特性上的限制與改良空間,提出匹配演算法的設計方向。再進一步說明我 們使用的模型特性,最後說明整體的解決策略。. 對於特性一:虹膜主體成黑色橢圓,問題一眼瞼對於虹膜的遮蔽面積難以預 測,因此在匹配判斷設計時,黑色橢圓的範圍將難以定義。若當實際眼瞼遮蔽範 圍較大,卻設計以完整的黑色橢圓作為匹配標準時可能因眼角、眼瞼或影像上其 他亮度值較低的區域作為誤判的虹膜,反之若遮蔽範圍小卻以裁切橢圓的上下部 分後的形狀作為匹配判斷標準時,則可能造成判斷式的偏移。問題二則如 3.3.1 節 所述因反光點與虹膜的面積比例差異大,因此誤差的影響並不大。. 對於特性二:虹膜邊界為異色邊緣,問題一(眼瞼遮蔽)可以藉由虹膜中心與邊 緣座標計算出的角度為控制條件,避開遮蔽部分造成的誤差,因此相較於特性一 容易解決。而問題二造成的反光點問題雖無法避免,但藉由演算法的設計,可將 誤差造成的影響比例降低至可接受的誤差範圍內。而問題三最主要造成異色邊緣 的亮度定義問題,則可藉由提出的漸進判斷式概念作為解決辦法。. 36.

(48) 總結影像分析問題對於虹膜特性的影響,基於特性一在問題一發生時難以有 效的控制而特性二則對三項問題都有改良演算法以解決問題的空間,加上參考許 多方法也都僅以虹膜邊緣為特徵的概念進行虹膜判斷。因此判斷此項特性的具有 足夠的匹配判斷能力,在匹配演算法的設計上將專注於特性二:虹膜的異色邊緣 作為匹配判斷的標準。. 2.4 節對於本系統選用的模型介紹中曾經提到過此模型在確定初始位置與大 小的參數後,將藉由旋轉角θ與φ的控制來生成虹膜候選形狀。因此模擬虹膜旋轉 後投影在二維影像上的形狀,一種旋轉角度將只有一種形狀與大小,大幅限縮了 模型的可能範圍。此項特性的重要性在於增加單點甚至單邊誤差的容忍程度,如 圖 3-23 雖然在眼瞼的上半部與上半部皆有異色邊緣遭遮蔽可能造成誤判的問題, 但圖 3-23 左邊的虹膜候選形狀相較於圖 3-23 右邊的虹膜候選形狀在其他未被 遮蔽的邊緣部分較近似異色邊緣的條件,因此比較過後還是被視為正確的虹膜形 狀。由此可知,在匹配演算法設計時,並不需要找出百分之百符合的虹膜候選形 狀,而是能夠有效比較的判斷條件即可。. 圖 3-23 虹膜候選形狀間匹配程度的比較關係. 總結上述分析,本系統的模型匹配判斷的演算法設計將以異色邊緣為主要設 計概念,先以降低反光點對整體判斷式的影響與異色邊緣呈現漸進遞增為考量,. 37.

(49) 再以虹膜中心與邊緣座標計算出的角度為控制條件,解決眼瞼遮蔽問題,設計出 能夠有效比較虹膜候選形狀間匹配程度的匹配判斷式。. 3.3.3 增強影像品質 由於輸入影像為高速攝影機所錄製,錄製時的進光亮少、影像亮度值皆偏低, 因此輸入影像不可避免的含有許多雜訊及突出的噪值。此階段即利用雙邊濾波器 (Bilateral Filter)作為濾除雜訊的步驟。. 雙邊濾波器(Bilateral Filter)是一種可以保留邊緣特徵且去除突出噪點與雜訊 的濾波器。他使用了兩個濾波係數,一個是考慮幾何距離空間,另一個則是考慮 灰度色階差值,因此可以避免去除雜訊時過度的影像平滑使異色邊緣消失的錯誤。 如圖 3-24(a)為記錄由虹膜中心為起點,往邊緣方向的射線上的亮度值示意圖。圖 3-24 (b)為原圖記錄射線值形成的波形,可以線段上的許多部份都有崎嶇的尖角。 而圖 3-24 (c)為一般中值濾波後的波形,可以看出絕大多數的尖角都有平滑化的 效果,但在第 60 個點原先亮度停損的部分卻在中值濾波後消失,因此在邊緣的 部分就可能會被消除。而圖 3-24 (d)雙邊濾波器在相對於原圖有去雜訊的效果外, 邊緣停損的部分依然有保留,因此做為一個去雜訊為目的的濾波器而言,雙邊濾 波器能夠達成目的且依然能夠保留邊緣。. 38.

(50) (a). 原圖(無濾波效果) 55 50. 亮度值. 45 40 35 30 25 20 0. 20. 40. 60. 與虹膜中心的像素距離. (b). 39. 80. 100.

參考文獻

相關文件

• Zero-knowledge proofs yield no knowledge in the sense that they can be constructed by the verifier who believes the statement, and yet these proofs do convince him....

In this paper, we provide new decidability and undecidability results for classes of linear hybrid systems, and we show that some algorithms for the analysis of timed automata can

In another word, the initial state description is the conjunct of the precondition of the task and the guard condition of the task’s method, and the state descriptions are

輔師:在工作中,語言流動,教室

• Paul Debevec, Rendering Synthetic Objects into Real Scenes:. Bridging Traditional and Image-based Graphics with Global Illumination and High Dynamic

Because simultaneous localization, mapping and moving object tracking is a more general process based on the integration of SLAM and moving object tracking, it inherits the

• Li-Yi Wei, Marc Levoy, Fast Texture Synthesis Using Tree-Structured Vector Quantization, SIGGRAPH 2000. Jacobs, Nuria Oliver, Brian Curless,

– Camera view plane is parallel to back of volume – Camera up is normal to volume bottom. – Volume bottom