各種方法比較

Starburst Algorithm 介紹[27]

2.3.1 Starburst Algorithm

Starburst 演算法【圖 2-11】可用在可見光譜和紅外線頻譜的瞳孔偵測，可 見光譜通常成像較為困難，因為外在光線較難控制且容易受到睫毛、眼皮、眼 睛等干擾，紅外線光譜較容易得到清楚地影像，利用紅外線照射在眼球周圍，

由於瞳孔部分反射率較低的關係，容易偵測瞳孔黑色部分的圖像，得到清楚地 輪廓特徵，但是紅外線也有缺點，就是不能用在有太陽光的環境下。

以下是 Starburst 演算法的過程:

1. Input: Eye image,Scene image 2. Output: Point of gaze

3. Procedure:

4. Detect the corneal reflection 5. Localize the corneal reflection 6. Remove the corneal reflection

7. Iterative detection of candidate feature points 8. Apply RANSAC to find feature point consensus set 9. Determine best-fitting ellipse using consensus set 10. Model-based optimization of ellipse parameters 11. Apply calibration to estimate point of gaze

此方法結合特徵基礎 feature based 和模型基礎 model based 演算法所組成，

特徵基礎包含偵測和定位眼球的位置，通常會給定一個門檻值，並且由使用者 自行決定門檻值的大小，決定是否為想要的特徵點，找特偵點的方法有 least-squares fitting 和 Hough transform。模型基礎是結合 Random sample consensus (RANSAC)目的是為了找到一個最佳模型，例如，可以用積分-微分運算找到瞳 孔邊緣的最佳橢圓，所以模型基礎可以提供比特徵基礎較佳的精確度計算，並 找到瞳孔的形狀和瞳孔中心。

Eye image

Detect the corneal reflection

Localize the corneal reflection

Remove the corneal reflection

Detect the feature points

RANSAC to find feature point

Determine best-fitting ellipse

Optimization of ellipse parameters

Estimate gaze point

影像處理

尋找特徵點

圖 2-11. Starburst 演算法流程圖

2.3.2 影像處理

此步驟為影像前處理【圖 2-12】，是將輸入的圖片做影像處理，將圖片中 不必要的雜訊做移除，雜訊的主要來源有 shot noise 和 line noise，利用高斯濾波 器濾除 shot noise，高斯濾波為低通是一種線性平滑的濾波，一般有 3*3 或 5*5 模板，可以應用在影像的雜訊處理，具有旋轉對稱性，表示每個方向的平滑程 度都相同，濾波後的平滑程度取決於標準差，輸出為加權平均，越接近中心點 加權值越高，再利用標準化因子將每一條的直線轉化成連續的均值，接著尋找 角膜反射的區域，並將反射點過量的部分移除。

每條線 l 因子為 C，_{I i l( , )}為直線強度，ß為 0.2，當雜訊夠小時，會自動忽略此 步驟。

圖 2-12. 影像前處理(a) 原始圖片 (b) 去除雜訊 (c) 移除角膜反射(取自[27])

2.3.3 尋找特徵點

特徵點偵測是要將影像前處理完的圖片，得到清楚地眼睛圖像後，就是要 找出我們想要的特徵點，在這裡我們要找的就是瞳孔部位的輪廓，在此要介紹 的是特徵點偵測流程。

( , ) ( , ) (1 ) ( 1, )

C i l   I i l    C i  l

^(2.1)

1. Input: Eye image with corneal reflextion removed, Best guess of pupil center 2. Output: Set of feature points

3. Procedure:

4. Iterate 5. Stage 1:

6. Follow rays extending from the starting point 7. Calclate intensity derivative at each point 8. If derivate > threshold then

18. Starting point = geometric center of feature points 19. Until starting point converges

特徵點偵測分為兩個階段，首先利用手動的方式猜出一個最佳的瞳孔中心

參考的特徵點不在瞳孔輪廓上，就會產生不與任何瞳孔上橢圓一致的特徵點

【圖 2-13c】。

圖 2-13. 特徵點偵測(取自[27])

第二階段就是要提高特徵點的精確度，由於眼球運動可能從某個點快速的 跳到另外一個點，導致找到的特徵點都不在瞳孔上，為了減少這些偏移個特徵 點，在此利用迭代的方式，每一次迭代時，將上一次所得到的特徵點的平均 值，作為下一個起始點，這樣可以快速的找到瞳孔中心點，直到特徵點變化 d 小於 10 個像素時，停止迭代。假設的值跟瞳孔很接近，那就只需要迭代一次，

如果估計的值跟預期的值落差太大時，當迭代的次數等於 10 次，可能是找不到 瞳孔的狀態，此時就停止動作，【圖 2-14】為每個階段所得到的結果。

圖 2-14. 特徵點偵測每個階段結果 (a)黃色點為起始點，藍色線為放射線，綠色點為 瞳孔參考點 (b)(c)為了找到更多參考點 (d) 迭代的結果，紅色圈為平均值的位置，作 為第二次迭代的起始點 (e) 第二次迭代的結果，紅色點較接近瞳孔中心 (f) 黃色點 為每一次迭代的起始點(取自[27])

2.3.4 最佳橢圓的產生

找到特徵點後，接著就是要將這些特徵點建立一個最佳的橢圓，找最佳橢 圓的方法有 least-squares fitting[28, 29]和 Random Sample Consensus

(RANSAC)[30]，前者容易受到一些在特徵點偵測階段所產生額外不必要的點而 受影響，造成橢圓估計錯誤，使得準確度下降。

RANSAC 目的是為了要找出最佳的橢圓模型，首先是透過很多的特徵點中 隨機選取的幾個點作為參考點建立模型，接著利用不斷迭代的方法找出適合的 橢圓點，在此設定的迭代次數為 5 次，在這 5 次中找到最佳的橢圓參數並畫出 橢圓，如果在設定的次數中找不到適合的參考點可能因為眨眼或其他因素，導 致搜尋不到參考點，就會停止迭代。

Circular Hough Transform 眼球偵測[31]

霍夫轉換(Hough Transform)是影像識別常用的方法，從任意圖像中做影像 識別進行特偵擷取，可以用在很多幾何影像識別，如直線、矩形、圓、橢圓 等，霍夫轉換的優點是受雜訊的干擾較低，且不會受影圖片旋轉的影響，可以 快速的做轉換，在此可以做瞳孔中心點和半徑的計算，虹膜邊緣的描繪。

2.4.1 影像前處理

為了要得到理想的影像，首先要做影像的補償，利用中值濾波器，此濾波 器可以濾除訊號或影像中的雜訊，屬於非線性低通濾波器，可以用來平滑影 像，在這裡可以去除雜訊加強影像的亮度和對比度。

2.4.2 參數驗證

首先要建立臉部的梯度和梯度大小，寫成二維一階導數:

cos

_x

sin

_y

h

_

  h   h

(2.2)

其中，

h

_: 任一方向角度的導數；

h

_x: 水平方向的導數；

h

y: 垂直方向的導數

影像梯度^{a m n}

 

^{, :}

影像梯度大小:

將上式近似:

將梯度大小用方程式表示成:

2.4.3 Circular Hough Transform[31]【圖 2-15】

經過以上步驟，將不必要的背景去除並去除雜訊後，將眼睛區域找到後，

上式



x y0, 0



為圓的中心點，r為圓的半徑，以局部最大值的方式在感興趣區域 偵測圓的中心點，如果像素中最小值符合形成圓的形狀，該區域就是眼睛的區 域。

圖 2-15. 霍夫圓轉換

市售商品介紹 Tobii Glasses Eye Tracker[13]

Tobii 公司設立於瑞典，在眼球追蹤和眼控技術都有相當不錯的發展，眼 控技術可以讓眼睛取代其他設備控制電腦的操作，也可以成為殘疾人士溝通的 工具，Tobii 的研究範圍包括人機介面、廣告研究、神經科學、心理學及閱讀 等，都運用到眼控追蹤的技術。

Tobii 出了多款眼動儀，在此要介紹一個攜帶式眼動儀 Tobii Glasses Eye Tracker，顧名思義就是可以戴著眼鏡到處走動，可以用在真實場景的錄影和研 究，不必侷限在電腦前面，並且方便攜帶、輕巧。應用領域可以在駕駛、戶外 廣告研究、產品包裝設計、體育研究、駕駛模擬等，是一種相當理想的工具。

Tobii Glases Eye Tracker 包含了 Tobii Glasses【圖 2-16】、Recording Assistant

【圖 2-17】、IR markers【圖 2-18】。

Tobii Glasses 上有 Scene camera 為錄製影像的用途，Illuminators、IR reflective glass 用在眼球影像的反射，IR Marker sensor 用於與 IR markers 的溝 通，Eye tracking sensor 接收眼球反射的影像，最後是 Microphone 用來收音。

圖 2-16 Tobii Glasses(取自[13])

Recording Assistant 是用來記錄眼動資料、取得 AOA(Areas of Analysis)的 區域、音效和聲音的記錄，取得 IR markers 所在的位置。

圖 2-17. Recording Assistant (取自[13])

IR markers 是利用不可見的紅外光與 Tobii Glasses 的溝通，IR Markers 會 放置在 IR Marker Holder 作為固定，目的是為了定義 AOAs 的範圍。

圖 2-18. IR Marker 和 IR Marker Holder (取自[13])

除了以上介紹的硬體之外，Tobii 還有 Tobii Studio Software 進行眼動資料 的分析，功能有資料的分析與計算、凝視點位置的繪製、熱區圖、群聚圖、

ROI 定義，統計方面【表 2-2】有 Time to first fixation、Fixation length、

Fixation count、Observation length、Observation count、Fixations before、

Participant %。

參數 定義

Time to first fixation 從開始到第一次凝視 ROI 的時間 Fixation length ROI 裡面凝視時間

Fixation count ROI 裡面的凝視次數

Observation length 從在 ROI 內凝視點開始到凝視 ROI 外的時間 Observation count 重新看 ROI 的次數

Fixations before 觀看 ROI 之前的凝視次數 Participant % 參與者凝視同一區域的百分比

表 2-2. 各參數定義

眼動儀製造公司

公司 產品 網址

The eye tribe[32] The Eye Tribe Tracker

Tobii[13] Glasses Tobii X Tobii T

http://www.tobii.com/

iMotions[33] Remote Eye Trackers Eye Tracking Glasses

http://imotionsglobal.com/

Applied Science Laboratories[34]

Mobile Eye Mobile Eye-XG glasses

http://www.asleyetracking.com/Site/

SR Research[35] EyeLink 1000 Plus RRI/MEG Eye Tracking EyeLink

http://www.sr-research.com/

Smarteye[36] Vehicle Eye Trackers Simulator Eye Trackers

http://www.smarteye.se/

OEM Eye Tracking

Blickzentrum[39] ExpressEye http://www.blickzentrum.eu/exe.htm EyeTech Digital

Systems[40]

ET OEM AEYE http://www.eyetechds.com/

LC

Technologies[41]

Eyegaze Edge http://www.eyegaze.com/

Metrovision[42] Model MonCv3 MonPackONE

http://www.metrovision.fr/

NAC Image technology[43]

EMR www.nacincproducts.com/

Primelec[44] CS681 Angle-Meter

http://www.primelec.ch/

由田新技[45] i-Seizer http://www.utechzone.com.tw/index.aspx Seeing

Machines[46]

faceLAB http://www.seeingmachines.com/

表 2-3. 眼動儀公司

第三章 眼動儀系統架構

本章將介紹眼動儀的系統架構包含硬體部分與軟體部分，硬體部分包含抓 取眼球影像的攝影機、固定下巴的 Chin Rest，以及抓取實景影像的攝影機，軟 體部分包含 Gaze Tracker、使用者介面的開發，以及眼動儀分析軟體。本研究目 只要將我們軟體安裝在任何的電腦上，外接 USB 攝影機就可以使用所以具有攜 帶性，由於以上的因素，我們可以開發出多台眼動儀提供學術上的各種研究，

同一時間多人一起做實驗，大大的提高實驗的效率，在眼動儀操作頻率上，螢 幕眼動儀頻率可達 180Hz，實景眼動儀影片每秒鐘為 30 個畫格，都具有相當不 錯的特性。

3.1 眼動儀系統架構

以下是一般眼動儀的系統架構圖，無論是螢幕眼動儀或實景眼動儀都包含 了三個部分【圖 3-1】，第一部分為硬體架構，第二部分為軟體架構，第三部分 為資料分析，硬體部分包含抓取眼球畫面的攝影機、抓取實景影像的攝影機、

Chin Rest、電腦等；軟體部分有計算眼球位置和凝視點位置的 Gaze Tracker，配 合實驗所設計的使用者介面，以及實景錄影的影片檔；最後是資料分析系統包 含軟體所記錄下來的各種資料如凝視點的時間、座標、或是影片檔，透過資料 分析軟體將資料轉換成熱區圖、掃視路徑圖等。

硬體架構 軟體架構 資料分析

圖 3-1. 眼動儀系統架構圖

3.2 固定式螢幕眼動儀

固定式螢幕眼動儀需要將下巴固定在 Chin Rest 上，讓頭部固定以確保準確 度，所以在使用的過程中不可以任意的移動頭部，如果晃動到頭部會造成準確 度下降，需要重新校正，固定式螢幕眼動儀的優點是在頭部不移動的情況下準 確度高，所以可以用來做一些需要高準確度的實驗，如觀看一些圖片或閱讀方 面。

固定式螢幕眼動儀硬體架構

A. PlayStation 3 Eye (PS3 Eye)【圖 3-2】攝影機[47]

此攝影機目的是要抓取眼球的影像，需要安裝 CL-Eye-Driver 進行驅動，會 選用此攝影機的原因為價格便宜約(新台幣 990 元)、重量輕(約 173 g)、體積小且 效能高，影像擷取為 640*480 pixel，解析度在 60 fps 時為 648*480 畫格，在

此攝影機目的是要抓取眼球的影像，需要安裝 CL-Eye-Driver 進行驅動，會 選用此攝影機的原因為價格便宜約(新台幣 990 元)、重量輕(約 173 g)、體積小且 效能高，影像擷取為 640*480 pixel，解析度在 60 fps 時為 648*480 畫格，在

在文檔中 低價眼動儀硬體與軟體開發 (頁 23-0)