Circular Hough Transform

第二章眼動追蹤發展與相關文獻

2.4 Circular Hough Transform 眼球偵測

2.4.3 Circular Hough Transform

經過以上步驟，將不必要的背景去除並去除雜訊後，將眼睛區域找到後，

上式



x y0, 0



為圓的中心點，r為圓的半徑，以局部最大值的方式在感興趣區域偵測圓的中心點，如果像素中最小值符合形成圓的形狀，該區域就是眼睛的區域。

圖 2-15. 霍夫圓轉換

市售商品介紹 Tobii Glasses Eye Tracker[13]

Tobii 公司設立於瑞典，在眼球追蹤和眼控技術都有相當不錯的發展，眼控技術可以讓眼睛取代其他設備控制電腦的操作，也可以成為殘疾人士溝通的工具，Tobii 的研究範圍包括人機介面、廣告研究、神經科學、心理學及閱讀等，都運用到眼控追蹤的技術。

Tobii 出了多款眼動儀，在此要介紹一個攜帶式眼動儀 Tobii Glasses Eye Tracker，顧名思義就是可以戴著眼鏡到處走動，可以用在真實場景的錄影和研究，不必侷限在電腦前面，並且方便攜帶、輕巧。應用領域可以在駕駛、戶外廣告研究、產品包裝設計、體育研究、駕駛模擬等，是一種相當理想的工具。

Tobii Glases Eye Tracker 包含了 Tobii Glasses【圖 2-16】、Recording Assistant

【圖 2-17】、IR markers【圖 2-18】。

Tobii Glasses 上有 Scene camera 為錄製影像的用途，Illuminators、IR reflective glass 用在眼球影像的反射，IR Marker sensor 用於與 IR markers 的溝通，Eye tracking sensor 接收眼球反射的影像，最後是 Microphone 用來收音。

圖 2-16 Tobii Glasses(取自[13])

Recording Assistant 是用來記錄眼動資料、取得 AOA(Areas of Analysis)的區域、音效和聲音的記錄，取得 IR markers 所在的位置。

圖 2-17. Recording Assistant (取自[13])

IR markers 是利用不可見的紅外光與 Tobii Glasses 的溝通，IR Markers 會放置在 IR Marker Holder 作為固定，目的是為了定義 AOAs 的範圍。

圖 2-18. IR Marker 和 IR Marker Holder (取自[13])

除了以上介紹的硬體之外，Tobii 還有 Tobii Studio Software 進行眼動資料的分析，功能有資料的分析與計算、凝視點位置的繪製、熱區圖、群聚圖、

ROI 定義，統計方面【表 2-2】有 Time to first fixation、Fixation length、

Fixation count、Observation length、Observation count、Fixations before、

Participant %。

參數定義

Time to first fixation 從開始到第一次凝視 ROI 的時間 Fixation length ROI 裡面凝視時間

Fixation count ROI 裡面的凝視次數

Observation length 從在 ROI 內凝視點開始到凝視 ROI 外的時間 Observation count 重新看 ROI 的次數

Fixations before 觀看 ROI 之前的凝視次數 Participant % 參與者凝視同一區域的百分比

表 2-2. 各參數定義

眼動儀製造公司

公司產品網址

The eye tribe[32] The Eye Tribe Tracker

Tobii[13] Glasses Tobii X Tobii T

http://www.tobii.com/

iMotions[33] Remote Eye Trackers Eye Tracking Glasses

http://imotionsglobal.com/

Applied Science Laboratories[34]

Mobile Eye Mobile Eye-XG glasses

http://www.asleyetracking.com/Site/

SR Research[35] EyeLink 1000 Plus RRI/MEG Eye Tracking EyeLink

http://www.sr-research.com/

Smarteye[36] Vehicle Eye Trackers Simulator Eye Trackers

http://www.smarteye.se/

OEM Eye Tracking

Blickzentrum[39] ExpressEye http://www.blickzentrum.eu/exe.htm EyeTech Digital

Systems[40]

ET OEM AEYE http://www.eyetechds.com/

Technologies[41]

Eyegaze Edge http://www.eyegaze.com/

Metrovision[42] Model MonCv3 MonPackONE

http://www.metrovision.fr/

NAC Image technology[43]

EMR www.nacincproducts.com/

Primelec[44] CS681 Angle-Meter

http://www.primelec.ch/

由田新技[45] i-Seizer http://www.utechzone.com.tw/index.aspx Seeing

Machines[46]

faceLAB http://www.seeingmachines.com/

表 2-3. 眼動儀公司

第三章眼動儀系統架構

本章將介紹眼動儀的系統架構包含硬體部分與軟體部分，硬體部分包含抓取眼球影像的攝影機、固定下巴的 Chin Rest，以及抓取實景影像的攝影機，軟體部分包含 Gaze Tracker、使用者介面的開發，以及眼動儀分析軟體。本研究目只要將我們軟體安裝在任何的電腦上，外接 USB 攝影機就可以使用所以具有攜帶性，由於以上的因素，我們可以開發出多台眼動儀提供學術上的各種研究，

同一時間多人一起做實驗，大大的提高實驗的效率，在眼動儀操作頻率上，螢幕眼動儀頻率可達 180Hz，實景眼動儀影片每秒鐘為 30 個畫格，都具有相當不錯的特性。

3.1 眼動儀系統架構

以下是一般眼動儀的系統架構圖，無論是螢幕眼動儀或實景眼動儀都包含了三個部分【圖 3-1】，第一部分為硬體架構，第二部分為軟體架構，第三部分為資料分析，硬體部分包含抓取眼球畫面的攝影機、抓取實景影像的攝影機、

Chin Rest、電腦等；軟體部分有計算眼球位置和凝視點位置的 Gaze Tracker，配合實驗所設計的使用者介面，以及實景錄影的影片檔；最後是資料分析系統包含軟體所記錄下來的各種資料如凝視點的時間、座標、或是影片檔，透過資料分析軟體將資料轉換成熱區圖、掃視路徑圖等。

硬體架構軟體架構資料分析

圖 3-1. 眼動儀系統架構圖

3.2 固定式螢幕眼動儀

固定式螢幕眼動儀需要將下巴固定在 Chin Rest 上，讓頭部固定以確保準確度，所以在使用的過程中不可以任意的移動頭部，如果晃動到頭部會造成準確度下降，需要重新校正，固定式螢幕眼動儀的優點是在頭部不移動的情況下準確度高，所以可以用來做一些需要高準確度的實驗，如觀看一些圖片或閱讀方面。

固定式螢幕眼動儀硬體架構

A. PlayStation 3 Eye (PS3 Eye)【圖 3-2】攝影機[47]

此攝影機目的是要抓取眼球的影像，需要安裝 CL-Eye-Driver 進行驅動，會選用此攝影機的原因為價格便宜約(新台幣 990 元)、重量輕(約 173 g)、體積小且效能高，影像擷取為 640*480 pixel，解析度在 60 fps 時為 648*480 畫格，在 120fps 時為 320*240 畫格，可以支援高解析度的動態影像，對於眼球移動的擷取有相當大的幫助。

由於本研究所設計的眼動儀需要紅外線 LED，此攝影機鏡頭有紅外線濾鏡功能，會阻擋紅外線光的反射，所以必須針對攝影機進行拆解，並加以改裝，

以下會做詳細的介紹。

圖 3-2. PlayStation 3 Eye(取自[47])

B. 拆解 PS3 Eye【圖 3-3】

將攝影機進行拆解，將外部的塑膠板拔除，我們只需要利用內部的電路板，如此也可以減輕重量。

C. 更換鏡頭及鏡頭座【圖 3-4】

為了讓我們發射的紅外線經過眼球的反射可以順利進入 CCD 影像，我們將原來的 PS3 Eye 攝影鏡頭換成監視器鏡頭，焦距為 3.6mm，並固定於合適的鏡頭座上。

圖 3-3. 拆解 PlayStation 3 Eye

圖 3-4. 鏡頭座及監視器鏡頭

D. 外接紅外線電路

電磁波譜【圖 3-5】[48]可分為珈瑪射線(Gamma Ray) 為天文、醫療用；X 射線(X-Ray)能穿過物質，作為透視物體的功能；紫外線(Ultraviolet)來源主要來自太陽，會讓人的皮膚產生灼熱感；可見光(Visible)是一般人眼所看得到的所有光線，

如燈泡所發出來的光；紅外線(Infared)可分為遠紅外線、中紅外線、近紅外線，紅外線可在夜間使用，利用皮膚或物體所產生的熱作為夜間偵測，例如夜視鏡；微波(Microwave)可用在無線通訊；無線電波(Radio)用在調頻，如電視、收音機、手機等。

我們利用外接兩顆波長為 850nm 的紅外線發光二極體(Infrared-LED，IR-LED) 固定於鏡頭旁邊作為補償光源，紅外線波長介於可見光與微波，波長範圍在 760nm 到 1mm 之間，我們所用的是近紅外線，屬於不可見光，目的是為了讓眼球的影像更清楚，增加影像的解析度，得到我們想要的瞳孔黑色部分，【圖 3-6】

有無紅外線補償比較，在有紅外線補償的情況下，可以很準確的抓取瞳孔中心點，

NIR:75~3nm MIR:3~50nm FIR:50nm~1mm

圖 3-5. 電磁波譜

此方法屬於暗瞳法(dark pupil)，增加影像處理的速度，又不至於造成眼睛有太大的傷害。

為了提供 IR-LED 電源，我們設計一個電路並從攝影機接出電源【圖 3-7】，此電源為電腦 USB 所提供的 5V 電壓，二極體電壓為 1.8V，電流為 64mA，可以穩定的提供電壓讓 IR-LED 維持一定的亮度。

(a) (b)

圖 3-6. 有無紅外線補償比較(a)有紅外線補償 (b)無紅外線補償

50Ω

1.8V

圖 3-7. IR-LED 電路

E. 固定鏡頭支架【圖 3-8】

我們利用具有彈性且可以容易調整方向的支架並將攝影機鏡頭固定在上面，可以依據每個人眼睛的特色的不同調整到攝影機所能抓取眼球影像的最佳位置，也可以減少戴眼鏡所帶來的鏡框干擾。

F. Chin Rest【圖 3-9】

Chin Rest 用來固定下巴之用途，我們利用 AutoCAD 繪圖，設計出理想的模型之後，利用 CNC(computer numerical control)洗床，將模具製造出來後並組裝，只需要將其支架鎖在桌上便可以使用，Chin Rest 可以依據每個人的高度不同進行下巴支架的調整，使用上相當穩固，Chin Rest 目的是在操作眼動儀時可以固定頭部，不會任意移動，提高在實驗室的準確度，接著將固定鏡頭支架夾在 Chin Rest 的任一側就可以完成固定式螢幕眼動儀的硬體架構。

金屬支架攝影機

圖 3-8. 固定鏡頭支架

固定式螢幕眼動儀軟體架構【圖 3-10】

在軟體方面，我們分成兩個部分，第一部分為 OpenSource 軟體 Gaze Tracker

【圖 3-11】，利用 OpenCV(Open Source Computer Vision Library)，電腦視覺資料庫，做影像處理。將攝影機所讀取到的影像，做雜訊去除再進行瞳孔偵測，在這邊我們是用固定下巴且單眼偵測，利用 9 點校正的方式讓使用者觀看螢幕上面的白點，計算眼球在電腦螢幕上各點的凝視點(Gaze Points)位置，作為之後的參考點位置。第二部分是利用 Microsoft C#作為開發環境進行使用者介面的設計，取得第一部分的 API 及各種眼球的資訊，如座標、時間等，將這兩部分作結合，此部分針對不同的應用進行調整，開發出不同的實驗介面和人機介面的遊戲。以下是軟體部分的流程圖，之後會針對每個步驟做詳細的介紹。

(a) 正面圖 (b) 側面圖 (c) 裝上攝影機

圖 3-9. Chin Rest

Video

Image Processing

Adjust Threshold

Gaze Point Calibration

A. 影像讀取

 

將九個點(

X

_s₁,

Y

_s₁) ~ (

X

_s₉,

Y

_s₉)寫成矩陣 A，AR^{9 6}^ ，

a

_x₀~

a

_x₅和

a

_y₀~

a

_y₅寫

1 T -1

圖 3-14. 使用者介面

G. 確認凝視點是否偏移

在使用過程中螢幕會出現紅色「十」符號【圖 3-15】，使用者可以凝視

「十」，確定凝視點是否有偏移的情形，如果發現凝視點偏移時，可以重新校正以確保準確度。

圖 3-15. 重新校正畫面

H. 結果

螢幕眼動儀輸出結果為文件檔的型式，出來的格式我們設定為(ms,x,y)，其中第一個座標為使用者觀看某個座標的時間，單位為毫秒，第二個數字是螢幕上的 x 座標，第三個數字為螢幕上的 y 座標，例如(6,372,221)，表示在(372,221) 這個點凝視的時間為 6 毫秒，【圖 3-16】為電腦螢幕座標定義。

(0,0)

(1366,768)

圖 3-16. 電腦螢幕座標

3.3 實景眼動儀

實景眼動儀的是透過原本螢幕眼動儀的架構，利用一個 PS3 攝影機和紅外線偵測眼睛的凝視點位置，外加一個實景攝影機作為錄影之用途，特點是可以戴著眼動儀在頭上到處觀看，不需要固定在電腦螢幕前方，並且將觀看的影像透過實景攝影機錄影成 AVI 影片的型式，並透過分析軟體進行分析。

3.3.1 實景眼動儀硬體架構

A. 雙攝影機

利用前面所介紹螢幕眼動儀的架構，PS3 攝影機加上兩顆 IR-LED【圖 3-17】，目的是為了偵測眼睛的凝視點位置，外加一個實景攝影機，在這裡我們利用 Logitech Webcam【圖 3-18】，此攝影機是為了實景影像的錄影。

圖 3-17. 螢幕眼動儀攝影機與紅外線

圖 3-18. Logtech Webcam

B. 頭帶

在文檔中低價眼動儀硬體與軟體開發 (頁 31-0)

第二章 眼動追蹤發展與相關文獻