文獻回顧

嵌入式系統之開發過程，可分為硬體與軟體層面，硬體為系統晶片與 週邊硬體，軟體為演算法與相關原理，因此本研究文獻探討為嵌入式螢幕 眼動儀的硬體軟體的部分，並分為三個部分探討，第一部分為螢幕眼動儀 的硬體相關文獻，第二部分為攝影機如何對瞳孔影像進行偵測，第三部分 為其他嵌入式螢幕眼動儀的相關文獻。

眼動儀的硬體方面，2004 年 Jason S.Babcock 與 Jeff B. Pelz，眼睛追 蹤研究與應用，所提出的建立輕巧型的穿戴式眼動儀相關製作方法，使用 攝像機紀錄眼球瞳孔，與偵測瞳孔之演算法與相關硬體實現，因此能進行 眼動追蹤[12]。輕巧型眼睛追蹤硬體如圖 1.10 所示，此裝置類似一般眼鏡，

戴上後眼睛前方的攝影機拍攝使用者之眼球移動方向，右眼上方攝影機，

可記錄實景之影像，提供實景影像讓眼睛凝視點與實景影像做映射。

圖1.10輕巧型頭戴式眼動儀[12]

輕巧型穿戴式眼動儀所提出，此眼動儀之硬體架構分為三個部分，第 一部分為選擇骨架，第二部分為加裝紅外線光源，第三部分為固定眼睛攝 影機與景物攝影機，其製作過程為，首先尋找輕巧型的骨架，以便放置兩 台攝影機，選用具有可塑性與穩定的塑膠材料製成的眼鏡鏡框，並且透過 鐵絲與塑膠管，把骨架的形狀設計成適合擺設眼睛攝影機與景物攝影機的 形狀。接著在右眼下方安裝紅外線光源，可讓瞳孔影像更加清楚，眼睛攝 影機能拍攝到清楚的眼睛影像，對眼動儀影像處理的過程能順利進行。最 後安裝眼睛攝影機與景物攝影機，眼睛攝影機放置在右眼下方處，必須與 紅外線光源在附近，景物攝影機放置在額頭中間，拍攝實際的影像，提供 眼動儀做凝視點預估的影像資料，如圖 1.11 所示。

圖1.11紅外線光源與眼睛攝影機位置[12]

在 2010 年 Michal Kowalik 提出如何構建低成本的眼動追蹤系統，更 加詳細的低成品的螢幕眼動儀硬體的製作方法，使用材料如圖 1.12 所示，

有熱縮套管、底片、碳膜電阻、束帶、鋁線、紅外線 LED、網路攝影機、

安全型眼鏡框架等材料[13]。

圖1.12眼動儀硬體組成之材料[13]

製作的流程為使用安全型眼鏡框架放置取瞳攝影機，由於攝影機需要 透過 USB 傳輸資料，因此需要固定傳輸線的位置，熱縮套管套在鋁線上，

然後加熱讓套管收縮，鋁線外層有絕緣物，防止網路攝影機有漏電的情況，

並且使用束帶固定傳輸線，在攝影機的周圍加裝紅外線 LED，使得攝影機 能拍攝到清晰的瞳孔影像，由於此網路攝影機無法拍攝紅外線影像，在其 鏡頭處加裝底片，硬體完成如圖 1.13 所示。

圖1.13螢幕眼動儀硬體[13]

統整查詢眼動儀硬體文獻的結果，眼動儀硬體可分為兩類，一類是螢

Jason S.Babcock and

Jeff B. Pelz [12] 2004 頭戴式 Zhor Ramdane Cherif and

Amine Naït Ali [14] 2008 桌上型 螢幕眼動儀

1.瞳孔攝影機 2.紅外線光源 3.液晶螢幕 Pengyi Zhang, Zhiliang Wang,

Siyi Zheng, and Xuejing Guo [15] Rafael Santos, Nuno Santos,

Pedro M. Jorge, and Arnaldo Abrantes [17]

2014 桌上型 螢幕眼動儀

1.瞳孔攝影機 2.液晶螢幕

眼動儀的硬體文獻中提到，可使用紅外線光源增強眼睛瞳孔影像。在 2009 年 Pengyi Zhang、Zhiliang Wang、Siyi Zheng 與 Xuejing Guo 提出亮瞳 孔法與暗瞳孔法的使用方法，亮瞳孔法是把紅外線光源放置在攝影機鏡頭 同軸上，此時眼睛之瞳孔會反射紅外線光源，攝影機拍攝到眼睛之瞳孔明 亮的畫面。暗瞳孔法是把紅外線光源放置在偏離攝影機鏡頭之處，此時眼 睛瞳孔會呈現黑色[18]。如圖 1.14 所示，上圖為亮瞳孔法所拍攝的瞳孔影 像圖，可明顯看到眼睛中偏明亮的部分為瞳孔影像，而瞳孔影像中的亮點 為紅外線光源。下圖為暗瞳孔法所拍攝的瞳孔影像圖，可明顯看到眼睛中 偏暗色的部分為瞳孔影像，而瞳孔影像中的亮點為紅外線光源[19]。

圖1.14亮瞳孔法與暗瞳孔法原理[15]

文獻中部分的螢幕眼動儀使用紅外線補光方式，增強瞳孔影像，以便 取得適合的影像資料，用來計算瞳孔中心座標點，與凝視點推估的分析。

但紅外線光源並不是必須使用的硬體設備，由於紅外線容易受到可見光影 響，因此有研究上不使用紅外線補光的方式，製作可見光眼動儀。在 2012 年 Huabiao Qin、Jun Liu 與 Tianyi Hong 提出基於嵌入式隱馬爾可夫模型的 眼睛狀態識別方法。Hidden Markov Model 是根據統計的方法所製作出來 的模型，其代表一連串的事件發生機率，其參數稱為隱馬爾可夫參數，就 是有一些事情被隱藏起來。故隱馬爾可夫模型利用這些已經知道的參數來 作進一步的分析被隱藏起來的參數。實際的應用如圖 1.15 所示，提取眼睛

的影像的 2D 離散餘弦變換功能的低頻係數，以產生觀測向量變化，再根 據訓練模型算法和獲得分類。也就是收集不同的眼睛位置模型，統計出各 種情況的眼球模型，如同類神經網路的訓練方式[19]。由於可見光眼動儀 的瞳孔偵測，是利用攝影機拍攝眼球，但眼球的影像容易受到環境光線的 影響，因此提出相關演算法取得眼球的影像資料，而過於計算的演算法會 使嵌入式系統的處理速度變慢，因此本研究使用紅外線補光的方式，減少 瞳孔偵測所需要的計算時間。

圖1.15 Hidden Markov Models 眼睛分割[19]

在 2004 年 Jason S.Babcock 和 Jeff B. Pelz 建構輕巧的頭戴式眼動儀提 出使用暗瞳孔法，如圖 1.16 所示，攝影機所拍攝的眼球影像可分為三個部 分說明，第一部分是眼球之鞏膜，即眼球的最外圈的部分，第二部分是紅 外線光源之亮點，在鞏膜中的白色小亮點，第三部分是眼睛之瞳孔，即鞏 膜中的黑色圓形。圖中可清楚看到瞳孔影像偏向黑色，之後可對此影像做 灰階化、二值化、影像侵蝕、膨脹的方式，讓瞳孔影像更加清楚，以便執 行影像處理。

圖1.16暗瞳孔法之瞳孔照明[12]

Infrared light source

Pupil

Michał Kowalik 於 2010 年提出如何製作低成本的頭戴式眼動儀文中，

一般的網路攝影機無法捕捉到紅外線影像，如圖 1.17 所示，三張圖皆為攝 影機與紅外線光源偏離一角度，即為暗瞳孔法的方式所拍攝的影像，圖 A 為使用一般攝影機的鏡頭，圖 B 把圖 A 影像做灰階化的結果，圖 C 是使 用紅外線濾鏡所拍攝的影像。也就是可以用外部的硬體設備，達到瞳孔偵 測所需要的影像[13]。

圖1.17從攝影機獲得的眼睛影像[13]

在 2010 年 Krzysztof Murawski 確認瞳孔的位置的眼動追蹤方法提到，

取得眼睛瞳孔影像後，可使用標籤演算法取得瞳孔的像素值。其方法原理 是把眼睛影像之像素標示出來，如圖 1.18 所示，左上為眼睛影像，右上表 示影像的點陣圖，左下為標籤演算法的方式，將同一區塊的黑色影像做編 號，1 號表示眼睫毛影像，2 號表示瞳孔影像，3 號表示下眼皮影像，結果 為右下圖所示，選擇標籤 2 號的瞳孔影像[16]。

圖1.18二值化之影像標籤[16]

Color image Gray image IR filter image

攝影機瞳孔影像偵測文獻分為兩類，使用紅外線光源補光與無使用紅

Jason S.Babcock and Jeff B.

Pelz [12] 2004 紅外線光源、暗瞳 孔法

紅 外 線 光 源 照 射 眼睛，瞳孔影像。

Pengyi Zhang, Zhiliang Wang, Siyi Zheng, and

Xuejing Guo [15]

2009

Krzysztof Murawski [16] 2010 紅外線光源、暗瞳 孔法、標籤演算法

以 紅 外 線 光 源 照 射眼睛，用標籤演 算法，取得瞳孔影 像資料。

Huabiao Qin, Jun Liu, and

Tianyi Hong [19] 2012 Hidden Markov Models

使 用 隱 馬 爾 可 夫 模 型 取 得 相 關 的 參數，並且對眼睛 模型做預測。

最後文獻探討嵌入式系統關於眼睛偵測或眼動應用的部分，由於各文 獻的嵌入式開發環境並不相同，本研究調查使用嵌入式系統製作的眼動追 蹤系統，或其應用方式，比較個文獻所使用的硬體設備、演算法、系統操 作程序，為本研究建立實作嵌入式眼動儀的方法。

Bumhwi Kim、Yonghwa Choi 和 Minho Lee 於 2014 年，完成嵌入式人 臉識別系統。此研究分成四個部分說明，臉部模型、硬體設備、臉部偵測、

嵌入式系統。臉部模型使用 AdaBoost 人臉偵測演算法，分成搜索視窗和 檢測視窗兩個部分，藉此比對臉部的特徵值[20]。而使用的嵌入式設備如 圖 1.19 所示，左圖為該研究使用的嵌入式平台，右圖為該研究之圖形化介 面。其操作的流程，首先開啟嵌入式平台，此圖形化介面出現後，點擊攝 影機畫面，可由攝影機取得環境影像，若有人臉出現在該環境中，會把人 臉特徵用紅色方框標示出來，得到人臉的影像資訊後，對此影像尋找出眼 睛的位置，並且用紅色點標示，表示已尋找到眼睛影像位置。

其外接設備為玻璃型平台，該平台使用嵌入式模塊、Android 平台、

實景攝影機，此嵌入式系統的目的為尋找人類臉部的眼睛位置，表示嵌入 式人眼偵測可透過嵌入式環境下實作出來。而此系統的未來展望可對已尋 找到的眼睛影像座標，做後續的發展或分析，由於該嵌入式系統是針對整 個環境影像中，尋找人臉的影像位置，之後再尋找眼睛座標位置，因此已 經使用了不少資源。

圖1.19嵌入式模組（左）和Android平台（右）[20]

根據嵌入式人眼定位的文獻調查，Luo Chao 和 Su Jian-Bo 於 2012 年，

完成嵌入式人眼定位系統。該文獻是針對臉部中對於眼睛偵測所造的誤差 影響探討，如眉毛、眼睫毛等影像資訊濾除[21]。與 Bumhwi Kim、Yonghwa Choi 和 Minho Lee 在 2014 年提出的嵌入式人臉識別系統，不同之處在於 嵌入式人眼定位的攝影機影像是縮小在人臉的範圍，而嵌入式人臉識別系 統攝影機影像全景的影像。因此若把攝影機所拍攝的影像範圍縮小，可以 減少影像處理的時間。

嵌入式人眼定位所使用的演算法為雙重 AdaBoost 人眼定位演算法，

嵌入式人眼定位所使用的演算法為雙重 AdaBoost 人眼定位演算法，