臉部特徵偵測及辦識

在臉部特徵偵測及辨識這區塊，主要偵測及辨識的臉部特徵部位為眼睛及 嘴巴，而人眼偵測是從人臉臉部區塊中，人眼可能的位置之最大範圍，計算此 範圍中影像 RGB 轉 HSV 後之 V 值，將可能的人眼區塊找出。人眼辨識則是自 人眼辨識區塊中，計算中心矩（Center Moment）、角度及人眼與眉毛之重心構 成的矩形等方式，完成人眼辨識。而在嘴巴特徵的偵測中，所使用的幾乎都是 以嘴巴特徵，如顏色、形狀或利用上下嘴唇之間的暗線來達到偵測的目的。取 得眼睛特徵及嘴巴特徵有相當多的演算法，以下將介紹幾種常被使用取得該特 徵的偵測方式：

一、 眼睛特徵偵測

人的眼睛是靈魂之窗，只要看一個人的眼睛，就可以知道這個人所要 表達的情感，甚至可以知道他是否說謊，或是正呈現疲勞狀態。過去有人 研究利用眼動來做測謊的系統（黃孟隆，1994），它是利用眼睛的瞳孔，當 人在有說謊的情況，就會有瞳孔變大與眨眼頻繁等情形，此外，眼動也可 為我們偵測是否有疲勞狀態（Ueno, Kaneda, & Tsukino,1994），因為當有 疲勞狀態產生，就會有眨眼頻繁，或是產生睡意，閉眼搖晃頭部等狀態，

當一個人正對一種東西產生喜好，也會有專心注視等行為狀態產生。取得 眼睛特徵有相當多的演算法，以下將介紹幾種常被使用的偵測方式：

（一）眨眼偵測

所謂眨眼偵測就是在前後兩張影像的時間點內，當使用者頭部並沒有 轉動並屬於靜止狀態時，將這兩張影像做灰階化處理後再進行相減，從較 大變化的地方將可以決定為可能的眼睛位置。（Grauman, Betke, Gips, &

Bradski, 2001）

（二）瞳孔特徵

不論那一個人種，在臉部特徵中，眼睛瞳孔、鼻孔及嘴角為最偏黑色 的地方，在可能眼睛位置的區域中，將影像進行灰階化之後，再調整出適 當的門檻值之後，就可以找出最暗的點來表示瞳孔，此時便可以定義出可 能的眼睛位置，在其它相關研究中也使用到相同的方法來取得眼睛位置。

（Lee, S. K. Park, & Mignon Park, 2005）

（三）人臉水平及垂直投影

在取得人臉的區域後，若將影像進行二值化或灰階化，並計算水平方 向及垂直方向的像素亮度的加總，將可以在垂直面上發現眼睛鄰近的分佈 會比其它垂直軸上面分佈更廣，主要是因為眼球不論在二值化或灰階化後 都能夠得到偏黑色的結果。相同原理，若以水平面上的像素亮度進行加總，

也大致可以發現眼睛鄰近的分佈比其它水平軸的分佈更多。於是，利用這 樣的特性，將可以由水平谷峰及垂直谷峰的交集區域得到可能的眼睛區 域。（Dong & Wu, 2005）

以上說明了幾種常被使用取得該特徵的偵測方式，而另外偵測眼睛是否在 動作狀態的方法則可區分為侵略式和非侵略式兩種方法，在非侵略式方法中，

又可以分為使用光線投射之主動式方式和利用純影像處理技術，以下詳述說明 這些方法所使用的技術。

（一）侵略式方法

搜尋線圈法（Search Coil, SC）（Kenyon,1995），此偵測眼動的方向，

是屬於侵略式身體的眼動偵測方法，此方法將感應線圈包在矽膠製成的 軟式鏡片中，然後再讓受測者佩帶，當眼睛有移動的時後，就會產生磁 場的變化，以此可以得知受測者的眼球偏轉的角度，並且可以記錄分析 眼球的運動，但是此方法，不適合長久使用，因為軟式鏡片具有雙層架 構，會影響使用者的視力，而且也很容易受到眼球分泌物所影響。

另一種侵略式眼動方法是眼電圖法（Electro-Oculography, EOG）（Hsu, Mottaleb, & Jain, 2002），此方法是使用電極原理偵測眼球移動，若同時使 用四個電極，並將它們貼在眼球附近，上、下、左、右四個方向的皮膚 上，當眼球有移動時，就會產生不同的訊號，就可以根據這些訊號的資 訊，來觀察眼球移動的方向，例如，當眼球向右偏轉時，電極間會有一 個正的電壓差，向左偏轉時電極間便會產生一個負的電壓差，以此電壓 差的大小即可判斷眼球上下、左右轉動的角度。但是此方法的缺點是，

當皮膚產生不斷的角質的分泌物，就會造成眼動訊號的不穩定。

（二）非侵略式的主動式方法

非侵略式的主動式方法，是有別於侵略式方法，是為了不接觸到身 體任何部分，較不會造成長期配帶不舒適的情況，在非主動式的方法中，

主要是透過光線投影在眼睛上產生閃爍點，來做偵測的，所以，在主動 式光線投射法的研究中，Zhiwei 和 Qiang（2004）、Dong 與 Myung（2005）

運用紅外線方法在眼睛區域造成閃爍光，偵測出眼睛的位置，運用紅外 線方式偵測出瞳孔位置，來偵測出眼動的方向。但長期投射紅外線光線 到眼睛上，會造成眼睛的傷害。因此不適用於偵測學生學習時的眼動情 形。

（三）非侵略式的被動式方法

被動式影像處理法的研究，辨識眼睛可分三種偵測方法 1. Template based methods（Xie, Sudhakar, & Zhuang,1994）。2. Appearance based methods（Huang,& Wechsler, 1999)。3. Feature based methods（Jalal, Sara, &

Hamid, 2007），若只各別使用這三種方法，是不夠強健的，容易受到背景 影像的影響，或是較費時， 所以，目前偵測瞳孔的研究，都是結合這三 種方法。Mayumi、Osamu 與 Kazuhiro（2004）分析偵測瞳孔使用 Template

和 Feature 的優缺點，給了優缺分析的量表，於是他將這兩種方法混合使 用，達到準確度的需求。若是使用此方法，當瞳孔的移動到偏向眼角時，

就無法用卵形偵測，或是使用亮點與黑點的最大差異量來偵測出瞳孔位 置。Kun、Liming、Su 與 Georgy（2005）也提出使用 Template 和 Feature 的方法來偵測瞳孔位置，但是由於他使用梯度運算，雖然可以減少 Template 比對範圍跟時間，但是此方法卻無法使用於複雜的環境。另外，

在 Mayumi（2004）等人的文獻中，探討對 Template 比對方法和卵形偵 測方法的比較，將比較結果詳細說明表示，用 Template 比對方法偵測眼 睛位置準確度，較弱於使用卵形偵測方法。王鴻勳（2010）則改良了 Kun

（2005）等人提出的方法，是利用眼睛裡的瞳孔具有亮度最暗特性，研 究出 Valley-Mask Template，來找尋出眼睛粗略的區域，此法將不會受到 人臉大小不同，與人臉遠近的不同，造成偵測眼睛位置失效。另外，再 修改 Otsu 方法來偵測瞳孔的位置與閉眼情形，該眼動分析系統能做到即 時且準確的偵測。

偵測眨眼的方法則是在前後兩張影像的時間點內，當使用者頭部並 沒有轉動並屬於靜止狀態時，將這兩張影像做灰階化處理後再進行相 減，從較大變化的地方將可以決定為可能的眼睛位置（Grauman 等人，

2001; 譚永桓，1999）。

利用瞳孔特徵定出眼睛的位置。不論那一個人種，在臉部特徵中，

眼睛瞳孔、鼻孔及嘴角為最偏黑色的地方，Stiefelhagen（1996）提出在 可能眼睛位置的區域中，將影像進行灰階化之後，在調整出適當的門檻 值之後，可以找出最暗的點來表示瞳孔，此時便可以定義出可能的眼睛 位置，在其它相關研究中也使用到相同的方法來取得眼睛位置（Lee, Park,

& Mignon,2005;Miyakawa, Takano, & Nakamura, 2004）。

二、 嘴巴偵測

在嘴巴特徵的偵測及辨識中，所使用的幾乎都是以嘴巴的特徵，如顏 色、形狀或利用上下嘴唇之間的暗線來達到偵測的目的。以下列出幾個能 夠快速運算取得該特徵的方法：

（一）唇色偵測（Lip Color Detection）

在絕大部分的人臉中，通常膚色和唇色會有一定的區隔，即唇色會 比膚色更偏於紅色。有相當多的研究中，在嘴巴的偵測上所使用的是針 對唇色的不同，來取得該區域的影像。黃泰祥（2000）在修改了 Soriano、

Martinkauppi、Huovinen 與 Laaksonen（2000）提出的膚色空間後，得到 的演算法將可以取得有別於一般膚色 的 唇色像素 。另外在 Rongben

（2004）的研究中所使用的是類神經網路的方式，在收集一定量的下半 臉部影像後進行訓練，由於唇色和周圍的膚色不盡相同，所以可以成功 的區隔開唇色及膚色像素之間的關係。

（二）嘴角暗點偵測（Lip Corner Detection）

當人臉影像被灰階化或二值化之後，我們發現在嘴角上可以得到較 暗的像素值，利用這個特徵將可以定義出可能的嘴巴位置。在 Smith

（2004）的研究中就是利用這個方式，先取得人臉的灰階影像後，再給 定某個門檻值，取得影像中最暗的像素位置作為可能的嘴角位置。

（三）人臉水平及垂直投影

人臉中上下嘴唇之間的縫隙通常會產生一條暗線，當影像進行灰階 化或二值化之後，該縫隙將會更顯的清楚，在這樣的特性之下，利用水 平及垂直投影來取得黑色像素的分佈，而谷峰的交界處可能就代表嘴唇 位置。