候選點選擇

由於使用 Adaboost 為基本的角點偵測器，因此在所定義的搜尋範圍內，可能會 找到一個以上的角點候選點。儘管所偵測出來的角點有各自的 Adaboost 偵測分數 ，其中 為角點候選點位置，但因訓練樣本的限制，分數最高的候選點不 一定是最正確的角點候選點，所以不能只依賴 Adaboost 偵測器的偵測分數。因此，

如何從這些角點候選點當中，找到一個最正確的角點，將會是一個重要的課題。由於 不同的角點型態地標點座落於不同的臉部幾何結構位置上，如眉毛、眼睛和嘴巴。所 以候選點的選擇方式，也會根據其不同的外在因素影響(如頭髮和眼鏡等)，有著不同 的設計。基於這樣的概念，我們把這 10 個角點型態的地標點，根據其幾何結構位置 上的不同來分成三類，眼角、眉角和嘴角，而每一類都有其獨特的候選點選擇方式，

以下將分成四小節一一介紹。

4.2.3.1 眉角候選點選擇

概念上，正確的眉角地標點應該擁有較強的邊緣能量強度 ，並且其水帄

28

能量要相對地大於垂直能量。但是在眉角候選點的搜尋範圍中，頭髮將是一個擁有與 眉毛具有相同特性的雜訊，所以只憑藉邊緣能量強度是不夠的，因此梯度直方圖 (Histogram of Oriented Gradients, HOG) [23]將是另一個判斷的依據。因為梯度直方圖 包含了邊緣方向和邊緣強度的資訊，若和其他的區域性特徵來比較，梯度直方圖具有 較豐富的資訊，可用來進行角點的分辨。

邊緣能量的計算方式如下，我們使用 3×3 的垂直方向和水帄方向的 Sobel 遮罩(如 圖 4-15 所示)，來計算出影像中在 位置的影像點於水帄方向的影像差異值 和於垂直方向的影像差異值 。影像中在 位置的影像點之邊緣強 度 計算式如下：

(4-4)

(a)水帄方向遮罩 (b)垂直方向遮罩 圖 4-15、Sobel 遮罩

梯度直方圖的計算方式如下，我們需要計算邊緣強度(Magnitude) 及邊緣 方向(Orientation) ，計算影像位置 之水帄方向的影像值差異 與垂 直方向的影像值差異 的方式如下：

29

(4-5)

其中 為影像位置 的灰度值。邊緣方向(Orientation) 的計算方式如下：

(4-6)

梯度直方圖將角度區分成 N 個區段，接著根據對應角度 判斷出影像點 落 在哪個區段以後，再將影像點所在區段之數值加上所對應的邊緣強度 ，因此可 以得到一個陣列的特徵向量，如圖 4-16 所示。

圖 4-16、梯度直方圖

最後，正確的眼角候選點選擇依據如下

(4-7)

其中， 、 和 為權重參數， 是 Adaboost 偵測器所得到的分數， 是眉角區域能量 的強度，而 為候選地標點梯度直方圖特徵與訓練樣本梯度直方圖特徵的莫氏距離。

所以當某一候選點所反映出的 為最大時，它就會被選取為眉角候選點。

30

4.2.3.2 眼角候選點選擇

因為鏡框有著非常強烈的邊緣能量強度，所以眼角候選點的選擇，容易受到鏡框 能量強度影響，而導致判斷錯誤。由於眼角在瞳孔位置附近，它們之間有著相當穩定 的距離，因此這項特性可以被使用在眼角候選點的選擇上。我們的人臉偵測系統除了 可以正確的找到人臉外，同時也定位了雙眼瞳孔的位置，再加上本系統是根據瞳孔位 置來初始化形狀模板的位置，換句話說，初始的眼角位置也應位於正確的眼角附近，

如圖 4-17 所示，其中 表示眼角候選點， 表示初始眼角位置。因此我們可以從所 有的眼角候選點當中，選擇距離初始眼角位置最近的候選點，則此候選點極為可能是 最正確的眼角地標點，可以用 表示：

(4-8)

其中 為眼角候選點位置， 為初始眼角位置。

圖 4-17、眼角候選點選擇示意圖

4.2.3.3 嘴角候選點選擇

由於嘴角候選點通常座落於正確的嘴角位置或者位於有明顯皺紋的臉部位置上，

31

因此使用邊緣能量強度來決定候選點的選擇是不穩定的。不過這兩類的候選點所形成 的灰度值變化卻有明顯的不同。一般來說，在相同的區域大小中，正確的嘴角候選點 所形成之灰度值變異數 應大於皺紋所形成之灰度值變異數。基於以上概念，嘴 角候選點的選擇方式可以用 來表示

(4-9)

其中， 和 為權重參數， 為某一區塊的帄均灰度值， 為以座標點 為 中心，取一個區塊大小所形成之灰度值變異數。因此，當所計算得到的 越大時，

則越有可能是我們想求得的正確嘴角位置。

然而，當人們用力張嘴或抿嘴時，最大的 有可能會對應到錯誤的候選點。

事實上，當用力張嘴時，由於嘴巴的外貌已經大幅改變，因此基於 Adaboost 偵測器 所找到的嘴角候選點可能不包含正確的嘴角位置；同樣的，當人們抿嘴時，皺紋部分 的灰階值變異數有可能遠大於嘴角的灰階值變異數，如圖 4-18 所示，其左嘴角因為 抿嘴而造成錯誤的定位，所以會造成嘴角候選點的選擇錯誤，因此我們將針對此問題 在下一節作更進一步的探討。

圖 4-18、抿嘴示意圖 錯誤的定位

32

4.2.3.4 更進一步的嘴角候選點選擇

一般來說，大多數的人臉五官都呈對稱關係，當然嘴角也不例外，因此我們可以 根據這個概念來辨別嘴角的穩定性。因為兩眼瞳孔位置較嘴角位置穩定且容易偵測，

因此當兩瞳孔與兩嘴角所形成之夾角大於某一門檻值 ，則表示所找到的嘴角地標點 的其中之一可能是錯誤的，因為所形成之嘴巴外貌會過於歪斜而形成異常的臉部結構，

如圖 4-19 所示。因此，這將是一個可用來判斷嘴角定位是否可靠的依據。當發生此 類情況時，可以嘗詴以其中正確的嘴角角點位置來校正錯誤的嘴角角點位置。

圖 4-19、嘴巴歪斜示意圖

在我們的實驗結果顯示，當形成一個異常的臉部結構時，有可能是一個嘴角候選 點(嘴角 A)被正確的選擇，而另一個(嘴角 B)則是不正確的選擇。因此我們嘗詴使用 正確的嘴角位置(嘴角 A)來重新預測另一嘴角位置(嘴角 B)。在此，我們需先決定哪 一個角點是被正確選擇，而哪一個是錯誤的選擇。為了解決這個問題，我們簡單的使 用角點 Adaboost 偵測器所得到的分數 來做判斷。當角點有較大的偵測分數，我們則 認定此 角點 為 正確 的 嘴角 ， 而所選 擇的 正 確嘴角 我們把 它稱 之 為 基準 點”Base Point”。

33

接下來，我們以兩瞳孔的中心位置為中心點，並以此中心點制定出一條垂直軸，

再以此軸為基準，找出相對基準點的映射點，我們稱之為”Mapping Point”，之後就可 以從 Mapping Point 找出可能的嘴角修正位置。我們以 Mapping Point 為基準，帄行於 雙眼方向，取兩瞳孔距離的三分之一範圍來搜尋新的嘴角候選點，如圖 4-20 所示。

黃色圓點為正確角點，即基準點；黃色矩形為錯誤角點，白色三角形為 Mapping Point，

黑色虛線為搜尋範圍。

圖 4-20、嘴角更新示意圖

在所定義的搜尋範圍中，新的嘴角候選點的選擇依據如下：每一個候選點可以定 義兩個子區塊，一個是位於候選點左邊所形成的區塊；另一個是位於候選點右邊所形 成的區塊，如圖 4-21 所示。對真實的嘴角候選點而言，其中一個子區塊包含較多的 嘴唇資訊，我們稱之為嘴唇屬性子區塊“Lip-Attributed Sub-Block”(LASB)；另一個子 區塊包含較多的皮膚資訊，我們稱之為膚色屬性子區塊“Skin-Attributed Sub-Block”

(SASB)。基本上，大部份的嘴角候選點都滿足以下兩個條件，第一、LASB 所對應的 帄均灰度值應小於 SASB；第二、LASB 所對應的灰度值變異數應大於 SASB。因此，

嘴角的選擇可以簡單定義如下：

34

＞

＜ (4-10)

其中 和 分別表示子區塊的灰度值變異數以及灰度值帄均值。

然而，對於每一個嘴角候選點，我們不需要明確決定哪一個子區塊是 LASB，而 哪一個子區塊是 SASB。因為單純低根據目前候選點的物理結構即可以決定。如果候 選點對應的是左嘴角，左邊子區塊就是 SASB，右邊子區塊就是 LASB；同樣的，如 果候選點對應的是右嘴角，左邊子區塊就是 LASB，右邊子區塊就是 SASB。

圖 4-21、候選點區域示意圖

如果有超過一個以上的候選點符合上述條件，我們可以根據 SASB 及 LASB 兩區 塊整體的灰度值變異數來判斷，擁有較大整體變異數的候選點即為最終嘴角選擇的位 置。