第二章、 人臉偵測與特徵點擷取
2.5. 影像校正演算法
由上述之 AAM 演算法已取得其形狀模型與紋理模型，本節將介紹藉由輸入 人臉影像擷取特徵之方法。利用 AAM 之形狀模型與紋理模型即可建立人臉模型，
對輸入之人臉影像做模擬，並得到對準之人臉特徵位置。
AAM 校正演算法，可分為 Independent AAM[37]與 Combine AAM[2.3]二種 方法。Independent AAM 將形狀模型與紋理模型分開，分別計算形狀參數與紋理 參數，即可取得模擬結果；而 Combine AAM 則是將形狀模型與紋理模型整合為 一個模型，透過整合參數之計算，取得模擬結果。然而，Independent AAM 主要 以形狀參數之計算為主，因此計算量上 Combine AAM 所需之時間較多。本研究 選擇 Independent AAM 進行影像校正。
29
2.5.1. Inverse Compositional 演算法
Independent AAM 主要是以 Lucas-Kanade 人臉校正演算法[37 - 38]進行影像 校正。Lucas-Kanade 校正演算法以影像梯度為基礎做影像變化之估測，其常用於 影像形變校正、物體追蹤等。然而，Lucas-Kanade 校正演算法在迭代過程中，皆 與形變參數 p 有關，必須重複計算 Warping Jacobian, Steepest descent image 以及 Hessian matrix，運算量因而大幅提升。Inverse Compositional 演算法[37 - 38]改善 上述之問題，其與 Lucas-Kanade 主要差異在於，
Lucas-Kanade 校正演算法，在每次迭代過程皆需重複計算輸入影像之梯度值，
以及 Warping Jacobian, Steepest descent image 與 Hessian matrix。
Inverse Compositional 校正演算法利用樣板影像 0計算影像之梯度值，由於 樣板影像已知，因此 Warping Jacobian, Steepest descent image 與 Hessian matrix 亦已知。
Inverse Compositional 演算法迭代時即可省去梯度值，以及 Warping Jacobian, Steepest descent image 與 Hessian matrix 之計算，速度因而提升，且能夠維持住其 影像校正之效能。本研究採用 Inverse Compositional 演算法，對輸入人臉影像做 校正。如圖 2-12 所示，Inverse Compositional 演算法分為前處理之 4 個步驟(I ~ IV) 與迭代之 5 個步驟(1 ~ 5)[34], [36]，如下所述，
前處理：
I. 根據樣板影像 0(x)計算梯度影像 0。
II. 求出 (x; 0)即樣板人臉模型的 Warping Jacobian ∂W∂p。
III. 計算出 Steepest descent images 0∂W∂p。
30
IV. 由 Steepest descent images 之結果，進一步解得 Hessian matrix。
迭代過程：
圖 2-12、Inverse Compositional 演算法架構[36]。
31
2.5.2. 整體形狀正規化轉換
由於一般而言 AAM 對於人臉偏轉之角度容忍度十分有限，容易導致偏轉角 度之人臉迭代錯誤，且在訓練人臉形狀變化模型前，經由 Procrustes Analysis 對 人臉做對齊，而移除某些縮放、位移與旋轉的資訊。因此，本研究藉由整體形狀 正規化轉換[34], [36]，以取得實際人臉擁有之縮放、位移與旋轉的資訊。
本研究定義N(x ; q)為訓練資料的整體形狀正規化轉換，若平移為(tx, ty)，旋 轉角度為θ，可用一個參數q = (a, b, tx, ty)T代表其形變參數，其中a = kcos θ − 1，
b = k sin θ，N(x ; q)如(2-16)所示，
N(x ; q) = [(1 + a) −b b (1 + a)] [
x y] + [
tx
ty], (2 − 16) 為了與之前建立的人臉形狀模型(2-8)搭配運算，必須建立一組線性組合之係 數[34]，用以模擬形狀模型之變化。假若平均形狀 s0 = (x10, y10, … , xv0, xv0)T，則 s1∗ = s0 = (x10, y10, … , xv0, yv0)T，s2∗ = (−y10, x10, … , −yv0, xv0)T，s3∗ = (1,0, … ,1,0)T， s4∗ = (0,1, … ,0,1)T，如圖 2-13 所示，N(x ; q)可以表示為(2-17)之形式，
N(x ; q) = s0+ ∑ qisi∗
4
i=1
, (2 − 17)
在形狀參數更新方面，此處必須求解N ∘ 之形狀參數。參考[36]於 Inverse Compositional 演算法中得知 (x; ∆p)−1= (x; −∆p)，因此參數(∆𝑞, ∆𝑝)可表示 為(2-18)，
N ∘ (x; ∆q, ∆p)−1= N ∘ (x; −∆q, −∆p), (2 − 18) 其合成形式如(2-19)所示，
(N ∘ )(x; q, p) ∘ (N ∘ )(x; ∆q, ∆p)−1
≈ (N ∘ )(x; q, p) ∘ (N ∘ )(x; −∆q, −∆p), (2 − 19) 當輸入人臉影像時，本研究先將平均人臉形狀s0加入影像中，藉由更新形變參數 之方式，以平均人臉形狀做參數之調整，故(2-18)可由(2-8)之線性組合
32
(a) (b)
(c) (d)
圖 2-13、整體形狀正規化轉換形狀變化模型[36]，(a) s1∗ = (x10, y10, … , xv0, yv0)T, (b) s2∗ = (−y10, x10, … , −yv0, xv0)T, (c) s3∗ = (1,0, … ,1,0)T, (d) s4∗ = (0,1, … ,0,1)T。
方式表示，如(2-20)所示，
∆s0 = − ∑ ∆pisi
n
i=1
− ∑ ∆qjsj∗
4
j=1
, (2 − 20)
建立之形狀變化模型，如(2-21)所示，
N ∘ (s0; q, p) = N (s0+ ∑ pisi; q
n
i=1
) = s0+ ∑ pisi
n
i=1
+ ∑ qjsj∗
4
j=1
, (2 − 21)
利用正交之關係，即可計算求得(N ∘ )(x; q, p) ∘ (N ∘ )(x; ∆q, ∆p)−1之形狀參 數，如(2-22) ~ (2-23)所示，
33
qi = si∗∙ (s†− s0), (2 − 22) pi = si∙ (N(s†; q)−1− s0), (2 − 23) 其中 s†定義為s† = N ∘ (s0; q, p)。
在紋理方面，藉由(2-24)計算(q1, q2, q3, q4)之 Steepest descent image，用於 Inverse Compositional 演算法中，
SDj(x) = 0∂N 另外，藉由(2-25)計算 p 參數的 Steepest descent image，
SDj+4(x) = 0∂
而用於 Inverse Compositional 演算法之其計算如(2-26)所示，
H = ∑ SD(x)TSD(x)
34
圖 2 -14、樣板人臉影像。
2.5.4. 直方圖等化
直方圖等化之影像修正，其優點在於修正過後之影像更能夠凸顯人臉之特徵。
計算時，先產生輸入影像之直方圖，再由直方圖除以人臉形狀範圍中所有 Pixel 之數量，以求得該平均人臉影像之機率密度函數(Probability Density Function, PDF)，進一步算出累積分佈函數(Cumulative Distribution Function, CDF)。為了對 應影像灰階值，而將累積分佈函數由 0-1 放大到 0-255 的範圍，並將影像原始灰 階值以對應到新的灰階值取代，如此即可得到直方圖等化後之影像。
2.5.5. 影像校正整體方法
結合上述之所有方法並總結其流程[36]，如下所述，
前處理：
I. 根據樣板影像𝐴0(𝑥)計算梯度影像 𝐴0。 II. 梯度影像 𝐴0進行梯度影像修正。
III. 求出 (𝑥; 0)即樣板人臉模型的 Jacobian 𝜕𝑊𝜕𝑝及𝜕𝑁𝜕𝑞。
35
IV. 由(2-24)與(2-25)計算改變之 steepest descent images SDj(x)和SDj+4(x)。
V. 由(2-26)計算 Hessian matrix。
迭代過程：
1. 根據𝑁(𝑥; 𝑞)與𝑊(𝑥; 𝑝)形變影像𝐼，計算形變影像𝐼(𝑁(𝑊(𝑥; 𝑝); 𝑞))。
2. 將形變影像𝐼(𝑁(𝑊(𝑥; 𝑝); 𝑞))進行直方圖等化。
3. 計算誤差影像(Error Image) 𝐼(𝑁(𝑊(𝑥; 𝑝); 𝑞)) − 𝐴0(𝑥)。
4. 計算∑x SD(x)T[𝐼(𝑁(𝑊(𝑥; 𝑝); 𝑞)) − 0(x)]。 5. 由 inverse Hessian matrix 計算∆𝑝與∆𝑞。
6. 更新參數(N ∘ 𝑊)(𝑥; 𝑝, 𝑞) ← (N ∘ 𝑊)(𝑥; 𝑝, 𝑞) ∘ (N ∘ 𝑊)(𝑥; ∆𝑝, ∆𝑞)−1。 迭代過程結束：
由(2-22)與(2-23)計算出形狀變化參數 qi與pi；由(2-27)計算出紋理變化參 數λi。
藉由計算求得之形狀變化參數以及紋理變化參數，即可模擬出人臉形狀模型 與紋理模型，以建立 AAM 人臉模型，擷取適當之人臉特徵點，進而計算本研究 選擇之情緒辨識幾何特徵。事實上，透過建立 AAM 人臉模型，亦可擷取紋理特 徵，然而，為了減少特徵之維度，以降低運算複雜度，根據相關研究之分析，擷 取適當之幾何特徵，已足以做為情緒辨識之依據[18], [26]。
36