臉部特徵擷取

(a) (b) (c) 圖 4.7 嬰兒臉部區域正規化。

(a)輸入影像；(b)嬰兒臉部區域擷取結果圖；(c)臉部區域正規化結果圖。

第二節 臉部特徵擷取

臉部特徵主要步驟為(1)灰階轉換(gray color space transformation)、(2)區域三 元化圖形(local ternary pattern)建立、(3)LTP 差分影像累積(LTP image difference accumulation)及(4)Zernike moments 計算(Zernike moments calculation)。本節依照 執行步驟的順序，分為：(A)灰階轉換及區域三元化圖形建立、(B)LTP 差分影像 累積及(C)Zernike moments 計算來說明。

(A)灰階轉換及區域三元化圖形建立

由於色彩變化與情緒變化較無關聯，為了降低系統進行後續處理的計算量，

所以將經過正規化後的嬰兒臉部區域進行灰階轉換。區域三元化圖形[Tan10]是





 

25

A: 00010001

LTP value: 17

26 差分影像(difference image)。差分影像的計算方法為先將輸入影像把時間 t 的影像

)

27

(a) (b) (c) (d) 圖 4.11 LTP 連續差分影像步驟圖。

(a)輸入影像(LTP(A))；(b)差分影像結果圖；(c)時間

t  1

^{的累積差分影像加入} decay 的結果圖；(d)累積差分影像。

序為由上至下)。圖 4.11(a)輸入影像，此時的輸入影像為 LTP(A)，圖 4.11(b)是依 照圖中紅色線段，將二張灰階影像相減的結果，圖 4.11(c)時間

t

1的累積差分影 像加入 decay 的結果圖，圖 4.11(d)為圖 4.11(b)中之影像及其對應的圖 4.11(c)中之 影像取最大值後的結果，即最終的累積差分影像。

圖 4.12 嬰兒臉部區域劃分圖。

decay

decay max

max

decay max

28

(C)Zernike moments 計算

得到最終的累積差分影像後，由於嬰兒臉部輪廓線對其情緒變化較無關聯，

所以選擇對情緒變化較明顯的區域，即圖 4.12 紅圈區域，做為後續 Zernike moments 的計算區域。Zernike moments 是由 Zernike 等人於 1934 年所提出的一組 多項式

V

_nm(

x

,

y

)，該多項式在單位圓

x

² 

y

² 1內是屬於正交，是一種用來描述形 狀特徵的方法。

計算 Zernike moments 大致分為三個步驟，首先計算影像之徑向函數(radial polynomials)，接著計算 Zernike moments 的基底函數，最後將影像投影至 Zernike moments 的基底函數。徑向函數公式定義如公式(4-14)所示。





度。求出徑向函數之後，利用公式(4-14)計算出定義在單位圓中的 Zernike moments 基底函數，其基底函數表示式如公式(4-15)。 開根號以得到 Zernike moments 計算之最後結果，其定義如公式(4-17)。

2

29

由上述可知，影像中低頻部分(即亮度變化小的區域)，可藉由 n 值較小的 Zernike moments 來取得，而高頻部分(即亮度變化劇烈的區域)，可藉由 n 值較大 的 Zernike moments 來取得。Zernike moments 可以任意構造高階動差，雖然高階 動差可能包含更多的影像資訊，但其計算時間相當久，本系統為了達到即時運算，

選擇 0 至 7 階的 Zernike moments(

Z

00、

Z 、

₁₁

Z 、

₂₂

Z

20、

Z

₃₃、

Z

₃₁、

Z 、

₄₄

Z 、

₄₂

Z

40、

Z

₅₅、

Z

₅₃、

Z

₅₁、

Z

₆₆、

Z

₆₄、

Z

₆₂及

Z )進行測試。

₆₀

由於不同階數的 Zernike moments 針對臉部表情辨識的特徵而言可能有些相 關性很高，具相同的代表性，因此在特徵選擇只需選擇其一，如此可節省運算時 間。本系統計算 Zernike moments 間的相關性，採用皮爾遜積矩相關係數(Pearson product-moment correlation coefficients；PCCs)，其定義如公式(4-18)。

 

30

31

表 4.7 表情為笑及無表情時相同階數之 Zernike moments 的相關係數

時不同階數之 Zernike moments 的相關係數。同時本系統也測試了不同表情的條 件下相同階數之 Zernike moments 的相關係數。表 4.5 為表情為哭及笑時相同階數 之 Zernike moments 的相關係數，表 4.6 為表情為哭及無表情時相同階數之 Zernike moments 的相關係數，表 4.7 為表情為笑及無表情時相同階數之 Zernike moments 的相關係數。

由表 4.2 至 4.4 可知，在各種表情的情況下，不同階數之 Zernike moments 的 相關係數雖然有些許 Zernike moments 呈現高度相關(相關係數介於 0.7 及 0.99 間)，但藉由此項評估可找出不同階數之 Zernike moments 彼此的關係，淘汰相似 的特徵以選擇具代表性的特徵。而由表 4.5 至 4.7 可知，在不同表情的條件下，相 同階數之 Zernike moments 的相關係數中大部分的 Zernike moments 並未呈現高度 相關，所以使用上述所提之 Zernike moments 均能有效的將表情分成三類。考慮 特徵的代表性及系統執行時間，本研究最後選擇 0 至 3 階總共 6 個 Zernike moments(

Z

00、

Z 、

₁₁

Z 、

₂₂

Z

20、

Z

₃₃及

Z )作為嬰兒臉部特徵使用。

₃₁

在文檔中 結合臉部表情及聲音之嬰兒情緒辨識系統 (頁 34-41)