第四章 嬰兒臉部偵測及表情分類
第一節 嬰兒臉部偵測
嬰兒臉部偵測主要步驟為(1)色彩空間轉換(color space transformation)、(2)膚 色區域偵測(skin color pixel detection)、(3)連通物件標記(connected component labeling)、(4)區塊分析(infant face localization)及(5)臉部區域正規化(face region normalization)。本節依照執行步驟的順序，分為：(A)色彩空間轉換及膚色區域偵 測、(B)連通物件標記及區塊分析及(C)臉部區域正規化來說明。
(A)色彩空間轉換及膚色區域偵測
RGB 色彩空間，其色彩是使用紅、綠、藍當作主要頻譜成份表示，但缺點為
該色彩空間對光線變化十分敏感，所以 Soriano 等人[Sor02]提出了 normalized RGB 的色彩空間。該研究對 RGB 色彩空間作正規化，將 RGB 色彩空間轉換成 normalized color coordinates(NCC)色彩空間，以減少顏色對於亮度的依賴。本系統 根據 Soriano 等人所提出的膚色區域判斷標準作為臉部偵測的主要依據，將 RGB19
20
然而當背景色彩接近膚色時，公式(4-7)不一定能濾除背景色彩接近膚色的像 素點，所以黃律嘉修正 Locus model 中 T 值的設定，藉由調整以 r = 0.33 及 g = 0.33 為圓心的圓形半徑 T，以濾除更多接近膚色的背景點。該方法使得 Locus model 得以適用於每張影像，但其缺點為每張影像中的 T 值均需動態調整。本系統修改 黃律嘉[黃 11]設定 T 值的方法，使用 binary search 來調整 T 值，以加快 T 值的調 整時間。又因為在影片連續的情況下，其 T 值調整幅度並不大，所以將每張影像 均需調整 T 值更改為每 30 秒調整一次 T 值，以加快系統執行的時間。圖 4.1 為不 同 T 值的嬰兒臉部偵測範例，由觀察可知當 T 值越小時其膚色面積越大，當 T 值 越大時其膚色面積越小，T 值的大小與其膚色面積呈現反比。其中圖 4.1(g)為調整
T 值之 Locus model 最終膚色偵測結果。
本系統初始化時，給定 T = 0.001，T 值最大值設定為 0.05，使用 Locus model 找到嬰兒膚色範圍後，若膚色區域占整體影像的比例超過 40%時，將會使 binary search 調整 T 值，直到膚色區域占整體影像的比例小於 40%為止。圖 4.2 為各種 不同輸入影像使用調整 T 值之 Locus model 最終膚色偵測結果。
圖 4.2 不同輸入影像調整 T 值之 Locus model 最終膚色偵測結果。
21
(a) (b)
(c) (d) 圖 4.3 連通物件標記及區塊分析之範例。
(a)輸入影像；(b)連通物件標記之結果圖；(c)做完連通物件標記且取最大區塊之 結果圖；(d)區塊分析之結果圖。
(a) (b)
(c) (d) 圖 4.4 填補破損處前後比較圖。
(a)填補破損處前之影像；(b)影像(a)之 LTP 結果圖；(c)填補破損處後之影像；(d) 影像(c)之 LTP 結果圖。
(B)連通物件標記及區塊分析
由於系統將攝影機架設在嬰兒床或嬰兒椅上拍攝嬰兒的臉部區域，沒有限制 其雙手的活動範圍，所以影像中膚色區域，可能包含嬰兒臉部及手部區塊，為了 分開嬰兒臉部及手部區塊，系統進行連通物件標記及區塊分析。
本系統使用外輪廓線來描述影像中膚色區域的各個區塊，如圖 4.3(b)所示。
22
(a) (b)
(c) (d) 圖 4.5 臉部區域縮減前後比較圖。
(a)臉部區域縮減前之嬰兒臉部區域擷取圖；(b) (a)中兩張影像之 LTP 差分影像；
(c)臉部區域縮減後之嬰兒臉部區域擷取圖；(d) (c)中兩張影像之 LTP 差分影像。
計算每個區塊的面積大小，並從中選出面積最大的區塊當作嬰兒臉部區域，如圖 4.3(c)所示。由於本系統使用外輪廓線來描述影像中膚色區域的各個區塊，所以不 需填補各個區塊的破損處，就可以保持嬰兒臉部區域的完整性，如圖 4.3(d)所示。
由於臉部區塊的破損處與相鄰膚色區域的色彩差異明顯，在後續進行區域三 元化圖形時破損處容易被突顯，如圖 4.4(b)。因此，使用外輪廓線來描述膚色區 域的方法可在系統進行區域三元化圖形時僅突顯臉部輪廓線與五官，後續進行差 分影像處理時不會受到破損處的干擾，如圖 4.4(d)。
(C)臉部區域正規化
由於每張影像中經過膚色區域偵測出的嬰兒臉部區域其長與寬均不相同，若 單純僅將嬰兒臉部區域擷取(如圖 4.5(a))，後續進行 LTP 差分影像會造成嬰兒臉 部輪廓線無法準確重疊，導致特徵擷取時產生極大誤差，如圖 4.5(b)。
為了解決嬰兒臉部輪廓線無法準確重疊的問題，本系統會先給定一常數 s，
並將影像中屬於嬰兒臉部區域的最大 x 及 y 值分別設為 max_x 及 max_y，最小 x 及 y 值分別設為 min_x 及 min_y，其中臉部區域縮減示意圖如圖 4.6 所示，符號及 座標對照表如表 4.1 所示，並依序照以下步驟去縮減嬰兒臉部區域的長與寬。
23
圖 4.6 臉部區域縮減示意圖。
表 4.1 符號及座標對照表
符號 座標
P
1 (min_x, min_y)P
2 (min_x, max_y)P
3 (max_x, min_y)P
4 (max_x, max_y)P
5 (min_xs , min_y) P
6 (min_xs, max_y) P
7 (max_xs, min_y) P
8 (max_xs, max_y) P
9 (min_x, min_ys) P
10 (min_x, max_ys) P
11 (max_x, min_ys) P
12 (max_x, max_ys)
(1)計算 P1、P2、P5及 P6四點所圍起的面積中屬於嬰兒臉部區域的比例，若比例 小於 50%，則將 min_x 更改成 min_x
s，一直反覆處理至其面積屬於嬰兒臉部
區域的比例大於 50%。(2)計算 P3、P4、P7及 P8四點所圍起的面積中屬於嬰兒臉部區域的比例，若比例 小於 50%，則將 max_x 更改成 max_x
s，一直反覆處理至其面積屬於嬰兒臉
部區域的比例大於 50%。(3)計算 P2、P4、P10及 P12四點所圍起的面積中屬於嬰兒臉部區域的比例，若比例 小於 50%，則將 max_y 更改成 max_y
s，一直反覆處理至其面積屬於嬰兒臉
部區域的比例大於 50%。24
(4)計算 P1、P3、P9及 P11四點所圍起的面積中屬於嬰兒臉部區域的比例，若比例 小於 50%，則將 min_y 更改成 min_y
s，一直反覆處理至其面積屬於嬰兒臉部
區域的比例大於 50%。進行完上述步驟，即可縮減所擷取嬰兒臉部區域的長與寬，如圖 4.5(c)。進行 LTP 差分影像時，嬰兒臉部輪廓線與五官輪廓皆準確重合，如圖 4.5(d)，使得後續 進行 LTP 累積差分影像時，其累積影像中僅存表情變化的資訊。
當系統擷取完嬰兒臉部區域，可將此臉部區域做正規化，以便後續步驟處理。
本系統將所有嬰兒臉部區域統一正規化至 150 150 大小的影像。圖 4.7(a)為系統 輸入的連續影像，其影像大小為 720 480 像素。圖 4.7(b)為系統擷取的嬰兒臉部 區域，其影像大小為 394 374 像素。本系統利用插值法將影像降到 150 150 像 素，如圖 4.7(c)所示，當作後續步驟的輸入資料。
(a) (b) (c) 圖 4.7 嬰兒臉部區域正規化。
(a)輸入影像；(b)嬰兒臉部區域擷取結果圖；(c)臉部區域正規化結果圖。