人臉遮蔽還原

當判斷有人臉被遮蔽後，我們會利用連續性差異影像結合膚色偵測[18][19]的結

果，在遮蔽者的附近候選區域中判斷是否有足夠移動中且為膚色的影像點，若有足夠 影像點，再利用被遮蔽者被遮蔽前的 Hue 直方圖及人臉追蹤模型，來判斷其是否重 新出現，若被遮蔽者重新出現，則在其出現的位置上繼續進行追蹤。接下來，會分別 對(1)差異影像，(2)膚色偵測，(3)連續性差異影像與膚色偵測之結合，和(4)人臉遮蔽 還原流程分別作介紹。

(1) 差異影像

差異影像是將連續的兩張影像或是連續間隔 N 張的兩張影像，以對應點為基礎 (Pixel-based)或區塊為基礎(Region-based)做相減並將影像二值化。由於此方法所使用 的兩張相減影像為連續影像，因此能夠即時反應出環境的變化，而對於輕微的晃動與 雜訊的影響則利用形態學的技術處理後便能有效的避免。然而，差異影像容易受到過 去影像的影響而留下過去影像的殘影，造成所產生的差異影像也包含了靜態的背景資 訊，如圖 4-5(b)所示，圖中白色點為前景影像點，其像素值為 0，而黑色點為背景影 像點，其像素值為 1。

(a)原始影像 (b)差異影像處理結果 圖 4-5、差異影像示意圖

(2) 膚色偵測

膚色偵測中，主要就是要將膚色部分從影像中偵測出來，在本論文中使用 YCbCr 色彩空間，取代原本影像 RGB 色彩空間表示法。這是因為人的膚色與背景顏色通常 有一定的區別，若使用 RGB 色彩空間，並不容易將膚色和背景分離，而根據一些研 究結果[19]顯示，膚色和背景在 YCbCr 色彩中有較好的區隔特性，也就是膚色在此色 彩空間中有其獨特性，且在 Cb 和 Cr 兩個色彩平面上有群聚的特性，能夠較容易的 偵測出膚色區域。然而在背景中，可能因為受到背景物件顏色與膚色相近的關係，造 成膚色偵測後會得到非膚色的區塊，如圖 4-6(b)所示，圖中白色點為經膚色偵測得到 的前景影像點，其像素值為 0，而黑色點為背景影像點，其像素值為 1。

(a)原始影像 (b)膚色偵測結果 圖 4-6、膚色偵測示意圖

(3) 連續影像相減結合膚色偵測

基於差異影像與膚色偵測都有其各自的缺點，所以我們結合了上述兩種方法，以 利於接下來的遮蔽還原處理。首先，將差異影像與膚色偵測的結果以 0 跟 1 來表示，

畫面中黑色點像素值為 0，白色點像素值為 1，接著，將兩張影像中，同時存在像素 值為 1 的影像位置，將其像素值設定為 1，為前景影像點，其它則為背景影像點，其 值為 0，兩種方法結合的結果影像如圖 4-7 所示，左邊的人由左至右移動，而右邊的 人接近靜止狀態，可以看出，結果影像對移動中且為膚色的影像區域較為完整。

(a)原始影像 (b) 差異影像結合膚色偵測結果 圖 4-7、連續影像相減結合膚色偵測示意圖

(4) 人臉遮蔽還原流程

當被遮蔽偵測判斷為被遮蔽者時，我們會利用以下流程來從之前保存的追蹤模型 來繼續追蹤，詳細流程如下：

1. 利用被遮蔽者被遮蔽前的影像大小與位置從遮蔽者周圍選出候選區域，由於被 遮蔽者不可能出現在遮蔽者的前方，所以此候選區域產生在遮蔽者的左邊、右 邊及上面，如圖 4-8 所示，藍色框為被遮蔽者被遮蔽前的位置，綠色框為遮蔽 者，每個白色框為與藍色框相同大小的候選區域框。

2. 對每個候選區域，利用差異影像結合膚色偵測的結果，判斷是否具有足夠在移 動中且為膚色的像素點數目。

3. 如果候選區域內有足夠點數，則會與被遮蔽者保留下來的模型做 Hue Histogram 判斷候選區域顏色與舊模型顏色是否相近。

4. 若顏色相近，則會利用之前保存的 MILBoost 追蹤模型對符合顏色的多個候選 區域計算分數，並選出分數最高的候選區域(如圖 4-9 紅色框所示)。

5. 將選出的候選區域當成被遮蔽後重新出現的位置，並以之前保存的追蹤模型繼 續追蹤。

6. 將遮蔽後繼續追蹤的追蹤模型狀態改為非遮蔽狀態，並開始追蹤模型的更新。

(a)原始影像 (b)候選區域 圖 4-8、候選區域示意圖

圖 4-9、最後挑選出的候選區域示意圖