4.1 4.1 背景模型建立與前景擷取 背景模型建立與前景擷取 背景模型建立與前景擷取 背景模型建立與前景擷取
首先使用已架設固定式的攝影機，先擷取 100 張連續影像其時間長度約為 3.3秒，用來訓練建立背景模型。分別在灰階域與HSV色彩空間建立模型後，可 以由W4灰階域與HSV色彩空間的前景判斷式(21)、(22)式，找出前景後進行雜 訊濾除與前景補償，即可以擷取出大小為96× 128的前景影像，等待累積至三張 影像後，隨後進行動作辨識。
系統中的參數需要調整，以達到最佳的前後景分離效果。在第二章HSV 色 彩空間中，為了避開無法正確區分出色調的區域，所設定的門檻參數為Ht =25、
=40
St 、Vt =40；在HSV色彩空間中的前景判斷式參數，如(22)式所示，設定 6
.
=1
kv ；灰階域中的陰影濾波器，判別是否為陰影部份的參數，如(25)式所示，
設定Lncc =0.995；HSV色彩空間中的陰影濾波器，判別是否為陰影部份的參數，
如(26)式所示，kH =1.3、kS =1.3。
下圖 4.2 是進行動作「對著鏡頭橫向行走」，依第三章所述之前景擷取的每 個步驟之結果。
(a) (b)
(c) (d)
(e) (f)
圖4.2 (a)原始影像 (b)雙背景模型下擷取之前景 (c)經過陰影濾波器後之結果 (d)
前景補償處理 (e)closing (f)opening
完成由原始影像擷取的前景圖形之後，即進行前景剪圖。首先分別統計 x 軸方向前景像素個數與y軸方向前景像素個數，就可以標示出欲進行前景裁減的 區域，將此區域標示出後將此圖縮放至大小為96× 128後，即完成前景圖的剪裁。
下圖4.3為裁減前景的過程
(a) (b)
0 50 100 150 200 250 300 350
0 20 40 60 80 100 120 140
0 50 100 150 200 250
0 5 10 15 20 25 30 35 40
(c) (d)
(e)
圖4.3 (a)原始影像 (b)雜訊濾除與補償後結果 (c)統計x軸方向前景像素個數 (d)
若影像中有兩個人時，此時條件是兩人在影像中的位置不重疊。先完成由原 始影像擷取的前景影像之後，如圖4.4(b)所示，再進行前景剪圖。首先統計x軸 方向前景像素個數，如圖4.4(c)所示，就可以標示出在x軸方向，欲進行前景裁 減的兩個區域。在已標示x軸方向的左側區域(64~135)內，統計區域內y軸方向 前景像素個數，如圖4.4(e)所示，可以標示出在y軸方向，欲進行前景裁減的區 域，將此區域x與y座標標示出後，將此圖縮放至大小為96× 128，即完成前景 圖的剪裁；在已標示 x 軸方向的右側區域(205~239)內，作法同上述方式。下圖 4.4為裁減前景的過程
(a) (b)
0 50 100 150 200 250 300 350
0 20 40 60 80 100 120 140
(c)
0 50 100 150 200 250
0 10 20 30 40 50 60 70
0 50 100 150 200 250
0 5 10 15 20 25 30 35
(d) (e)
(f) (g)
圖4.4 (a)原始影像 (b)雜訊濾除與補償後結果 (c)統計x軸方向前景像素個數 (d)
統計左側區域內y軸方向前景像素個數 (e)統計右側區域內y軸方向前景像素個
若有兩個人依序進入房間時，若要辨識進行動作是誰，我們根據衣服的顏色 來辨識。當開始第一個人進入房間時，我們設定系統當此人進入室內約三秒後，
建立衣服的色彩模型於 YCbCr 色彩空間中，可以在每次辨識動作後，接續辨識 是誰進行此動作。若當第二個人進入房間時，此時影像中會出現兩個人，因此我 們必須先辨識，何人是第一位進入房間後，再建立另一個人的衣服色彩模型於
YCbCr 色彩空間中，系統中就擁有兩個人的衣服色彩模型，可以辨識為何人進
行何種動作。
第一人進入室內
建立衣服色彩模型
辨識進行動作為何人
另一人進入室內
先確定已存在的衣服色彩模型是屬於何人 再建立另外一人的衣服色彩模型
辨識進行動作為何人 是
否
圖4.5 衣服色彩模型建立與辨識流程圖
動作名稱 原始影像 前景剪裁後之圖形
左側位置讀書
右側位置讀書
彎腰
揮手
左側位置坐下
動作名稱 原始影像 前景剪裁後之圖形
右側位置坐下
平行鏡頭方向走
垂直鏡頭方向走
左側位置用電腦
右側位置用電腦
動作名稱 原始影像 前景剪裁後之圖形
左側位置起立
右側位置起立
圖4.6原始影像與前景剪裁後之圖形
依據我們在第三章敘述的選擇樣版影像的理論，在影像序列中所選擇的樣版 影像必須間隔五張影像，其間隔時間約為0.165秒，例如取影像序列中的第1張 影像、第6張影像與第11 張影像。當開始進行即時影像擷取時，攝影機擷取到 第1張影像，我們利用與稍後欲取的第6張影像之間隔時間來進行第一張影像的 前景雜訊濾除與剪裁，完成時間約為0.14秒，小於0.165秒，因此在容許的範圍 內。同理，攝影機擷取到第6張影像，我們利用與稍後欲取的第11 張影像之間 隔時間來進行第二張影像的前景雜訊濾除與剪裁。最後，擷取到第 11 張影像之 後，即進行前景雜訊濾除與剪裁並且以三張動作影像，套用模糊法則來辨識出為 何種動作，所花費時間為前景雜訊濾除與剪裁時間約為 0.14 秒和進行標準空間
轉換(CST)後動作辨識時間約為 0.235 秒，所以第三步驟所花費時間約為 0.375
秒。因此，我們的動作辨識系統，完成單次動作的時間約為0.705秒。完成動作 辨識後，攝影機繼續擷取欲下次動作辨識的第1張影像，繼續上述步驟。
圖4.7 單人動作辨識之處理時序
處理雙人影像動作辨識時，若同時處理同一張影像中，兩個人的各別動作 時，前景影像的裁剪會耗時約兩倍處理單人動作的時間，在處理即時影像時，無 法保持取得影像序列中，三張接序之5：1 降低取樣頻率的影像。為了避免此問 題，我們取得影像序列中三張接序之5：1 降低取樣頻率的影像後，皆先處理辨 識影像中左側人體的動作；之後，再另取得影像序列中三張接序之5：1 降低取 樣頻率的影像後，處理辨識影像中右側人體的動作。攝影機繼續擷取欲進行下次 動作辨識的影像，重複上述步驟辨識影像中左側人體的動作。
圖4.8 雙人動作辨識之處理時序
完成動作辨識後，有些辨識的結果會出現錯誤。為了解決這個問題，我們在 最後動作辨識結果輸出前加上多數決投票(majority vote)。若動作辨識結果已達五 次以上，則可以在第五次的動作辨識輸出結果，與前四次的辨識結果，進行多數 決投票決定何種動作為最後輸出結果。如圖 4.7 所示，我們採取的是滑動窗罩
(sliding window)觀念，原始的輸出結果仍須保留，參與下次多數決投票。
圖4.9 多數決投票方式修正辨識結果