新進與移出的背景像素之處理

在完成一個影格的前景背景分割後，我們需要更新背景GMM，使其能夠在 下一個影格繼續提供最新的重建的背景影像來建立以顏色為基礎的群組、用邊線 所切割出的區塊以及用角點偵測器所獲得之角點，以達到對齊下一張新進影像以 及GMM的目的。由於GMM本身已經有了更新的機制，因此對於原來就存在於場 景中的GMM，我們不必特別設計一個新的更新機制，但如果影像有移動過，則 勢必有新加入以及移出的背景像素以及其對應的GMM，對於移出的背景像素，

刪除其對應的高斯混合模型，而對於新加入的背景像素，在該背景像素的位置新 增一個新的高斯模型，其RGB色頻為該像素的RGB值，但是權重和變異量則需 要手動指定一個初始值。另外對於經由消除雜訊與攝影機旋轉對影像造成的影響 而被判斷成背景的像素，我們需要將它們所對應到的高斯模型強制設定為該像素 的背景模型，這對於新進影像與重建的背景影像的同步有相當大的幫助，圖4.5 顯示在有強制設定的幫助下，重建的背景影像與新進影像的同步有顯著的改進。

39

(a)

(b)

(c)

(d)

圖4.5 有無強制設定背景，對新進影像與重建的背景影像的同步的影響。(a) 上一個影 格的重建的背景影像，(b) 新進影像，(c) 沒有強制設定的結果，重建的背景影像出現 些許的斷層，(d) 有強制設定的結果，新進影像與重建的背景影像的同步改善很多，幾 乎沒有斷層。

5.4(

能夠

圖5.55 動態式攝

44

攝影機下的第第二個實驗結結果。

圖5.66 動態式攝

45

攝影機下的第第三個實驗結結果。

移動 一個 示從 格而

表3分別 動向量時，最 個測試影像 從測試影像 而不發生錯

別針對5個測 最長可以連 像執行前背景 像的開始，該 錯誤。

測試影片，顯 連續執行前背

景分割的工 該方法可以連

46 圖5.6（續）

顯示了個別 背景分割的 工作，則以”完

連續且成功

別使用群組 的工作多少個

完整”來表示 功地執行前背

、區塊或角 個影格，若 示，否則以 背景分割的

角點來尋找最 若可以完整地 以一個數字來 的工作多少個

最佳 地對 來表 個影

47

觀察表2與表3，我們可以發現角點在圖4.4的環境下表現得特別差，這是因 為圖4.4跟其他的測試影片比起來相對模糊，所以偵測出的角點數目少而且不穩 定，平均在一張新進影像中只能找到一個角點。儘管我們利用Harris corner detector可以在圖3.7（即圖5.5與圖5.6中的兩個影格）中找到令人滿意的角點數量，

同時也兼顧了角點需要在角落上的需求，但是在圖4.4的環境下就無法得到相同 的表現。減少Harris corner detector的R值雖然有助於改善在圖4.4中角點偵測不良 的問題，但卻會造成圖3.7中找到的角點數目大增，如圖3.6所示。至於造成新進 影像變模糊的原因，除了攝影機本身的品質外，也來自於攝影機的快速移動，因 為本論文的目的是在動態式攝影機下分割前景背景，所以攝影機的移動是免不了 的，但若是攝影機移動過於強烈造成影像過度模糊，則角點就可能無法提供精準 的移動向量。

從表2與表3的統計中我們可以知道無論是群組、區域或角點，沒有一個方 法可以完美地找出影像間的移動向量，因此我們必須同時利用配對群組、區域及 角點這三種尋找移動向量的方法，讓其中一個或是兩個方法在某個影格無法正確 地找到移動向量時，可以靠著第三種方法來找到正確的移動向量。或者是提出其 他的方法，來動態地判斷目前的影像是否適用群組、區塊或角點來估算出移動向 量，例如3.2節以及上一個段落中曾經提到，區塊和角點並不適用於模糊的影像，

因此如果能夠找出一個方法來衡量影像是否夠清晰，讓影像在夠清晰的時候能利 用區塊和角點來尋找最佳移動向量，但在影像變模糊的時候則自動停用區塊和角 點，便能夠為整體的方法加速，因為我們不需要在影像變模糊的時候建立區塊和 角點，也不用費時地測試從不穩定的區塊和角點所找出來的候選移動向量。另一 個可能的加速方法是在影像光影變化太強烈時停用群組，因為群組是以顏色為基 礎建立的，因此對於光影的變化相當敏感，如果我們能夠提出一個方法來衡量影 像間的光影變化是否過於強烈，並在影像間的光影變化過於強烈時停用群組，也 有助於加速本論文所提出的前景背景分割方法。

48

表2 群組、區塊以及角點的效率比較。

群組 區塊 角點 在圖4.2的測試影像中找出正確移動向量的機率 59% 100% 100%

在圖4.2的測試影像中平均每個影格提供的候選 移動向量數目

19 34 17

在圖4.4的測試影像中找出正確移動向量的機率 81% 56% 33%

在圖4.4的測試影像中平均每個影格提供的候選 移動向量數目

33 7 1

在圖5.1的測試影像中找出正確移動向量的機率 100% 100% 100%

在圖5.1的測試影像中平均每個影格提供的候選 移動向量數目

23 46 112

在圖5.5的測試影像中找出正確移動向量的機率 100% 90% 100%

在圖5.5的測試影像中平均每個影格提供的候選 移動向量數目

51 30 34

在圖5.6的測試影像中找出正確移動向量的機率 76% 90% 81%

在圖5.6的測試影像中平均每個影格提供的候選 移動向量數目

25 20 10

表3 群組、區塊以及角點的穩定性比較。

總長度（影格數） 群組 區塊 角點

圖4.2 27 4 完整 完整

圖4.4 27 完整 18 9

圖5.1 92 完整 完整 完整

圖5.5 10 完整 完整 完整

圖5.6 21 14 12 13

49

六、 結論與未來展望

由於前景背景分割在安全監控以及其他應用的計算效率上一直扮演著重要 的角色，因此本論文設計了一個能在動態攝影機條件下偵測移動物體的方法，讓 視訊偵測的範圍跳脫出靜態攝影機的限制。本方法會持續維護一張只有單純背景 環境的背景影像，之後當有新進影像要做前景背景分割時，同時對背景影像及新 進影像建立以顏色為基礎的群組、用邊線所切割出的區塊以及用角點偵測器所獲 得之角點，接著藉由配對上述三種背景影像與新進影像的對應特徵，得到兩張影 像間所有可能的候選移動向量，之後再選出能提供新進影像與背景影像之間最小 差異度的候選移動向量，做為最佳的移動向量。接著根據此最佳移動向量對齊背 景高斯混合模型與新進影像，然後才進行前景背景的分割，之後在進一步地消除 雜訊以及攝影機旋轉的影響，以得到最後的前背景分割結果。

在本章中我們將探討本論文所提出的動態攝影機下前景背景分割法的缺點 以及還可以發展的方向，一共有四個，分別為：（1）群組及區塊配對的方法應 該要將群組或區塊的細部形狀納入考量（2）混雜在新進背景中的前景物無法被 正確地切割出來（3）攝影機的運動包括了移動和旋轉，這會造成比較複雜的背 景變化（4）景深造成新進影像與背景GMM間的相對運動無法只以一個移動向量 表示，我們將在下面的段落中依續討論這四個問題。

因為一個成功的配對代表一個可能的候選移動向量被發現，但是測試候選 移動向量非常浪費時間。因此若能找到更好的群組及區塊配對方法，降低錯誤配 對的機率，便可以有效地降低候選移動向量的數目，以加快整體方法的速度。目 前我們只用到顏色、面積差異以及x跟y軸的變異量來判斷兩個群組或區塊可否配 對成功，但是用形狀來配對會是一個比較理想且準確的方法。

因為本論文提出的方法主要是希望能夠應用在使用動態式攝影機的環境，

50

所以我們還需要想辦法克服混雜在新進背景中的前景物的問題，因為現在對於新 進的區域要判斷是否有前景物的存在有困難。根據目前的進度，是通通歸類成背 景，唯有在前景物移動到新的位置且與上一張影像中原來的位置沒有重疊的前提 下，才能夠完整地找出該前景物，但是即便該前景物被正確地找出，因為該位置 的背景GMM是儲存著前景物的顏色，而造成背景物像素被判斷成前景物像素，

這顯然不合理。雖然GMM允許該露出的背景物像素在出現一段時間後被正確的 分類成背景像素，但是出現多久的像素應該要被分類成背景，才不會將前景像素 也誤判為背景像素，也是一個大問題。對此，我們想到可能的解法是試著把這套 方法做小幅度的修改，可能只有更改各個閥值的數值而已，再套用到其他性質的 攝影機下，例如中紅外線攝影機，然後試著在這兩套異質平台影像上面找一個能 夠互補的方法，讓結果能夠更合理。但是我們目前還沒有達到這個目標，因此我 們還需要繼續設計一套方法，讓我們的方法能夠在動態攝影機下面運作。

另外我們的方法假設所有的影像之間都是平移的關係，沒有旋轉的存在，

但是這對於一般情況都是不成立的。儘管我們在4.3節中提出了比對付近背景 GMM的方法來降低攝影機旋轉的影響，但卻要冒著前景物像素被誤判為背景物 像素的風險。對此，我們想到可能的解法是，將新進影像與重建的背景影像之間 的關係以真實的平移旋轉模型來模擬，接著估算出可能的平移向量和旋轉角度，

再找出最佳的平移向量與旋轉角度，最後將重建的背景影像像素根據找出的旋轉 平移模型移動到正確的位置，再作前景背景的分割。

再找出最佳的平移向量與旋轉角度，最後將重建的背景影像像素根據找出的旋轉 平移模型移動到正確的位置，再作前景背景的分割。