尋找影像間之候選移動量

當要對一張攝影機擷取到的影像作前景背景分割時，依照3.1節、3.2節及3.3 節所介紹的方法，對新進影像建立群組、區塊以及角點，同時對GMM亦要求其 提供最能代表每個背景像素的顏色，以建立重建的背景影像，再對此重建的背景 影像建立群組、區塊以及角點。現在，我們有兩組群組、兩組區塊以及兩組角點，

分別來自於新進影像與重建的背景影像。

利用角點來尋找候選移動向量的方法已於3.3節中介紹過，因此在這裡就不 再重複敘述，下面我們將介紹如何藉由各自配對群組及區塊，以求出所有可能的 候選移動向量。依照人眼對於移動向量的計算方式，要判斷下一個影像相對於上 一個影像移動了多少，人眼會找出影像中幾乎一模一樣的部分，進而判斷出相對

31

的移動向量，本章節的步驟也是遵循這樣的想法。而且在真實的應用上，給定的 影像往往是時間上相鄰的，這意味著兩張影像之間至少有部分場景是重複出現的，

而非截然不同的場景，所以可以假設這兩個影像所建立出來的群組、區塊或角點 至少有一個是重複出現的，且在面積、形狀及顏色上變化很小。因此我們對新進 影像跟重建的背景影像所建立出的群組以及區塊，先刪除面積過小的群組和區塊，

再以顏色差異、面積差異以及x跟y軸的變異量差異判斷新進影像與重建的背景影 像中的兩個群組是否可以視為同一個群組，或兩個區塊是否可以視為同一個區塊，

判斷的方法為式子（4.1）、式子（4.2）以及式子（4.3）都需要成立

（IR－VR）< T2 且（IG－VG）< T2 且（IB－VB）< T2 （4.1）

|（Sb－Sf）| < T3 （4.2）

Varb(x) ＝ Varf(x) 且 Varb(y) ＝ Varf(y) （4.3）

其中IR表示重建的背景影像的群組或區塊的平均紅色值，VR表示新進影像的群組 或區塊的平均紅色值,，IG表示重建的背景影像的群組或區塊的平均綠色值，VG

表示新進影像的群組或區塊的平均綠色值,，IB表示重建的背景影像的群組或區塊 的平均藍色值，VB表示新進影像的群組或區塊的平均藍色值，T2為一個閥值，Sb

為重建的背景影像的群組或區塊的面積，Sf為新進影像的群組或區塊的面積，T3

為一個閥值，Varb(x)為重建的背景影像的群組或區塊的x變異量，Varf(x)為新進 影像的群組或區塊的x變異量，Varb(y)為重建的背景影像的群組或區塊的y變異量，

Varf(y)為新進影像的群組或區塊的y變異量。式子（4.1）表示兩個群組或區塊之 間的顏色差異不能太大，式子（4.2）則表示兩個群組或區塊之間的面積差異也 不能過大，式子（4.3）則規定兩個群組或區塊在形狀上必須有一定程度的相似 性。

32

若兩個群組被判斷為同一個群組，或是兩個區塊被判斷為同一個區塊，則 計算面積差異值v1，計算的方法為直接將兩個群組或區塊的面積相減，再取絕對 值。對於算出來的兩個群組的面積差異v1，將此差異值除以該兩個群組中面積較 大的群組的面積，再乘上100，得到一個值v2；而對於兩個區塊的的面積差異v1， 同樣將此差異值除以該兩個區塊中面積較大的區塊的面積，再乘上100，得到一 個值v2。v2代表的意義可以視為該群組或區塊在新進影像以及重建的背景影像間 的面積變化比例，因此v2必然小於等於100。若v2等於0表示該群組或區塊在新進 影像與重建的背景影像中幾乎沒有變化，因此很有可能可以提供準確的移動向量，

而把兩個群組或區塊的質心座標相減就是一個可能的候選移動向量。

在對所有的群組以及區塊做完以上的計算後，可以得到許多v2，但我們只 注意數值小的v2，最理想的情況為0，這樣表示該v2是從非常穩定的群組或區塊所 得到的結果。在本論文的實驗中，我們將所有v2小於等於5的群組或區塊所提供 的移動向量當成可能的移動向量，因此會得到數個候選移動向量。

在真實環境不穩定的考量下，藉由群組或區塊的質心相減所得到的候選移 動向量可能無法十分精準，為了得到最準確的移動向量，建議可以對每個找出來 的候選移動向量上下左右各擴大兩個像素，亦即一個候選移動向量會衍生出25 個候選移動向量。例如目前有一個候選移動向量其值為（100, 50），表示重建的 背景影像相對於新進影像在x方向移動了100，且在y方向移動了50，我們對其上 下左右各擴大兩個像素，因此除了（100, 50）這個候選移動向量，會另外新增（98, 48）、（99, 48）、（100, 48）、（101, 48）、（102, 48）、（98, 49）、（99, 49）、

（100, 49）、（101, 49）、（102, 49）、（98, 50）、（99, 50）、（101, 50）、

（102, 50）、（98, 51）、（99, 51）、（100, 51）、（101, 51）、（102, 51）、

（98, 52）、（99, 52）、（100, 52）、（101, 52）、（102, 52）這24個候選移動 向量。

33

4.2 找出最佳移動向量

接著我們對4.1節中所找出來的候選移動向量各自作統計，找出能提供新進 影像與重建的背景影像間最小差異度的候選移動向量為最佳移動向量。首先對每 一個候選移動向量，將原來的重建的背景影像根據該候選移動向量移動到新的位 置，意即我們根據該候選移動向量對齊重建的背景影像與新進影像，並且計算一 個差異值跟一個總數值，差異值表示新進影像與重建的背景影像的差異度，總數 值表示同時存在於新進影像與重建的背景影像的像素數目，也就是有重疊或重複 出現的像素數目。差異值與總數值一開始為0，接下來對新進影像中每個像素，

先以該候選移動向量判斷該像素是否有在重建的背景影像的範圍內，若不在重建 的背景影像的範圍內則跳過該像素，繼續處理下一個像素；但若是在重建的背景 影像的範圍內則將總數值加一，再依據下式計算差異值

D ＝ ∑x∑y｜Rb（x, y）－ Rf（x, y）｜＋｜Gb（x, y）－ Gf（x, y）｜＋｜Bb

（x, y）－ Bf（x, y）｜ （4.4）

其中D表示差異值，Rb（x, y）表示重建的背景影像中座標為（x, y）的像素的紅 色值，Rf（x, y）表示新進影像中座標為（x, y）的像素的紅色值，Gb（x, y）表示 重建的背景影像中座標為（x, y）的像素的綠色值，Gf（x, y）表示新進影像中座 標為（x, y）的像素的綠色值，Bb（x, y）表示重建的背景影像中座標為（x, y）的 像素的藍色值，Bf（x, y）表示新進影像中座標為（x, y）的像素的藍色值。至於 式子（4.4）所包含的範圍則如圖4.1中黑色矩形所包含的所有像素，為將圖1.1(a) 與圖1.1(b)對齊後的示意圖，其中黑色的矩形表示同時存在於圖1.1(a)與圖1.1(b) 的像素，因此差異值所代表的意義即為黑色矩形中圖1.1(a)與圖1.1(b)的差異度，

而總合值則代表該矩形的面積。

34

圖4.1 差異值與總數值的計算範圍。

在計算完所有候選移動向量各自的差異值以及總數值後，將差異值除以總 數值，即代表在一個候選移動向量下，每個像素在新進影像與重建的背景影像的 平均差異度。我們選擇能提供最小平均差異度的候選移動向量為真正的移動向量。

這樣的理由是對於錯誤的候選移動向量，因為無法對齊重建的背景影像到新進影 像，將會導致原來該對應到新進影像中某個位置的背景像素被移動到其他的位置，

使得新進影像中該位置的像素會被對應到錯誤的背景像素，這意味著新進影像中 的像素與對應到的背景像素的顏色可能會差非常多，因為它們可能分別屬於場景 中不同的物件，進而造成式子（4.4）中絕對值內的差值變得很大，使得差異值 也會變大很多。因此對於錯誤的候選移動向量，其差異值一定會大於最佳移動向 量所計算出來的差異值。

圖4.2表示不準確的移動向量對差異值和總數值的影響，圖4.2(a)為重建的背 景影像，圖4.2(b)為新進影像，且重建的背景影像相對於新進影像的移動向量為

（-78, 78），圖4.2(c)～圖4.2(f)中左邊的圖示表示重建的背景影像根據不同的候 選移動向量移到相對應位置的結果，而右邊的圖示表示不同的候選移動向量造成 移動後的重建的背景影像和新進影像的對齊結果，其中藍色的像素表示式子（4.4）

中｜Rb（x, y）－ Rf（x, y）｜＋｜Gb（x, y）－ Gf（x, y）｜＋｜Bb（x, y）－ Bf

（x

36

異，因為小的候選移動向量表示重建的背景影像與新進影像之間重疊的區域很大，

因此式子（4.4）所需要計算的矩形面積就會很大，進而造成差異值變得很大。

所以我們需要正規化差異值，將選擇最佳移動向量的依據定義為對重建的背景影 像與新進影像，能夠提供每一個像素最小平均差異度的候選移動向量。

例如圖4.2(c)為移動向量（0, 0）造成的結果，其差異值為10333264，總數 值為60480，平均差異度為170，圖4.2(d)為移動向量（-50, -50）造成的結果，其 差異值為8057424，總數值為37530，平均差異度為214，圖4.2(e)為移動向量（-78, 78）造成的結果，其差異值為109456，總數值為26862，平均差異度為4，圖4.2(f) 為移動向量（-80, 78）造成的結果，其差異值為1046480，總數值為26640，平均 差異度為39，由此可知最準確的移動向量能夠提供最小的平均差異度。

4.3 影像對齊與前景背景分割

在有了最佳移動向量後，將背景GMM根據此最佳移動向量移動到新的位置，

再處理新進影像中每個像素，進而判斷出每個新進像素為前景或背景。在處理完 所有的像素後，得到一張二值化影像，其值只有0或1，0表示為背景，而1表示前 景，我們再利用附錄1介紹的連通物件搜尋法將此二值化影像中所有相連的前景 區域（即值為1的像素）找出，並且計算其面積大小，若面積過小，則表示該前 景區域可能為雜訊，因此須將這塊區域視為背景。刪除完所有面積過小的前景區 域後，最後留下來的是面積夠大的前景物件。圖4.3顯示在有應用此步驟的情況 下，能得到較不受雜訊影響的結果。

為了處理攝影機些微旋轉對影像造成的影響，我們將在上一個消除雜訊步 驟後所剩下的前景像素，與在重建的背景影像中相對應位置一定範圍內的GMM 做配對，若有一個GMM能夠成功的配對到該像素，便將該像素視為背景。這個 步驟的代價是若前景物像素與相對應位置附近的GMM有顏色相似的情況，則該

前景

38

4.4 新進與移出的背景像素之處理

4.4 新進與移出的背景像素之處理