第三章 背景區域的比對及平移量計算
3.1 以平均値與變異量做對應背景區域的比對
3.1.1 背景區域的粗略估計
在本論文中，我們假設影像中的背景，在實際空間中是不會移動、沒有變化 的區域。雖然整體的影像中，因為攝影機的移動使得全部的影像內容都有移動，
所謂的背景無移動是指在相對於兩張影像忽略相機造成全域的平移量後，沒有移 動的部份。據此，我們用比對的方式找出兩張影像中，完全相同的帶狀部份，而 且其中不包含相對於背景有移動的物體，或因為移動物體所造成的遮蔽區域。
首先我們對兩張相連續影像簡略分析其物體間的相對應關係。為了簡化計算 量，僅使用各行的平均值，使二維影像簡化成一維陣列。使用平均值可以減少影 像整體移動所造成的邊界效應，因為將一整行取平均值時，在此行中的背景少量 移動，可以因平均而簡化。
圖3-2(a)為前後兩張影格，以紅色標示的垂直帶狀區域並不包含前景物體，
僅包含背景的區域。而圖3-3(a)中的紅色帶狀區域，因為包含了前景的移動物體，
所以圖3-3(b)中各行的平均值在兩張影像中呈現比圖 3-2(b)中紅色帶狀區域大的 差異。圖3-2(c)與圖 3-3(c)是兩張影像各行的變異量。利用圖 3-2 與圖 3-3 各行平 均值變化的差異，假設 t 時間點的部分背景區域可以在 t+1 時間點中找到對應的
背景區域，背景區域各行平均值的變化會比包含前景移動物體的區域來的小，如 此就可以找到不包含前景移動物體的純背景區域。
圖3-2 (a) 前後兩張影像。 (b) 兩張影像各行的灰階平均值。 (c) 兩 張影像各行的灰階變異量。 紅色區域為影像中的純背景區域。
另外在後續的討論中，我們再加上帶狀區域中每一行的變異量來代表此行的 灰階變化程度。如果在一平順無變化的區域時，因為沒有特徵點來作為判斷平移 量的區域，無法斷定平移量。例如在完全平坦光滑的結冰湖面溜冰時，單看湖面 的冰時，因為完全相同，所以會讓溜冰的人忽略自己的位移變化，而必須靠著其 他非湖面冰塊的物體，才有辦法判斷自己的速度及位置。如果在圖3-2(a)中，我
(a)
(b)
(c)
們忽略的上方的沿岸部分，如圖3-4(a)所示，單靠觀察幾乎沒有灰階變化的水面，
是無法判斷出背景的平移量。縱使圖3-4(b)中水面部分各行平均值相差微小，但 因為圖3-4(c)可以看到水面的變異量太低，造成無法判斷的情況。
圖 3-3 包含移動物體的行在前後兩個影像中呈現不一樣的平均值。(a) 前後兩張 影像。 (b) 兩張影像各行的灰階平均值。 (c) 兩張影像各行的灰階變異量。
(a)
(b)
(c)
圖3-4 當選擇的區域的變異量過小時，容易造成的錯誤。(a) 前後兩張影像。 (b) 兩 張影像各行的灰階平均值。 (c) 兩張影像各行的灰階變異量。
而後，各個帶狀區域的比對是依照Fisher’s Linear Discriminant（FLD）概念 來評分的：
為了能夠找出不同寬度的對應區域，k 在比對的過程中允許被改變。帶狀區 域的寬度越大，則所包含的平均值越多，這表示有更多的資訊量提供比對使用。
另外，也必須考量到移動物體之間、移動物體與影像邊界中的背景區域也有可能 很小，所形成的帶狀區域很窄，所以必須考量到不同的 k 值。我們採用的 k 值範 圍為 11 像素至影像寬度的一半。圖 3-5 紅色標示的區域比圖 3-2 更寬，雖然紅 色標示區域都不包含前景，我們允許不同寬度帶狀區域，進行比對，來找到最相 似的背景區域。在此階段，兩張連續影像中經比對後被判定為最相似的區域，可 視為純背景區域，此即為其背景區域的粗略估計。
圖3-5 比 圖 3-2 有更寬的純背景區域被以紅色標示。 (a) 前後兩張影像。
(a)
(b)
(c)
3.1.2 背景平移量的粗略估計
雖然這兩條帶狀區域並非全部的背景區域，因為這兩個區域存有兩個特性：
一、相似性，由各行的平均值所組成的陣列相似；二、影像內容的起伏變化較大，
因為變異量大，所以可當作背景的代表區域，以供之後計算時減少計算量之用。
也就是說之後的步驟中對背景區域進行相位線性分析估計背景平移量時，我們只 需要使用此對應區域，而不需要整張影像作計算。但因為真實影像的平移量非整 數，所以影像之間不存在完全一致的整數平移關係，所以需要計算次像素平移量。
3.2 頻率空間相位線性分析
在取得了兩張影像相對應的部份背景區域後。我們將接著對此區域作較為精 確的平移量分析。假設我們已經使用3.1 節中背景區域的比對方式取得垂直的帶 狀背景區域，所以僅針對帶狀區域，分析此帶狀區域方向上的影像平移量，即可 得垂直方向的背景平移量。而利用頻率空間的相位變化來分析影像的平移量，將 可以達到次像素的精確度。
3.2.1 平移的性質
我們可以將影像的一行轉換到頻率空間，由F(v)=|F(v)|e−jφ(v)可得到其相位 函數φ(v)，如果兩張影像的內容之間存在單純垂直平移關係，則可得到兩張影像 相對應的兩行在頻率空間的關係式，如3-3 式所示：
) / ( 2
0) ( ) 0
(y y F v e j vy M
f + ⇔ − π (3-3) 其中 f(y+y0)為影像內容平移後的某行， F(u)為影像內容平移前的該行在頻率 空間的函式，y 為兩張影像內容之間的水平平移量，0 M 為影像的寬。 f( y)與
) (y y0
f + 在頻率空間的相位差為 2π(vy0 /M)，是一線性函數。圖 3-7 (a)、(b) 為兩張僅具有水平平移關係的影像，(c)則是兩張影像經過傅立葉轉換的相位差
的相位時，該相位的數值只能介於−π 到π 之間，所以求得的相位差，呈現一鋸
) 像長或寬的一半，因為離散傅立葉轉換（discrete Fourier transform）的週期特性，
可視為反向的移動關係，也就是說，其相位差線性函數的斜率不超過± ，如 3-5π
(a) (b)
(c) (d)
圖 3-10 (a)、(b) 為影片中前、後兩個影像。 (c) 表示白色方塊由上向下移 動。 (d) 使用頻率空間來處理數位影像時，則可視為影像為週期性的，也就 是在影像邊界外的部份，是由同樣的影像所構成，而形成另外一個白色方塊，
因此，我們可以將方塊的移動視為由下向上移動。且此兩平移量值總和為影 像長度。
在圖3-10 中，(a)、(b)為兩張僅具有垂直平移關係的影像，在一般的判斷下，
可以視為由上向下移動，如(c)中的紅色箭頭所示。但是在離散傅立葉轉換所造 成的週期性關係之下，我們也可將移動方向視為由下向上，如(d)中的紅色箭頭
所示，並且將(d)中下方的方塊視為上方白色方塊的週期所產生的結果。所以所 有的平移量，都存在另外一個反向，且與原先平移量的總和為週期大小的平移 量，在本論文研究中，我們將採用值小於半個週期的解。
然而真實影像當中，並不必然有這麼單純的平移關係。在一組影像中，存在 前景物體移動以及背景移動時，會產生兩種非平移關係，一是物體與物體之間、
物體與背景之間被物體的遮蔽區域，在前景物體移動方向上的背景或是另一個物 體將隨著時間而被擋住，物體後方的背景也隨之出現；第二個非平移關係存在於 影像的邊界，因為背景的移動，在影像的邊界將也會產生多出來的背景，以及隱 沒在邊界之外的區域。因此，所得結果必然不是預期般的單純線性關係。
在我們背景平移量分析的方法中，因為只考慮背景的移動，所以可以忽略物 體所造成的遮蔽，而只需考慮影像背景移動所造成的邊界效應。圖 3-11 是兩張 只有垂直平移關係的影像，由(a)至(b)可以視為影像由下向上移動。(a)中的紅色 區域表示隨著影像平移的部分，將隱沒的邊界之外的區域；(b)中的綠色區域則 是因為影像移動，而新增加的部分。
(a) (b)
圖3-11 兩張僅存在垂直向上平移關係的影像。 (a) 紅色區域表示在另一張 影像中將隱沒的部分 (b) 綠色區域表示在影像中新增加的部分
首先，將相位線性分析的背景平移量估計演算法使用在同一張真實影像的兩 個區域，這兩個區域之間只有存在平移關係。影像邊界所造成的影響如圖 3-12 所示，(a)、(b)是由同一張影像中擷取出來，但是因為擷取範圍不同而尺寸相同，
所以產生了平移量。(c)是(a)、(b)兩張影像紅線標示的地方，經過傅立葉轉換後，
求得的相位差結果。(d)則是將相位差經過圖 3-8 還原相位差線性關係的演算法轉 換結果。雖然(d)結果接近一條直線，但是並不為純粹的直線，而有許多小幅度 的曲折，因此會需要使用估計的方式找出近似的直線。
(a) (b)
(c) (d)
圖3-12 (a)、(b)為兩張僅存在平移關係的真實影像。 (c)為(a)、(b)影像之中央行 (以 紅色線段標示) 的相位差關係。(d)為(c)中的折線，經過轉換後所得的近似線性相位 差關係。
但是使用真實影像在比較相位時存在了更多的問題，其中最主要的關鍵是在 分析影像各行在頻率空間的相位時，同時要考慮各頻率的振幅。當振幅過小時，
必須考慮到相位的誤差放大問題，且當兩張影像相對應各行在頻率空間的振幅相 差過大時，比較相位並不具有平移的意義。以下將針對振幅的影響及相位差線性 關係的估計說明。
3.2.2 振幅比對與相位誤差
由於利用相位差分析影像某行的平移關係必須建立在此行在各頻率的振幅 相同的情況，所以我們必須加上振幅的比對。然而，在影像邊界的部份，背景的 移動將造成影像內容的增減，並非單純平移的關係，所以振幅並不會完全一致圖 3-13 的(a)、(b)為兩張僅具有單純水平平移關係的影像，(c)則是兩張影像中央，
紅色線段標示處的振幅。我們將兩張影像的振幅重疊在一起觀察，會發現(c)中 的兩色線段，並非完全重疊，儘管大致上的相似，還是有少部分的不同，也就是 邊界部分影像增減所造成的影響。
(a) (b)
(c)
圖3-13 (a)、(b)為兩張只有存在垂直平移關係的影像。 (c) 兩色分別為兩張影像中央 紅色線段標示之行的振幅，可以明顯觀察到兩曲線不完全重疊。雖然兩張影像的內容 大部分是相同，背景移動造成的在影像邊界部分的增減，使振幅存在少量的差異。
為了確保相位平移關係的成立，我們對振幅的相似度做了限制。在實驗中，
經過振幅的比對，我們只採用振幅的平均誤差小於最大值的10%的部分，如 3-6
經過振幅的比對，我們只採用振幅的平均誤差小於最大值的10%的部分，如 3-6