在此階段，我們除了取得次像素的背景區域位移量外，同時也保留之前各區 域的利用各行的平均值與變異量進行的背景區域比對資訊。利用這兩項資訊，我 們可以將背景區域和前景區域做一個大略上的分割。
在第三章中，我們已經說明了如何完成行的背景區域比對及相位線性分析。
接下來，我們則是要同時使用行與列的背景區域比對相位線性分析，來進行背景 區域的分割。分割的流程如圖4-1 所示，共可分為五個部分：利用平均與變異量 進行行／列的比對（column／row correspondence using mean and variance）、相 位線性分析（linear phase estimation）、與背景位移量的比較（row-band／
column-band comparison）、背景區域切割的結果（ background segmentation results），以及邊界效應的處理（boundary effect removing）。行／列的比對分別 對垂直的平移量與水平的平移量做粗略的估計，並且在兩張影像中找出相似的對 應區域。相位線性分析利用部份的背景區域找出更精確的平移量。之後我們則利 用準確的平移量來和之前行／列比對出來的對應區域比較，找出垂直及水平的背 景區域。最後利用此平移量來移除背景移動造成的邊界效應。以下將針對每個部 分做詳細的說明。
4.1 利用平均與變異量進行行／列的比對
首先我們以連續的兩張影像為輸入，並分別對列與行計算平均值及變異量。
依照章節3.1 所提的方式，估計水平及垂直的粗略平移量，找出最相似的背景區 域。同時保留比對出來的對應區域。
圖4-2 是在輸入兩張影像後，經過分別的垂直區域及水平區域比對得到最相 似的垂直與水平區域。(a)、(b)中的紫紅色區域，是經過不同寬度的垂直區域，
經過比對的最相似區域，因為不包含前景物體的兩艘船，所以是單純的背景區 域。(c)、(d)中的青色區域，則是最相似的水平區域，相對於單純的草地及水面，
是多紋理變化的背景區域。
圖4-1 前景與背景區域分割的流程圖。
Two input images
Vertical Direction Horizontal Direction
Column Correspondence using mean and variance
(rough horizontal motion)
Row
Correspondence using mean and variance (rough vertical motion) Fast Fourier
Transform Fast Fourier Transform Linear Phase Estimation
(sub-pixel vertical motion) Amplitude Matching
Phase Computing Principle
Component Analysis (PCA) Component Analysis
(PCA) Linear Phase Estimation (sub-pixel horizontal motion)
Column-band Comparison
Row-band Comparison Sub-pixel Motion
(Δx=7.5186 ,∆y=-0.0460)
Background Blocks with Sub-pixel Motion Estimation Vertical
(a) (b)
(c) (d)
圖4-2 經過比對，最相似的區域。 (a)、(b)為影像的前後兩張影格，紫紅 色標示的區域為兩張影像最相似的垂直區域。 (c)、(d)是與(a)、(b)同樣 的前後兩張影格，青色標示的區域為兩張影像最相似的水平區域。
4.2 相位線性分析
取得比對結果中，相似度最高的部分後，依照章節3.2 所提的方式，利用相 位差估算平移量。其中包含三個步驟：振幅的比對（amplitude matching）、相位 的計算（phase computing）及估算線性關係的 PCA（principle component analysis）。 從比對區域中篩選出振幅相近行或列的組合，分別對這些組合進行相位差的計 算，並用PCA 估算相位差的線性關係與誤差。
我們對圖4-2(a)、(b)紫紅色區域中的每行的組合進行相位差估計。從組合中 挑選 PCA 對線性關係估計誤差最小的一組，採用其相位差為整張影像的垂直平 移量。圖4-3 的藍色線段是圖 4-2(a)第 62 列及圖 4-2(b)第 69 列的相位差關係，
紅色直線線段則是利用 PCA 估計的結果。紅色直線的斜率換算以像素當單位為 0.046，也就是影像在垂直方向的平移量。圖 4-4 則是圖 4-2(c)、(d)中綠色區域的 每列的組合經過相位差 PCA 分析的結果。以紅色直線的斜率計算出的影像水平 平移量為7.5182 個像素。
圖4-3 圖 4-2(a)、(b)兩張影像相位差 PCA 分析結果。藍 色線段為相位差關係，紅色線段為直線估計結果。
圖4-4 圖 4-2(c)、(d)兩張影像相位差 PCA 分析結果。藍 色線段為相位差關係，紅色線段為直線估計結果。
4.3 與背景平移量的比較、背景區域的估計結果
此部分包含兩個步驟：比較（column-band／row-band comparison）及整合結 果（background results）。根據前兩個步驟，我們得到了次像素的背景平移量，
以及利用平均值、變異量比對的結果。我們將比對的相似區域組合用次像素的背 景平移量對照，找出平移量符合背景平移量的相似區域組合，這表示這些組合的 平移量跟背景一致，也就是背景區域。
在對圖4-2 進行章節 4.1 的比對時，我們除了得到最相似區域，同時利用其 他比對的區域作為背景區域的搜尋資料。我們使用相位差估計的平移量選擇符合 平移量的對應區域組合，因為符合背景的平移量，表示這些對應區域只包含背 景，且都是背景的一部分，所以將這些區域整合起來，即為影像中的背景區域。
在實驗中，我們取每個不同帶狀區域寬度的前十組比對相似度最高的作為背景區 域與背景平移量進行比較。
圖 4-5 的紫紅色標示區域是經過與背景水平平移量相比，約等於背景水平平 移量的對應區域。因為背景平移量是基於次像素的結果，所以我們取對應區域的 平移量與背景平移量的整數部分相同或為背景平移量的整數部分加一的部分。將 所有符合背景平移量的對應區域取聯集，可得垂直的背景區域。圖 4-6 則為利用 背景垂直平移量選出對應的背景區域。青色標示的區域是約符合背景垂直平移量 的對應區域，同樣的對這些對應區域取聯集，可得水平的背景區域。
在圖 4-6 中，水面的部分在並沒有被視為背景區域。在進行對應區域比對 時，因為加入變異數的考量，我們排除了單一畫面中僅有小幅度變化的區域。所 以沒有被標示為背景區域，並非就是前景區域，也包含因為單一畫面中變化太小 而不考慮的部分。
4.4 邊界效應的處理
為了讓相位分析的結果更為正確，我們可以將因為影像背景移動，在邊界區 域造成的增加或減少的區域排除。雖然用來做相位分析的區域已經不是整張影 像，而是一個水平區域和一個垂直區域，但是這兩種區域多少都還是包含了些許 的邊界效應。這些在邊界上增加或減少的區域，因為無法完全地在另一張影像上 找到對應的區域，所以會影響振幅比較和相位差分析的結果。
在得到背景平移量時，我們已經可以知道因為背景移動造成邊界效應的區 域，所以我們可以將這些區域移除，再次進行背景平移量的分析。以次像素背景 平移量的整數部分為準，將兩張比對影像因背景移動增加而無法找到相對應的邊 界區域移除，重新進行一次比對及相位差分析，則可減少邊界效應的影響。
圖 4-5 利用背景水平方向的平移量找出對應的垂直背景區域。
圖 4-6 利用背景垂直方向的平移量找出對應的水平背景區域。