第三章 時間域的切割
3.2 演算法的整個流程
3.2.2 背景的建構(Background Construction)
由於只利用畫面差會因許多外在因素而使得結果不令人滿意，但是背景 資訊和目前畫面的差異會比兩張連續畫面來的大，所以我們要建構一個可靠的 背景。背景建構就是為了要由影像序列中建構出一個可靠的背景資訊來提供給 整個切割的演算法使用。
我們利用兩項資訊來做背景的建構，一個是目前正在處理的畫面之影 像，另一向資訊就是上一個步驟產生的 FDM，建構出來的背景必須存放於一個 背景緩衝器(background buffer)B 內，這個背景緩衝器 B 在一開始的時候是空 的。我們建構或是更新背景緩衝器內像素的主要原則就是，當一像素在連續 N 張畫面沒有改變，我們才認為它是背景像素，將之加入到背景緩衝器內。所以 建構以及更新主要是靠 FDM 所提供的資訊，因為在畫面差步驟當中會去判段 此像素是否有改變。FDM 若是 0 表示此像素沒有改變，此像素則有可能是背景 像素，但是我們現在要建構的是一個可靠的背景，則不能很輕易的就將一個可 能是背景的資訊拿來建構背景，因為有些屬於移動緩慢物件的像素或是物件中 的雜訊也可能在短短幾張畫面中被認為是沒有改變的，這樣會將錯誤的資訊加 入至背景換衝器內，而使得之後的切割產生不正確的結果。因此，我們在建構 背景或是更新時，是當某個座標的像素在連續一定數量的畫面被認為是背景
的，是用來紀錄各個像素連續被認為沒有改變的次數，換句話說，當某個像素
(a) Akiyo 影片所建出來的背景
(b)hall 所建構出來的背景 圖 3.3 建構出來的背景資訊
個背景-目前差遮罩(background-current difference mask，BCDM)，下列的式子實 (background buffer)內的值相減，而不是跟前一個畫面相減。圖 3.4 為 hall 經過 此步驟產生的結果，很明顯的看出來，它所產生的分割資訊 BCDM，比圖 3.2(b) 的 FDM 準確，尤其是在影像中人的內部，在 FDM 中無法完整的呈現，但是在 BCDM 中卻能較完整的呈現。這就是建構背景的最大好處。
圖 3.4 hall 的 BCDM
3.2.4 偵測物件(object detection)
經過前面的處理取得一些物件相關的資訊後，則利用這些資訊將物件偵 測出來，以一個初始物件遮罩(initial object mask，IOM)來表示偵測出的物件。
IOM 是判斷 BCDM(background current difference mask)、FDM(frame difference mask )和 BCM(background construction mask)所提供的資訊而產生的。表 3.1 描 述了偵測物件的規則，影像中的每個像素皆是以此表來做判斷。表中物件像素 (Object pixel)的欄位是表示該像素是否為物件像素。
BCM BCDM FDM Object pixel
False unused 1 Yes False unused 0 No True 1 unused Yes
True 0 unused No
表 3.1 物件偵測判斷表
對於畫面中的每一個像素，首先，我們由 BCM 判斷它的背景資訊是否 已經建構，若尚未建構，則它的 BCM 為否(false)，表示背景緩衝器內目前是空 的。我們在偵測物件的時候就只能利用 FDM(畫面差遮罩)的資訊而不能參考
景。
若像素的背景資訊已建構，即 BCM 為真(true)，則表示此時我們可以利用 背景緩衝器內的資訊，所以直接以 BCDM 來做判斷即可，BCDM 為 1 是物件 像素，為 0 則是背景像素。而不採用 FDM 的資訊，因為在下面兩種情況當中，
FDM 會提供錯誤的訊息。
第一種就是當 FDM 是 0，但是此像素並不是背景。當一個物件移動很緩 慢，或是只有些微移動甚至短暫停止，且內部的紋理(texture)很單調，則它內部 的像素就有可能在畫面差當中低於門檻值，而被認為是背景像素，如此一來便 造成錯誤。但是在 BCDM 中，這些位置的像素其值為 1，因為這些像素是屬於 物件，跟背景有明顯差異，所以不會因為上述的原因而不能將這些物件像素找 到。圖 3.5(a)是 hall 影片中某一個畫面的 FDM，在這張影像的 FDM 當中，我 們可以看出來有一個人，但是這個人身體中間的區域在畫面差中判斷為背景，
主要是因為它一值向前走，在影像的序列中他的位置便動的不多，且他穿單色 的衣服，所以畫面差中找到的只有此人邊緣的部份，而其身體中央反而被認為 是背景，但是圖 3.5(b)是拿目前畫面跟背景相減的，很明顯的分辨出這個人的 整體，因為在原本的背景當中並沒有這個人存在，一相減便很容易得到物件像 素。
(a)
(b)
圖 3.5 物件些微改變在畫面差中的影響
第二種情形是 FDM 為 1，但是此像素卻是背景。以圖 3.6 來說明。圖 3.6(a)
FDM 為 1 的部份，圖 3.6(e)是這兩個畫面的 BCDM(背景-目前差遮罩)，黑色處 的 BCDM 為 0，白色處 BCDM 為 1。比較(d)跟(e)，發現在(d)中比(e)多出來的 紅色部分就是 FDM 為 1，但卻是背景的部份。紅色部分是因為原本被遮蓋的部 份，後來因為物件移開而露出來，所以他是前一張畫面的物件像素減去目前畫 面的背景像素，而造成紅色的部份。但是在(e)中並不會有這種困擾是因為物件 移開後露出的背景是跟背景相減，所以當然不會認為它是物件。
(a) (b)
(d) (e)
(c)
圖 3.6 示意圖
所以判段一像素是否為物件像素很簡單，若是已經建構背景資訊的像素 就以 BCDM 來做判斷，否則就只有 FDM 可以利用來判斷。
3.2.5 後續的處理(post process)
此時，得到一個初始的物件遮罩(initial object mask)，但是這個遮罩還不 是理想的結果，因為遮罩中有許多的雜訊，這些雜訊有可能是因為光線造成的 或著是攝影時的雜訊。所以要將這些雜訊的區域消除掉。圖 3.7(a)中，背景的 部份有判斷成物件的雜訊(白色小區域)，圖 3.7(c)中在物件的部份也有誤判成背 景的雜訊(黑色的小區域)，而這些都是我們要消除的區域。我們所使用的方法 是將小的白色區域消除掉以及填補物件中的小破洞，所以必須先確定每個區域 所包含的像素，利用區域成長(region growing)的方式來取得此項資訊。接下來 給定一個門檻值，若是區域所包含的像素小於門檻值，我們就將它移除。因為 在初始物件遮罩中的雜訊有兩種，一種就是在背景中的雜訊(小的白色區域)和 另一種在物件裡的雜訊(小的黑色區域)，因此要分別消除這兩種雜訊。首先利 用剛剛提到的方法來消除小的黑色區域(誤判成背景的雜訊)，這些雜訊通常是 物件中的小洞。接著再移除小的白色區域(誤判成物件的雜訊)，這些雜訊是位 於背景之中的。當經過這些消除雜訊的處理之後，得到一個精確的物件遮罩，
(a) (b)
(c) (d)
圖 3.7 經過消除雜訊後的物件遮罩
經過上述的五個主要的步驟，所產生的遮罩是時間域切割的最後結果。
不過還有一個重點沒有提到，就是第一個步驟跟第三個步驟所使用到的門檻 值，下面一節將會說明如何自動產生這個門檻值。
3.3 門檻值的自動產生
由於在產生畫面差遮罩和背景-目前差遮罩的的過程都有用到門檻值來判 定該像素是否為物件像素，因此門檻值扮演著重要的角色，若是門檻值不合適，
使得不能夠將背景跟物件清楚的分辨，不是將許多背景誤判成物件就是切割出 來的物件支離破碎的，所以門檻值的準確是一個重要的環節。我們將利用機率 上的分佈以及空間上的特性來找出合適的門檻值。
圖 3.8，它是整個產生門檻值的流程圖，它有二處輸出的位置，在(A)位置 的輸出，通常是品質較好得影像，也就是說影片拍攝時，攝影器材所造成的雜 訊很微弱。另外(B)位置的輸出是經過更進一步空間的分析而產生的，因為此時 攝影器材造成的雜訊比較強。接下來我們將對整個流程做說明。
Frame Difference histogram and
background
p(d)是差值為 d 的像素出現的機率
p(0)也就是背景像素中差值為 0 的像素出現的機率。若我們可以將 p(0)估計出 來，便可以估計σ。所以利用下式來估計 p(0)
p(0)=number(pixel difference=0)/previous background pixel number
上式的 number(pixel difference=0)為此畫面中差值為 0 的像素之個數，previous background pixel number 為上個畫面切割的結果中背景像素的個數，其初始值為 整張畫面像素的總數。會如此估計 p(0)是因為我們假設上個畫面中被認為是背
(a) akiyo 之直方圖
現在要對空間上做進一步的分析找出合適的門檻值，要產生另一個新的
p(|d|)=p(background with |d| and object with |d|)
因此欲在二倍標準差外找到一個合適的門檻值將背景以及物件區分，此門檻值 個畫面像素的總數即為 p(background with |k|)的近似值。而此判定的不等式是表
示，在二倍標準差外，找到第一個 K，會使得影像差值絕對值為 K 的像素中，
屬於背景的像素比屬於物件的像素少，則此 K 即為門檻值。圖 3.11 為 hall 影片 其中一張畫面的差值影像值方圖，此畫面估計出來的標準差趨近於 2，所以需 要做空間上的分析，最後將適合的門檻值找到，而所找到的門檻值為 9。
圖 3.11 hall 之影像差直方圖
圖 3.12(a)是以圖 3.11 直方圖來取二倍標準差 4 當作門檻值所得到的 FDM，
其結果相當的不理想，雜訊非常的多，圖 3.12(b)則是利用演算法找到的 9 當作 門檻值所得到的 FDM，遮罩中的雜訊數量明顯的比圖 3.12(a)少。
(a) 以 4 為門檻值產生之 FDM
(b) 自動產生之門檻值 9 的 FDM 圖 3.12 hall 影片不同門檻值之比較
第四章
空間-時間域切割及實驗結果
為了使影像切割的結果更為精確，我們將空間域切割的資訊跟時間域切割 的資訊加以合併，這章將說明合併的方法以及實驗的結果。
4.1 結合時間域跟空間域的切割
將時間跟空間資訊合併有二個步驟，分別是以區域為觀點和以邊界為觀 點，第一個步驟是先對區域來處理，再對邊界來加以修正補強。圖 4.1 是將空 間域以及時間域的流程圖合併為整個演算法的流程圖，從圖中可以看出，是將 欲切割畫面的分水嶺結果跟時間域上最後產生的物件遮罩做結合。
4.1.1 移動區域的偵測
在這步驟，利用目前要做分割的影像畫面 Fk跟前一張影像畫面 Fk−1在時間 軸切割的結果，然後跟空間域的分水嶺結合，偵測出 Fk中有所移動的區域。使 用的方法為，檢查在分水嶺結果的每一個區域(集水區)，若某區域 Ri被偵測為 移動的區域，它會滿足下列的不等式
N T p = >
Ri所有像素的比例 p 超過一個門檻值 Tr時，我們就將整個 Ri判斷為移動區域，
current frame previous
frame
temporal segmentation
圖3.1
motion region detection
motion boundary detection combine
spatial and temporal
refined object mask
final object mask
text
(a)
(b)
圖 4.2 移動區域偵測之結果