第二章 影像切割之探討
2.4 使用時間回饋（feedback）的空間整合方法
在前一節中我們嘗試將兩種種子位置所得到的區塊切割結果做空間上的整合，
在圖 2-14中可以觀察到，整合後的結果確實將不同切割區塊的優點融合在一起。但 是如果兩種切割的結果都不是很理想時，空間整合的步驟能夠協助我們來改善嗎？
圖 2-17將種子位置左邊、中間的兩個結果和空間整合後的結果並排表示，並由上而 下列了五張連續影像的切割結果。以紅色圈選處舉例，在(l)中，因為(b)、(g)在同一 個物體區塊合併後的分界不同，使用空間整合方法中判斷交集的步驟時，因為互有 交集而最終能夠合成一個完整的物體。而(m)的結果中最右邊有一小塊屬於同一物體 的區塊沒有被包含在一起，而回到(c)和(h)的結果中，可以見到那一塊同樣的沒有被 包含在一起。由此我們可以得知，如果用於整合的兩個切割結果不幸在同一個地方 出錯時，在空間整合方法的過程中仍然無法克服。
這時候我們的想法還是盡量使得(c)、(h)的切割更好，但是在前面的章節中已經 試過許多方法，改善的幅度有限，而前一節的空間整合方法其實也是展現了一些優 點，唯其問題是源於整合的來源不佳。另外，我們也希望好的切割能一直延續下去，
而不隨著單張切割好壞而影響，因此考慮是否可以在切割第 張影像時，融入第n n−1 張可能不錯的結果。據此，圖 2-18提出一個新作法的流程圖，我們稱之為時間和空 間整合方法，在第一張影像時，我們採用由兩張不同位置的種子切割而成的影像經 過整合的結果作為最終的輸出，第二張影像開始，我們運用前一張的切割結果和目 前的區塊擴增、合併後的結果做整合，以獲得最後的輸出。
(a)
(b)
(d)
(h)
(i)
(l) (g)
(c) (m) (f) (k)
(n)
(e) (j) (o)
圖 2-17 整合不同 seed 位置的影像，(a)-(e)種子位置在左上角的連續五張影像，(f)-(j) 種子位 置在中間的連續五張影像，(k)-(o) 連續五張影像經過整合左上角及中間的結果。
… …
圖 2-18 時間和空間整合方法流程圖。
在時間方向的整合方法上，我們套用2.3.3節空間整合的觀念。如圖 2-19所示，
假設第 張影像對區塊 切割很完整，在第 張時物體移動不大，但區塊切割 卻有些零散分成 與 。如果第
−1
n Rin−1 n
n
Rx Ryn n−1張影像區塊切割很完整的部分會和第 張的 零散區塊有些重疊，我們便可以透過判斷這些有重疊的區塊使其盡量合併。不同於
n
2.3.3節整合的部分是，因為比對的兩張圖是不同時間的，物體不見得只有單純的移 動，單純考慮交集的情況下如果物體有遮蔽、消失情形時，也會造成合併上的錯誤，
因此在時間方向整合的部份我們必須加入區塊在顏色材質上的相似性才能進行合 併。
−1 n
Ri
圖 2-19 移動區塊變化示意圖。
n
Rx Ryn
反之若是第n−1張影像切割的不好，我們可以透過反覆對兩張影像進行合併，
如2.3.3節第二種情況，利用第 張影像切割較好的特性返回去檢查是否能在擴大區 塊的範圍。不過在這裡我們雖然對第
n
−1
n 張影像也有進行區塊合併的動作，卻不回 去重新改寫第 張影像輸出的結果，原因是倒回去改可能要一直追溯到第一張 圖，讓每一張圖都合併的更完美，但這樣會造成系統負荷過大。相較之下，如果我 們能使得連續影像在追蹤上的結果越來越好，也是一個很好的選擇。
−1 n
圖 2-20是之前的區塊擴增及合併、空間整合方法和本節之時間和空間整合方法 的比較。我們在之前觀察到的紅框中，看到時間和空間整合方法雖然在(l)時合併的 不如空間整合方法(g)好，但是到了下一張影像(m)時克服了另兩個方法(c)、(h)切割 不好的問題，不僅將前一張的(l)合併好的區塊延續下來，同時也加入(h)將物體左半 邊合併在一起的優點，而接下來的(n)與(o)可以看到即使區塊合併演算法輸出的區塊 不好、沒有連續，還是能藉由前一張好的合併結果來克服，而使得其結果優於空間 整合方法。不過因為時間和空間整合方法中，我們考慮了材質的相似性，在影像色 彩亂度較大的地方，在相似性的門檻限制中經常被檔下，而使得區塊不如只考慮交 集程度的空間整合方法來的完整，如圖 2-20藍色框起處。這樣的結果是可以接受的，
因為我們的目標是希望找到一些有意義及穩定的區塊，因而是可以忽略那些亂度較 高的部分。