自然影像的次像素平移量討論與應用

(a) (b)

(c) (d)

(e) (f)

圖5-13 (a)、(b)是圖 5-12 (a)、(b)影像背景區域分割的結果。 (c)、(d)是 圖5-12 (c)、(d)影像背景區域分割的結果。 (e)、(f)是圖 5-12 (e)、(f)影像 背景區域分割的結果。

5.2.2 自然影像的次像素平移量討論與應用

為了比較次像素的平移量以及像素為單位的平移量，我們利用平移量來還原 影像的移動，比較與第一張影像的差異。圖5-14 是利用圖 5-12 (e)、(f)的影像以 及背景區域分割和還原平移量的比較。圖 5-12 的次像素平移量分析結果在水平 方向為-25.1245 像素，垂直方向為 0.2651 像素。我們分別取四種以像素為單位的

平移量來比較，分別為(-26,0)、(-25,0)、(-26,1)、(-25,1)像素，也就是最接近次像 素平移量的整數像素平移量。將圖5-12 (f)還原平移量後與圖 5-12 (e)相減取差異 的絕對值後所得的結果，分別如圖5-14 (a)、(b)、(c)、(d)所示。我們可以發現，

圖5-14(b)整體而言，在背景區域顯得較為乾淨。

接著我們將圖 5-14 四張影像分別畫出如圖 5-13(e)、(f)所標示估計背景區 域，以及非背景區域的分佈圖，如圖5-15 所示。圖 5-15(b)圖的藍色線段所表示 的估計背景區域，呈現較為接近於零的結果。且和非背景區域的紅色線段，也有 比較明顯的區隔。這表示原圖的平移量比較接近於(-25,0)，而其他三種整數平移 量。我們分析的結果在水平方向為-25.1245 像素，垂直方向為 0.2651 像素，兩者 相符。

(a) (b)

(e) (f)

圖5-14 將圖 5-9 (b)影像以不同的平移量還原移動後與圖 5-9 (a)比較差異 的結果。 (a)平移量為(-13,3)。 (b)平移量為(-12,3)。 (c)平移量為(-13,4)。 (d) 平移量為(-12,4)。

(a) (b)

(e) (f)

圖 5-15 分別對圖 5-14 四張影像的背景區域以及非背景區域所作的分佈 圖。藍色線段維估計背景區域，紅色線段為扣除邊界及背景區域的其他部 分

利用估計的背景區域資訊，我們也可以在視訊中選擇適當的影格，移除背景 區域，以進行前景物體的分割。首先我們使用視訊中的連續四張影像，分別利用 第一張影像與第二、三、四張影像進行次像素平移量估計以及背景區域估計。之 後分別還原最靠近次像素平移量的整數平移量來比較影像平移前後的差異，並利 用估計的背景區域資訊，找出最適合模擬攝影機移動的影格，則可以還原攝影機 的平移，得到去除背景區域的結果。

圖 5-16 是四張連續的影像，分別利用第一張影像與第二、三、四張影像進 行次像素平移量估計以及背景區域估計的結果。(a)與(b)，(c)與(d)。(e)與(f)的估 計平移量分別為(-5.3604, 0.9742)、(-8.1320, 2.1695)、(-12.9269, 3.6552)。接著我 們對三個次像素平移量取最靠近的整數平移量，分別為(-6, 0)、(-5, 0)、(-6, 1)、

(-5, 1)，和(-9, 2)、(-8, 2)、(-9, 3)、(-8, 3)，以及(-13, 3)、(-12, 3)、(-13, 4)、(-12, 4)，

平移影像後與第一張影像比較差異，結果如圖 5-17 所示。並畫出估計背景區域

及非背景區域的差異分佈圖，如圖5-18 所示。從分佈圖中可以發現，圖 5-18 (c)、

(d)、(f)藍色線段表示的背景區域差異大多分佈在接近零的地方，而三者中，(f) 中紅色線段表示的非背景區域略高於(c)、(d)的紅色線段。從表 5-1 中觀察也可 發現，圖5-17(f)在估計的背景區域之中，平均值僅 0.0193，是圖 5-17 中最低的。

這樣的結果可以幫助我們判斷圖5-17(f)是背景區域移除最完整的結果。

(a) (b)

(c) (d)

(e) (f)

圖 5-16 連續的四張影像，第二、三、四張影像分別跟第一張影像的次像 素平移量估計，及背景區域估計的擷果。(a)、(c)、(e)皆為第一張影像，與 第二、三、四張影像的進行背景區域估計。(b)為第二張影像。(c)為第三張 影像。(d)為第四張影像。(a)與(b)，(c)與(d)。(e)與(f)的估計平移量分別為

(a) (e) (i)

(b) (f) (j)

(c) (g) (k)

(d) (h) (l)

圖 5-17 (a)-(d)為圖 5-16(b)還原整數平移量與圖 5-16(a)比較的差異。(e)-(h) 為圖5-16(d)還原整數平移量與圖 5-16(c)比較的差異。(i)-(l)為圖 5-16(f)還原整 數平移量與圖5-16(e)比較的差異。

(a) (e) (i)

(b) (f) (j)

(c) (g) (k)

(d) (h) (l)

圖5-18 圖 5-17 各張影像差異的分佈圖。

表5-1 圖 5-17 各張影像估計背景區域的平均差值。

(-5.3604, 0.9742) (-8.1320, 2.1695) (-12.9269, 3.6552)

Fig.

No.

Rounded

motion Mean error Fig.

No.

Rounded

motion Mean error Fig.

No.

Rounded

motion Mean error

(a) (-6, 0) 0.0491 (e) (-9, 2) 0.0300 (i) (-13, 3) 0.0297 (b) (-5, 0) 0.0478 (f) (-8, 2) 0.0193 (j) (-12, 3) 0.0402 (c) (-6, 1) 0.0297 (g) (-9, 3) 0.0586 (k) (-13, 4) 0.0322 (d) (-5, 1) 0.0206 (h) (-8, 3) 0.0513 (l) (-12, 4) 0.0375

第六章 結論

我們在此篇論文提出了一個結合次像素背景平移量分析及背景區域分割的 方法。此方法利用頻率空間的相位特性，對於連續的兩張未經過任何前置處理的 影像計算出次像素背景平移量，再利用平移量找出背景區域，並與前景區域做分 割。

在背景平移量的分析上，此方法結合了影像空間以及頻率空間的做法。先利 用影像空間找出少部分的背景區域，並且僅以各行（列）之灰階平均值和變異量 來計算，而不是直接使用二維的影像。之後再於頻率空間對少部分的背景區域進 行次像素的平移量分析，得到非整數像素的平移量資訊。由於此種做法利用先前 使用平均值與變異量作背景區域比對的資訊，再繼續利用平移量進行背景部分的 分割，因為並沒有考慮影像內容以及前景物體的形狀，只要物體在影像上的成像 未受到干擾，對於有發生形變的物體也是可以進行背景區域分割。

對於未來的研究，加強分割的準確性是一個重要的目標，在分割之後，進一 步的對物體的形狀作修正，而不只單使用矩形方格的表示。在影像中對應的各行

（列）在頻率空間振幅相似度的比較也是一個值得探討的問題。另外，雖然頻率 空間的相位分析所使用的計算量很低，但在結合影像空間的以灰階平均值和變異 量作背景區域比對時花費不少計算時間，如果僅使用變異量最大之帶狀區域，或 是其他可以減少搜尋範圍，是否有助於背景區域比對速度的提升，也是值得進一 步探討的部分。

參考文獻

[1] L. G Brown, “A survey of image registration techniques,” ACM Computing Survey, vol. 24, no. 4, Dec. 1992.

[2] P. R. Hill, T. K. Chiew, D. R. Bull, and C. N. Canagarajah, “Interpolation free subpixel accuracy motion estimation,” IEEE Trans. on Circuits and Systems for Video Technology, vol. 16, no. 12, pages 1519-1526, Dec. 2006.

[3] J. W. Suh, and J. Jeong, “Fast sub-pixel motion estimation techniques having lower computation complexity,” IEEE Trans. on Consumer Electronics, vol. 50, no. 3, pages 968-993, Aug. 2004.

[4] D. G. Kuglin, and D. C. Hines, “The phase correlation image alignment method,” IEEE International Conf. on Cybernetics and Society, pages 163-165, Sep. 1975.

[5] H. Stone, M. Orchard, and E. C. Chang, “Subpixel registration of images,”

Asilomar Conf.e on Signal, Systems, and Computers, vol. 2, pages 1446-1452, Oct. 1999.

[6] H. Foroosh, J. B. Zerubia, and M. Berthod, “Extension of phase correlation to subpixel registration,” IEEE Trans .on Image Processing, vol. 11, no. 3, pages 188-200, Mar. 2002.

[7] M. Balci and H. Foroosh, “Subpixel estimation of shifts directly in the Fourier domain,” IEEE Trans. on Image Processing, vol. 15, no. 7, pages 1965-1972, Jul. 2006.

[8] Y. Wang and Q. Ji, “A dynamic conditional random field model for object segmentation in image sequences,” IEEE International Conf. on Computer Vision and Pattern Recognition, vol. 1, pages 264-270, Jun. 2005.

[9] Y. Wang, K. F. Loe, T. Tan, and J. K. Wu, “Spatiotemporal video segmentation based on graphical models,” IEEE Trans. on Image Processing, vol. 14, no. 7, pages 937-947, Jul. 2005.

[10] A. Briassouli and N. Ahuja. “Fusion of frequency and spatial domain information for motion analysis,” IEEE International Conf. on Pattern Recognition, vol. 2, pages 175-178, Aug. 2004.

[11] A. Briassouli and N. Ahuja. “Integrated spatial and frequency domain 2D motion segmentation and estimation,” IEEE International Conf. on Computer Vision, vol. 1, pages 244-250, Oct. 2005.

[12] A. Briassouli and N. Ahuja, “Spatial and Fourier error minimization for motion estimation and segmentation,” IEEE. International Conf. on Pattern Recognition, vol. 1, pages 94-97, 2006.

[13] J. Y. A. Wang and E. H. Adelson, “Layered representation for motion analysis,”

IEEE International Conf. on Computer Vision and Pattern Recognition, pages 261-266, New York, Jun. 1993.

[14] P. H. S. Torr, R. Szeliski, and P. Anandan, “An integrated Bayesian approach to layer extraction from image sequences,” IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 23, no. 3, pages 297-303, Mar. 2001.

[15] J. Xiao and M. Shah, “Motion layer extraction in the presence of occlusion using graph cut,” Proc. IEEE International Conf. on Computer Vision and Pattern Recognition, pages 972-979, 2004.