實驗結果

實驗結果主要分兩大部分：第一部分是針對所提出的動態物件擷取技術和改 進的未遮蔽背景區域消除方法在效果上的呈現與比較。第二部份則是將所提出的 MPEG-4編/解碼架構與傳統的MPEG-4架構，針對編碼壓縮後的檔案大小與解碼 畫面做分別的比較與討論。

5-1 動態物件擷取演算法

我們主要針對所改進的未遮蔽背景區域消除方法與之前所提出的方式做擷 取效果上的比較。所使用的測試影片為MPEG-4標準測試檔[24]，其檔案格式為 YUV格式，大小為CIF(352x288)與QCIF(176x144)；測試平台為Visual C++.net，

電腦作業系統與設備分別為Microsoft Window XP，AMD AthlonXP 2G系統。

在比較所提出的未遮蔽背景區域消除方法與效果時，有兩大主要探討的對 象：第一是經由初始前景/背景建立步驟所得到出來的初始前景/背景分離區域，

而第二則是利用上述步驟所得到的資訊，經由移動物件追蹤所擷取的移動物件平 面(VOP)。我們將針對上述結果作為討論與比較的內容。

(1) Salesman sequence:

首先我們使用”Salesman”影片檔作為測試。在初始前景/背景分離方面，由於 利用改變偵測來累積前景/背景資訊時前景人像不斷地在改變，尤其是在手的移動 部份，因此未遮蔽背景現象就會明顯產生。利用之前所提出的消除方式只能參考 第一次與最後一次改變偵測所分離出的移動物體資訊來消除此區域，當未遮蔽背 景現象發生於其餘改變偵測的過程中時，此種方式將無法完全消除；如Fig.5-1 (a) 在桌面部份所產生的誤判區域。使用我們改進的消除方式可以完全利用到改變偵 測所得到的資訊，也就能順利將此現象消除。

接著是在經過移動物件追蹤步驟之後，所擷取出的VOP結果。由於使用改進 過的演算法可以將較精確的前景/背景區域分離出來，之後將這些資訊帶入到移 動估測步驟之中，則可以成為較好的移動物體追蹤參考資料；因此所擷取出來的 VOP區域精確度會比使用之前的方式要來的更好(如Fig.5-2所示)。

(a) (b)

Fig.5-1 (a)使用先前之演算法所分離出的初始背景影像；

(b)使用改進之演算法所分離出的初始背景影像。

(a) (b) (c)

Fig.5-2 (a) 輸入的#5、#25、#45、和#65 影像；

(b) 使用先前之演算法所擷取出的#5、#25、#45、和#65 移動物件影像；

(c) 使用改進之演算法所擷取出的#5、#25、#45、和#65 移動物件影像。

(2) Weather sequence：

接下來我們使用”Weather”影片檔來作為測試。在初始前景/背景建立過程中，

由於移動物體從左側移動到右側，之後頭與肩膀部份又稍微往左移動，造成所得 到的初始移動物件區域在身體左側與頭部部份有未遮蔽背景現象產生，如Fig.3-3 所示。若使用之前的未遮蔽背景消除方式將只能消除物件左側的未遮蔽背景區 域；反之，若使用改進過的消除方式亦能將物體頭部與肩膀部份的未遮蔽背景區 域消除，因此所建立出來的初始背景資訊將較為精確(如Fig.5-3所示)。接著將所得 到的初始前景/背景區域資訊帶入到移動物件追蹤架構中；由於已建立較精確的區 域資訊，在視訊物件平面(VOP)的擷取效果上也就比使用之前方法要來的準確。

(如Fig.5-4所示)

Fig.5-3 (a)使用先前之演算法所分離出的初始背景影像；

(b)使用改進之演算法所分離出的初始背景影像。

(a) (b) (c)

Fig.5-4 (a) 輸入的#10、#30、#50、和#70 影像；

(b) 使用先前之演算法所擷取出的#10、#30、#50、和#70 移動物件影像；

(c) 使用改進之演算法所擷取出的#10、#30、#50、和#70 移動物件影像。

5-2 提出的 MPEG-4 編/解碼架構

我們將所提出的移動物件分割演算法加入到MPEG-4編/解碼流程中。在編碼 器架構部分，由於只傳送一次背景資訊，如此可以減少重覆的編碼資訊，達到減 少所需壓縮的資料量。在解碼器架構部分，使用背景填補的方式將背景資訊加入 到每張影像之中，使其具有完整的移動物件與背景資訊。之後利用前景優先性與 背景補償等後處理步驟分別解決重疊區域與無資訊區域等現象。

在此有兩個主要部份作為討論與比較的對象：第一部份是我們使用相同的影 片測試檔，分別使用所提出的MPEG-4編/解碼架構與原本的架構對於編碼檔案壓 縮率上的比較。第二部分針對解碼影片畫質作個別的比較與分析。在測試影片的 選擇上，我們使用不同移動程度的移動物體作為測試的對象，藉以了解移動資訊 的多寡對於編碼過的檔案容量所造成的影響；若壓縮之後的檔案大小愈小，代表 壓縮率愈高，反之則代表壓縮率愈低。另外，由於我們的訴求是在編碼影片時只 有第一張影像編碼為I-frame，之後的皆編碼為P-frame；為了符合上述條件，在與 原先的編碼架構比較時，我們先將I-frame interval設定大於此測試影片所包含的 frame總數，藉以在編碼時只有一次I-frame產生。

我 們 所 使 用 的 測 試 影 片 為 YUV 格 式 的 MPEG-4 標 準 測 試 檔 ， 大 小 為 CIF(352x288)與QCIF(176x144)；測試平台為Visual C++.net，電腦作業系統與設 備分別為Microsoft Window XP，AMD AthlonXP 2G系統。

(1) Akiyo sequence：

我們首先從移動物體變動較小的影片開始測試。在”Akiyo”影片測試檔中，

移動物體只有在頭部有稍微變動過，其餘部分幾乎沒有變動。由於此類狀況使用 原本的編碼方式並不需要在P-frame中紀錄大量的可變動資訊，可以很有效地減 少所需的編碼資料量，因此並沒有發揮出我們新編碼架構所擁有的優勢。

在解碼過後的影像畫質方面，經過背景填補步驟後，可以將背景資訊加入到 缺少背景資訊的P-frame影像中。之後再利用前景優先性與背景補償等步驟將重 疊區域與無背景區域等現象給消除。由實驗結果方面，除了在頭部與手軸部份有 少許因背景填補所造成的不明顯接合痕跡之外，其餘填補狀況算是很完整。因此 可知使用上述方式可以準確將完整的解碼影像資訊建立出來(如Fig5-5(b)所示)。

Table5-1 Akiyo sequence壓縮率比較

原來編碼方式 提出的編碼方式

輸入檔案大小

43.5MB

影像大小

CIF(352x288)

Frame 總數

300

壓縮檔案大小

719KB 837KB

壓縮率

61.95

53.21

(a) (b)

Fig.5-5 Akiyo sequence (a)使用原本編/解碼架構所得到的#15、#35、#55、#75 影像輸出；(b)使用提出的編/解碼架構所得到的#15、#35、#55、#75 影 像輸出。

(2) Weather sequence：

接下來在”Weather”影片測試檔中，影片中移動物體大部分都維持在一定的移動 範圍，因此變動的資訊並不大。但在影片最後階段物體由原先所在的位置迅速向 右方影像邊緣移動，此時若使用之前的編碼方式將會造成需要記錄大量的變動資 訊在每個編碼的P-frame中。而我們所使用的編碼方式是將每張移動物體的資訊 都儲存在每張P-frame中，因此物體的移動變化程度對我們的編碼方式影響並不 如以原先編碼方式要來的大。因此在此測試檔中兩者的壓縮率差距減少。

在解碼過後的影像畫質方面，除了在右側肩膀與背景接合部份有稍許的雜訊 產生之外，其餘背景填補部份算是非常完整，與使用原先編/解碼所得到的解碼 影像畫質相較不遠。

Table5-2 Weather sequence壓縮率比較

原來編碼方式 提出的編碼方式

輸入檔案大小

32.9MB

影像大小

320x240

Frame 總數

300

壓縮檔案大小

1.2MB 1.24MB

壓縮率

27.41

26.53

(a) (b)

Fig.5-6 Weather sequence (a)使用原本編/解碼架構所得到的#35、#55、#75、#95 影像輸出；(b)使用提出的編/解碼架構所得到的#35、#55、#75、#95 影像 輸出。

(3) Salesman sequence：

在”Salesman”影片測試當中，雖然移動物體一直位於同一位置，但身體部份 與手部分卻不斷地變動。對於這樣不斷變動的影像，使用原先的編碼架構就必須 隨時紀錄大量的變動資訊在P-frame中，也就造成編碼壓縮過後的檔案大小加 大。因此在此測試結果中，我們所提出的編碼架構其編碼壓縮之後的檔案會比其 要來的小，即壓縮率提高。

在解碼影像畫質方面，由於此測試檔在移動物件擷取演算法中可以很精確地 將移動物體區域與背景區域分離出來，因此在解碼過程中，背景補償與其後處理 可以將背景精確填補到所對應的位置而不會有錯誤的狀況產生。與使用原先解碼 架構所得到的解碼影像並無明顯差別。

Table5-3 Salesman sequence壓縮率比較

原來編碼方式 提出的編碼方式

輸入檔案大小

12MB

影像大小

Q

CIF(176x144)

Frame 總數

331

壓縮檔案大小

543KB 508KB

壓縮率

22.63

24.18

Fig.5-7 Salesman sequence (a)使用原本編/解碼架構所得到的#40、#60、#80、#100 影像輸出；(b)使用提出的編/解碼架構所得到的#40、#60、#80、#100 影 像輸出。

(4) Hall Monitor sequence：

Table5-4 Hall Monitor sequence壓縮率比較

原來編碼方式 提出的編碼方式

Fig.5-8 Hall Monitor sequence (a)使用原本編/解碼架構所得到的#27、#77、#117、

#167 影像輸出；(b)使用提出的編/解碼架構所得到的#27、#77、#117、#167 影像輸出。

第六章 結論與未來展望

在另一方面，我們所提出的MPEG-4編/解碼架構仍有必須要改進的地方。由 於在解碼架構中用來做背景填補的資訊是影片最初所建立的初始不動背景，因此 當影片中背景內容有改變時，填補的背景資訊並不會跟著改變，造成解碼影像在 背景內容改變區域有錯誤產生。為了解決這樣的狀況，我們必須在編/解碼架構 中有另一背景內容更新機制來偵測背景內容的變化並加以更新，以消除所造成的 錯誤現象。

參考文獻

[1] N. Mukawa and H. Kuroda, “Uncovered background prediction in interframe coding,” IEEE Trans. on. Communication, vol. COM-33, pp. 1227–1231, Nov.

1985.

.

[2] Andre’ Kaup and Til Aach, ”Efficient prediction of uncovered background in interframe coding using spatial extraction” Institute for Communication Engineering Aachen University of Technology, 52056 Aachen ,Germany.

[3] R. C. Gonzalez and R E. Woods, ”Digital Image Processing”, Addison-Wesley Publishing Company, 1992.

[4] R. M. Haralick and L.G. Shapiro, ”Survey: Image segmentation techniques”

Comput. Vis. Graph. Image Process, vol. 29, pp. 100-132, 1985.

[5] Y. –L. Chang and X. Li, “Adaptive image region-growing” IEEE Trans. on Image processing, vol.3, pp.868-872,1994.

[6] S. A. Hijjatoleslami and J. Kittler, ”Region growing: A new approach, ” IEEE Trans. on Image Processing, vol.7, pp. 1079-1084,1998.

[7] L. Vincent and P. Soille, ”Watersheds in digital spaces: An efficient algorithm based on immersion simulations” IEEE Trans. on Pattern Anal. Machine Intell, vol.13, pp.583-598, 1991.

[8] J. G. Choi et al, “A vop generation tool: automatic segmentation of moving objects in image sequences based on spatial temporal information,” IEEE Trans.

on circuit and systems for video technology, vol. 9, pp. 1216-1226, 1999.

[9] R. Mech and M. Wollborn, “A noise robust method for 2D shape estimation of moving objects in video sequences considering a moving camera,” Signal Processing, vol. 66, pp. 203–217, 1998.

[10] T. Aach, A. Kaup, and R. Mester, “Statistical model-based change detection in moving video,” Signal Processing, vol. 31, pp. 165–180, 1993.

[11] Robert Thoma and Matthias Bierling. Motion Compensating Interpolation

Considering Covered and Uncovered Background. Signal Processing: Image Communication 1 (1989) 191-212.

[12] A. Neri, S. Colonnese, G. Russo, and P. Talone, “Automatic moving object and background separation,” Signal Processing, vol. 66, pp. 219-232, 1998.

[13] R. Mech and M. Wollborn, “A noise robust method for 2D shape estimation of moving objects in video sequences considering a moving camera,” Signal Processing, vol. 66, pp. 203–217, 1998.

[14] Rosenfeld A., Pfaltz J.L., “Sequential operations in digital processing” in JACM, vol. 13, 1996, pp.471-494.

[15] J. Canny, "computational approach to edge detection,” IEEE Transactions on Pattern Anal. Machine Intell, vol. PAMI-8, pp. 679–698, 1986.

[16] Canny Edge detector： http://www.cee.hw.ac.uk/hipr/html/canny.html

[16] Canny Edge detector： http://www.cee.hw.ac.uk/hipr/html/canny.html

在文檔中 應用於MPEG-4標準協定之高效率視訊物件擷取技術 (頁 41-59)