行政院國家科學委員會補助專題研究計畫期末報告
※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※※ M P E G - 4 多 媒 體 通 訊 技 術 之 研 究 ※
※ 子 計 畫 一 ： M P E G - 4 相 關 之 彩 色 影 像 切 割 技 術 研 究 ※ ※ St u d y of M PEG 4- relat ed Image S egmen t at i on Tech n i q u es ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ ※ 計畫類別：□個別型計畫 □整合型計畫 計畫編號：NSC－91－2219－E－009－042 執行期間：91 年 8 月 1 日至 92 年 7 月 31 日 計畫主持人： 王聖智 執行單位： 國立交通大學電子研究所 中 華 民 國 九十二 年 八 月 三十 日
行政院國家科學委員會專題研究計畫期中報告
計畫名稱：MPEG-4 相關之彩色影像切割技術研究
Study of MPEG4-related Image Segmentation Techniques
計畫編號：NSC-90-2213-E-009-138
執行期限：91 年 8 月 1 日至 92 年 7 月 31 日 主持人：王聖智 (交通大學電子工程系副教授) 計畫參與人員： 陳信嘉、郭倫嘉、李季任、吳忠郼、陳宜妙 (交通大學電子所研究生) 一、中文摘要 在本年度的計畫中，我們針對彩色影像切 割，提出利用局部影像資料機率分佈圖之分析 來偵測均勻區塊邊緣的概念，並依此發展了一 套新的彩色影像切割演算法。整個期末報告包 含三個部分：(1)像素可信任度的估測、(2)像 素相互之間可信任度的測定以及(3)彩色影像 切割的技術。在分析像素可信任度的估測方 面，我們討論了單一像素屬於一個均勻區域的 可信任度。依此進一步討論像素相互之間可信 任度的測定。在影像切割演算法的發展方面， 我們提出了一個完整的切割架構，並且得到理 想的彩色影像切割結果。 關鍵詞：機率統計圖分析、彩色影像切割 AbstractIn this report, we propose a color image segmentation algorithm, in which the histogram of local image data is used to assist the detection of edge features. According to the local histogram, pixels with comparatively low population are detected as edges first. For these pixels with higher population, their connections are verified based on the coherence of their projections over the local histogram. This report contains three major parts: (1) pixel confidence (2) inter-pixel confidence and (3) proposed
segmentation algorithm. In the estimation of pixel confidence, the 1st derivative and 2nd derivative are used to distinguish comparatively low population from high population. To determinate the relationship between any two adjacent pixels, inter-pixel confidence is proposed. Finally, a complete segmentation algorithm is developed and the simulation results demonstrate the superiority of this algorithm in providing accurate and reliable color image segmentation.
Keywords：Histogram Analysis, Color Image
Segmentation 二、計畫緣由與目的： 為了配合多媒體之快速發展，MPEG4 標 準因應而生。在 MPEG4 標準中提供了許多新 的編碼方式，這些編碼方式提供了日後多媒體 應用上的許多方便，但其中一些新的編碼方式 能否付諸實行，仍要仰賴影像切割技術的配 合。本計畫針對影像切割技術進行研究討論。 三、結果與討論 在這份報告中，我們定義了兩種可信任 度： (1)像素的可信任度以及 (2) 像素相互之 間的可信任度。像素的可信任度是在分析每個 像 素屬於 一個色 彩均勻區域的可信任度高 低。另一方面，像素相互之間的可信任度是在
測量兩相鄰像素屬於同一個均勻區域的可信 度高低。 (1) 像素可信任度的估測 圖一(a)是真實自然影像的一部分，影像 的內容包含了一個的均勻背景和三個物件。在 影像中，最大物件的亮度值變動範圍是所有物 件中最大的，而最大的物件和背景的交接處存 在有陡峭的邊界以及平緩的邊界。圖一(b)是 圖一(a)的梯度圖，亮度值較大的位置代表所 得到的梯度值比較大，反之亮度低的位置表示 小的梯度變化。在圖一(b)中，可以清楚地看 出，面積最大的物件和背景交接地方的梯度值 相較於此物件內容中的梯度值並不是全然都 是很明顯而可以容易地用梯度的資訊來分離 物件和背景。這表示直接使用影像的梯度資 訊，很難去得到正確的切割結果。在另一方 面，在圖一(c)中是採用 Canny[1] 運算子所偵 測出來的邊界，很清楚地可以看到，物件和背 景的邊界已經呈現破碎，然而在物件中卻存在 著許多的邊界。這個例子也說明了，直接使用 資料內容的變動在影像切割上可能會有的困 難。 (a) (b) (c) (d) (e) (f) 圖一、 (a) 影像 (b) 影像的梯度大小 (c) Canny 運算子偵測出的邊界 (d) 低可信任度的像素 (e) (a)影像亮度機率分佈圖平滑化的結果 (f) 像素的可信任度 人類的視覺感知似乎是建立在訊號的比 對結果上。因此，在我們所提出的方法中，我 們也試著以資料的比對來定義像素的可信任 度。圖一(e)是圖一(a)的影像資料的亮度機率 統計圖，經由平滑化後結果，而平滑化的過程 是由 Parzen-window 法來實現。這個方法經常 使用在估算一個範圍 的密度分佈情況，而n 平滑化的機率分佈函數在亮度值 x 位置的公 式如下：
n i i h x x h n x p 1 ) ( 1 1 ) ( , xi， i = 1, 2, …, n ，表示在 範圍中，n 個n 像素的亮度值；h 表示平滑化的程度大小；而函數 (.)定義如下： otherwise u u 0 2 / 1 1 ) ( . 在圖一(e)的機率分佈圖中有三個波峰和 兩個波谷，由於圖一(a)中最大的物件和背景 之間長邊界的影響，在分佈函數 p(x) 的波谷 中，x 約為 50 的機率函數值實際上是比 x = 200 時的函數值來的大。因此，平滑化後的機 率分佈圖的數值高低不能直接使用來代表亮 度的可信任度。在我們的方法中，像素可信任 度的定義如下： 假設像素點 Q 的亮度值為 xQ，則像素 Q 的可信任度定義為，Q 點的函數值 p(xQ) 和在 x = xQ 附近的像素點函數值 p(x)比較。根據定 義，在分佈圖中波峰的位置應該有較高的像素 可信任度而波谷的位置應該有較低的像素可 信任度。因此，像素可信任度估測的公式如 下： Q x x pixel dx x p d u dx x p d dx x dp Q C ( ){ ( ) ( ) ( (2 ))} 2 2 2 , u( . ) 的定義如下： otherwise t t u 0 0 1 ) ( . 在機率分佈圖中波谷的地方是一次微分的數 值較小而二次微分的數為一正值的位置。因 此，根據定義可以得低的像素可信任度。圖一 (f)是由圖一(e)機率分佈圖中得到的像素可信 任度結果。 在像素的可信度資訊上，我們設一個門檻 值將像素的可信任度歸類為高可信任度和低 可任度區域。在圖一(f)中，低的像素可信任區 域在藍色的輪廓線底下，而高的像素可信任區 域是在紅色的輪廓線底下。而在圖一(d)中， 落於低像素可信任度區域的像素點以白色的 點來表示而落於高像素可信任度區域的像素 點則以黑色的點來表示。我們可以清楚地看到 三個物件和背景的邊界可以經由像素的可信 任度分析而偵測出來。 (2) 像素相互之間可信任度的測定 在偵測影像中的邊界時，相互之間的可信任度 關係也必須考慮，像素相互之間的可信任度是 用來確認相連的兩像素點是否屬於同一個均 勻區域的可信任度大小。在我們的定義中，只 要沒有違反圖二中的三種情況，像素相互之間 的可信任度均屬於高，反之為低。如在圖二(a) 中，雖然兩個像素的像素可信任度均落於高可 信任度區間，但是它們的亮度值之間存在著低 可信任度區間，當他們相連時會跨過低可信任 度區間，因此它們相互的可信任度為低。而在 圖二(b)(c)中，有一個以上的像素落於低可信 任度區域的情況發生時，則均屬於低的相互可 信任度。 (a) (b) (c) 圖二、 三種低的相互可信任度的情況 (3) 影像切割演算法的設計 圖三是我們提出的影像切割演算法的流 程圖。首先，經由色彩空間的轉換將色彩資訊 轉換到 CIE L*a*b* 的色彩空間中，然後個別 處理(L*,a*,b*)等三個成份。我們將每一個成 份均切成相互重疊且固定大小的數個區域，並 在每個區域內統計處理得到平滑化的機率分 佈圖。接著估測位於區域中心像素點的可信任 度資訊，再測定相互像素的可信任度，然後結 合(L*,a*,b*)三個成份的資訊得到均勻區域的 邊界，最後經由相鄰像素相連的過程而得到最 後的切割結果，如圖四。
Color Space Conversion Color Image (R, G, B) (L*, a*, b*) Pixel Confidence Estimation Inter-Pixel Confidence Testing Connected Component Merging Segmentation Result 圖三、彩色影像切割演算法的流程圖 (a) (b) (c) (d) (e) (f) 圖四. (a)(c)(e) 原測試影像 (b)(d)(f) 影像切割結果，相同色彩表示同一區 塊 四、計畫結果自評 在報告中，我們提出了在局部影像資料的 機率統計分佈圖分析像素的可信任度和相互 像素的可信任度，並用分析的結果來偵測均勻 區塊邊緣的概念，此概念很簡單，在實現上也 不複雜，而藉此觀念發展出來的演算法卻能得 到大幅改善的影像切割結果。 五、參考文獻
[1] J. Canny, “A Computational Approach to Edge Detection,” IEEE Trans. on PAMI, Vol. 8, No. 6, pp. 679-698, Nov. 1986. [2] M. A. Ruzon and C. Tomasi, “Color Edge Detection with the Compass Operator,” Proc. of IEEE Conf. on CVPR, Vol. 2, pp. 160-166, June 1999.
[3] W. Y. Ma and B. S. Manjunath, “Edge Flow: A Technique for Boundary Detection and Image Segmentation,” IEEE Trans. on Image Processing, Vol. 9, No.8, pp. 1375-1388, Aug. 2000. [4] L. Shafarenko, M. Petrou, and J. Kittler, “Histogram-Based Segmentation in A Perceptually Uniform Color Space”, IEEE Trans. on Image Processing, Vol. 7, No. 9, pp. 1354-1358, Sep. 1998.
[5] C. Carson, S. Belongie, H. Greenspan, and J. Malik,
“Blobworld Image Segmentation Using
Expectation-Maximization and Its Application to Image Querying,” IEEE Trans. on PAMI, Vol. 24, No. 8, pp. 1026-1038, Aug. 2002.
[6] D. Comaniciu and P. Meer, “Mean Shift: A Robust Approach toward Feature Space Analysis,” IEEE Trans. on PAMI, Vol. 24, No. 5, pp. 603-619, May 2002.
[7] H. D Cheng and Y. Sun, “A Hierarchical Approach to Color Image Segmentation Using Homogeneity,” IEEE Trans. on Image Processing, Vol. 9, No. 12, pp. 2071-2082, Dec. 2000.
