植基於多維色彩質心空間特徵之影像檢索系統

全文

(1)植基於多維色彩質心空間特徵之影像檢索系統 Image Retrieval Systems based on Multidimensional Color-Mass-Center Spatial Feature 孫振東. 吳怡憬. 中國文化大學資訊科學學系. 中國文化大學資訊科學學系. jdsun@faculty.pccu.edu.tw. s8924474@ms6.pccu.edu.tw results show that the recognition ability is insensitive to. 摘要本論文提出一個基於影像向量量化(VQ)指標與多維色彩質心空間位置的影像檢索系統，VQ 是將原影像色彩長方圖再量化成低解析度，資料庫內影像根據 VQ 編碼指標分成多個群組，本系統利用四個色彩質心的相對位置來描述一個影像的色彩空間分布特徵，一個像素的質量即是它的色彩灰階，我們將一個影像分成四個象限，每個象限有一個色彩質心，利用四個色彩質心彼此之間的歐基里得距離作為搜尋影像的索引，實驗結果顯示此方法的影像辨識能力受影像的平移、翻轉、旋轉、及縮放等變化的影響不明顯。關鍵詞：影像檢索、向量量化、植基於色彩的影像檢索、色彩長方圖、色彩質心. Abstract This paper proposed an image retrieval system based on the VQ (vector quantization) index and spatial locations of color-mass-center in images. VQ is used to construct a lower-resolution version of the original color histograms of images. The images in the database are divided into clusters based on VQ code index. This system describes the color-spatial feature of an image using the relative location of four color-mass-centers. The color-mass of a pixel is defined by the gray level of the pixel. We divide an image into four quadrants. Each quadrant has a color-mass-center. The Euclidean distances between each pair of four color-mass-centers are the indexing key to search the image. Experimental. the shift, rotation, and scale variants of images.. Key words: image retrieval, VQ, color-based image retrieval, color histogram, color mass center. 一、前言隨著數位影像技術的進步，數位相機、掃描器等影像捕捉系統已是價廉物美而唾手可得，再加上網際網路的普及，對於資訊的多媒體展現已是基本需求，畢竟，視覺化的表現方式對人類來說遠比文字描述要來的易於接受，而數位影像在多媒體資料裡數量龐大佔了舉足輕重的地位，如何將這些數位影像有效率的管理與快速的存取成為很重要的課題，目前數位影像檢索系統是重要研究項目之一。影像檢索系統可應用於各種不同的領域，例如用於醫療方面：可將病人之Ｘ光或超聲波相片以數位影像存檔，除可減少儲存空間，遇到診斷或教學需要時可透過網路快速調出；用於商標圖像方面：可在短時間內由商標資料庫查詢新式商標是否與已註冊商標雷同；其他諸如地球科學衛星照片、指紋圖庫、及人像圖庫等龐大資料的搜尋，皆可透過影像檢索系統的搜尋功能取代耗時的傳統人力查詢。早期所發展的影像檢索系統，大多以文字特徵（textual features）來搜尋影像資訊，例如使用影像的標題、檔名、或關鍵字來描述影像的內容，再將這些文字特徵當作索引，和圖像一起儲存到資料庫以便往後查詢。因為必須以人工方式為資料庫裡的每張圖像標示關鍵字，以每個資料庫動輒數萬張的圖檔來看，這種方法是非常的耗費人力與時間，另外受人類主觀認知的影響，不同的人對於同一張影像的內容會有不同的描述，而且同一張影像中物體的大小、顏色、形狀、以及物體與物體之間.

(2) 的關係皆須以文字描述，使用關鍵字的方法將愈形複雜與不適宜。目前的影像檢索系統均朝向以影像內容為基礎(content-based)的檢索技術發展，亦即抽取能夠代表影像內容的特徵來作索引的條件[1][2]，這些特徵包括：影像色彩（color）、物件的細部紋路結構（texture）、物件的形狀（shape）、以及物件間的空間關係（spatial relationship）。另為解決龐大影像資料在儲存與傳輸上的空間與時間問題，資料壓縮技術被廣泛應用，一般分成在空間域 (Spatial domain)或轉換域(Transform domain)來處理，例如空間域的向量量化(VQ; Vector Quantization)[3]與碎形(Fractals)技術[4]，轉換域的離散餘弦轉換 (DCT; Discrete Cosine Transform)[5]與小波轉換 (DWT; Discrete Wavelete Transform)[6]，影像檢索系統亦朝向以該領域獲得之參數特徵來作索引的條件[7][8]，這些方法皆需有大量的計算。本論文提出一個基於影像向量量化(VQ)指標與多維色彩質心空間位置的影像檢索系統，VQ 是將原影像色彩長方圖再量化成低解析度，資料庫內影像根據 VQ 編碼指標分成多個群組，本系統利用四個色彩質心的相對位置來描述一個影像的色彩空間分布特徵，一個像素的質量即是它的色彩灰階，我們將一個影像分成四個象限，每個象限有一個色彩質心，利用四個色彩質心彼此之間的歐基里得距離作為搜尋影像的索引，實驗結果顯示此方法的影像辨識能力受影像的平移、翻轉、旋轉、及縮放等變化的影響不明顯。. 二、理論分析所有的顏色都是由紅(R)、綠(G)、藍(B)這三種原色依比例混合而成的，而大多數影像的色彩分布特徵則是使用色彩長方圖(color histogram)來描述：. 由於整體色彩特徵描述只能統計全圖的色彩數量，無法明確的表示各種顏色的空間分布，文獻 [9][10][11]建議將圖分割成不重疊的區塊來做色彩特徵描述，將色彩與空間資訊結合，如此可以提高影像鑑別的精確度，根據色彩特徵進行相似度量測的方法有多種[12][13][14]，做法簡單而有效率的主要有兩種：. (1) Histogram Intersection L −1. D1 = (q, t ) = ∑ | hq (l ) − ht (l ) | l =0. (3). hq 及 ht 分別是查詢影像與目標影像的色彩長方圖，當運算總合愈小的時候，就愈符合所要尋找的目標。這樣的做法較為簡單，但是遇到顏色相近的圖像的時候，便會發生錯誤的搜尋。. (2) Histogram Euclidean Distance L −1. D2 (q, t ) = ∑ [hq (l ) − ht (l )]2 l =0. (4). D2 其實是 D1 的二次方，總合仍然是越低越接近原圖，但當查詢影像與目標影像的色彩長方圖落差不大的時候，二次方會將其落差明顯的表示出來，增加了搜尋的精確性。由於空間域色彩長方圖檢索方法做法簡單而有效率，因此，本論文提出一影像檢索系統，以顏色為特徵值的直方圖來描述影像，並藉著影像中的顏色空間分佈的狀況來找到最相似的圖。圖 1 是影像檢索系統架構圖. 影像輸入 W −1 H −1. 抽取特徵. hc [l ] = ∑ ∑ δ ( I q (i, j ), y l ), (l = 0, K , L − 1) i =0 j =0. (1). W 和 H 為圖的長和寬，δ(., .)是 delta function，我們將所有色彩向量量化成 L 個色彩(亦即長方圖 bin 的個數)， yl 則是第 l 個向量量化的色彩，yq(i, j)是在位置(i, j)的像素經量化的色彩，hc[l]即是影像中色彩可量化成 yl 的像素總數量。為考量不同大小影像的比較，將長方圖正規化： h. c. h. =. 1/ 2. ⎛ 2⎞ ⎜⎜ ∑ hc [l ] ⎟⎟ ⎠ ⎝ l =0 L −1. (2). 影像資料庫. 影像資料庫建立輸出影像. 查詢影像抽取特徵. 特徵向量比對. 影像檢索. 圖 1、系統架構圖影像檢索系統包含影像資料建立與影像檢索兩個部分。影像資料建立部分在於擷取出每的一個影像資料的特徵，並將其儲存於資料庫之中，當作影像查詢系統之索引。影像檢索部分則是當使用者輸入一欲檢索之影像，並且抽取該影像之特徵，同時與.

(3) 影像資料庫所儲存之影像特徵做比對後，輸出特徵值最相像的影像並傳回給使用者。本論文所提出的影像檢索架構分為兩個部分：第一個部分為影像資料建立部分，第二部分是資料檢索部分。. (1) 影像資料建立部分. x = b i. ∑m x ∑m. x , y∈Qi. x , y∈Qi. b xy. b xy. , y = b i. d34. (Center of color mass)，首先是建立碼簿 CB，碼簿. d13 d23. d14. 方圖，其可以代表所有的長方圖，每個碼字長度. (7). , i = 1,2,3,4. Q3. d24. CB 內含 K 個碼字(Code words)，亦即找出 K 個長. b xy. W Q4. (Codebook)、編碼指標(Code index)、及色彩質心. b xy. x , y∈Qi. y. 除影像資料本身外，我們需要建立碼簿. ∑m y ∑m. x , y∈Qi. H. (Code length)為 L，L 即是色彩長方圖的 Bin 個數， L 愈大則其色彩長方圖每一 Bin 所代表之顏色範圍. d12. 愈小，建立碼簿的方法是利用圖庫訓練而得，首先. Q2. Q1. 從圖庫中挑出若干代表性的圖片或全部，計算出它. x. 們的長方圖，以這些長方圖為樣本空間，再根據. 圖 2、質心與距離. LBG (Linde - Buzo - Gray)演算法來產生向量量化 (VQ)編碼碼簿[15]，碼簿的重要參數有碼簿大小 (Codebook size)及碼字長度(Codeword length)，每. 再求各質心間之距離，並予正規化，W 與 H 分別. 一碼字予以編號，稱之為編碼指標 k，我們將圖庫. 是圖的寬與高，正規化之目的是避免因影像大小所. 內每一張影像之長方圖與碼簿內各碼字做距離計. 造成的差異性，. 算，以最小距離之碼字編碼指標儲存於資料庫，在計算色彩質心方面，我們以一般物理求質心原理為之，僅將質量以灰階值取代，首先將圖片平均分成四個大區塊(四個象限，Q1、Q2、Q3、Q4)如圖 2 所. d ijr = ( xir − x rj ) 2 + ( yir − y rj ) 2 / W 2 + H 2 , i < j , i, j = 1,2,3,4. (8). 示，各區塊分別以 R、G、B 三種顏色為色彩物質，求其四個質心，在位置(x, y)的像素的色彩質量(亦 d ijg = ( x ig − x gj ) 2 + ( y ig − y gj ) 2 / W 2 + H 2 ,. r b 即 RGB 三灰階)為 (m xy , m xyg , m xy ). x = r i. ∑m. x , y∈Qi. r xy. ∑m. x , y∈Qi. x. r xy. , y = r i. ∑m. x , y∈Qi. r xy. ∑m. x , y∈Qi. i < j , i, j = 1,2,3,4. y. r xy. , i = 1,2,3,4. (5) d ijb = ( x ib − x bj ) 2 + ( y ib − y bj ) 2 / W 2 + H 2 , i < j , i, j = 1,2,3,4. x = g i. ∑m x ∑m. x , y∈Qi. x , y∈Qi. g xy. g xy. , y = g i. ∑m y ∑m. x , y∈Qi. x , y∈Qi. (9). g xy. g xy. , i = 1,2,3,4. (6). (10). 因此，每一張影像存於資料庫的特徵值為. r r (k , d 12r , d 13r , d 14r , d 23 , d 24 , d 34r ,. d 12g , d 13g , d 14g , d 23g , d 24g , d 34g , b 12. b 13. b 14. d ,d ,d ,d. b 23. ,d. b 24. b 34. ,d ). (11).

(4) 以 100×100 之黑白圖為例(如圖 3 所示)，四個質心. 查詢影像特徵向量：. 分別在座標(17, 20)、(65, 33)、(57, 88)、及(33, 64)，而彼此間正規化距離 d12 = 0.351、d13 = 0.557、d14 = 0.331、d23 = 0.393、d24 = 0.315、及 d34 = 0.240。. rq rq (k , d 12rq , d 13rq , d 14rq , d 23 , d 24 , d 34rq ,. d 12gq , d 13gq , d 14gq , d 23gq , d 24gq , d 34gq , bq 12. bq 13. bq 14. bq 23. d ,d ,d ,d ,d. bq 24. (13). bq 34. ,d ). 相似度(Euclidean Distance)： ⎡ 1 ⎢ D= (d ijrq − d ijrt ) 2 + ∑ ⎢ 18 ⎢⎣i , j =i1<, 2j,3, 4. y. ∑ (d. (57, 88). i< j i , j =1, 2 , 3, 4. 0.240 (33, 64). gq ij. − d ijgt ) 2 +. ∑ (d. i< j i , j =1, 2 , 3, 4. bq ij. ⎤ bt 2 ⎥ − d ij ) ⎥ ⎥⎦. 1/ 2. (14). 0.393. 三、實驗結果 0.331. 0.557. (17, 20). 0.315 (65, 33). 0.351. x. 圖 3、質心與距離實例 (2) 資料檢索部分當使用者提出查詢影像要求時，此一查詢影像經由資料庫建立時相同的前處理程序抽取出特徵後，在與影像資料庫中的特徵向量進行比對，我們. 我們可依需要建立不同種類的碼簿，本研究建立了三個碼簿，碼簿 CB1 之參數為：L1=1024 與 K1=256，碼簿 CB2 之參數為：L2=512 與 K2=256，碼簿 CB3 的參數為：L3=256 與 K3=256，碼簿愈大表示圖庫內依顏色特徵被分的群組數愈多，搜尋所需時間較少，碼字長度愈長表示顏色被分的愈多，搜尋結果較精確，我們選用 1000 張測試圖(圖庫來源 http://wang.ist.psu.edu/~jwang/test1.zip)，訓練出上述三種碼簿，無論根據何種碼簿，圖 4 之待查詢影像，經二階段檢索結果輸出最相似的前 20 張影像，如圖 5 所示，. 經由兩階段比對，首先比對指標 k，找出資料庫中具相同 k 值的群組，再計算該群組中的每一影像質心距離向量與查詢影像質心距離向量的距離 (Euclidean Distance)D，得到距離最小的一組排序的影像會被輸出到使用者介面。. 目標影像特徵向量：. 圖 4：查詢影像. rt rt (k , d 12rt , d 13rt , d 14rt , d 23 , d 24 , d 34rt ,. d 12gt , d 13gt , d 14gt , d 23gt , d 24gt , d 34gt , d. bt 12. ,d. bt 13. ,d. bt 14. ,d. bt 23. ,d. bt 24. bt 34. ,d ). (12).

(5) 庫部分影像作比對，顯然較為有效率。. 五、參考文獻 [1] T. S. Hung and Y. Rui, “Image retrieval: Past, present, and future,” Proc. Of Int. Symposium on Multimedia Information Processing, Dec. 1997. [2] V. Castelli and L. Bergman, IMAGE DATABASES: Search and Retrieval of Digital Imagery, John Wiley & Sons, Inc., 2002. [3] F. Idris and S. Panchanathan, “Image indexing using vector quantization,” Proc. SPIE: Storage & Retrieval for image and Databases III, 2420, 373-380, 1995.. 圖 5：最相似的前 20 張影像. [4] M.F. Barnsley and L.P. Hurd, Fractal Image Compression, AK Peters Ltd., Wellesley, Mass.,. 表 1 列出此 20 張影像與查詢影像之相似度。我們將(11)式之各質心距離重新組合，可以檢索到查詢影像旋轉 90 度、180 度、及 270 度的影像，或上下顛倒及左右翻轉的影像。. 1993. [5] K.R. Rao and Y. Yip, Discrete Cosine Transforms – Algorithms, Advantages, Applications, Academic Press, New York, 1990.. 表 1：對應各輸出圖之相似度 0 0.05 0.07 0.07 0.08 0.08 0.08 0.08 0.10 0.10 0.10 0.12 0.12 0.13 0.13 0.13 0.13 0.13 0.14 0.14. [6] M. Antonini et al., “Image coding using wavelete transform,” IEEE Trans. Image Precess. Vol.1(2), 205-220, 1992. [7] F. Idris and S. Panchanathan, “Image indexing using wavelete vector quantization,” Proc. SPIE: Digital Image Storage Archiving Systems, 2606,. 四、討論. 369-275, 1995. [8] M.Shneier and M.A. Mottaleb, “Exploiting the. 本系統採兩階段檢索，第一階段先用 VQ 技術. JPEG compression scheme for image retrieval,”. 將資料庫中差異度較大的影像先排除，因此，與比. IEEE Trans. Pattern Anal. Machine. Intell. 18(8),. 對資料庫內所有影像之傳統方法相較，可以節省大. 849-853, 1996.. 量時間，第二階段再利用色彩質心的幾何相對位置. [9] M. Stricker and A. Dimai, Color indexing with. 作剩下的影像比對，由於是質心的幾何相對位置，. weak spatial contrains, in Symposium on. 因此，可以克服影像的平移、翻轉、和旋轉，而正. electronic imaging: Science and Technology –. 規化的距離則可以克服影像的縮放，經實驗證明本論文所提影像檢索方法可行而有效率，另參考文獻 [7](Idris, 1995)所提出的以 VQ 方式先將影像壓縮後，再以編碼指標為長方圖的 BIN，將影像內相同編碼指標的區塊數作為 BIN 的高度，此方法須對圖庫內所有影像作比對，而本論文所提方法僅對圖. Storage & Retrieval for image and Databases IV, Proc. SPIE 2670 IS&T/SPIE, 1996. [10]W. Hsu, T.S. Chua, and H.K. Pung, “An integrated color-spatial approach to content-based image retrieval, Proc. ACM Intern. Conf. Multimedia (ACMMM), 1995. [11]C.E. Jacobs, A. Finkelstein, and D.H. Salesin,.

(6) “Fast multiresolution image querying,” ACM SIGGRAPH, Computer Graphics Proceedings, Annual Conference Series, Los Angles, CA, pp. 277-286, 1995. [12]M.J. Swain and D.H. Ballard, “Color indexing, Int. J. Comput. Vis., 1991. [13]W. Niblack, et al., “The QBIC project: Querying image by content using color, texture, and shape,” Storage and Retrieval for Image and Image and Video Databases, SPIE, 1993. [14]J.R. Smith, “Query vector projection access method,” IS&T/SPIE Symposium on Electronic Imaging: Science and Technology-Storage &Retrieval for Image and Video Databases VII, San Jose, Calif., January 1999. [15]Y. Linde, A. Buzo, and R. Gray, “An algorithm for vector quantizer design,” IEEE Trans. Commu., Com-28(1), 84-95, 1980..

(7)