1
以強度對分佈為基礎的自動化影像對比增強
Automation of Image Contrast Enhancement Based on
Intensity-pair Distribution
戴顯權 張蓺英 王乃慶
國立成功大學電機工程所 國立成功大學電通所
[email protected] [email protected] [email protected]
摘要
強度對分佈(intensity-pair distribution) 是近年來針對影像對比增強的新研究方 法。它除了能有效地增強對比之外，亦能 使得對比增強後雜訊不至於被放大。在此 演算法中留有相當多可提供使用者自行調 整的參數。而在適當的參數設定下，強度 對分佈演算法確實有著令人激賞的表現。 但是目前此種演算法中，並無有效選擇參 數的方法。本文提出了一有效的準則來選 擇參數，使得此演算法的效果能夠有效地 發揮，並且透過疊代的方式，使得參數選 擇具有自動化的能力。 關鍵詞：強度對分佈、對比增強、自 動化對比增強Abstract
Intensity-pair distribution was recently proposed to enhance the contrast of an image without noise amplification. There are several parameters left in that algorithm. With proper parameter combinations, the algorithm performs very well, but there is no effective method of parameter selection mentioned. In this paper, we proposed an effective criterion to decide proper parameters to maximize its performance. Automation of parameter selection can easily be done by iteratively using proposed algorithm.
Keywords: intensity-pair, contrast enhancement, automation of contrast enhancement
一、前言
現今數位相機已成為最受歡迎的消費 性電子產品之一。藉由它人們可以很方便 地拍攝各式各樣的影像，也因此提高了人 們對於影像品質的要求。一張影像的品質 基本由對比、亮度、細節、色彩、光澤、 光滑度…等因素決定。對比是其中非常重 要的一個因素。因為對比與其它影響影像 品質的因素息息相關。要有良好的對比意 謂著亮度適中、細節清晰、色彩自然…等 因素的配合。但是事實上，在日常生活中 有許多狀況會造成拍攝的影像對比不佳， 例如在光線不足的地方拍攝，或是面向光 源拍攝…等。因為如此，對比增強成為影 像處理中非常重要的一個部份，並已被廣 泛地應用與研究 [1-4] 。 在本論文中，將擴展在對比增強領域 中新的研究成果，如T.-C. Jen [5]等所提出 的對比增強方法，我們引進了自動化的對 比增強。本文的架構如下：第二節回顧相 關研究領域的重要方法，第三節介紹T.-C. Jen 提 出 的 強 度 對 分 佈 (intensity-pair distribution)演算法。第四節詳述我們所提 出的演算法，第五節則為實作結果討論， 第六節為總結本文並提出未來之研究方 向。2
二、相關工作
目前已有多種包括對影像原有灰階做 線性或非線性的轉換函數被提出。其中最 出 名 的 方 法 之 一 就 是 直 方 圖 等 化 (histogram equalization)[6-10]。它利用影像 中像素的強度分布，計算出轉換的函數。 再利用此轉換函數將影像中像素的強度做 重新分布。儘管直方圖等化在計算轉換函 數時有著低複雜度的優點，但是同時也存 在著一些缺點。因為直方圖等化利用的是 全域性的資訊，因此在處理之後，影像中 某些區域的對比度可能反而會減低，而有 些區域卻可能發生增強過度的現象。使得 處理過後的影像看起來不自然。 為了消除直方圖等化的缺點，[9,11] 提 出 了 雙 直 方 圖 等 化 (bi-histogram equalization)的方法。此方法將影像的強度 直方圖分為兩個部份。分隔點就是影像的 強度平均，而分開的兩個部份再分別使用 直方圖等化的方法做轉換。如此一來影像 的強度平均就會被保留下來，而減少了過 度增強的問題。但是影像處理過後的不自 然性仍然是雙直方圖等化的一個問題。 在[12]與[13,14]中提出使用適應性直 方圖等化(adaptive histogram equalization) 的對比增強方式。類似的方法也出現在 [10]，此方法也稱為區域直方圖等化(local histogram equalization)。它們利用重疊的遮 罩來取得區域的影像資訊。亦即對每個遮 罩下的影像用直方圖等化做對比增強。這 樣就可以解決直方圖等化只採用全域資訊 的缺點。而為了使處理後的影像看起來自 然，原本的影像也被加進處理過後的影 像。此方法解決了許多直方圖等化的問 題，但是卻也產生了極高的計算複雜度。 還有許多像是基於非線性濾波[15]、 最小平方[16]、梯度[17]、curvlet[18]、小 波[19]的對比增強方法…等等。三、強度對分佈
在本節中將為基於強度對分佈的對比 增強法做簡介。以下為[5]的演算步驟。假 定 i(x,y)為影像中位於(x,y)的像素強度。 步驟1： 掃描給定影像中的每個像素，並計算目前 像素強度 i(x,y)與鄰近 4 個像素 i(x-1,y),i(x-1,y-1), i(x,y-1), i(x+1,y-1)強度的差 d1, d2,
d3, d4。 步驟2： 計算增強力(expansion forces)與反增強力 (anti-expansion forces)。增強力 Fe與反增 強力 Fa均為有256 個元素的向量，其中每 個元素的初始值均為零。對每個像素的差 值 di建立有256 個元素的向量 v。在 vi i中， di 所對應的兩個像素強度指向的元素之間 的值設為1，其餘元素的值則設為 0。舉例 說明：v1[i(x,y)]至 v1[i(x-1,y)]的值為 1，其 餘為0。 e[ ] e[ ] i[ ] F k =F k +v k 若 di ≥ th, i = 1,2,3,4 k = 0,…,255 a[ ] a[ ] i[ ] F k =F k +v k 若 di ≤ th, i = 1,2,3,4 k = 0,…,255 步驟3：
計算淨增強力(net expansion forces) Fn。
n[ ] a[ ] a[ ] F k =F k + ×g F k , k = 0,…,255 其中 g(一般 g=0.1)為控制反增強力大小的 參數。 步驟4： 為了防止淨增強力過大，再對淨增強力做 量轉換(magnitude mapping)。 ' n[ ] ( [ ])n F k =M F k 其中 M(x) = 0 1 M x ,M0為 控制量轉換的參數。 步驟5： 算出F k 的累積和 Fn'[ ] c，並經過正規化之
3 後得到增強函數 f。 步驟6： 得到最後的轉換函數 m。 [ ] (1 ) [ ] m k = − × + ×a k a f k 其中 a 為控制 對比增強強度的參數。
四、演算法
於上節中，不難發現[5]的演算法中有 許多可供調整的參數。根據不同的參數組 合會有不同的對比增強度。由實驗中我們 發現，不適當的參數組合會造成對比增強 的不平均。亦即在處理後的影像中，某部 份對比大量增強，而某些部份則幾乎沒有 增強。如此一來就會造成處理後的影像和 原影像會帶來不同的視覺感覺。除此之 外，利用直方圖轉換方式的對比增強，若 對比增強過度集中於某些部份的話，將容 易使得其它部份的對比被壓縮，產生這些 部份對比度減小，影像細節消失的情形。 於此同時我們亦發現在提供相同對比 增強度的狀況下，不同的參數組合所產生 的對比增強均勻度也不同。因此我們提出 一個準則，透過這個準則選出適當的參數 組合，使得每個像素上的對比增強是均勻 地 並 符 合 人 類 視 覺 系 統(human visual system)地增強。 首先我們定義出每個像素的對比度。 有許多論文[20-23]專門討論對比度的求 法，並做出不同的定義。但是許多方法過 於複雜並有針對性，因此在不失一般性的 狀況下，本演算法將採用Weber 定律。根 據 Weber 定律，我們得知對比度 C 為 L C L Δ = 。其中ΔL 是此像素與周邊像素的 明視度(luminance)差，而 L 則是此像素本 身之明視度。因此我們將單一像素的對比 度將定義為，其與上、下、左、右像素亮 度強度差值的平均再除以此像素本身之亮 度強度。 | 4 ( , ) ( 1, ) ( 1, ) ( , 1) ( , 1) | ( , ) 4 i x y i x y i x y i x y i x y C x y = − − − + − − − + (1) 其中 C(x,y)為原影像在(x,y)的對比度，i(x,y) 則是影像在(x,y)處的亮度強度。 有了對比度之後，本演算法還需要定 義對比增強度。為了符合人類視覺系統， 我們再次使用Weber 定律，將對比增強度 Ck定義為處理前影像對比 C 與處理後影像 對比 C’的差值再除以處理前影像之對比 C。 k ( , ) '( , ) ( , ) ( , ) ( , ) ( , ) C x y C x y C x y C x y C x y C x y Δ − = = (2) 其中 C(x,y)為原影像在(x,y)的對比度， C’(x,y)為處理後影像在(x,y)的對比度，而 Ck (x,y)則是在(x,y)處的對比增強度。 由對比增強度的說明可以得到以下結 論。如果每個像素的對比增強度都一樣的 話，表示每個像素對比增強的強度對於視 覺上的強度是相同的。如果每個像素的對 比增強度差異很大的話，則表示對比增強 在視覺上的效果差異很大。除此之外， Ck(x,y)值也有可能為負，這表示在(x,y)位 置的像素在經過轉換後，對比度反而下 降。考慮 Weber 定律的值域，Ck(x,y)有可 能為無窮大，亦即發生在 C(x,y)等於零。 在我們的演算法中將會忽略這些像素，因 為 C(x,y)等於零表示此處為平滑地區，不 需要做對比增強，因此也就不列入計算對 比增強度的樣本。 為了檢驗每個像素間對比增強度的差 異性，在本演算法中採用了統計學上常用 的方法—標準差。首先將每個像素的對比 增強度都視為統計樣本，並算出整體的標 準差 S。若標準差大者則表示對比增強度 差異量較大，亦即分佈較不均勻。因此在 不同參數組合下，我們只要選出標標準差 較小的組合，也就相當於找出對比增強度4 較為平均的參數組合。 一般來說，對比增強得愈小，則對比 增強度的差異也愈小。當完全不做對比增 強時，則處理前與處理後影像的對比度相 同，對比增強度則均為零。但是如此一來 便失去了對比增強的目的。所以我們會預 先給定一個平均對比增強度。在此條件下 找出標準差最小的影像。舉例說明，若一 開始的平均對比度為 1，設定平均對比增 強度為50%，亦即最後後的平均對比度為 1.5。只有在符合此條件的參數組合我們才 做判斷。 演算法總結 步驟1： 利用(1)算出 C(x,y) 步驟2： 使用強度對分佈的演算法對影像 做對比增強。 步驟3： 利用(1)算出 C’(x,y)與利用(2)求 出 Ck (x,y) 步驟4： 算出 Ck (x,y)的標準差並記錄之 步驟5： 若還有尚未測試之參數組合，則 重覆步驟 2-5，若所有參數組合 測試完畢，則輸出有最小標準差 的對比增強圖。
五、實驗結果與討論
在本實驗中第一組影像(圖 1 與圖 2) 設定的平均對比增強度為42.5±2.5%。亦 即我們希望在平均對比增強42.5±2.5%的 狀況下，找出較適當的參數。圖2-(a)使用 g=0.1, M0=0.4, a=0.4 這個參數組合對圖 1 做對比增強，其平均對比增強度為 44.5%，經計算後得 S 為 0.487。圖 2-(b) 則是使用本演算法推薦的參數組合 g=0.1, M0=1.8, a=0.6 對圖 1 做對比增強，其平均 對比增強度為42%，經計算後得 S 為 0.172。 圖2-(c)為圖 2-(a)的對比增強度分佈 圖，圖2-(d)為圖 2-(b)的對比增強度分佈 圖。由於算出來的對比增強度有可能為負 數，為了方便結果的觀察，會將對比增強 度做平移與正規化。對比增強度一般不會 太大，因此將兩分佈圖的亮度強度均提高 50 以利觀察。 觀察圖2-(a)與圖 2-(b)中圈選的部 份。在圖2-(a)中被圈選的地方細節部份不 易察覺，而在亮度強度差方面也明顯看到 對比度減小。在圖2-(b)中被圈選的地方細 節部份被增強，在亮度強度差方面也增強 不少。 觀察圖2-(c)與圖 2-(d)。在圖 2-(c)中 可以發現邊緣過度明顯，表示對比增強過 度集中於這些地方。相比較圖2-(a)中圈選 的地方與圖2-(c)相對應的區域，不難發現 圖2-(a)中細節被掩蓋的部份，對應至圖 2-(c)中正是幾乎沒有被增強的區域(即帽 子陰影部份)。而在圖 2-(d)中只有不太明 顯的邊緣，表示對比增強相當均勻。 總結實驗結果與分析，我們所提出的 演算法，和實驗結果與推測相當吻合，並 且確實能夠為強度對分佈演算法找出適當 的參數組合。 圖 1：Lenna 原影像5 (a) (b) (c) (d) 圖 2：(a)使用參數組 g=0.1, M0=0.4, a=0.4 (S=0.487) (b)使用推薦的參數組 g=0.1, M0=1.8, a=0.6(S=0.172) (c)為圖(a)的對比增強度分佈(亮度提高 50) (d)為圖(b)的對比增強度分佈 (亮度提高 50)
6 (a) (b) (c) (d) 圖 3：(a)使用參數組 g=0.1, M0=0.8, a=0.75 (S=0.647) (b)使用推薦的參數組 g=0.1, M0=1.4, a=0.95(S=0.483) (c)為圖(a)之對比增強度分佈(亮度提高 50) (d)為圖 b 之對比增強度分佈 (亮度提高 50) 在本實驗中第二組影像(圖 3 與圖 4) 設定的平均對比增強度為97.5±2.5%。亦 即我們希望在平均對比增強97.5±2.5% 的狀況下，找出較適當的參數。圖3-(a) 使用 g=0.1, M0=0.8, a=0.75 這個參數組合 對圖4 做對比增強，其平均對比增強度 為100%，經計算後得 S 為 0.647。圖 3-(b) 則是使用本演算法推薦的參數組合 g=0.1, M0=1.4, a=0.95 對圖 4 做對比增 強，其平均對比增強度為98%，經計算
7 後得 S 為 0.483。 圖 4：Baboon 原影像 圖3-(c)為圖 3-(a)的對比增強度分佈 圖，圖3-(d)為圖 3-(b)的對比增強度分佈 圖。由於算出來的對比增強度有可能為 負數，為了方便結果的觀察，會將對比 增強度做平移與正規化。對比增強度一 般不會太大，因此將兩分佈圖的亮度強 度均提高50 以利觀察。 觀察圖3-(a)與圖 3-(b)中圈選的部 份。在圖3-(a)中被圈選的地方細節部份 不易察覺，而在亮度強度差方面也明顯 看到對比度減小。除此之外，在中間圈 選的部份與圖4 做比較，可以看到圖 3-(a) 在這部份已經產生過度增強，使得表面 失去了原有的光滑與光澤度。主要的原 因如同前文所述，過度增強直方圖中的 某些部份，使得其它部份受到擠壓而減 少對比度。在圖3-(b)中被圈選的地方細 節部份被增強，在亮度強度差方面也增 強不少。而相較圖4 亦可發現，圖 3-(b) 不但增強了對比度，而且還良好地保存 了光滑與光澤度。 觀察圖3-(c)與圖 3-(d)。在圖 3-(c) 中可以發現邊緣過度明顯，表示對比增 強過度集中於這些地方。相比較圖3-(a) 中圈選的地方與圖3-(c)相對應的區域， 不難發現圖3-(a)中過度增強與細節被掩 蓋的部份，對應至圖3-(c)中正是增強過 度集中於邊緣的區域。而在圖3-(d)中雖 然增強也較集中於邊緣，但是相較圖3-(c) 而言則較為分散，表示相對而言對比增 強較為均勻。相較圖2-(d)與圖 3-(d)，在 圖3-(d)中的對比增強更集中於邊緣，這 除了因為使用的影像不同之外，最主要 的原因也和所要求的平均對比增強度不 同。在第二組實驗中要求的平均對比增 強度幾乎是第一組的二倍。因此圖3-(d) 的增強集中邊緣是可以被理解的。 總結實驗結果與分析，我們所提出 的演算法所做的推測和實驗結果相當吻 合。在最後的結果中，亦看到在本演算 法提供的參數組合下，用強度對分佈所 做的對比增強確實得到了令人相當滿意 的增強結果。
六、結論與未來研究方向
本文中，我們自動化了強度對分佈 對比增強演算法。使得此新提出的演算 法不但能在對比增強上有良好表現，並 且能夠做到自動對比增強。而除了自動 化之外，本文所提出的演算法也強化了 原演算法在對比增強上的效果。因為在 參數組合的選擇不但顧及了亮度強度的 增強，也同時考慮了細節增強。 未來，我們將把更多影響視覺感受 的因子引入我們的演算法，以期得到更 令人滿意的結果。參考文獻
[1] S. C. Pei, Y. C. Zen, and C. H. Chang, "Virtual restoration of ancient Chinese paintings using color contrast enhancement and lacuna texture synthesis," IEEE Trans. Image
8 Processing, vol. 13, pp. 416-429, 2004. [2] W A. Wahab, S. H. Chin, and E.C. Tan,
“Novel approach to automated fingerprint recognition,” in Proc. IEE Vision, Image and Signal Processing, vol. 145, 1998, pp. 160–166.
[3] A. Torre, A. M. Peinado, J. C. Segura, J. L. Perez-Cordoba, M. C. Benitez, and A. J. Rubio, “Histogram equalization of speech representation for robust speech recognition,” IEEE Trans. Speech Audio Processing, vol. 13, no. 3, pp. 355–366, May 2005.
[4] S. M. Pizer, “The medical image display and analysis group at the university of North Carolina: reminiscences and philosophy,” IEEE Trans. Medical Imaging, vol. 22, no. 1, pp. 2–10, Jan 2003.
[5] T.-C. Jen, B. Hsieh, and S.-J. Wang, "Image Contrast Enhancement Based on Intensity-Pair Distribution," in Proceedings of IEEE International Conference on Image Processing ICIP 2005, Genova, Italy, Sept 2005, pp. 913-916.
[6] R. C. Gonzalez, R. E.Woods, Digital Image Processing. 2nd ed. Reading, MA: Addison-Wesley, 1992.
[7] A. K. Jain, Fundamentals of Digital Image Processing. Englewood Cliffs, NJ: Prentice-Hall, 1989.
[8] J. Zimmerman, S. Pizer, E. Staab, E. Perry, W. McCartney, and B. Brenton, “Evaluation of the effectiveness of adaptive histogram equalization for contrast enhancement,” IEEE Trans. Medical Imaging, vol. 7, no. 4, pp. 304–312, Dec 1988.
[9] Y. T. Kim, “Contrast enhancement using brightness preserving bi-histogram equalization,” IEEE Trans. Consumer Electronics, vol. 43, no. 1, pp. 1–8, Feb 1997.
[10] Y. K. Kim, J.K. Paik, and B.S. Kang, “Contrast enhancement system using
spatially adaptive histogram equalization with temporal filtering,” IEEE Trans. Consumer Electronics, vol. 44, no. 1, pp. 82– 86, Feb 1998. [11] K. Wongsritong, K. Kittayaruasiriwat,
F. Cheevasuvit, K. Dejhan, and A.
Somboonkaev, "Contrast Enhancement Using Multi-Peak
Histogram Equalization With Brightness Preserving," in Proceedings of IEEE Asia- Pacific Conference on Circuits and Systems, Chiangmai, Taiwan, Nov 1998, pp. 455-458.
[12] J.Y. Kim, L.S. Kim and S.H. Hwang, “An Advanced Contrast Enhancement Using Partially Overlapped Sub- Block Histogram Equalization,” IEEE Trans. on Circuits and Systems for Video Technology, Vol. 11, Issue 4, pp.475-484, Apr. 2001.
[13] T.K. Kim, J.K. Paik and B.S. Kang, “Contrast Enhancement System Using Spatially Adaptive Histogram Equalization with Temporal Filtering,” IEEE Transactions on Consumer Electronics, Vol. 44, Issue 1, pp.82-87, Feb. 1998.
[14] J.S. Lee, “Digital image enhancement and noise filtering by using local statistics,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol. PAMI-2, pp.165–168, Feb. 1980. [15] T. Arici and Y. Altunbasak, "Image
Local Contrast Enhancement Using Adaptive Non-Linear Filters," in Proceedings of IEEE International Conference on Image processing, ICIP 2006, USA, Oct. 2006, pp. 2881-2884.
[16] T. Kim and H. S. Yang, "Colour Histogram Equalization via Least-Squares Fitting of Isotropic Gaussian Mixture to Uniform Distribution," in IEEE Electronics Letters, vol. 42, no. 8, pp. 452-454, Apr 2006.
9 [17] H. Wang, Y. Chen, T. Fang, J. Tyan,
and N. Ahuja, "Gradient Adaptive Image Restoration and Enhancement," in Proceedings of IEEE International Conference on Image processing, ICIP 2006, USA, Oct. 2006, pp. 2881-2884.
[18] J. Starck, F. Murtagh. E. J. Candes, and D. L. Donnoho, “Gray and color image contrast enhancement by the curvelet transform,” IEEE Trans. Image Processing, vol. 12, no. 6, pp. 706-717, Jun. 2003.
[19] K. V. Velde, “Multi-scale color image enhancement,” in Proc. Int. Conf. Image Processing, vol. 3, 1999, pp. 584–587.
[20] Peli, E. "Contrast in complex images" Journal of Optical Society of America A 7, 10, 1990, pp. 2032-40
[21] G. Westheimer, "The oscilloscopic view: retinal illuminance and contrast of point and line targets," Vision Res. 25, 1097- 1103 (1985).
[22] A. P. Ginsburg, "Visual information processing based on spatial filters constrained by biological data," Ph.D. dissertation, Aerospace Medical Research Laboratory Rep. AMRL-TR-78-129 (University of Cambridge, Cambridge, 1978).
[23] T. R. Riedl and G. Sperling, "Spatial frequency bands in complex visual stimuli: American Sign Language," J. Opt. Soc. Am. A 5, 606-616 (1988).
