6-1 前言
本研究主要是針對色彩影像進行影像視覺強化為基礎,由於色彩影像所表示的 色彩空間並非線性方式來呈現,在經過影像強化後,通常會產生色彩的偏移或失真。
故評估方式除了一般常用的計算式分析之外,本研究特別提出了用立體色域的評估 方式以為回饋。提供色彩影像強化的同時,保有色彩影像視覺品質。
在過去的研究中,Retinex 演算法為數位相機自動白平衡演算法中,很熱門的 一項技術,因為它包含了色彩恆常性,同時具有影像增強的效果,因此本研究將以 Retinex 演算法作為基礎。而過去的Retinex 研究方法中,多是以同心圓的高斯函數 來模擬人眼視覺系統,本研究中考量人眼兩度視角在觀測影像時的特性,以改良式 的 高 斯 函 數 來 模 擬 人 眼 視 覺 系 統 , 進 而 套 用 至Multi-Scale Retinexwith Color Restoration (MSRCR)演算法中,因此本研究將針對經過修正後的MSRCR演算法處理 後的影像,進行品質評估。
一般影像品質評估的方式可分為兩大類:第一為用人眼直接觀看影像,再藉由 人為的判斷來決定影像品質的好壞;第二為利用計算式的方式,將複製影像與原始 影像進行比對,藉由具有學理依據的物理特性,來評斷影像品質的好壞。然而在對 人眼直接觀測影像的時候,卻常常因為人眼的特性,例如每位觀測者眼睛特性不同、
眼睛觀測時間過長產生疲勞等,無法達到評斷上的一致性,於是就會造成誤差;而 利用一般計算式來評估影像,雖然速率較人眼觀測快而且在評估結果上達到穩定而 一致的結果,但是這些結果卻往往沒有考慮人眼資訊,無法與人眼所觀測到的影像 完全相匹配,因此所得結果不能真正表達人眼所感知的結果。
而在影像品質評估演算法方面,除了廣為人知的均方差 (Mean SquareError, MSE)、信雜比 (Signal to Noise Ratio, SNR)、PSNR (Peak Signal toNoise Ratio)等,
同時本研究中將透過觀察影像的Lab 立體色域空間,來觀看影像經過Retinex 處理之 後,影像的色域空間是否會有所不同,如色相的偏移、明亮度對比以及色度對比等 變化。
藉由上述計算式的方式以及比較色域空間的兩種方式,本研究將會比較出使用改 良式之高斯函數的MSRCR 演算法,與先前學者所提出的演算法之差異性,並藉由 回饋機制來調整比重,讓影像品質更為提升。
92
6-2 影像品質強化演算法
傳統的色彩影像強化(Color Image Enhancement)演算法,依照Gonzalez書中的分 類方式(Gonzalez, 2002),可分為在影像空間的強化、影像頻率域的強化,如圖6-1所 示:
圖6-1 傳統影像強化分類樹狀圖
在影像空間強化的方式下可以分成針對每一個像素點處理的方式以及利用濾 鏡處理兩大類型。針對每一個像素點處理的強化法,本研究擷取強度轉移中的對比 延伸法(Contrast Stretching),加上一般廣為人知的S曲線對應增強法(S-Curve),以及 階調直方圖處理中的階調直方圖等化法(Histogram Equalization)來作為比較,以及以 模糊理論為基礎的兩段式直方圖轉換曲線修正法,還有目前受人矚目的Retinex 演算 法等。
6-3 Retinex 演算法
Retinex 演算法最初是由Edwin Land於1986年所提出的(Edwin,1986),此演算法 可以用來表現人眼所感知的真實色彩(Perceived color)。Edwin Land是Polar相機公 司的資深員工,他在工作的時候發現到,當他透過紅色濾色片觀看彩色照片的時候 發現,從紅色濾色片中所觀察到的影像,並不是整張都是紅色的,而是有其他的色
93
彩成份在裡面。也就是說,當觀察一個物體的時候,人眼所看到的顏色,並不單單 是物體所反射出來的光譜能量等物理量,而是透過物體色彩之間的明度(Lightness) 比較所得到的色彩感覺,而這種感覺是由人眼視覺系統中的視網膜(Retina)或大腦皮 層(Cortex)來進行。
視網膜(Retina)在人眼視覺系統裡面,所負責的工作為感知影像,就像是相機或 是攝影機裡面的底片一樣,把外在影像記錄下來;而大腦皮層(Cortex)在人眼視覺系 統中,所負責的工作是解譯視網膜所記錄下來的資訊。因為視網膜與大腦皮層的貢 獻,使人眼視覺系統可以感受到真正的影像資訊,因此Edwin Land就取這兩個字的 頭尾組合出了一個新的名詞,稱之為Retinex。
Retinex的目標是利用影像的表面明度值,在每一個獨立的感光受器(如人眼裡 的感光細胞或是數位相機的CCD感光元件)與周圍感光受器做比較,評估出人眼所 感受到的影像。因此Edwin Land對Retinex演算法所提出的結論為:「人眼對色彩的 感知除了來自於光譜的反射,同時也會受到周遭光源的影響」。
下面以色彩影像做為實例說明,圖6-2 為一張具有豐富色彩的色彩影像,假設 在圖中,加入一張局部的青色遮色片,如圖6-3所示,若未加說明,觀測者無法得知 原先被遮色片所掩蔽的蘋果為何色。若是加入與影像尺寸大小相當的青色遮色片,
如圖6-4所示,觀測者仍可以判斷出影像中物體的色彩。由此例可以證明,人眼對色 彩的感知判斷,會受到週遭光源色彩所影響。而Retinex 演算法便是基於這個現象,
而加以推演出來。
圖6-2 原始影像 圖6-3局部加入遮色片之影像 圖6-4整體加入遮色片之影像
94
因此當在利用演算法來重現一張影像的時候,必須加入周遭環境的資訊,由下 列的方程式3 可以得知:
( )xi I x( ) log(i ρxi) log(ρxi)
Γ = + − (6-1) 方程式6-1 中,I( xi )為輸入測試影像的每一個像點;log(ρxi )為待測像點的照明 參數; log(ρxi )為待測像點周圍的照明參數。將所要運算的每一個像點加上本身的照 明參數,並扣除掉周遭像點的參數,即可求得所要的影像。所以在利用Retinex演算 法的同時,必須遵守下列原則:
1.每一個觀測的觀測器(接收器)必須個別獨立;
2.單獨計算待測像點的各色頻明度值;
3.明度值將會影響到人眼對色彩的感知。
上述所提到的簡單公式,所表現的是最基本的Retinex 演算法,下面以較為仔細 的計算式來表示,如方程式2.6 所示:
( , , ) log{ ( , )} log{ ( , , ) * ( , )}
i i i
R x y c = I x y − F x y c I x y (6-2) 方程式(6-2)中,Ri (x, y,c)為每個色頻的輸出階調差異比值;Ii (x, y)為輸入影像的像點 階調值;*為對影像做迴旋積之意思;F(x, y,c)為模擬人眼感知的低通濾鏡(Low Pass Filter),在此以高斯函數套用至影像;其中
2 2
2
( ) ( )
[ ]
( , , )
x y
F x y c e
cμ μ
− + −
=
− (6-3) μ為影像中心點;c 為常數,用來決定高斯函數的寬窄程度。而c 值的大小,影響了高斯函數所包含到的像點範圍,而且對於Retinex 演算法所得到的結果,會有 不同的影響:
* 當c值大時:所包含的像點範圍較大,可以保留更多的色彩資訊;
* 當c值小時:所包含的像點範圍較小,針對影像邊緣部份強化,色彩資訊保留不 多。
上述的Retinex 演算法式為較為簡單的單一高斯函數Retinex,又稱之為Single Scale Retinex (SSR),在SSR 計算過程中,只考慮周圍八個像點,或是以等比例方式 再向外擴增,如圖6-5所示,故有SSR之稱;在G. Woodell 所提出的方式中,利用了 不同規模大小的高斯函數,組成了新的演算法,稱之為Multiple-Scale Retinex
95
(MSR)(Rahman et. al., 2002),G. Woodell利用不同的比重,加諸在各個不同大小的 相鄰區中,企圖同時保留影像邊緣以及色彩資訊,如圖6-6所示,5%灰度值區域、20%
灰度值區域、及30%灰度值區域分別有著不同的權重值w1、w2、w3,而這些權重值 的總合必等於1。因此產生一個新的視覺感知比值,也就是MSR,再將這個比值套用 到原始影像,使原始影像更符合人眼所感知到的結果,以(6-4)式表示之。下面將詳 細描述MSR的做法。
1
( , , , ) ( , , )
i
N
M n i n
n
R x y w c W R x y c
=
=
∑
(6-4)圖6-5 SSR 示意圖 圖6-6 MSR示意圖
在此,RM i(x, y)為每一個色頻經過MSR處理的結果;Wn為第n 個SSR 的權重 值;Cn為第n個SSR的規模;而且在此假定,以求 比值不至太大。
而在權重參數的設定上,往往會造成影像產生不同的結果,而色彩影像繁雜,沒有 固定的參數可以廣泛套用在所有影像中,因此日本的三宅洋一教授提出了利用影像 本身所提供的色彩資訊(Takematsu et.al., 2004),給予三個不同大小的影像差異比值 不同的權重值。其原理為考量輸入影像的內容,藉由相鄰兩點的差值,來判別影像 中邊緣的區域,當計算點為邊緣時,給予MSR 中第一個影像差異比值較高的比重,
加強輸出影像的邊緣區域;相反的,若計算點為影像中較平滑區,則給予第三個影 像差異比值較高的比重,以保留影像中的色彩資訊。而此權重值考量了影像中單一 像點其權重值由下列計算式所取得:
96
(6-5)
然而在做MSR 的過程中,必須將三個色頻分開獨立運作,讓三個不同色頻的 影像分別做強化處理,使各色頻的影像對比增強,也因此造成影像在輸出的時候,
造成整張影像飽和度下降,產生影像變灰的感覺,若是原稿本身有偏向某個主色調,
在經過MSR 處理後,反倒會有色偏的情況發生。所以必須考慮到原先影像所保有的 RGB 資訊,也因此推演出了Multi-Scale Retinex with Color Restoration (MSRCR)演算 法,來彌補MSR所造成的缺點。
由於要保留原有的色彩訊息,因此經由MSR 所產生的比值必須重新計算,加 入原始影像的RGB 資訊,如方程式(6-6)所示:
(6-6)
其中的Ii'(x, y,c)是由方程式(6-7)所給定,其中會針對各個色頻在影像上所佔的 比例,而稍作調整。
(6-7)
經過MSRCR 處理後的影像,將可以克服MSR 所產生的減低飽和度效應,同 時保留了原有的色彩訊息,因此,因此本研究中採用MSRCR的方式,作為影像色彩 強化之處理方式。圖6-7至圖6-8為輸入影像經過MSRCR處理後,所產生的結果。表 6-1為影像品質評評估結果。
97
圖6-7(a) 輸入影像之立體色域圖 圖6-7(b) 輸入影像
圖6-8(a) 輸出影像之立體色域圖 圖6-8(b)經過MSRCR 處理後之影像 表6-1 影像品質評評估結果
影像強化演算法 MSE SNR PSNR
對比延伸法 155.5437 14.9160 419.4304 S曲線對應增強法 129.2587 17.9492 504.6272 階調直方圖對應法 9141.1982 0.2538 7.1107 Multi-Scale Retinex with
Color Restoration (MSRCR) 11061.7585 0.2097 5.8720
98
6-4 影像色彩強化與重建實例
99
圖6-9 影像色彩強化與重建實例 6-5 遙測影像之無縫鑲嵌及色彩平衡
在遙測影像的應用中,一個應用區域往往需要多幅影像才能完全覆蓋,因而必
在遙測影像的應用中,一個應用區域往往需要多幅影像才能完全覆蓋,因而必