第四章 三邊雜訊濾波器與影像增強
4.1 三邊濾波器相關研究
在 2005 年時,R. Garnett、T. Huergerich、C. Chui 以雙邊濾波器的原理 為基礎提出了三邊濾波器(Trilateral filter)[9],此濾波器除了在雙邊濾波器當 中有考慮到的距離及相似度之外,還加入了邊緣亦或是雜訊點的可能性計算 考量。
三邊濾波器對於雜訊點的判斷是使用等級次序絕對差值(Rank-Order Absolute Difference;ROAD)的概念 ,與我們的 false edge filter 類似的觀念 是,邊緣點不會單獨的出現,會單獨出現的是雜訊點,因此,如果中心點為 邊緣點,則在邊緣點的周圍,必定有跟邊緣點相差不多,同為邊緣點的像素 值出現,但如果中心點為雜訊點,它就會是一種突波的存在,在周圍點中,
與其像素值皆相差較大,沒有相近的像素點存在,基於這樣的觀念,三邊濾 波器除了可以濾除高斯雜訊之外,對於突波雜訊也有一定的處理效果。等級 次序絕對差值是在一個濾波器遮罩範圍,計算遮罩值中心點與在遮罩範圍內 鄰近點的絕對差值,並且將絕對差值較小的幾個數值相加起來,越大的 ROAD 值,該點為雜訊點的可能性越大,反之,則較可能是邊緣點。計算 ROAD 值的遮罩尺寸並不一定要是 3×3 的大小,但這裡我們舉 3×3 的遮罩大 小為例,取最小的四個值來計算 ROAD 值,計算 ROAD 值的公式如公式 4-1 所示:
ROADm(x) =
∑
= m
1
i
r
i(x)
… (公式 4-1) 這裡我們舉例說明:EX:
遮罩中的像素值分佈為下:
⎥ ⎥
⎥
⎦
⎤
⎢ ⎢
⎢
⎣
⎡
139 202
218
107 186
216
88 171
213
做過絕對差值之後的像素值分布為下:
⎥ ⎥
⎥
⎦
⎤
⎢ ⎢
⎢
⎣
⎡
−
47 16
32
79 30
98 15
27
r1 = 15,r2 = 16 r3 = 27,r4 = 30
ROAD = 15 + 16 + 27 + 30 = 88 因此,最後的 ROAD 值即為 88。
三邊濾波器的權重公式如公式 4-2 到公式 4-4 所示,由於三邊濾波器應 用了雙邊濾波器同時使用距離濾波器與相似度濾波器的特性,因此在三邊濾 波器的權重計算當中,可看到考慮距離的權重 WC與考慮相似度的權重 WS, 另外還有考慮邊緣或雜訊可能性的突波權重(impulsive weight)WI,WI使用前 面所述的 ROAD 值來計算權重,也就是一判斷是邊緣或是雜訊點的可能性 來計算權重值,同時,在最後的權重當中,我們可以發現,這裡還有使用 J(joint impulsivity)這個函數來控制 WS和 WI權重對於最後權重 W 的影響,主要的
概念是因為當 ROAD 值越大,則濾波器遮罩中心點越可能為雜訊點,J(x,ε) 越大,WI越小,使得 WS的考慮量(次方)較少,而 WI的考慮量(次方)較大,
計算結果即此點的權重越小,對中心點的影響較小。且因為在雙邊濾波器 (bilateral filter)當中,相似度計算的權重主要是用來保留邊緣的部分不要被過 度的模糊,而如果該點為雜訊點,在相似度的權重佔重要考量之時,反而會 使該點在雜訊濾除過程中,濾得不夠乾淨,因此在三邊濾波器的權重計算當 中,越可能為雜訊點者,其相似度計算的權重 WS會越低。
而在係數方面,經由實驗結果,我們將計算突波權重的突波係數(σ )設I 為 40,而用來決定相似度權重與突波權重所佔次方 J 所用到的係數σ 則設J 為 50。
) J(x, I
) J(x, -
1
W ( )
)) ( ), ( ( W ) , (
W ε × ε
ε× ε
ε= x f f x
W
C S… (公式 4-2)
2 I
1 ROAD(x)
( )
2
W
Ie
σ−
=
=>(impulsive weight) … (公式 4-3)2 2 J
ROAD(x) ROAD( )
( )
2
J(x,y)=1-e
2ε
σ
− +
… (公式 4-4)
4.2 三邊濾波器結合本文提出的演算法
這裡我們使用三邊濾波器處理過的影像,對它做邊緣增強的動作,以增 強影像的清晰度。演算法流程圖如圖 4-1 所示。以虛線括起來的 color correction 的部份並非此論文的重點,我們略過不說。其他部分流程所使用 的方法與前面敘述相同,只有在雜訊濾除的方面,我們套用三邊濾波器[9]
的做法,而不是雙邊濾波器[11]。
在這套影像流程當中,與前一章所述的影像處理演算法流程最大的不同
是我們做影像邊緣偵測的用途,完全是為了要做最後階段的影像邊緣增強所 用。由於在三邊濾波器的演算法當中,它對於影像邊緣的部分有其獨特的權 重值計算處理,因此,在演算法途中,經 Edge detection 1 所偵測到的邊緣 圖 Edge map A 並不需要提供三邊濾波器做邊緣處理使用,而是直接送到下 一步的 Edge detection 2 做進一步的邊緣判斷以取得準確的邊緣資訊,提供 影像邊緣增強處理步驟使用。因此,輸入的影像走右邊的路線經過兩次的邊 緣偵測判斷後,取得精準的邊緣位置圖(Edge map B),之後提供經三邊雜訊 濾波器濾除雜訊的影像做邊緣增強所用。如前所述,在邊緣位置圖 Edge map B 中判斷為邊緣者,我們才對它做邊緣增強的動作。
RGB
Input Image
Noise filtering 1 (Range filter) Noise filtering 1
(Range filter)
Edge detection 1 (Sobel operator) Edge detection 1
(Sobel operator)
Noise filtering 2 (Bilateral filter) Noise filtering 2
(Bilateral filter)
Edge detection 2 (False edge filter )
Edge detection 2 (False edge filter )
Edge enhancement
Output Image
Edge map A
Edge map B
RGB
RGB
RGB RGB
L*
Input Image
Noise filtering 1 (Range filter) Noise filtering 1
(Range filter)
Edge detection 1 (Sobel operator) Edge detection 1
(Sobel operator)
Noise filtering 2 (Bilateral filter) Noise filtering 2
(Trilateral filter)
Edge detection 2 (False edge filter )
Edge detection 2 (False edge filter )
Edge enhancement
Output Image
Edge map A
Edge map B
RGB
RGB
RGB
L*
Color correction
RGB
sRGB to CIELAB
RGB
Input Image
Noise filtering 1 (Range filter) Noise filtering 1
(Range filter)
Edge detection 1 (Sobel operator) Edge detection 1
(Sobel operator)
Noise filtering 2 (Bilateral filter) Noise filtering 2
(Bilateral filter)
Edge detection 2 (False edge filter )
Edge detection 2 (False edge filter )
Edge enhancement
Output Image
Edge map A
Edge map B
RGB
RGB
RGB RGB
L*
Input Image
Noise filtering 1 (Range filter) Noise filtering 1
(Range filter)
Edge detection 1 (Sobel operator) Edge detection 1
(Sobel operator)
Noise filtering 2 (Bilateral filter) Noise filtering 2
(Trilateral filter)
Edge detection 2 (False edge filter )
Edge detection 2 (False edge filter )
Edge enhancement
Output Image
Edge map A
Edge map B
RGB
RGB
RGB
L*
Color correction
RGB
sRGB to CIELAB
圖 4-1 使用三邊濾波器的演算法流程圖
4.3 實驗結果
以下舉 Lena 的圖為例,圖 4-2 為未加雜訊的 Lena 原圖,圖 4-3 加上高 斯係數σ等於 20 的高斯雜訊之 Lena 影像,圖 4-3 為加上高斯係數σ等於 20 的高斯雜訊之 Lena 影像,圖 4-4(a)為使用三邊濾波器係數為(σd, σr)=(5,100) 的結果,圖 4-4(b)為使用我們所提出的方法結果圖,這裡的雜訊濾波器使用 雙邊濾波器。
圖 4-2 未加雜訊的 Lena 原圖
圖 4-3 加上高斯係數σ等於 20 的高斯雜訊之 Lena 影像
(a)
(b)
圖 4-4 使用三邊濾波器與我們所提出的方法比較圖 (a)使用三邊濾波器係數為(σd, σr)=(5,100)
(b)使用我們所提出的方法,係數為(σd, σr)=(5,100)
圖 4-5 則用來比較單純只有使用三邊濾波器所得的影像結果與 使用我們所提出的 4-1 影像流程結果。圖 4-5(a)為使用三邊濾波器,高 斯係數為(σd, σr)=(5,1)之結果,圖 4-5(b)為結合我們所提出的演算法流 程,即是用圖 4-1 影像流程演算法之影像結果。
(a)
(b)
圖 4-5 使用三邊濾波器與加上邊緣增強作法 (a)使用三邊濾波器係數為(σd, σr)=(5,1) (b)將(a)圖處理結果加上邊緣增強演算法