行政院國家科學委員會專題研究計畫 成果報告
具有影像/視訊最佳顯示品質之空間域-時間域雜訊濾波器
研究成果報告(精簡版)
計 畫 類 別 ： 個別型
計 畫 編 號 ： NSC 96-2221-E-151-049-
執 行 期 間 ： 96 年 08 月 01 日至 97 年 07 月 31 日
執 行 單 位 ： 國立高雄應用科技大學電子工程系
計 畫 主 持 人 ： 陳昭和
共 同 主 持 人 ： 陳聰毅
報 告 附 件 ： 出席國際會議研究心得報告及發表論文
處 理 方 式 ： 本計畫涉及專利或其他智慧財產權，2 年後可公開查詢
中 華 民 國 97 年 10 月 16 日
具有影像/視訊最佳顯示品質之空間域-時間域雜訊濾波器
計畫編號：NSC96-2221-E-151-049
執行期限：96 年 08 月 1 日 至 97 年 07 月 31 日
主持人：陳昭和 國立高雄應用科技大學電子工程系
（Email：[email protected]）
中文摘要
隨著科技的發展，越來越多人開始利用影像/ 視訊的資訊應用到許多影像/視訊處理上，如機器 人視覺、物體追蹤…等等。然而，往往視訊在擷取 與傳輸的過程中，常常由於外在環境與器材內部電 子元件的影響而產生非自然的資訊，這些非自然的 資訊我們皆稱為雜訊。影像受汙染後會影響其後續 處理的效果，例如影像切割、影像壓縮、人臉辨識 等，因此，雜訊衰減在視訊處理中是一件很重要的 任務。針對高對比視訊的雜訊衰減方法，在現今已 有許多的方法被提出且效果也不錯。但是，在低對 比視訊中的雜訊衰減方法相對下就比較困難地被實 現。昏暗環境下的雜訊通常涵蓋眾多的種類，常見 的 有 高 斯 雜 訊 （ Gaussian Noise ） 、 脈 衝 雜 訊 （Impulse Noise）、假色雜訊（False Color Noise） 等，其中最令人感到不悅的是視訊畫面往往呈現粒 子般跳動的雪花現象。為了改善上述，本論文提出 了一套適應於昏暗環境下雜訊衰減的方法，整體架 構主要利用移動偵測劃分背景資訊及前景資訊，分 別地作不同的處理動作。經實驗結果得知，雖然運 算上會比傳統方法來的複雜些，但是，我們所提的 方法效果呈現比較好。經雜訊衰減後，除了能保留 其邊緣、細節紋理處，也可達到即時處理的效能。 不僅提高視訊品質，進而可增加一些後續處理的效 能。 關鍵詞：雜訊衰減、高斯雜訊、脈衝雜訊、假色雜 訊Abstract
Many methods for noise reduction perform well for high contrast image sequences. However, the results of noise reduction are not good enough, when these methods apply in the dusk environment. Noises in low light level images are usually caused by thermal noise in the electronic circuitry inside the camera and low sensitivity cause the mis-displayed value on the R, G,
and B planes. The noises look similar to Gaussian Noise, False Color Noise and Impulse Noise when discovered in a still frame. However, they look like snow flower in a video sequence. This paper presents a novel video noise reduction method for noises caused by photograph in the dusk environments. Our method includes segmentation technology and spatio-temporal filtering. Via applying the changing detection based method, the background and foreground are able to be separated. We use temporal average filter to recover the background and use spatial filter to recover the foreground. According to the experimental result, our method performs the following advantages: 1. the details of the signal and the textures will be preserved and the noises will be reduced. 2. high compressing ratio and real-time process can be achieved after the processes.
Keyword : noise reduction, Gaussian Noise, False Color Noise, Impulse Noise.
1. 研究緣由與目的
過濾數位影像是在保護影像細節時衰減雜訊， 是一個影像處理中必要的部分。例如，在許多應用 基於計算影像引出的運算子之應用中，影像中任何 的雜訊皆會造成嚴重的錯誤。因此，雜訊衰減方法 的目的不僅想要改進視覺品質，而且也要增加其隨 後處理任務的性能，例如編碼、分析或者解釋等 等。 一般在視訊雜訊衰減方法中，frames 和時間域 之間有非常密切的關連性，而時間域濾波器[3]可 以利用這個關連性進而達到高雜訊衰減的效果。但 是，當有移動物體出現在畫面時，就會造成移動物 體的模糊化。若只使用空間域濾波器[2]而沒有考 慮時間域的關聯性，去執行雜訊濾除的動作時，若 物體發生移動的話，則可能會產生殘影的現象。因 此，不能只考慮使用時間域濾波器或只使用空間域 濾波器，必須要考慮搭配使用空間域濾波器及時間 域濾波器，才可有效的達到視訊雜訊衰減且保留其 邊緣、細節處。現今，大部份的視訊雜訊衰減方法都是針對高 照度（high light level）狀況下，進行研究探討，當 然也有發展出一些不錯的雜訊衰減方法[1-4]。但是 這些方法應用到低照度（low light level）的環境中 時，雜訊衰減效果就明顯地比高照度狀況下來的 差。 在昏暗環境下所產生的雜訊，通常都是因為攝 影器材內部電子元件不良、電子元件過熱或是感光 度的不足，造成感測器無法取得到正確的 R、G 和 B 值，進而造成眾多的雜訊。當觀察單張影像時， 雜訊看起來就類似高斯雜訊、脈衝雜訊、均勻雜 訊…等等的混合式雜訊；如以視訊觀看時，畫面就 會出現如粒子跳動般的雪花現象[5-7]。 故本論文提出一個適應於昏暗環境下的視訊雜 訊衰減方法，整個架構是由切割技術和空間-時間 域濾波器組成。系統的流程主要是利用移動偵測 （motion detection）區分背景及前景資訊，分別地 作不同的雜訊衰減處理，由於考慮即時處理（real-time）的能力，故不考慮使用運算量大的移動補 償。經實驗結果可發現，我們的演算法能有效的去 除雜訊也能保留影像的邊緣、細節、紋理處。不僅 能提升影像的品質，更能達到即時處理的效能。
2. 研究成果與討論
在圖一顯示了系統處理的演算流程圖。當影 像 序 列 進 入 系 統 時 ， 當 絕 對 背 景 （ absolute background）及雜訊臨界值（noise threshold）被建 立完成時，接著系統會做移動物件的偵測（motion detection ）來判斷影像中是否有移動物（ moving objects）的訊號。假設影像中未包含移動物件，即 表示只有背景的資訊，此時我們利用時間域濾波器 來對背景做雜訊衰減的動作。如影像中包含了移動 物 件 ， 藉 由 二 值 影 像 來 區 分 背 景 區 域 （background）及前景區域（foreground），背景 區域則利用時間域濾波器來衰減雜訊；前景區域則 利用空間域濾波器來衰減雜訊。 2.1 絕對背景與雜訊模組 這個部份包含兩個處理程序：絕對背景的建立 及更新、雜訊臨界值的建立及更新。在研究過程 中，發現到利用多張影像，將相同位置的像素值相 加起來，然後計算出平均值，可得到一張較為乾淨 的畫面。藉由此特性，我們利用多張影像且求其平 均 的 方 式 來 建 立 絕 對 背 景 (BGFrame(x,y)) 。 如 式 （ 1 ） 所 示 ， k 代 表 視 訊 檔 裡 的 影 像 畫 面 編 號 （frame number）；frame(x,y,t) 代表第 t 張畫面， 座標位置為(x,y)的像素值，BGFrame(x,y) 表示為一 絕對背景。本研究中，取 50 張 frames 來作平均， 故k 設為 50。 建立 絕對背景 建立 雜訊臨界值 原始的影像序列 更新 絕對背景 更新 雜訊臨界值 時間域濾波器 空間域濾波器 影像中是否 包含移動物件? 處理完的影像序列 移動偵側 否 是 區分背景區域 與前景區域? 前景 背景 圖一、系統架構流程圖(
)
1 , , ( , ) t k t frame x y t BGFrame x y k = = =∑
(1) 接下來，我們從視訊樣本中擷取 51 張 frames 對每張 frame 的相同位置（x、y）觀察其灰階強度 值的變化，由於相同位置但在不同的 frame 中，就 有不同的值，當相鄰 frames 的差值變化過大時， 透過人眼視覺觀察其視訊時，就會感覺有如雪花般 的粒子在跳動。在此我們根據計算相鄰 2 張 frames （frame(x,y,t)、frame(x,y,t-1)）的差值變化，且累計多組差值變化，然後求其平均，取得一差異平均值。 最後則利用差異平均值來當作雜訊臨界值（Noise Threshold），而雜訊臨界值將用來判斷輸入的訊號 是否為雜訊，如式（2）所示，THR(x,y)、THG(x,y) 及 THB(x,y) 分別表示 R、G 和 B 三個通道各自建立 的雜訊臨界值。在本研究中N 設為 50。 ( ) ( ) ( ) 2 2 2 1 ( , )= ( , , ( , , 1) ) 1 1 ( , )= ( , , ( , , 1) ) 1 1 ( , )= ( , , ( , , 1) ) 1 N R R R t N G G G t N B B B t TH x y frame x y t frame x y t N TH x y frame x y t frame x y t N TH x y frame x y t frame x y t N = = = − − − − − − − − −
∑
∑
∑
(2) 2.2 移動偵測 在移動偵測處理中，我們是使用切割的技術 來萃取移動物件。然而在切割的領域當中雖然有眾多方法可以應用到此部份處理，但是考量於處理的 效能及即時性，故此部份將利用基於改變偵測的切 割演算法[8]，因為其方式有計算量較小的特質， 特別是在萃取多移動體的時候。 首先，把彩色影像的灰階成分抽取出來。也 就是將 RGB 色彩空間轉成 YCbCr 色彩空間，取其 亮度信號( luminance )Y 作為灰階值( gray level )， 即得灰階影像，如式（3）：
0.299 0.587 0.114
Y= × +R × +G ×B (3)
分別取得原始影像的灰階影像 framegray(x,y,t)
和絕對背景的灰階影像 BGFramegray(x,y)進行相減
且 取 絕 對 值 的 動 作 ， 並 將 結 果 與 時 間 域 標 準 差 （
σ
temporal）作比較，如式（4）所示：255 , ( , , ) ( , )
( , , )
0 , ( , , ) ( , )
gray gray temporal gray gray temporal
if frame x y t BGFrame x y c BI x y t if frame x y t BGFrame x y c σ σ ⎧ − > ⋅ ⎪ = ⎨ − ≤ ⋅ ⎪⎩ (4) 假設結果大於
c
⋅
σ
temporal則輸出為 255；反之，則 輸 出 為 0 ， 進 而 得 到 一 概 略 的 二 值 影 像 （BI(x,y,t)），式中c
表示臨界值的加權參數，當c
值愈高時，則抗雜訊能力越高，但前景所遺失的區 域相對也會增加，而c
值低時，雖然可以保留較完 整的前景區域，但雜訊點也將會被保留下來，故適 當的c
值參數與前景分類是息息相關的。根據柴比 雪夫定理（Chebyshev’s theorem）：不管我們資料 呈現任何的分佈情形，我們可以保證其平均值與標 準差之差距，在 3 倍標準差內的所有資料，可以保 留近 90％的資訊。一般都將c
設為 3，根據影像內 容差異再作適當的調整，本研究是將c
設為 2。 與背景做差值運算後，雖然可以得到不錯的 移動物體區域偵測結果，但在昏暗環境的狀況下還 是會有多數較強的雜訊信號仍然會被保留下來而無 法除去，進而影響到移動物件萃取的準確性，對後 續移動物件雜訊衰減方法的結果呈現會有嚴重的影 響 。 因 此 ， 本 研 究 利 用 實 驗 所 取 的 臨 界 值 （ threshold ） 且 利 用 影 像 的 形 態 運 算 （ morphology ） 的 先 侵 蝕 （ erosion ） 再 膨 脹 （dilation）的方式來解決雜訊影響情形。 經由形態運算處理後，我們已經可以得到較 完整的移動物資訊。但對於某些移動物體內之部份 顏色與絕對背景太相似而造成大面積的空洞現象產 生，利用上述的形態運算仍會有無法填補的情況出 現。為了有效的擷取移動目標，最後我們再利用區 域標記（連通標記）的方法來判別這些區域[9]， 做最後的填補或移除動作。 經過上述一連串的動作後，二值影像還是有 可能出現極少數的強烈雜訊點或是非真正移動物件 的資訊。為了能判斷出真正的移動物件，我們使用 了式（5）來做判斷。式中 BIFarea表示為在二值影 像中像素值為 255 區塊的面積；T
area為一面積臨 界值。當 BIFarea 大於T
area時，即表示為移動物體；反之，有可能就是受到雜訊的干擾而造成的。 , ? , < area area area area BIF T BIF T ≥ ⎧ ⎨ ⎩ 是 是否包含移動物件 否 (5) 2.3 影像/視訊雜訊衰減方法 首 先 我 們 會 判 斷 進 入 的 訊 號 是 否 為 雜 訊 訊 號 。 利 用 目 前 影 像 Frame(x,y,t) 減 前 一 張 影 像 Frame(x,y,t-1)，所求得的差值變化 DFrame(x,y,t)與 雜訊臨界值（Noise Threshold）作比較，來判斷是 否為雜訊。處理的描述如式（6）所示： ( ( , , ) ( , ) || ( , , ) ( , )|| ( , , ) ( , )) 1 0 ( , , ) R R G G B B if DFrame x y t TH x y DFrame x y t TH x y DFrame x y t TH x y Noise else Noise DFrame x y t ab > > > = = = s Frame x y t( ( , , )−Frame x y t( , , −1)) (6) 假設輸入的訊號判斷不為雜訊時，由於考慮 frame 在時間域上的關聯性，即離目前 frame 的距離越近 則代表其關聯性越高，我們把此觀念運用到不為雜 訊點的處理中。我們利用目前 frame 與前 N 張 frames 作加權運算，將其結果用來更新預處理的目 標像素值，其 N 為一實驗值，在本研究中設 N 為 6。反之，若訊號被判定為雜訊點時，我們將以絕 對背景相對位置的像素值來更新原 frame 相對位置 的雜訊點。 做完移動偵測之後，接著判斷影像中是否含 有移動物件，如有移動物件的話，則採取包含移動 物件的影像訊號處理方法。為了有效地衰減移動物 件雜訊及降低雪花現象，此部份我們使用了 V. Zlokolica[4] 所 提 的 k-nearest neighbor algorithm filter（K-NN Filter）和鑽石型遮罩的低通濾波器 （Low-Pass Filter）。 首 先 ， 我 們 針 對 移 動 物 體 區 域 進 行 邊 緣 偵 測，利用一 3×3 矩形工作視窗，對移動物件內的所 有 像 素 做 掃 描 ， 求 其 工 作 視 窗 的 變 異 數 （variance：
σ
2）。在同質的（homogenous）相鄰 區域即平坦區域，變異數通常會較小；在非同質的 （non-homogenous）相鄰區域即邊緣區域，相對的 變異數通常就會呈現較大的值[5]。由於邊緣與平 坦區域的變異數有明顯的差別，所以我們利用此特 性來判別是否為邊緣的訊號如式（7）所示：2 ( ) ; D if T else σ > 目 標 點 為 邊 緣 資 訊 目 標 點 不 為 邊 緣 資 訊 (7) 當目標像素點的變異數（
σ
2），大於我們所設的 臨界值時，即代表是邊緣資訊。由於要保留邊緣特 徵及衰減雜訊，我們使用 K-NN 濾波器來做處理。 我們使用一 3×3 工作視窗，以( )
x y
,
為中心像素 點，且在這個工作視窗中包含的像素為( ,
x y
' ')
， 其中x - x
′
≤
1
, y - y
′
≤
1
。將這個 3×3 工 作視窗中所有的像素點與中心像素點( )
x y
,
相減然 後取絕對值，根據絕對差值的大小，將工作視窗裡 的像素，以遞增的方式作排序，並且儲存成一維矩 陣，如式（8）所示：{
(1) (2) (3) ( )}
L N
x
=
x , x , x , , x
(8) 其 中x
(1) 為 工 作 視 窗 的 中 心 像 素 ， 且to N
i
i
x
(
)
,
=
2
使得 (1)-
( )i (1)-
( )j,
1 to
x
x
≤
x
x
j i
= +
N
K-NN 濾波器的輸出可以由式（9）計算得知： ( ) 11
/
Nt i L i i
y a x γ
a x
γ
==
=
∑
(9) 其 中 陣 列a
=
(
a
1,
a
2,
…
,
a
N)
T為 一 加 權 因 子 而∑
=
= N 1 i ia
γ
。 而a
i =
1 for
i
=
1
M
和0 for
a
i =
i M
>
，故γ
=
M
。 當目標像素點的變異數（σ
2）小於我們所設 的臨界值時，即非邊緣資訊。由於典型的 3×3 矩形 工作視窗，用來當作本研究中的遮罩時，濾除雜訊 的效果不佳。當改換成 5×5 矩形工作視窗時，雜訊 衰減效果會太過於模糊化，因此，在非邊緣的區 域，我們使用 5×5 鑽石型遮罩低通濾波器來抵制雜 訊的干擾[10]，鑽石型遮罩不僅不會使濾雜訊結果 太過於模糊化，相對於 5×5 方形遮罩，更節省運算 量。5×5 鑽石型低通濾波器的輸出可以由式（10） 計算得知： 13 11
13
i iy
x
==
∑
(10)3. 研究成果自評
本計劃於進行階段曾於國際研討會議上發表 論文，受到國際研究學者的肯定，本研究成果已符 合原先計劃預期完成之工作，如下所示：（1）完 成影像/視訊時間域像素關聯性的統計與分析，使 影像/視訊內容更加齊全，也更易處理與應用； （2）將影像/視訊內容分為移動物件與背景，並對 移動物件與背景採用不同的雜訊衰減技術，使系統 達到及時處理的效果；（3）推導簡單快速的影像/ 視訊雜訊偵測演算法，使影像/視訊雜訊衰減達到 良好的效果，也讓影像/視訊畫面變得更加穩定； （4）此系統已進一步使用在視訊產品，如 DVR 即 時監控系統。（5）加入提昇影像/視訊復原品質機 制，使視訊的後續處理更為方便進行與運作。4. 參考文獻
[1] Byung Cheol Song and Kang Wook Chun, “Motion-Compensated Temporal Pre-Filtering for Noise Reduction in a Video Encoder”, IEEE International Conference on Image Processing, October 24 – 27, 2004.
[2] Young Huang and Lucas Hui, “ An adaptive spatial filter for additive Gaussian and impulse noise reduction in video signals ”, Proceedings of the 2003 Joint Conference of the Fourth International Conference on Information, Communications and Signal Processing, The Fourth Pacific Rim Conference on Multimedia, Vol. 1, Pages: 523 - 526 , Dec. 15-18, 2003.
[3] T.S. Huang, Ed., Image Sequence Analysis. Berlin: Springer-Verlag, pp.289-290, 1981.
[4] H.B. Mitchell and N. Mashkit, “Noise smoothing by a fast k-nearest neighbour algorithm,” Signal Processing: Image Communication, vol. 4, pp. 227-232, 1992.
[5] Seong-Won Lee, Vivek Maik; Jihoon Jang, Jeongho Shin and Joonki Paik, “Noise-adaptive spatio-temporal filter for real-time noise removal in low light level images”, IEEE Transactions on Consumer Electronics, Vol. 51, Issue 2, pp.648-653, May, 2005.
[6] Zhang Zheng; Shen Jiali; Wang Xiutan; Ma Zhange; Peng Yingning, “Digital image processing system for LLLTV”, Signal Processing Proceedings, WCCC-ICSP 2000, 5th International Conference on Vol. 2, pp.955-962, Aug. 21-25.
[7] Chen Qian, Bai Lianfa and Zhang Baomin, “Real-time adaptive noise processing in low light level images”, 3rd International Conference on Signal Processing, Vol. 1, Page(s):606 – 609, Oct. 14-18, 1996.
[8] Shao-Yi Chien, Yu-Wen Huang, Bing-Yu Hsieh, Shyh-Yih Ma, and Liang-Gee Chen, “Fast Video Segmentation Algorithm with Shadow Cancellation, Global Motion Compensation, and Adaptive Threshold Techniques,” IEEE Trans. on Circuits and System for Video Technol., vol. 6, pp. 732-748, no. 5, Oct. 2004.
[9] S.D. Jean, C.M. Liu, C.C. Chang, and Z. Chen, “A New Algorithm and its VLSI Architecture Design for Connected Component Labeling,” IEEE International Symposium on Circuits and Systems, Vol. 2, pp. 565-568, 1994.
[10] 陳炤宇，基於適應性像素關聯性中值濾波器的脈衝 雜訊衰減之研究，國立高雄應用科技大學，電子工程 系，碩士論文，2006。
