行政院國家科學委員會專題研究計畫 成果報告
適應性全天候影像/視訊空間-時間域雜訊濾波器
研究成果報告(精簡版)
計 畫 類 別 ： 個別型
計 畫 編 號 ： NSC 97-2221-E-151-040-
執 行 期 間 ： 97 年 08 月 01 日至 98 年 07 月 31 日
執 行 單 位 ： 國立高雄應用科技大學電子工程系
計 畫 主 持 人 ： 陳昭和
共 同 主 持 人 ： 陳聰毅
計畫參與人員： 碩士班研究生-兼任助理人員：蔡文偉
碩士班研究生-兼任助理人員：劉頂昌
碩士班研究生-兼任助理人員：黃啟銘
碩士班研究生-兼任助理人員：陳玠儒
博士班研究生-兼任助理人員：陳炤宇
報 告 附 件 ： 出席國際會議研究心得報告及發表論文
處 理 方 式 ： 本計畫涉及專利或其他智慧財產權，2 年後可公開查詢
中 華 民 國 98 年 10 月 28 日
適應性全天候影像/視訊空間域-時間域雜訊衰減濾波器
計畫編號：NSC97-2221-E-151-040
執行期限：97 年 08 月 1 日 至 98 年 07 月 31 日
主持人：陳昭和 國立高雄應用科技大學電子工程系
（Email：thouho@cc.kuas.edu.tw）
中文摘要
在多媒體通訊盛行的時代裡，由於影像與視 訊可以提供我們很富豐的資訊，因此影像跟視訊在 多媒體的世界裡扮演著一個極重要的角色，不過， 無論攝影機或照相機是多麼的先進，也沒有任何影 像或視訊是絕對完美而無雜訊干擾的，且影像會因 雜訊的存在而造成品質的下降，並會影響其後續處 理的效果，所以雜訊衰減在視訊處理中是一件很重 要的任務。在數位影像及視訊中，雜訊的主要來源 是在影像擷取（數位化）及傳輸期間出現。成像感 測器的表現會受到很多因素的影響，比如影像在擷 取期間週遭的環境情況，以及感測元件本身的品 質。一般利用移動補償的濾波器有三項缺點：1.演 算法複雜，計算量大導致無法即時處理，2.高度雜 訊下，估測準確率會大大的降低，3.方塊效應；一 般沒有利用移動補償的濾波器通常都有較快的執行 速度，但皆有一個致命的缺點：當畫面中物體移動 時會產生殘影和模糊影像輪廓邊緣的現象，所以為 了增進使用移動補償濾波器的執行速度及未使用移 動補償濾波器的殘影和模糊邊緣的問題，本計畫發 展出一種能兼顧執行速度與不會有移動物件殘影和 模糊輪廓邊緣的即時處理空間域-時間域濾波器技 術衰減雜訊及復原視訊細節；本計畫的核心技術在 於快速的判斷出靜態區域與動態區域，再根據不同 的濾波技術做處理，因此雜訊衰減後，影像/視訊 可以達到符合人眼視覺特性的高品質，更進而提高 壓縮與降低硬體成本。 關鍵詞：移動補償、即時處理、空間域-時間域濾 波器、雜訊衰減Abstract
In an ear of multimedia communication, images and videos play important roles because they can provide very rich information for us. However, no images and videos are absolutely perfect no matter how good the camera is, because they could be
degraded by the presence of noise. Noises in digital images and videos arise from acquisition (digitization) and transmission. The performance of imaging sensors is affected by a variety of factors, such as environmental conditions during image and video acquisitionand by the quality of the sensing elements themselves. Generally, motion compensated Spatial-temporal filters and Spatial-temporal filters have three shortcomings: (1) motion compensation is very complex and its computation load is too high to use. So, the filters which used motion compensation can not realize real-time video processing. (2) when videos are corrupted by high level noises, the motion estimation accuracy will be decreased greatly. (3) the filtered videos have disgusting blocking effect and blocking artifacts. Nonmotion compensated Spatial-temporal filters and Spatial-temporal filters usually have faster speed performance but they have a fatal drawback: they may cause object-overlapped or object-blurred phenomenon in an image frame while an object is moving. In order to improve the speed of motion compensated filters and the object-overlapped or object-blurred phenomenon of nonmotion compensated filters, we propose a novel fast spatial-temporal filtering technique to reduce noise in this thesis. The basic idea is to use a fast method to differentiate between the stationary regions and the moving regions and filtering these regions in different ways. This filter not only can reduce video noise but also preserve video details effectively. And, it can enhance video to up to higher quality to improve compression ratio. Also, the filter is of low complexity and possesses high speed performance.
Keyword : motion compensation, real time,
spatial-temporal filtering technique, noise reduction.
1. 研究緣由與目的
在多媒體通訊發達的時代裡，影像跟視訊的資 訊扮演著一個極重要的角色，除了可以提供我們很 富豐的資訊之外，同時也讓我們的生活更為便利與
多樣化。不過，無論攝影機或照相機是多麼的先 進，也沒有任何影像或視訊是絕對完美而不受雜訊 干擾的，且影像會因雜訊的存在而造成品質的下 降，進而影響其後續處理的效果。在數位影像及視 訊中，雜訊的主要來源是在影像擷取（數位化）及 傳輸期間出現，成像感測器的表現受到很多因素的 影響，比如影像在擷取期間週遭的環境情況，以及 感測元件本身的品質。在以 CCD-based 照相機擷 取影像或視訊時，週遭環境的光源程度與感測器的 溫度皆會影響影像品質，甚至產生大量雜訊；另 外，使用無線網路傳輸影像時，影像有可能被閃電 或其他大氣中的帶電粒子干擾，進而造成畫面混雜 或產生雜訊；除此之外，以一般數位攝影機而言， 每一個像素的感測元件是由一電晶體所構成，所以 數位攝影機容易受到電晶體的不穩定因素而產生暫 時性或永久性的故障，使視訊產生暫時性雜訊與永 久性雜訊。 影像與視訊是人類在生活中最容易得到且了解 的資訊，所以當人們欲傳遞相同的訊息時，利用影 像與視訊往往會比利用聲音或是文字有效；不過， 影像常常受到傳輸頻道不穩定或是電子感測器被干 擾而產生雜訊，造成無法真實傳遞其所包含的資 訊。所以如何有效將影像中的雜訊移除，也是目前 在影像處理研究中不可或缺的一個部份。 影像與視訊未經過資料壓縮處理時，其資料量 是相當龐大的，所以為了節省硬體記憶空間，影像 與視訊都會經過資料壓縮處理，但如果影像與視訊 未壓縮前即有雜訊，將會造成資料壓縮處理時間變 長，且會使得壓縮比大大降低。影像與視訊的物件 切割也是目前相當熱門的研究主題，然而當影像與 視訊有雜訊的時候，會使得物件輪廓邊緣的像素被 雜訊影響，導致物件切割不準確，影響後續的處理 與應用，例如：流量計數、物件辨識、物件追蹤、 人類行為分析…等，因此，影像/視訊雜訊衰減不 僅可以減少雜訊，提升視覺品質，同時也增進後續 影像/視訊處理效能，不過，在衰減雜訊的同時， 數位影像與視訊的細節也會間接的遭受到破壞，所 以如何保留、還原影像與視訊的細節也是其中的一 個重要課題。 為了降低視訊雜訊，首先必須研究各類型雜訊 的特性，然後針對這些雜訊的特性將其減少或移 除，最常見的是脈衝雜訊[1] [8] [9] [12] [15] [16] [17] [19]，其次是高斯雜訊[4] [5] [11] [14] [20]，而 CCD 感測器或 CMOS 感測器所引發的雜訊，目前 也引發不少學者的興趣進而有為數不少的論文[6] [10]被提出，由於低亮度的情況會使 CCD 感測器 或 CMOS 感測器所引發的雜訊變的更嚴重，所以 在低亮度狀況雜訊討論也漸漸的被提出[3] [7] [13] [18]。但是目前的論文，均著手於單張影像或某固 定型號的相機，或者是嘗試於模擬出此類型的雜訊 [10] [13]，鮮少針對有真實雜訊存在的視訊短片做 即時處理的情況。 近年來，有不少學者已提出了一些知名的方 法；在[20]論文中，他們提出兩個沒有利用移動補
償的空間-時間域濾波器（Video
α
-trimmed meanfilter 、 The K nearest neighbor image sequence filter），由於這兩種方法都沒有利用移動偵測來判 斷物體是否有移動，故物體在有移動的情形下可能 會有殘影或模糊的現象。在[2]這篇論文中，移動 補償之時間域濾波器（adaptive motion compensated frame averaging）是以區塊為基準，平均簡單畫面 與平均移動補償晝面衰減視訊雜訊，此方法為移動 補償之時域濾波器的一種，但此演算法沒有考慮到 空間域上影像輪廓邊緣，以及永久性雜訊與短暫突 發性雜訊的問題，故在雜訊濾除之後，可能會模糊 影像輪廓邊緣。[13]這篇論文提出使用時間-空間濾 波器來去除低亮度環境中 CCD 感測器或 CMOS 感 測器所引發的雜訊，此方法為整個以 CCD 感測器 或 CMOS 感測器為主之視訊系統提供一個前置濾 波器，然而這篇論文沒有考慮到 CCD 感測器或 CMOS 感測器在不同亮度環境會產生不同程度的雜 訊，且雜訊的種類也不盡相同，除此之外，此方法 也使用視訊切割的技術，所以在系統執行上會有較 慢的效率。[14]這篇論文提供了一個新的觀念，將 時間-空間濾波器分別執行濾波以達到更理想的效 果，即為先做空間域濾波之後，再利用濾波後之視 訊做時間域濾波，不再單純僅是考慮立體 N*N*N 的遮罩之濾波方式；當視訊使用移動估測這個技術 的時候，若目前的畫面（frame）有雜訊存在，那 估測的準確度必然會降低，所以先使用空間域濾波 器移除部份雜訊，接著再進行移動估測的動作，如 此將可大大提升移動估測的準確度，最後再使用時 間域濾波器來衰減雜訊與還原影像。由此可見，若 只使用空間域濾波器而沒有考慮時間域濾波器的時 候，一旦視訊中物體開始移動，則可能會產生殘影 的現象；若只使用時間域濾波器而沒有考慮影像區 域特性來濾除影像雜訊，則在影像輪廓邊緣上有短 暫突發性雜訊發生的時候，會使影像輪廓邊緣產生 模糊現象，故為了要準確的將雜訊濾除，視訊雜訊 濾波器必須同時考慮空間特性與時間相依性。 因此，為了解決上述雜訊濾波器之缺點，本計 畫之目的在於發展一種即時處理的時間域濾波器技 術來衰減視訊中的雜訊，並保存視訊的原始資訊與 邊緣細節，使視訊可以達到更高的品質，進而提高 壓縮比，同時也降低硬體成本，提高濾波處理的速 度效能。
2. 研究成果與討論
本計畫提出一個即時處理的時間域濾波器來 衰減視訊中的雜訊，並保存視訊的原始資訊與邊緣 細節，使視訊可以達到更高的品質，進而提高壓縮 比，同時可以降低硬體成本，提高濾波處理的速度 效能。時間域濾波器不但可以有效的抑制時間軸上 的雜訊，更可以保護與還原影像細節的資訊，同時 也克服了一般空間域與空間-時間域的濾波器最大 的缺點－模糊影像邊緣。 當視訊處於明亮或高亮度時，雜訊出現的頻 率不高且比例也不大，但當環境昏暗或處在低程度 照度下，雜訊則會大量的出現，影響視訊的品質； 因此，在不同的環境或不同的亮度時，視訊裡會有 不同程度的雜訊。由於亮度是影響雜訊程度的一個 重 要 因 素 ， 所 以 我 們 需 使 用 式 (1) 來 取 得 亮 度 資 訊，用以提供我們 CCD-based 攝影機處在何種亮 度環境下： _Y AVG 。 * _ 1 _ * C w id th h eig h t i f i Y Y A V G w id th h eig h t = =∑
(1) 其中Y_AVG 為整個框架(frame)的 亮 度 資訊平均 值， _ C i fY
為目前框架(current frame)每一個像素點 的亮度資訊， width 與 height 則為視訊的長與寬， 分別為 320 與 240。 _Y AVG 為整個框架(frame)的 亮度資訊平均值，也就是説 _Y AVG 能提供整個框 架中的亮度資訊，當 CCD-based 相機處在環境明 亮或高程度亮度時，因為 CCD 感光器獲得充足的 光 線 ， 所 以 物 體 與 邊 緣 細 節 會 較 為 明 顯 ， 因 此 _ Y AVG 也會呈現較大的一個 數值，而當 CCD-based 相 機 處在昏暗環境或低 程度光源下，由於 CCD 感光器無法獲得充足的光線進而造成感光不 足，導致物體與邊緣細節將無法完善的展現出來， 再加上大量的雜訊干擾，將使的 _Y AVG 會出現較 小的數值，所以本計畫提出使用 _Y AVG 這個資訊 來判斷 CCD-based 相機處在何種程度的光源中。 首先，先將目前的框架 fRGB( , , )x y t 與之前的兩 個框架 fRGB( , ,x y t− 與1) fRGB( , ,x y t−2)利用式(1)來 轉 換 成 亮 度 資 訊 fY( , , )x y t 、 fY( , ,x y t−1) 與 ( , , 2) Y f x y t− 。利用這三個二維陣列來做點對點相 減的運算，並將其運算結果取絕對值以獲得兩個二 維 絕 對 差 異 陣 列 abs difference_ _1( , , )x y t 與 _ _ 2( , , ) abs difference x y t ，如式(2)所示。 _ _1( , ) ( Y( , , 2) Y( , , 1))abs difference x y =abs f x y t− −f x y t− (2a)
_ _ 2( , ) ( Y( , , 1) Y( , , ))
abs difference x y =abs f x y t− −f x y t (2b)
接 著 再 使 用 統 計 直 方 圖 的 觀 念 來 求 取
_ _1( , )
abs difference x y 與abs difference_ _ 2( , )x y 的
直方圖分佈，命名為histogram 與1 histogram 。 2
本計畫將所有的情況劃分為三種狀況：1.高程 度照度、2.中等程度照度下、3.低程度照度，劃分 方式如式(3)所示。
_1 _ _
Threshold < Y AVG ≤ Maximal Value (3a)
_ 2 _ _1
Threshold < Y AVG ≤ Threshold (3b)
_ _ _ 2
Minimal Value < Y AVG ≤ Threshold (3c)
其 中 Maximal Value 為 255 ，_ Minimal Value 為_ 0；根據不同的 CCD-based 攝影機與不同的視訊影 片，Threshold_1 約估算於 125~135、Threshold_2 約估算於 75~85，式(3a)表示 CCD-based 攝影機處 在高程度照度下，式(3b)表示 CCD-based 攝影機處 在中程度照度下，式(3c)表示 CCD-based 攝影機處 在低程度照度下。接著將上述提到的參數：兩個二 維 絕 對 差 異 陣 列 abs difference_ _1( , )x y 與 _ _ 2( , ) abs difference x y 以 及 其 統 計 直 方 圖 1 histogram 與histogram 計算出來以供使用。 2 許多時間域濾波器與空間-時間域濾波器最主 要的缺點在於沒有去判斷視訊中是否有移動物的存 在，所以判斷此框架(frame)中是否有移動物是非常 重要且必須的，根據 CCD-based 攝影機所拍攝下 來的測試影片，在經過不斷的觀察與評估，最後配 合 經 驗 法 則 推 算 出 雜 訊 的 最 大 影 響 值 ： noise_margin 。在高照度的情況下， noise_marign 約等於 9 ~ 14；中照度的情況下，noise_marign 約 等於 13 ~ 18，低照度的情況下，noise_marign 約等 於 23 ~28 。 故 如 果 統 計 直 方 圖 histogram 與1 2
histogram 的最大值hist1_MAX 與hist2 _MAX 均 小於 noise_margin ，且hist1_MAX 與hist2 _MAX 的差距小於臨界值 T ，則此框架(frame)定義為一個 靜態的框架(如式(4)所示)，並使用框架平均技術加 上稍微的修改來做濾波的動作(如式(5)所示)； 1_ noise_margin 2 _ noise_margin ( 1_ - 2 _ ) hist MAX
and hist MAX
and abs hist MAX hist MAX T
< < < (4) _ _ _ ( , , ) ( , , 1) ( , , ) 2 i RGB o RGB o RGB f x y t f x y t f x y t = + − (5) 其 中 fi_RGB( , , )x y t 表 示 目 前 的 輸 入 框 架 (frame) ， _ ( , , ) o RGB f x y t 與 fo RGB_ ( , ,x y t− 表示目前的輸出框1) 架(frame)與前一個的輸出框架(frame)， RGB 則表 示框架處在一般的色彩空間中。 相 反 地 ， 如 果 統 計 直 方 圖 histogram 與1 2
一 個 大 於 noise_margin 或 hist1_MAX 與 2 _ hist MAX 的 差 距 大 於 臨 界 值 T ， 則 此 框 架 (frame)定義為一個具有移動物件的框架，(如式(6) 所示)。 1_ noise_margin 2 _ noise_margin ( 1_ - 2 _ ) hist MAX or hist MAX
or abs hist MAX hist MAX T
≥ ≥ ≥ (6) 當得知框架(frame)中是否包含移動物之後， 使 用 剛 剛 計 算 出 來 的 二 維 絕 對 差 異 陣 列 _ _ 2( , )
abs difference x y 與 noise_margin 比 較 ，
_ _ 2( , )
abs difference x y 大於noise_margin 時，可判
斷視訊中像素位於移動區域(如式(7)所示) _ _ 2( , ) noise_margin abs difference x y > (7) 當 ( , )x y 這 位 置 上 的 絕 對 差 異 值 小 於 或 等 於 noise_margin 時，則此像素處在靜態區域(如式(8) 所示)，並使用時間域平均濾波氣衰減視訊雜訊。 _ _ 2( , ) noise_margin abs difference x y ≤ (8) 像素處在靜態區域與動態區域的濾波方式分 別如式(9a)與(9b)所示。 _ _ _ ( , , ) ( , , 1) ( , , ) 2 i RGB o RGB o RGB f x y t f x y t f x y t = + − (9a) _ ( , , ) _ ( , , ) o RGB i RGB f x y t = f x y t (9b)
3. 研究成果自評
本計劃於進行階段曾於國外研討會議上發表 論文，受到國際研究學者的肯定，本研究成果已符 合原先計劃預期完成之工作，如下所示：（1）完 成視訊空間域亮度分析，使視訊內容更易分類，也 更易處理；（2）解決視訊濾波殘影問題，使視訊 達到更加符合人眼視覺特性的高品質；（3）測試 各式各樣攝影機，推導出各機種皆適用的臨界值， 使本計畫之濾波器可廣泛使用於各類攝影機所攝取 之畫面；（4）推導簡單快速的視訊雜訊偵測演算 法，使視訊雜訊衰減可達到即時處理的效能，並可 進一步使用在視訊產品，如 DVR 即時監控系統。 （5）加入提昇視訊復原品質機制，使影像的後續 處理更為方便進行與運作。4. 參考文獻
[1] I. Aizenberg and C. Butakoff, “Effective Impulse Detector Based on Rank-Order Criteria”, IEEE Signal Processing Lett. Vol. 11, Pages: 363 - 366, Mar. 2004. [2] J. M. Boyce, “Noise reduction of image sequences
using adaptive motion compensated frame averaging” IEEE International Conference on Acoustics, Speech, and Signal Processing, ICASSP-92., Vol. 3, Pages: 461 - 464, 23-26 March. 1992.
[3] Bai Lianfa; Chen Qian; Gu Guohua; Zhang Baomin,
“Time-space noise processing technique for low light level (LLL) image”, Signal Processing Proceedings, 1998. ICSP '98, 1998 Fourth International Conference on Vol. 2, Page(s):1052 – 1055, 12-16 Oct. 1998. [4] Bosco, A.; Bruna, A.; Santoro, G.; Vivirito, P., “Joint
Gaussian noise reduction and defects correction in raw digital images”, NORSIG 2004. Proceedings of the 6th Nordic Signal Processing Symposium, Pages: 109 – 112, 2004.
[5] Bosco, A.; Bruna, A.; Messina, G.; Spampinato, G., “Fast method for noise level estimation and integrated noise reduction”, IEEE Transactions on Consumer Electronics, Vol. 51, Issue 3, Page(s): 1028 – 1033, Aug. 2005.
[6] Cortelazzo, G.; Mian, G.A.; Parolari, R., “Statistical characteristics of granular camera noise”, IEEE Transactions on Circuits and Systems for Video Technology, Vol. 4, Issue 6, Pages:536 – 543, Dec. 1994.
[7] Chen Qian; Bai Lianfa; Zhang Baomin, “Real-time
adaptive noise processing in low light level images”, Signal Processing, 1996., 3rd International Conference on Vol. 1, Page(s):606 – 609, 14-18 Oct. 1996.
[8] Tao Chen and Hong Ren Wu, “Space Variant Median
Filters for the Restoration of Impulse Noise Corrupted Images”, IEEE Transactions on Circuits and Systems II: Analog and Digital Signal Processing, Vol. 48, Issue 8, Pages: 784 - 789, Aug. 2001.
[9] How-Lung Eng; Kai-Kuang Ma, “Noise adaptive soft-switching median filter Image Processing”, IEEE Transactions on Vol. 10, Issue 2, Page(s):242 – 251, Feb. 2001.
[10] Faraji, H.; MacLean, W.J., “CCD noise removal in digital images”, IEEE Transactions on Image Processing, Vol. 15, Issue 9, Pages: 2676 – 2685, Sept. 2006.
[11] Yong Huang; Hui, L., “An adaptive spatial filter for additive Gaussian and impulse noise reduction in video signals”, Information, Communications and Signal Processing, Vol. 1, Page(s):523 – 526, 15-18 Dec. 2003.
[12] X. D. Jiang, “Image detail-preserving filter for impulsive noise attenuation”, IEE Proceeding-Vis. Image Signal Process, Vol. 150, June 2003.
[13] Seong-Won Lee; Vivek Maik; Jihoon Jang; Jeongho Shin; Joonki Paik, “Noise-adaptive spatio-temporal filter for real-time noise removal in low light level images”, IEEE Transactions on Consumer Electronics, Vol. 51, Issue 2, Pages:648 – 653, May 2005.
[14] Kouji Miyata, and Akira Taguchi, “Spatio-temporal separable data-dependent weighted average filtering for restoration of the image sequences ”, IEEE International Conference on Acoustics, Speech, and Signal Processing, 2002. Proceedings, (ICASSP '02), Vol. 4, Pages: 3696 - 3699, May 13-17, 2002
[15] G. Pok, Jyh-Charn Liu, and A. S., “Selective Removal of Impulse Noise Based on Homogeneity Level
Information”, IEEE Transactions on Image Processing, Vol. 12, Pages: 85 - 92, Jan. 2003.
[16] Windyga, P.S., “Fast impulsive noise removal”, IEEE Transactions on Image Processing, Vol. 10, Issue 1, Page(s):173 – 179, Jan. 2001.
[17] X. Xu, E. L. Miller, Dongbin Chen, and M. Sarhadi, “Adaptive two-pass rank order filter to remove impulse noise in highly corrupted images”, IEEE Transactions on Image Processing, Vol. 13, Pages: 238 - 247, Feb. 2004.
[18] Zhang Zheng; Shen Jiali; Wang Xiutan; Ma Zhange; Peng Yingning, “Digital image processing system for
LLLTV”, Signal Processing Proceedings, 2000. WCCC-ICSP 2000, 5th International Conference on Vol. 2, Page(s):955 – 962, 21-25 Aug. 2000.
[19] Shuqun Zhang and M.A. Karim, “A new impulse detector for switching median filters”, IEEE Signal Processing Letters, Vol. 9, Issue: 11, Pages: 360 - 363, Nov. 2002.
[20] V. Zlokolica, W. Philips, and D. Van De Ville, “Robust non-linear filtering for video processing”, 14th International Conference on Digital Signal Processing, DSP 2002., Vol. 2, Pages: 571 - 574, July 1-3, 2002.
