自動産生模糊規則及模糊歸屬函式之模糊演化式硬體影像雜訊過濾器

N a ti_o n a l _U niversity of Kao hsi un g

國立高雄大學電機工程系

碩士論文

自動産生模糊規則及模糊歸屬函式之

模糊演化式硬體影像雜訊過濾器

Auto generating fuzzy rules and membership

function with evolvable hardware image filter

研究生：林育賢撰

指導教授：吳志宏

N a ti_o n a_l U niversity of Kao hsi un g

自動産生模糊規則及模糊歸屬函式之

模糊演化式硬體影像雜訊過濾器

指導教授: 吳志宏博士 學生：林育賢 國立高雄大學電機工程系

摘要

演化式硬體 (evolvable hardware) 是以可重規劃硬體 (reconfigurable hardware) 與演化計算 (evolutionary algorithms) 為基礎的新興研究主題。近年來有研究將 模糊理論 (fuzzy theory) 整合在演化式硬體影像雜訊過濾器上，並獲得相當好的 表現。然而過去的研究以固定的模糊歸屬函數 (membership function) 與模糊規 則 (fuzzy rules) 來處理所有類型的影像雜訊，限制了其彈性與效能。本研究分析 影像雜訊像素間的關聯性，利用分群 (clustering) 的技術將影像像素依照相似度 (similarity) 與相異度 (divergence) 自動分為不同的群聚 (cluster)，每個群聚形成一 個雜訊的模糊分類規則，每一群聚的資料分佈則對應到歸屬函式的模型。本研究 設計一個自動決定群數的分群演算法，並整合到模糊演化式硬體影像雜訊過濾器 中，每一種模糊分類規則對應一個專屬的演化式硬體影像雜訊過濾器。因為影像 像素在被還原前依照其像素特徵分類，並以專屬的過濾器處理，而分類規則是從 影像資料中分析得來，而不是固定不變的靜態規則，所以本方法更具適應性與彈 性。本論文與其它過濾雜訊的方法進行比較，實驗結果顯示此方法所訓練出來的 雜訊過濾器具備更好過濾雜訊的能力。 關鍵字：去除雜訊、影像雜訊過濾、演化式硬體、資料分群、模糊理論。

N a ti_o n a_l U niversity of Kao hsi un g

Auto generating fuzzy rules and membership

function with evolvable hardware image filter

Advisor: Dr. CHIH-HUNG WU Student: YU-SIAN LIN Department of Electrical Engineering

National University of Kaohsiung

ABSTRACT

Evolvable hardware (EHW), which is a combination of reconfigurable hardware and evolutionary algorithm, is an emerging research topic. Recent studies show that the in-tegration of fuzzy theory and EHW demonstrates effectiveness on digital image filtering. However, in these studies fuzzy rules and membership functions are defined heuristically. Their performance on filtering a variety of types of image noise is limited. In this study, similarity and divergence of image pixels are analyzed and used for clustering. Each cluster is defined as a fuzzy classification rule. The belongingness of pixels to a cluster describes a model of fuzzy membership function in terms of similarity and divergence. A clustering-based incremental algorithm is developed for generating fuzzy rules and mem-bership functions from a given set of image pixels. With each fuzzy classification rule, an EHW-based image filter is learned and used for filtering the pixels classified by the fuzzy rule. Because fuzzy rules are learned from image pixels, not defined statically, our proposed method can have better performance on processing noisy pixels with the correct circuits. In this study, the performance of our proposed method is compared with other ones. The experimental results show that our proposed method outperforms traditional methods on image filtering.

N a ti_o n a_l U niversity of Kao hsi un g

致謝

首先，感謝吳志宏教授於在我讀研究所期間的指導，並且在這段時間中，增 加了許多人生中的第一次經驗，第一次的搭飛機出國體驗不同的風情事故，第一 次的英文口頭報告，發現原來開口說英文一點也不簡單，還有 e-Eureka 資訊志工 團隊，學著如何辨理好一個活動，這些經驗豐富了整個碩士生涯。當然也有經歷 過低潮，犯過了許多錯，感謝老師一再的開導，在這過程中耐心的指導說明以及 給我多次機會把事情作得更好，在這中間也學習到如何待人處事的經驗。同時要 感謝小駱學長及瓊輝學長，二位學長在工作及自己的研究論文外，還得時時刻刻 的關心我們的情況，不論是在研究上遇到的瓶頸，或是生活上碰到的問題，都能 靠著多年的經驗來開導，在這之間扮演著亦師亦友的角色。 感謝我的同學阿鐵及偉洲，在研究上的問題可以有討論的機會，在撰寫程式 時能及時的幫助我，犯錯時一同的被釘在座位上。還有要感謝實驗室的學弟，卡 比、孟瑋、柏威及張簡，再交接後維持實驗室網站的正常運作，參與了實驗室機 器人競賽獲得相當優秀的成績讓我與有榮焉，期間一起參與的實驗室大大小小的 活動，都為整個碩士生涯增添不少樂趣。 最後要感謝我的家人，在我讀研究所期間生活經濟上的支持，讓我可以把生 活重心放在課業上，最終順利的完成取得碩士學位。希望未來可以換我來支持你 們作想作的事，還有帶著你們看看不同的風情。 林育賢謹誌於國立高雄大學電機工程學系 中華民國一零五年七月

N a ti_o n a_l U niversity of Kao hsi un g

目錄

中文摘要 . . . i 英文摘要 . . . ii 致謝 . . . iii 目錄 . . . iv 圖目錄 . . . vi 表目錄 . . . xi 1 緒論 . . . 1 1.1 研究背景 . . . 1 1.1.1 基本影像過濾技術 . . . 1 1.1.2 演化式硬體影像過濾器 . . . 3 1.1.3 模糊影像雜訊過濾器 . . . 6 1.2 研究動機與方法 . . . 7 1.3 研究流程與論文架構 . . . 8 2 文獻探討 . . . 10 2.1 直角座標式基因規劃 . . . 10 2.1.1 直角座標式基因規劃的基因編碼 . . . 10 2.1.2 直角座標式基因規劃的演化機制 . . . 12 2.1.3 適應度函式與過濾效能指標 . . . 13 2.2 模糊理論 . . . 14 2.2.1 模糊關係 . . . 15 2.2.2 模糊推理引擎 . . . 16 2.2.3 解模糊化 . . . 17 2.3 自動産生模糊規則 . . . 18 3 問題定義與研究方法 . . . 20 3.1 雜訊分析 . . . 20 3.2 影像雜訊特徵 . . . 23 3.3 分群演算法 . . . 26

N a ti_o n a_l U niversity of Kao hsi un g 3.4 模糊演化式影像雜訊過濾器 . . . 29 3.4.1 濾波器處理流程 . . . 31 4 實驗結果與分析 . . . 35 4.1 實驗環境與硬體架構 . . . 35 4.2 CGP 參數設定 . . . 36 4.3 實驗 A - 分群有效度測試 . . . 37 4.3.1 實驗結果 . . . 37 4.4 實驗 B - 分群數量分析 . . . 38 4.4.1 實驗結果 . . . 39 4.5 實驗 C - 研究方法搭配 HF 與 SF 比較 . . . 40 4.5.1 HF 及 SF 測試結果 . . . 42 4.5.2 實驗結果 . . . 42 4.6 實驗 D - 各種過濾方法的比較 . . . 43 5 結論與未來展望 . . . 47 5.1 結論 . . . 47 5.2 未來展望 . . . 47 參考文獻 . . . 48 附錄 A 附錄 A - 研究中使用的運算單元表 . . . . 54 附錄 B 附錄 B - 受到 SPNoise 雜訊影像過濾結果 . . . . 57 附錄 C 附錄 C - 受到 IBNoise 雜訊影像過濾結果 . . . . 82

N a ti_o n a_l U niversity of Kao hsi un g

圖目錄

1.1 影像雜訊 . . . 1 1.2 滑動視窗與遮罩 . . . 2 1.3 可重組式硬體元件及架構圖 [1] . . . 4 1.4 演化式硬體的處理流程 [2] . . . 5 1.5 具像素選擇器的影像過濾器 . . . 6 1.6 模糊像素判斷的影像雜訊過濾器 . . . 7 1.7 研究進行流程圖 . . . 9 2.1 演化式硬體示意圖 [3] . . . 10 2.2 直角座標式基因規劃示意圖 [1] . . . 11 2.3 影像雜訊結合 CGP[4] . . . 12 2.4 交配與突變示意圖 [4] . . . 14 2.5 常見的歸屬函數模形 . . . 16 3.1 未受到雜訊污染影像與其直方圖 . . . 20 3.2 中心點像素與鄰近像素 . . . 21 3.3 中心點像素與鄰近像素的差距統計直方圖 . . . 22 3.4 非雜訊的相似度與差異性 . . . 24 3.5 雜訊的相似度與差異性 . . . 24 3.6 相似度與差異性的資料分佈圖 . . . 25 3.7 雜訊類型 . . . 25 3.8 影像特徵分佈 . . . 26 3.9 資料分群結果 . . . 27 3.10 分群演算法流程圖 . . . 28 3.11 歸屬函數 . . . 29 3.12 模糊硬式分類範例 . . . 30 3.13 模糊軟式分類範例 . . . 31 3.14 影像過濾流程圖 . . . 32

N a ti_o n a_l U niversity of Kao hsi un g 3.15 模糊硬式分類架構圖 . . . 33 3.16 模糊軟式分類架構圖 . . . 34 4.1 實驗測試影像 . . . 36 4.2 實驗 A - 分群的有效度測試結果 (SPNoise) . . . 38 4.3 實驗 A - 分群的有效度測試結果 (IBNoise) . . . 39 4.4 不同的分群結果 . . . 40 4.5 處理 SPNoise 各影像的 PSNR 值 . . . 41 4.6 實驗 C - 搭配 HF 的測試結果 (SPNoise) . . . 42 4.7 實驗 C - 搭配 SF 的測試結果 (SPNoise) . . . 43 4.8 實驗 C - 搭配 HF 的測試結果 (IBNoise) . . . 43 4.9 實驗 C - 搭配 SF 的測試結果 (IBNoise) . . . 44 4.10 實驗 D - SPNoise 過濾效能 PSNR 值 . . . 45 4.11 實驗 D - IBNoise 過濾效能 PSNR 值 . . . 46 B.1 Airplane 受到 5% SPNoise 雜訊的過濾結果 . . . 58 B.2 Airplane 受到 10% SPNoise 雜訊的過濾結果 . . . 58 B.3 Airplane 受到 20% SPNoise 雜訊的過濾結果 . . . 59 B.4 Airplane 受到 40% SPNoise 雜訊的過濾結果 . . . 59 B.5 Airplane 受到 50% SPNoise 雜訊的過濾結果 . . . 60 B.6 Airplane 受到 70% SPNoise 雜訊的過濾結果 . . . 60 B.7 Boat 受到 5% SPNoise 雜訊的過濾結果 . . . 61 B.8 Boat 受到 10% SPNoise 雜訊的過濾結果 . . . 61 B.9 Boat 受到 20% SPNoise 雜訊的過濾結果 . . . 62 B.10 Boat 受到 40% SPNoise 雜訊的過濾結果 . . . 62 B.11 Boat 受到 50% SPNoise 雜訊的過濾結果 . . . 63 B.12 Boat 受到 70% SPNoise 雜訊的過濾結果 . . . 63 B.13 Bridge 受到 5% SPNoise 雜訊的過濾結果 . . . 64 B.14 Bridge 受到 10% SPNoise 雜訊的過濾結果 . . . 64 B.15 Bridge 受到 20% SPNoise 雜訊的過濾結果 . . . 65

N a ti_o n a_l U niversity of Kao hsi un g B.16 Bridge 受到 40% SPNoise 雜訊的過濾結果 . . . 65 B.17 Bridge 受到 50% SPNoise 雜訊的過濾結果 . . . 66 B.18 Bridge 受到 70% SPNoise 雜訊的過濾結果 . . . 66 B.19 Cameraman 受到 5% SPNoise 雜訊的過濾結果 . . . 67 B.20 Cameraman 受到 10% SPNoise 雜訊的過濾結果 . . . 67 B.21 Cameraman 受到 20% SPNoise 雜訊的過濾結果 . . . 68 B.22 Cameraman 受到 40% SPNoise 雜訊的過濾結果 . . . 68 B.23 Cameraman 受到 50% SPNoise 雜訊的過濾結果 . . . 69 B.24 Cameraman 受到 70% SPNoise 雜訊的過濾結果 . . . 69 B.25 Goldhill 受到 5% SPNoise 雜訊的過濾結果 . . . 70 B.26 Goldhill 受到 10% SPNoise 雜訊的過濾結果 . . . 70 B.27 Goldhill 受到 20% SPNoise 雜訊的過濾結果 . . . 71 B.28 Goldhill 受到 40% SPNoise 雜訊的過濾結果 . . . 71 B.29 Goldhill 受到 50% SPNoise 雜訊的過濾結果 . . . 72 B.30 Goldhill 受到 70% SPNoise 雜訊的過濾結果 . . . 72 B.31 House 受到 5% SPNoise 雜訊的過濾結果 . . . 73 B.32 House 受到 10% SPNoise 雜訊的過濾結果 . . . 73 B.33 House 受到 20% SPNoise 雜訊的過濾結果 . . . 74 B.34 House 受到 40% SPNoise 雜訊的過濾結果 . . . 74 B.35 House 受到 50% SPNoise 雜訊的過濾結果 . . . 75 B.36 House 受到 70% SPNoise 雜訊的過濾結果 . . . 75 B.37 Lena 受到 5% SPNoise 雜訊的過濾結果 . . . 76 B.38 Lena 受到 10% SPNoise 雜訊的過濾結果 . . . 76 B.39 Lena 受到 20% SPNoise 雜訊的過濾結果 . . . 77 B.40 Lena 受到 40% SPNoise 雜訊的過濾結果 . . . 77 B.41 Lena 受到 50% SPNoise 雜訊的過濾結果 . . . 78 B.42 Lena 受到 70% SPNoise 雜訊的過濾結果 . . . 78 B.43 Peppers 受到 5% SPNoise 雜訊的過濾結果 . . . 79 B.44 Peppers 受到 10% SPNoise 雜訊的過濾結果 . . . 79

N a ti_o n a_l U niversity of Kao hsi un g B.45 Peppers 受到 20% SPNoise 雜訊的過濾結果 . . . 80 B.46 Peppers 受到 40% SPNoise 雜訊的過濾結果 . . . 80 B.47 Peppers 受到 50% SPNoise 雜訊的過濾結果 . . . 81 B.48 Peppers 受到 70% SPNoise 雜訊的過濾結果 . . . 81 C.1 Airplane 受到 10% IBNoise 雜訊的過濾結果 . . . 83 C.2 Airplane 受到 20% IBNoise 雜訊的過濾結果 . . . 83 C.3 Airplane 受到 30% IBNoise 雜訊的過濾結果 . . . 84 C.4 Airplane 受到 40% IBNoise 雜訊的過濾結果 . . . 84 C.5 Airplane 受到 50% IBNoise 雜訊的過濾結果 . . . 85 C.6 Boat 受到 10% IBNoise 雜訊的過濾結果 . . . 85 C.7 Boat 受到 20% IBNoise 雜訊的過濾結果 . . . 86 C.8 Boat 受到 30% IBNoise 雜訊的過濾結果 . . . 86 C.9 Boat 受到 40% IBNoise 雜訊的過濾結果 . . . 87 C.10 Boat 受到 50% IBNoise 雜訊的過濾結果 . . . 87 C.11 Bridge 受到 10% IBNoise 雜訊的過濾結果 . . . 88 C.12 Bridge 受到 20% IBNoise 雜訊的過濾結果 . . . 88 C.13 Bridge 受到 30% IBNoise 雜訊的過濾結果 . . . 89 C.14 Bridge 受到 40% IBNoise 雜訊的過濾結果 . . . 89 C.15 Bridge 受到 50% IBNoise 雜訊的過濾結果 . . . 90 C.16 Cameraman 受到 10% IBNoise 雜訊的過濾結果 . . . 90 C.17 Cameraman 受到 20% IBNoise 雜訊的過濾結果 . . . 91 C.18 Cameraman 受到 30% IBNoise 雜訊的過濾結果 . . . 91 C.19 Cameraman 受到 40% IBNoise 雜訊的過濾結果 . . . 92 C.20 Cameraman 受到 50% IBNoise 雜訊的過濾結果 . . . 92 C.21 Goldhill 受到 10% IBNoise 雜訊的過濾結果 . . . 93 C.22 Goldhill 受到 20% IBNoise 雜訊的過濾結果 . . . 93 C.23 Goldhill 受到 30% IBNoise 雜訊的過濾結果 . . . 94 C.24 Goldhill 受到 40% IBNoise 雜訊的過濾結果 . . . 94 C.25 Goldhill 受到 50% IBNoise 雜訊的過濾結果 . . . 95

N a ti_o n a_l U niversity of Kao hsi un g C.26 House 受到 10% IBNoise 雜訊的過濾結果 . . . 95 C.27 House 受到 20% IBNoise 雜訊的過濾結果 . . . 96 C.28 House 受到 30% IBNoise 雜訊的過濾結果 . . . 96 C.29 House 受到 40% IBNoise 雜訊的過濾結果 . . . 97 C.30 House 受到 50% IBNoise 雜訊的過濾結果 . . . 97 C.31 Lena 受到 10% IBNoise 雜訊的過濾結果 . . . 98 C.32 Lena 受到 20% IBNoise 雜訊的過濾結果 . . . 98 C.33 Lena 受到 30% IBNoise 雜訊的過濾結果 . . . 99 C.34 Lena 受到 40% IBNoise 雜訊的過濾結果 . . . 99 C.35 Lena 受到 50% IBNoise 雜訊的過濾結果 . . . 100 C.36 Peppers 受到 10% IBNoise 雜訊的過濾結果 . . . 100 C.37 Peppers 受到 20% IBNoise 雜訊的過濾結果 . . . 101 C.38 Peppers 受到 30% IBNoise 雜訊的過濾結果 . . . 101 C.39 Peppers 受到 40% IBNoise 雜訊的過濾結果 . . . 102 C.40 Peppers 受到 50% IBNoise 雜訊的過濾結果 . . . 102

N a ti_o n a_l U niversity of Kao hsi un g

表目錄

3.1 演算法中使用的參數符號表 . . . 27 4.1 FCGP 參數表 . . . 37 A.1 處理 SPNoise 的功能模組表 . . . 55 A.2 處理 SPNoise 的功能模組表 . . . 56

N a ti_o n a_l U niversity of Kao hsi un g

第 1 章

緒論

1.1

研究背景

1.1.1

基本影像過濾技術

數位影像在進行影像擷取及傳送的過程中，可能會遭受到許多因素使得影像 受到干擾而産生雜訊，造成影像品質變差，失去了原始影像像素中所帶有原始資 訊。影像處理上常見的雜訊種類有許多，例如隨機分佈在影像中黑色或白色像素 的胡椒鹽雜訊 (salt-and-pepper noise ，以下簡稱 SPNoise)，連續性損壞影像的脈衝 突發雜訊 (impulse burst noise ，以下簡稱 IBNoise)，如圖1.1 所示。

影像過濾 (image filter) 是專門用來去除雜訊 (denoising) 或是降低雜訊的方法， 目的是將含有雜訊的影像還原。空間域影像 (spatial domain image) 是影像處理的 其中一種方法，在處理過程中將影像中的數值加以修改、調整，而産生新的影 像。在不同的應用上有不同的處理方式，例如影像太暗或太白，可以透過調整來 使影像變亮或變暗。數位影像可視為一個二維陣列組成，因此可以使用空間域的

(a) 原始影像 (b) 含 SPNoise 的影像 (c) 含 IBNoise 的影像

N a ti_o n a_l U niversity of Kao hsi un g 圖 1.2: 滑動視窗與遮罩 影像過濾方式來處理影像中的雜訊。空間域影像處理可以表示成公式(1.1)來表示。 f (x, y) = T [i(x, y)] (1.1) 其中，i 為輸入影像，x, y 為影像像素的座標位置、f (x, y) 為經過處理後的影像而 T 通常為作用於 i 的運算子或是過濾雜訊的方法。T 會針對整張影像以 i(x, y) 為 中心點向外擴張成一個 m×m 的遮罩 (mask)，該遮罩以滑動方式掃描整張影像， 對在此罩中的像素點進行線性 (linear) 或非線性 (non-linear) 計算。其計算結果為 f (x, y)，取代原本的影像像素，i(x, y) 如圖1.2 所示。此類型的方法如中值濾波器 (median filter) 是將遮罩內的像素由大到小進行排序後取出中位數當作新的影像像 素值 [5]。權重式中值濾波器 (weighted median filter) 將遮罩內中心點複製多次，接 著排序所有像素再取中值作為過濾結果。[6]。也有學者以中值濾波器為基礎，設 計出具有適應性的中值濾波器，可以依據遮罩內像素的計算結果可以改變遮罩的 大小 [7, 8]，或是在權重式的中值濾波器的基礎上，加入了影像紋理 (texture) 檢查 來提高過濾的效能 [9]。 典型的影像雜訊過濾器過濾影像的方法是使用簡單且靜態 (static) 的數學函數 對影像像素進行處理，在影像雜訊比率較低的情況下能得到快速且相當不錯的雜 訊過濾效果，但由於靜態數學函數計算簡易，且固定對所有遮罩進行相同處理， 所以無法描述所有的情況，所以在雜訊比率較高的情況下，過濾雜訊的效能會隨

N a ti_o n a_l U niversity of Kao hsi un g 著雜訊比率的提高而降低。例如中值濾波器只要遇到遮罩內的雜訊數量大於遮罩 內所有像素數量的一半時，過濾的效果就會明顯降低。並且無論高雜訊數量或是 低雜訊數量的情形下，典型的影像雜訊濾波器都會改變影像中某些未受到雜訊汙 染的像素值，而造成影像失真。所以典型的影像雜訊過濾器對於在面對不同雜訊 類型或雜訊比率的情況下，缺乏了適應性 (adaptability) 及靈活性 (flexibility)。因 此若是想設計一個在不同的雜訊比率下仍具備效能良好的雜訊過濾器，同時又能 判斷影像像素是否為雜訊的過濾器，應該考慮各種不同的情況，例如影像遮罩中 含有雜訊的像素數量，或是遮罩中心的像素是否為雜訊，所以一個具備適應性及 靈活性的影像雜訊過濾器，其運算子必定是複雜的。

1.1.2

演化式硬體影像過濾器

演化式硬體 (evolvable hardware ，以下簡稱 EHW)[2, 3] 是由可重構式硬體 [10](reconfigurable hardware) 與演化式演算法 (evolutionary algorithms)[11] 結合而 成。可重構式硬體 [10] 泛指如現場可程式閘陣列 (field programmable gate array ， 以下簡稱 FPGA)[12]，或是複雜式可程式邏輯設備 (complex programmable logic device ，以下簡稱 CPLD)[13]，具有許多現成的邏輯閘組合，可讓設計者快速合 成出電路，並在燒錄後直接驗證。透過反覆的設計、燒錄、驗證與修改，得以讓 設計者快速驗證各種電路設計以降低開發與測試成本，具有出廠後可改變硬體電 路的優點。

可重組式硬體以可重組式邏輯區塊 (configurable logic block ，以下簡稱 CLB) 為基礎元件，彼此間擁有高度彈性的連結功能，使設計者可自由設計各個 CLB 間 的連結以合成各種電路的硬體。CLB 架構如圖1.3(a)，主要以一個邏輯閘對兩個輸 入的運算並給予結果，兩個輸入來源由多工器控制，分別與其他邏輯元件互相連 結。而可使用的邏輯閘則內建於函式區塊 (function block) 中，也以多工器控制。 因此設計者只要改變三個多工器的輸入，即可控制整個 CLB 的運算結果。FPGA

N a ti_o n a_l U niversity of Kao hsi un g

Configurable Logic Block (CLB)

F0…Fn FB 8 8 CLB1 … … 8 8 ………. 8 8 8 8 I0 I1 I2 In-1 8 CLB2 O u tp u t d a ta In p u t d a ta CLB2 CLB3 (a) 可重組式邏輯區塊 ёำԄϯ࿯ᗺ CLB CLB CLB CLB CLB CLB CLB CLB CLB ၡҗҬඤᏔ ᙅጕ೽ϩ ဂ໣ᡄᒠ୔༧ (b) FPGA 基本架構 圖 1.3: 可重組式硬體元件及架構圖 [1] 以 CLB 為主要元件，並以連結單元將各個 CLB 互相連結，組合出完整的電路。 FPGA 的基本架構如圖1.3(b) 所示。 演化式演算法仿效生物界中「物競天擇、適者生存」的自然演化法則，把個 體視為一個解答，個體的演化代表著解答的改變，每一代的演化都經過挑選、交 配、突變，淘汰等過程，最後産生出最好的個體時，也就代表著最佳解的産生。 因此，EHW 具有演化的方式來重覆規劃改變本身的硬體架構，以因應工作需求 或是外在工作環境的變化，其演化的方式可分為直接在實現在硬體電路的外在演 化，另一種是以軟體模擬的方式進行規劃，演化式硬體的概念如圖1.4所示。以 EHW 為基礎設計的演化式硬體影像雜訊過濾器 (EHW-based image filters ，以下簡 稱 EHWIF)，EHWIF 以演化的方式設計出具有較高複雜度的影像雜訊過濾器，由 於具備自我演化的特性，因此賦予影像雜訊過濾器在未知雜訊類型的情形下，擁 有適應性及靈活性。 近 年 來， 有 學 者 將 演 化 式 硬 體 的 概 念 用 在 影 像 濾 波 器 上， 以 演 化 式 計 算取得最佳的影像過濾器設計。例如有學者以 FPGA 為平台，使用內在演化 (Intrinsic)[14, 15, 16] 的方式設計演化式硬體影像過濾器，實現出對受到脈衝突發 雜訊汙染的影像濾波器 [17, 18]。在 2003 年，學者 Sekanina 及 Vasicek 等人以外 在演化 (Extrinsic)[19] 的方式，使用軟體模擬設計出演化式硬體影像雜訊濾波器

N a ti_o n a_l U niversity of Kao hsi un g 圖 1.4: 演化式硬體的處理流程 [2]

[20, 21]，在 2007 年，學者 Zdenek Vasicek 與 Lukas Sekanina 提出以 3-Bank 為概 念，以演化式硬體為基礎設計出影像雜訊過濾器 [22, 23]，在訓練階段時同時將三 組模型進行演化，利用三組不同的模型進行雜訊處理，將三個模組的結果取中位 數當作過濾雜訊的結果。當處理的雜訊類型為 IBNoise 時，EHWIF 使用 3× 3 遮 罩大小其過濾雜訊的效果並不明顯，因此需將遮罩大小擴大至 5× 5，但此舉使得 演化過程探索空間過大，導致演化時間提高，電路面積增加等問題。在 2009 年學 者 Vasicek 等人設計出具有像素擷取功能的影像雜訊過濾器，在 5× 5 = 25 個像素 中挑選出 9 個像素作為影像雜訊過濾器的輸入，藉此減低探索空間 [24]，同時也 可以尋找出影像中的紋理結構，加強影像過濾的效果，提升了影像過濾的效果， 減少影像雜訊過濾器電路面積，具像素擷取功能的過濾器如圖1.5所示。 使用 EHWIF 來設計影像雜訊過濾器，在演化的過程中，隨著各種不同的雜 訊情況不斷改變本身的架構來達到適合的過濾結果。考慮遮罩中心與其它像素值 間的關系可以達到判斷遮罩中心像素是否為雜訊的效果，因此可以設計出具有較 高複雜度的影像雜訊過濾器，在不同的雜訊比率下可以提供更好的過濾效能。但

N a ti_o n a_l U niversity of Kao hsi un g 圖 1.5: 具像素選擇器的影像過濾器 是它仍然存在著一些缺點，EHWIF 在雜訊的判斷上是二元的方式表示，即是明確 的分成是雜訊與非雜訊兩種情況，此種二元的判斷會降低雜訊判斷的準確性。例 如影像中邊緣的部分容易被當成是雜訊進行處理，反而使其失去原本的影像像素 所具有的資訊，造成影像過濾後影像細節失真。

1.1.3

模糊影像雜訊過濾器

近年來學者開始導入模糊理論 (fuzzy theory) 來進行影像雜訊過濾器的設計， 希望能減少 EHWIF 在訓練階段時在雜訊的判斷上的失誤，減少因為過濾後造成 影像失真的問題。模糊理論是一種以數學模型來描述語意式的模糊資訊方法，將 傳統的明確集合推廣至模糊集合，適合應用於現實生活中的非現性系統。例如， 控制工程中的智慧型控制、圖樣辨識方面的影像處理、語音辨識等等。也有被應 用在影像過濾中，例如 [25, 26, 27, 28] 近年來有許多將模糊理論結合 EHW 研究應用被提出來，例如學者 Li 等 人，結合了模糊推論及 EHW，設計出 Evolvable fuzzy hardware (EFH)，使用內在 演化的方式設計出具有適應性的在線 (online) 式封包交換網路 (packet switching network)，克服在傳統上需要依靠平台執行演化及評估，以及無法以內在演化及 線上式的適應性調整 [29, 30]。在 2006 年，學者 Schulte 等人提出結合了模糊理論 及影像雜訊偵測的影像過濾器，發展出一套模糊影像雜訊偵測的技術。也有學者

N a ti_o n a_l U niversity of Kao hsi un g 圖 1.6: 模糊像素判斷的影像雜訊過濾器 Wu 等人，將模糊理論應用在影像雜訊過濾器中，使用模糊推論進行影像像素的 分析，賦予所有像素不同的雜訊型態，搭配基於 EHW 的影像過濾器進行雜訊過 濾，以演化的方式來設計過濾器模型，獲得了效能良好的雜訊過濾效能 [31, 4]。 學者 Vasicek 及 Sekanina 設計出具有模糊影像雜訊偵測功能的演化式影像雜訊過 濾器，在訓練過程中同時將三組過濾器模型進行演化，利用三組不同的模型進行 雜訊處理，如圖1.6。根據模糊推論結果使用不同模組的過濾器來進行影像過濾， 使用模糊影像雜訊偵測提高了雜訊判斷的準確度，保留影像原始的資訊，對未受 損的像素造成的影響降低。同時減少了複雜的演化需要耗費的時間 [22, 23]。 結合 EHW 及模糊理論不論是應用在控制或是影像處理上，都能夠有效的提 高系統的效能。但是在模糊系統的設計上存在著問題，模糊系統推論的準確度取 決於其模糊規則及歸屬函式的設計，現階段的模糊系統的設計往往都是由具有相 關領域的專家的知識所設計的，也就是說，並沒有一套有系統的方式來進行模糊 推論系統的設計。

1.2

研究動機與方法

以人為的方式來設計模糊規則及模糊歸屬函數時，其模糊規則的數量及模糊 歸屬函數的形態取決設計者的經驗知識。也就是說，模糊規則的數量及模糊歸屬 函數是固定的，並不會隨著不同的資料特徵而改變規則的數量及歸屬函數的形

N a ti_o n a_l U niversity of Kao hsi un g 態。在這個限制下，遇到未知雜訊類型或是影像資料特徵不同時，舊有的模糊推 論系統即不適用，造成推論的效果降低。不具有能隨著不同狀況而調整規則的數 量及歸屬函數的能力。因此，本研究的目標是希望在進行影像雜訊過濾時，遇到 不同的影像雜訊特徵，或是不同的雜訊類型，能自行根據雜訊特徵由演算法來決 定模糊規則數量及歸屬函數的能力。因此具備自行決定模糊規則的數量及模糊歸 屬函數的方法需要考慮以下問題： • 如何找出雜訊特徵資料中較為相似的部分 • 歸屬函數的形態 • 模糊歸則的數量 本研究使用資料分群 (data clustering) 方式來産生模糊規則及模糊歸屬函數， 利用資料分群的特性找出影像雜訊特徵中較相為似的部份，不同的部份分成不同 的群聚，並將分群的結果轉化成可用的模糊規則及模糊歸屬函數。而分群後的群 聚數量即表示模糊規則的數量，而每一個群聚資料分佈的情況則當作模糊歸屬函 數的形態。利用分群的結果來設計模糊規則及歸屬函式，使得模糊規則及模糊歸 屬函數可以靈活的隨著影像特徵資料的不同，由演算法自行決定模糊規則的數量 以及歸屬函數的形態。在資料的分佈較雜亂或是較高維度，不容易看出資料之間 的屬性關系時，分群的方式也能夠有效的將資料進行分類。

1.3

研究流程與論文架構

本論文研究流程主要分為研究動機、相關文獻蒐集與探討、程式撰寫、實驗 結果分析與結論等部分，研究進行流程圖如圖1.7。 • 研究動機：包含相關的研究背景、問題範圍及定義及本研究的動機。

N a ti_o n a_l U niversity of Kao hsi un g 圖 1.7: 研究進行流程圖 • 相關文獻蒐集與探討：蒐集與本研究相關之技術文獻，包含演化式演算法、 演化式硬體、直角座標式基因規劃、模糊理論、影像濾波器設計、資料分 群，深入了解相關技術應用與優劣性。 • 程式撰寫：撰寫影像特徵分群程式，及使用演化式演化法實現影像雜訊過濾 器設計。 • 實驗結果分析與結論：各種不同的實驗參數設定比較與分析。 本論文之架構分為五章節，其簡述如下：第一章『緒論』，說明本研究背景與 動機。第二章『文獻探討』，簡述背景知識、主動生成模糊規則及調整歸屬函式相 關研究、含有模糊演化式硬體影像雜訊過濾參考文獻。第三章『問題定義與研究 方法』，述說如何定義影像雜訊，以及模糊影像雜訊分析如何對影像雜型態進行模 糊推論，將影像雜訊特徵資料進行分群處理後如何産生成模糊規則及歸屬函數。 第 f 章『實驗結果與分析』，實驗比較含有雜訊偵測機制的影像雜訊過濾器與不同 雜訊與影像的實驗設計與結果，並與其他影像雜訊濾波器進行比較。第五章『結 論與未來展望』，總結本研究中的問題及方法，並提出未來可以研究及更深入的方 向與構想。

N a ti_o n a_l U niversity of Kao hsi un g

第 2 章

文獻探討

本章簡述研究應用相關技術，直角座標式基因規劃 (Cartesian Genetic Pro-gramming ，以下簡稱 CGP)，模糊推論 (fuzzy reasoning)，及影像處理相關技術參 考文獻探討。

2.1

直角座標式基因規劃

演化式硬體的概念可由直角座標式基因規劃 [32] 實現。EHW 的實作概念可參 考圖2.1。在演化式演算法部分，以數字編碼代表硬體電路設計，並以此數字燒錄 至硬體合成電路。在硬體部分，將合成後的電路以實機測試後將結果回傳。演化 式演化法再以此結果評估該電路的好壞後，再決定是否為最佳解。CGP 利用平面 式座標位置將座標點以二維方式編碼，如圖2.2，先設定計算結點的二維座標後， 再依其座標位置加以編碼。使整個電路結構可視為一個直角座標體系，因此可使 用直角座標式基因規劃進行電路的編碼。

2.1.1

直角座標式基因規劃的基因編碼

在設計直角座標式基因規劃進行電路編碼時，首先需先決定 CGP 的欄數與列 數，以圖2.2為例，代表 2 欄 2 列 CGP 電路。在 CGP 中有階層的概念，每一欄代 Reproduction Selection Evaluation 0101100001 Download

Configuration bit EA process

Reproduction Selection Evaluation 0010101010

Download

Configuration bit EA process

0110101010

Download Configuration bit

Reconfigurable device Reconfigurable device Reconfigurable device 圖 2.1: 演化式硬體示意圖 [3]

N a ti_o n a_l U niversity of Kao hsi un g 圖 2.2: 直角座標式基因規劃示意圖 [1] 表一個階層，每一階層中的節點的輸入來源可由前面階層的輸出取得，此方式稱 之為 level back。因此，一個 CGP 電路的輸出 (output) 由輸出端決定，而輸出端的 值從輸出端之前的階層中，直接取某個節點的輸出值。而輸出端之前的階層的輸 入再由更前面的階層而來，藉由不斷的往前一個階層的方式取值，當階層數以及 每一階層內的結點數夠多時，電路將會變得複雜許多。使用簡單元件的電路也可 以具有更複雜的數學運算。

舉例來說，直角座標式基因規劃的結點擁有 AN D, OR, N OT, XOR 共四種邏 輯電路功能，對四種邏輯電路功能加以編號，例如以 0 為 AN D 、1 為 N OT 、2 為 XOR 、3 為 OR 其中每個結點都有 2 個輸入 1 個輸出。其編碼順序由上至下， 由左至右，每三個數字表示成一個二個輸入一個輸出 (2-by-1) 的結點。0, 1, 1 表示 位置 (0,0) 的輸入為線路 0、線路 1，並以 OR(1) 連接後輸出至線路位置 2; 0, 0, 3 表示位置 (0,1) 的輸入為線路 0、線路 3，並以 XOR(3) 連接後輸出至線路位置 3; 2, 3, 2 表示位置 (1,0) 的輸入為線路 2、線路 3，並以 N OT (2) 連接後輸出至線路 位置 4; 2, 3, 0 表示位置 (1,1) 的輸入為線路 2、線路 3，並以 AN D(0) 連接後輸出 至線路位置 5，代表此位置以 level back 的方式取得前兩階層的輸入值。虛線及顏 色較淡的結點則表示該結點未作用，如位置 (1,1) 的 NOT 閘。則 CGP 的輸出為： OU T (5) = (IN (0)ORIN (1))OR(IN (0)XORIN (0))。

N a ti_o n a_l U niversity of Kao hsi un g 圖 2.3: 影像雜訊結合 CGP[4] 直角座標式基因規劃也會依照演化式演算法的基本流程進行演化程序，透過 編碼、初始化、評估、挑選、交配、突變、淘汰等步驟來找尋問題的解答，以演 化方式改變自身設計結構 [33]。因此，若想設計一個以 CGP 為主的影像雜訊濾波 器，則輸入值為影像上的像素點，輸出則是經 CGP 計算後的結果，中間的電路 結構則是過濾雜訊的方法。如圖2.3 為使用 CGP 過濾影像的示意圖，整個座標空 間可以容納 4× 6 = 24 個結點，其中淡色位置表示該結點對於過濾結果並無影 響。電路經過編碼後為 (底線為使用的函式代號)：0111, 232, 450, 6710, 0105, 9117, 10129, 1288, 1397, 131111, 11153, 16165, 13175, 17191, 11163, 20168, 21174, 18234, 18206, 24161, 21220, 26276, 22284, 24286, 26，此編碼亦可視為是染色體，也可以 當作是一個問題的解答。

2.1.2

直角座標式基因規劃的演化機制

直角座標式基因規劃的演化機制中，以交配或突變的機制產生下一代，以單 點交配 (single-point crossover) 為例。在單點交配下，從兩條不同的染色體中，隨 機取其中一個基因為斷點，互相交換此斷點以後的基因片段。舉例來說，有兩條 染色體 C1 和 C2 ，在經過單點交配後，兩段染色體互相交換斷點後半段的基因， 變成 C1' 和 C2' ，示意圖為圖2.4(a)。而交配前後 C1 和 C1' 的電路變化如圖2.4(b)

N a ti_o n a_l U niversity of Kao hsi un g 所示， 突變方面，在染色體上以隨機的方式決定要突變的基因，並以隨機的方式決 定新的基因內容，以圖2.4(c) 說明突變方式。C1 為圖2.4(a) 染色體，我們將此染色 體經過兩個點的突變後變成 C1' 。電路的變化將從圖2.4(c) 的左邊的電路，改變成 圖2.4(c) 右邊的電路。

2.1.3

適應度函式與過濾效能指標

影像雜訊過濾目的是希望過濾後影像可以與原始未受雜訊汙染的影像差異 愈小。常見的評估指標為平均平方誤差 (MSE) 及尖峰訊號雜訊比 (PSNR) 作為判 別經過雜訊過濾器後出來的影像與原始影像間的差異，平均平方誤差如式(2.1)、 其中，f (i, j) 為過濾出來的像素，o(i, j) 為原始像素、M 與 N 分別為影像的長與 寬，PSNR 如式子(2.2)所示，其中，M 與 N 是影像的長寬，i, j 是影像像素位置， O為原始影像，F 為經過過濾後的影像。 M SE = 1 M × N M ∑ i=1 N ∑ j=1 |f(i, j) − o(i, j)| (2.1) P SN R = 10 log 255 2 1 M×N M ∑ i=1 N ∑ j=1 [O(i, j)− F (i, j)]2 (2.2) 在 [31] 的研究中，因為用多組濾波器模型進行雜訊處理，為此設計出能對不同 過濾器效能評比的標準。計算公式如式子(2.3)所示。其中 π 為濾波器模組數量， N umπ 是遮罩屬於濾波器 π 的數量，255 是過濾前後像素最大差異值，計算結果 f itness愈大，表示過濾出來的像素與原始像素的差異越小，表示適應性越大。 f itnessπ = (1− M_∑−m₂ i=1 N_∑−m₂ j=1 |fπ(i, j)− o(i, j)| 255× Numπ )× 100% (2.3)

N a ti_o n a_l U niversity of Kao hsi un g (a) 單點交配前後基因變化示意圖 (b) 單點交配前後電路變化示意圖 (c) 突變後的電路變化示意圖 圖 2.4: 交配與突變示意圖 [4]

2.2

模糊理論

學者 Zadeh 於 1965 提出模糊集合 (fuzzy sets)[34]，是一種以數學模型來描述 語意式的模糊資訊方法。用以研究不確定的事物為目標，可以將它視為是傳統集

N a ti_o n a_l U niversity of Kao hsi un g 合的延伸的形式，將傳統的明確集合 (crisp set) 模糊化以後推廣出模糊集合。與傳 統的明確集合相比較之下，經模糊化後的模糊集合可以提供更佳良好的擴展性以 及容錯性，可使它更適用於現實生活中的非線性系統。 模糊推論將這種明確的二元關係推廣至多元化用以形成模糊關係 (fuzzy relation)，模糊集合以所謂的歸屬函數來定義個體與集合之間的歸屬程度，其可能 是介於 0 到 1 之間的任何數值：當個體屬於“是”這個集合的程度越大時，其歸 屬程度就越接近於 1; 反之則越接近於 0。模糊推論的基本流程大概可以分成模糊 化、訂定模糊規則及解模糊化三個部分。

2.2.1

模糊關係

模糊關係則是允許元素與集合之間的關係，可以是介於 0 到 1 之間的任意值。 舉例來說，令 U 為整個論域 (universe)、A 為論域中的一個模糊集合、x 為論域中 的元素，其數學定義可以如下： A ={[x, µA(x)]x∈ U} (2.4) 其中 µA(x)代表元素 x 對模糊集合 A 的歸屬程度，µA(x)又稱為歸屬函數。歸屬 函數可以用二種方式表達，第一種是離散型歸屬函數，第二種是連續型歸屬函 數，應用上通常都使用連續型式歸屬函數。常見的歸屬函數描述方式如下： • 三角形歸屬函數，其數學表示法如下列所示。 µT rianguler(x; a, b, c) =              x−a b−a , a≤ x < m c−x c−b , b≤ x < c 0 , otherwise              , x∈ R (2.5) • 梯形歸屬函數，其數學表示法如下列所示。

N a ti_o n a_l U niversity of Kao hsi un g a b c 0 1 (a) 三角形歸屬函數

a

b

d

0

1

c

(b) 梯形歸屬函數

m

0

1

(c) 高斯歸屬函數 圖 2.5: 常見的歸屬函數模形 µT rapezoidal(x; a, b, c, d) =                    x−a b−a , a≤ x < b 1 , b≤ x ≤ c d−x d−c , c < x≤ d 0 , otherwise                    x∈ R (2.6) • 高斯型歸屬函數，其數學表示法如下列所示。 µGaussian(x) = exp[−( x− m σ ) 2_{], x∈ R (2.7)}

2.2.2

模糊推理引擎

模糊推理引擎 (fuzzy inference engine) 為模糊推論系統的核心部分，模擬人類 思考判斷的模式，根據模糊規則和模糊關係推導出應有的結論。模糊規則是利用 IF…THEN…的形式來表示一條推理句 IF 稱為前提 (antecedent) 部分、THEN 稱為 結論部分 (consequent)，其設計的合理性足以影響整個模糊推論結果的效應。假如 有一系統有二條模糊規則表示如：

R1: IF x1 is A1and x2is B1, THEN y is C1

N a ti_o n a_l U niversity of Kao hsi un g 在定義出模糊規則後，必須要與模糊關係做合成運算才能推理出新的結論，其主 要的步驟如下： STEP 1: 計算模糊規則前提部分的歸屬程度。 STEP 2: 計算模糊規則結論部分的歸屬程度。 STEP 3: 合併所有模糊規則結論部分所得到的歸屬程度。 利用 R1 及 R2 兩條模糊規則及以 Mamdani 推論法作舉例說明。首先計算 R1 及 R2前提部分的歸屬程度 Mi ，其數學表示法如公式(2.8)。

Mi = µAi(xi)∧ µBi(x2) = min{µAi(x1), µBi(x2)} (2.8)

接著計算模糊規則結論部分的歸屬程度 Ni ，其數學表示法如公式(2.9) 。

Ni = min{Mi, Ci(y)} (2.9)

最後，合併所有模糊規則結論部分所得到的歸屬程度獲得結果 U ，其數學表示法 如公式(2.10) 所示 U = max{N1, N2} (2.10)

2.2.3

解模糊化

解模糊化 (defuzzification) 將模糊推理的結論部分轉換為明確的結果。以重心 法為常用之解模糊化方法，目的是求解推論結果之歸屬函數圖形的重心。

• 重心法 (center of gravity ，以下簡稱 COG)：將模糊推理所得的模糊集合總面

積取重心，其數學表示法如2.11 所示，其中 uCOG 為解模糊化的結果、xi為 論域 U 內的一個數值、µc(xi)為 xi在結論部分的歸屬值。 µCOG = ∑ iµc(xi)× xi ∑ iµc(xi) (2.11)

N a ti_o n a_l U niversity of Kao hsi un g

• 最大平均法 (mean of maximan ，以下簡稱 MOM) ：數學表示法如(2.12) 所

示，其中 µM OM 為解模糊化的結果、xi 為論域 U 內的第 i 個數值、Γ 為 xi 元素所對應 c 集合的歸屬程度的最大值。 µM OM = ∑ i∈Γxi |Γ| , Γ = i|µc(xi) = µmax (2.12)

2.3

自動産生模糊規則

在模糊理論中，模糊規則庫的建構是相當重要的，現在許多的參考文獻中， 仍然是由人工來進行建構。但是在産生模糊規則、模糊規則的優化以及如何選擇 模糊歸屬函數仍然是相當困難的。自動産生模糊規則是一種可以從數據中提取出 模糊規則的方法。 近年來有許多的學者結合機器學習與模糊系統 [35, 36]，發展出具有能自行 産生模糊規則及模糊歸屬函數的方法。例如學者 Castro 及 Camargo 以基因演算法 來進行模糊規則的設計，將具有不同屬性的資料進行分類，每一筆資料所有屬性 當作模糊系統的輸入，輸出則是分類的結果，各種類型的資料屬性使用語意式 (linguistic terms) 方式來表示。每一組染色體表示整個模糊規則，在隨機的演化過 程中，直到找出最為合適的結果 [37]。學者 Shill 及 Amin 等人對高維度的資料設 計模糊系統時，會遇到規則數量隨著資料維度的增加，而造成模糊規則的數量爆 增的問題進行改善。在研究方法中使用了階層式的結構降低維度，並利用演化式 演算法來進行模糊規則及歸屬函式的設計，在保有相同的推論能力下，同時有效 的減少模糊規則的數量 [38]。在 2005 年，有結合類神經網路的方式來進行模糊規 則的産生及模糊歸屬函數的調整 [39, 40]，例如學者 Wu 等人，以類神經網路自動 産生模糊規則 [41]，在一個具有四層結構的類神經網絡中，每層各有不同的作用， 第一層表示輸入資料的維度，第二層每一個節點表示模糊歸屬函數的參數，第三 層表示模糊規則的數量，最後是輸出推論的結果。在網絡訓練的過程中，第二、

N a ti_o n a_l U niversity of Kao hsi un g 第三層可以動態的改變節點的數量，不同節點間相互的搭配，即表示成不同的模 糊規則。

N a ti_o n a_l U niversity of Kao hsi un g

第 3 章

問題定義與研究方法

本論文提出以分群方式來自動産生模糊規則及模糊歸屬函數，找出影像特徵 資料分佈的情形並依分群的結果來設計雜訊的模糊分類規則。因此，先將影像雜 訊特徵做型態分析是必要的，研究中處理的雜訊對象分別為胡椒鹽雜訊 (SPNoise) 及脈衝突發雜訊 (IBNoise) 兩種。本章節將說明研究中定義的影像雜訊特徵，以及 如何將分群後結果轉變成模糊規則及模糊歸屬函式。

3.1

雜訊分析

SPNoise 的特性是在影像上隨機分佈白色像素 (255) 與黑色像素 (0)，IBNoise 則是在影像上分佈連續性的白色像素 (255)。我們對未受雜訊缺染的影像利用統計 直方圖進行影像處理，利用統計方式，將像素值 0 到 255 出現的各數加總起來産 生統計直方圖，如圖3.1 所示。

)b* Mfob! )c* Dbnfsbnbo! )d* Cbcppo! )e* Bjsqmbof!

圖 3.1: 未受到雜訊污染影像與其直方圖

N a ti_o n a_l U niversity of Kao hsi un g (a) 遮罩中心點非雜訊 (b) 遮罩中心點是雜訊 圖 3.2: 中心點像素與鄰近像素 在白色像素 (255) 或黑色像素 (0) 的數量在整張影像中所佔的比例相當少。也就是 說，若影像上存有許多白色像素 (255) 或黑色像素 (0)，則這些像素是雜訊的機率 的可能性較高。從一個 3x3 大小遮罩內的像素來看，使用公式(3.1) 來計算遮罩內 中心點像素與鄰近像素間的差距， D(x, y) = ∑ i=−1,0,1 ∑ j=−1,0,1 1 m2− 1|m(x, y) − m(x + i, y + j)| (3.1) D(x, y)表示遮罩在影像 x, y 位置時，遮罩中點心像素與鄰近像素的差距，m 則是 遮罩大小。在圖3.2(a) 中，遮罩內中心點像素與鄰近像素的差距較接近。則遮罩 中心像素為雜訊的機率較低。反之在圖3.2(b) 中，遮罩內中心點像素與鄰近像素 的差距較大，遮罩中心像素為雜訊的機率較高。若我們將一張受 40% SPNoise 雜訊汙染的影像所有的遮罩中心點與周邊鄰近點像素的差距使用統計直方圖的 方式來看，可以發現，受到雜訊汙染的影像與未受到雜訊汙染的影像有明顯的不 同，未受雜訊汙染的遮罩中心與鄰近像素差距圖統計直方圖如圖3.3(a)，受雜訊汙 染的遮罩中心與鄰近像素差距圖統計直方圖如圖3.3(b) 所示。 在本節中，可以發現影像在受到雜訊汙染，以及未受到雜訊汙染時，遮罩內 中心點與鄰近的像素間的關系有明顯的不同。因此，在下一節中，我們利用這個 關系來設計不同的影像雜訊特徵。

N a ti_o n a_l U niversity of Kao hsi un g (a) 未受雜訊汙染的遮罩中心與鄰近像素差距圖 (b) 受 40%SPNoise 雜訊汙染的影像統計直方圖 (c) 受 40%IBNoise 雜訊汙染的影像統計直方圖 圖 3.3: 中心點像素與鄰近像素的差距統計直方圖

N a ti_o n a_l U niversity of Kao hsi un g

3.2

影像雜訊特徵

本節中依前一小節所發現遮罩內中心點與鄰近的像素間的關系來定義影像特 徵，研究中定義兩種影像特徵作為判別中心點像素是否為雜訊的依據，分別為： • 相似度 (similarity)：相似度越高，表示中心像素與鄰近像素間的差距較小， 關聯性較高，則表示中心點像素可能為雜訊的可能性越低；反之表示中心 像素與鄰近像素間的差距較大，則中心點像素可能為雜訊的可能性較高。 計算相似度的數學表示法如式子(3.2) 所示，其中 m 為遮罩大小、I(x, y)

為遮罩 Mm(i, j)的中心點像素、I(i, j) 為遮罩 Mm(i, j)內的所有像素，但

I(i, j)≠I(x, y)。

Similarity(x, y) = 1 m2− 1

∑ I(i,j)

sim(pi,j, px,y)

sim(pi,j, px,y) =

min{pi,j, px,y} max{pi,j, px,y}

(3.2)

• 差異性 (divergence)：差異性越大，表示中心像素與鄰近像素間的差異較大， 關聯性較低，表示中心點像素可能為雜訊的可能性越高；反之表示中心像素 與鄰近像素間的差距較小，則是雜訊的可能性越低。計算差異性的數學表示

法如式子(3.3) 所示，其中 m 為遮罩大小、I(x, y) 為遮罩 Mm(i, j)的中心點

像素、I(i, j) 為遮罩 Mm(i, j)內的所有像素，但 I(i, j)≠I(x, y)。

Divergence(x, y) = 1 m2 − 1 ∑ I(i,j) |pi,j− px,y| (3.3) 下面舉例遮罩內中心點為非雜訊及雜訊等二種情形下，其相似度與差異性的 計算方式及計結果，如下所示： • 非雜訊：由於遮罩內中心點像素與鄰近像素的關聯性很大，所以相似度很 高、差異性很小，如圖3.4 所示。

N a ti_o n a_l U niversity of Kao hsi un g (a) 非雜訊 (b) 相似度 (c) 差異性 圖 3.4: 非雜訊的相似度與差異性 (a) 雜訊 (b) 相似度 (c) 差異性 圖 3.5: 雜訊的相似度與差異性 • 雜訊：由於遮罩內中心點像素與鄰近像素的關聯性很小，所以相似度很低、 差異性很大，如圖3.5 所示。 我們對未受汙染的影像、含有 SPNoise 40% 的影像作相似度與差異性用統計 圖表示出來，橫軸為相似度，縱軸為差異性，可以發現在不含雜訊的影像中，資 料分佈的情況大多集中在相似度高及差異性低的部分。而在含有 40% 雜訊的影像 中，則是在相似度低及沿著圖形的對角線發現有資料分佈，如圖3.6 所示。可以 得知相似度與差異性在未受到雜訊污染的影像及含有雜訊的影像，有著明顯的差 異，因此證明相似度與差異性確實可以成為影像雜訊特徵。 在計算影像雜訊特徵時，是針對一張含有雜訊的影像做滑動式視窗，可以得 知每個遮罩中含有的雜訊數量不盡相同。影像雜訊過濾是利用遮罩內的像素來還 原遮罩內中心點像素，所以遮罩內的雜訊數量多寡會直接影響到濾波器的模型。 舉例來說，依據遮罩內受到不同雜數量汙染的情形，可以區分成低雜訊、中雜訊 以及高雜訊三種不同的情況，如圖3.7所示。在低雜訊的過濾模型中，盡可能的保

N a ti_o n a_l U niversity of Kao hsi un g (a) 不含雜訊的資料分佈圖 (b) 含 40% 雜訊的資料分佈圖 圖 3.6: 相似度與差異性的資料分佈圖 (a) 低雜訊 (b) 中雜訊 (c) 高雜訊 圖 3.7: 雜訊類型 留原始的影像資訊，濾波器的模型較為簡易，反之則較為複雜。 • 低雜訊 (low-noise)：遮罩中心點像素與周圍像素相似度高、差異性較低，是 雜訊或是為雜訊的可能性很低，歸屬於低雜訊的類型，集中在圖3.6的右下 邊區域。 • 中雜訊 (medium-noise)：若中心點像素為雜訊的可能性為中等，以及中心點 像素可能為影像邊界 (image edge)，歸屬於中雜訊的類型，集中在圖3.6的中 間區域。 • 高雜訊 (high-noise)：遮罩中心點像素與周圍像素相似度低、差異性較高，中 心點像素為雜訊或是為雜訊的可能性很高，歸屬於高雜訊的類型。集中在

N a ti_o n a_l U niversity of Kao hsi un g 圖 3.8: 影像特徵分佈 圖3.6的左邊區域。

3.3

分群演算法

在前一節中定義了影像特徵，可以知道在一個遮罩中，含有雜訊數量會影響 其影像特徵分佈位置不同。例如含有遮罩中含有雜訊數量較少，則此遮罩的影像 特徵會出現在相似度高、差異性較低的位置，範例如圖3.8所示。反之則落在相似 度低、差異性高的位置。因此，可以利用資料分群的方式將相似的雜訊特徵區分 成不同的群聚。本研究中使用的分群演算法是基於相似度模糊分群法，統計概念 的漸進式分群法，將遮罩中的像素資料計算完相似度與差異性後，視為一筆二維 的資料當作輸入，將此兩種影像特徵進行群聚屬性間相似程度進行分群計算。利 用高斯函式歸屬值的大小作為選擇群聚的標準，資料採漸進的輸入計算，並利用 高斯函數來表示每一群分佈的情形，比對輸入資料與群聚間的相似程度，夠相似 的歸為一群，不相似則自立一群，直到所有資料處理完畢為止，分群演算法流程 圖如圖3.10所示。最後每一群成為一條模糊規則，而資料分佈的情形則成為歸屬 函數的形態，如圖3.9所示。 演算法中所使用的數學符號如表3.1所示。漸進式分群演算法的計算步驟如 下：

N a ti_o n a_l U niversity of Kao hsi un g 圖 3.9: 資料分群結果 表 3.1: 演算法中使用的參數符號表 符號說明 範例 x 輸入資料 x = [x1, ..., xn] J 總群聚數 J = 4表示有 4 群 Si 屬於群聚裡的資料點個數 S2 = 3表示第 2 群集中有 2 筆資料 n 資料維度 n = 2資料維度為 2，例如本實驗的雜訊特徵 mi,t 群聚中心 m1,1第 1 群第 1 維度中心 ρ 資料點對群聚相似門檻值 相似度≥ ρ 則通過輸入相似度測試，反之則不通過 σi,t 群聚標準差 σ1,2 第 2 群第 1 維度標準差 σ0 初始標準差 STEP 1: 輸入相似度與差異性等影像特徵資料，並將輸入的資料轉換成高斯形 態後當作下一步驟的輸入。

o1_i,j = µi,j(oi,j) = g(oi; mi,j; σi,j) (3.4)

N a ti_o n a_l U niversity of Kao hsi un g 圖 3.10: 分群演算法流程圖 STEP 2: 計算對現有群聚的相似程度 o(2)_i,j = n ∏ i=1 o(1)_i,j (3.5) for 1≤ j ≤ J STEP 3: 比較與目前的群聚的相似程度： o(2)_i,j ≥ ρ (3.6) STEP 4: 若通過與現有群聚相似度檢查，則合併到該群，使用公式(3.7)更新群 聚的形狀參數，及公式(3.8)更新的群聚中心; 若是未通過，則新增一 群。 σi,t = √

(St− 1)(σi,t− σ0)2+ Stm2i,t+ x2i,t St − St+ 1 St (Stmi,t + xi,t St+ 1 ) + σ0 (3.7) mi,t = Stmi,t + xi,t St+ 1 (3.8) STEP 5: 回到 STEP 1，輸入下一筆資料。

N a ti_o n a_l U niversity of Kao hsi un g (a) 相似度 (b) 差異性 (c) 雜訊的可能性 圖 3.11: 歸屬函數

3.4

模糊演化式影像雜訊過濾器

將相似度及差異性這兩種影像特徵與雜訊之間的關聯性推廣成模糊關係，並 以高斯函數為基礎制定出模糊歸屬函數如圖3.11 所示。本論文依分群結果來自動 生成模糊規則及歸屬函數，每一群代表一組差異性與相似度的組合。舉例來說， 分群結果群數為 3 群，Cluster1, Cluster2, Cluster3，分別對應到不同的雜訊雜訊 類型，則可以依此關系將模糊規則定義為：

R1 : IF Similarity(x, y)is Sim1 AND Divergence(x, y)is Div1

THEN Noise-Type(x, y)is Cluster1

R2 : IF Similarity(x, y)is Sim2 AND Divergence(x, y)is Div2

THEN Noise-Type(x, y)is Cluster2

R3 : IF Similarity(x, y)is Sim3 AND Divergence(x, y)is Div3

THEN Noise-Type(x, y)is Cluster3

研究中結論部分使用模糊硬式分類及模糊軟式軟式分類計算方式進行解模糊化後 即可得到中心點為雜訊的可能性。本研究使用兩種雜訊分類的方式分別如下： • 模糊硬式分類 (fuzzy hard-classification，以下簡稱 HF)：硬式分類利用數學 表示式(3.9) 判別出此遮罩要分類於哪一種雜訊類型，其中 m(x, y) 表示影像 中遮罩位置，Clusterj 則是分別對應到不同的濾波器模型，M Di 表示輸入 特徵資料對不同群的歸屬程度。c1、c2 及 c3 如圖3.11(c) 所示。

N a ti_o n a_l U niversity of Kao hsi un g 圖 3.12: 模糊硬式分類範例 m(x, y)∈ Clusterj , if argmax(M Di) = j (3.9) • 模糊軟式分類 (fuzzy soft-classification ，以下簡稱 SF)：模糊軟式分類賦予 雜訊在不同的雜訊類型有不同的歸屬程度 (membership degree ，以下簡稱 MD)，讓雜訊不再只分類於單獨一種類型。軟式分類與硬式分類大致上相 同，唯一不同處在於不再只選擇一種雜訊過濾器的過濾結果，而是反推回 去此雜訊在每種雜訊分類所擁有的歸屬程度，即雜訊的種類為 Cluster1 的 歸屬程度、雜訊的可能性為 Cluster2 以及雜訊的可能性為 Cluster3。我們 以圖3.13作為舉例說明，若有一遮罩經過模糊推論後得知此遮罩為雜訊的可 能性為 20%，則反推回去歸屬程度可得知此遮罩歸屬於 Cluster1 可能性的

N a ti_o n a_l U niversity of Kao hsi un g 圖 3.13: 模糊軟式分類範例 程度有 0.9、屬於 Cluster2 的可能性有 0.1 及 Cluster3 可能性為高的程度有 0.0，最後輸出的過濾結果如公式3.10所示。

m(x, y) ∈ 0.9 × Cluster1 + 0.1 × Cluster2 + 0.0 × Cluster3 (3.10)

3.4.1

濾波器處理流程

本論文中的濾波器處理流程可以兩部分，第一部分是以分群來産生模糊 規則及模糊歸屬函數，第二部分則式進行影像過濾模組及過濾雜訊。流程圖如 圖3.14所示。在第一部分中，根據相似度與差異性二種影像雜訊特徵，使用分群 方法來設計産生模糊規則及模糊歸屬函式，依遮罩中心像素與鄰近像素的關系進 行雜訊分類，接著採用 FCGP 演化出的過濾器進行雜訊處理，提高雜訊過濾的效 能，使過濾出來的影像像素與未受到雜訊汙染的像素間的誤差儘可能的縮小。 本論文中所使用採用模糊硬式分類及模糊軟式分類二種過濾器分別如下所 示： • 模糊硬式還原：首先針對影像做滑動式視窗並將每個遮罩做模糊硬式分類，

N a ti_o n a_l U niversity of Kao hsi un g 圖 3.14: 影像過濾流程圖 不同的雜訊型態使用不同濾波器模型做雜訊處理，讓受到不同雜訊強度汙 染的像素可以更加精準的進行像素還原。模糊硬式分類的主要處理架構如 圖3.15所示，模糊硬式分類的主要處理雜訊步驟如下： STEP 1: 讀取影像資訊，根據影像雜訊特徵使用分群方法，依分群結果産 生出模糊歸屬函式。 STEP 2: 依模糊推論結果判別遮罩內像素決定使用哪組濾波器模組進行影 像雜訊過濾。 STEP 3: 以 FCGP 找出的數學模型進行影像雜訊過濾。 STEP 4: 輸出經過過濾處理的影像像素值，計算式如公式3.11所示，其中 ox,y 表示影像過濾的結果、f (x, y)j 表示選擇濾波器模型 j、為 M Di 表示濾波器模型 i 的歸屬程度。 O(x, y) = f (x, y)j , j = argmax(M Di) (3.11) • 模糊軟式還原：首先針對影像做滑動式視窗並將每個遮罩做模糊軟式分類， 賦予雜訊型態在不同的濾波器模組擁有不同的歸屬程度，經過濾波器模組進 行雜訊處理之後，將三種不同的結果作權重處理，最後合併起來作為過濾結

N a ti_o n a_l U niversity of Kao hsi un g 圖 3.15: 模糊硬式分類架構圖 果。模糊軟式分類的主要處理架構如圖3.15所示，模糊軟式分類的主要處理 雜訊步驟如下： STEP 1: 讀取影像資訊，根據影像雜訊特徵使用分群方法，依分群結果産 生出模糊歸屬函式。 STEP 2: 使用模糊雜訊分類計算出遮罩歸屬每種濾波器模組的歸屬程度。 STEP 3: 以 FCGP 找出的數學模型進行影像雜訊過濾。 STEP 4: 將三種結果分別乘上自己的歸屬程度，最後合併起來作為輸出的 像素值，合併計算公式如(3.12)所示，其中 ox,y 表示影像過濾的 結果、N 為濾波器模型的數量、f (x, y)i 表示濾波器模型 i 的輸 出、M Di 表示濾波器模型 i 的歸屬程度。 ox,y = N ∑ i=1 f (x, y)i× MDi (3.12)

N a ti_o n a_l U niversity of Kao hsi un g 圖 3.16: 模糊軟式分類架構圖

N a ti_o n a_l U niversity of Kao hsi un g

第 4 章

實驗結果與分析

本章將對論文中提出的使用分群方法來設計模糊推論系統的模糊影像雜訊濾 波器搭配硬式分類 (HF) 及軟式分類 (SF) 進行效能測試。並與採用傳統方式設計 的模糊系統進行實驗數據的比較與分析。在以下的實驗中，為了區分採用傳統方 式設計的模糊推論系統與使用分群的方式來設計模糊推論系的不同，我們將二 種不同的方式分成靜態 (Static) 與 (Ours) 以方便區分。最後與傳統的中值濾波器 (MF)、適應性中值濾波器 (AMF)、標準的 EHWIF(F1) 等雜訊過濾方法進行過濾效 能的比較。第一小節為實驗環境與架構，說明實驗環境與實驗對象。其後各小節 為各種不同方法的實驗結果比較，並於最後一小節做實驗結論。

4.1

實驗環境與硬體架構

實驗環境為二台四核心 (執行緒數量為 8) 電腦，CPU 型號為 Intel Core i7-4790, 3.6GHz，記憶體大小為 4GB，程式開發軟體為 C 語言，處理雜訊對象有胡椒鹽雜 訊及脈衝雜訊。實驗測試影像則選定八張標準測試影像，如圖4.1 ，影像資料階為 8-bit 灰階圖。在訓練階段使用原始影像與一張含有雜訊的影像，FCGP 使用的函 式功能如表A.1 所列，將含有雜訊的影像還原後，再與原始影像比較，以 PSNR 值為評估標準如公式(2.2)，藉以得知影像濾波器的好壞程度，並在演化結束後將 擁有最高的 PSNR 值當作實驗的最佳解。 在訓練階段時，是拿一張含有雜訊的影像與ㄧ張未受到雜訊污染的影像進行 訓練以找出濾波器的模型，因此我們利用含有雜訊的影像與未受到雜訊污染的影 像做交叉重疊，即可找出哪些像素是雜訊哪些像素不是雜訊。接著將雜訊向外擴 張一個遮罩，並計算出其相似度與差異性，其中 Similarity 為雜訊向外擴張一個 3 × 3 遮罩的相似度、Divergence 為雜訊向外擴張一個 3 × 3 遮罩的的差異性。處理

N a ti_o n a_l U niversity of Kao hsi un g

(a) Airplane (b) Boat (c) Bridge (d) Cameraman

(e) Goldhill (f) House (g) Lena (h) Peppers

圖 4.1: 實驗測試影像 不同的雜訊，使用的功能模組也應該有所不同，所以在處理 SPNoise 時，使用了 [22] 的功能模組，如附件A中表A.1。處理的雜訊為 IBNoise 時，使用 [20] 的功能 模組，如表A.2。此外，本論文根據 [22] 中對受到 SPNoise 污染的影像預先處理， 將影像上所有黑色像素反轉成白色像素，以此將雜訊統一。

4.2

CGP 參數設定

在 CGP 的演化中，都使用相同的參數設定，僅探討模糊雜訊分類效果對於雜 訊過濾效能的影響。實驗參數組合如表4.1所示。所有參數組合均使用 3× 3 Mask

size，CGP grid size 均固定為 4× 8 ，交配機率及突變機率為 60%，終止條件設定

為 5000 代，當處理的雜訊對像是 SPNoise 時，使用一張原始的影像及含有 40% 的影像作為訓練; 範本，以含有 5%、10%、20%、40%、50%、60%、70% 雜訊共 七張影像作為測式影像。

N a ti_o n a_l U niversity of Kao hsi un g 表 4.1: FCGP 參數表 Parameters Value Image size 256× 256 Mask size 3× 3 CGP grid size 8× 4 Number of function 16

Stopping criteria 5000 generations

Population size 100 Crossover 60 % Mutation 60 %

4.3

實驗 A - 分群有效度測試

本節實驗目的是確認使用本論文方法所設計的模糊推論系統是否能準確的判 斷出影像中的像素是否為雜訊，並且能正確的將影像像素依不同的雜訊特徵進行 分類。在實驗中，我們利用含有 40% 雜訊的影像作為範本，以人工的方式將一張 影像的所有像素依不同的汙染情況進行分類並且加上標籤 (Truth) 用來分辨。之後 以相同的資料經過本論文方法設計出來的模糊推論系統進行分類 (Ours)，Miss 表 示誤判的像素數量，驗證結果與人工分類進行比較是否具有準確的推論結果，實 驗結果以百分比來表示，如圖4.2及圖4.3所示。

4.3.1

實驗結果

從實驗結果來看，使用本研究方法設計的模糊推論系統，在進行雜訊分類的 效能上，誤差都在 3% 以內，因此可以確定本論文以分群的結果來設計模糊推論 系統的方法是可行的。

N a ti_o n a_l U niversity of Kao hsi un g Image Image Type F₁ F₂ F_{3 Type} F₁ F₂ F₃ Truth 24105 23351 17060 Truth 25377 21327 17812 Ours 23984 23289 17123 Ours 25289 21453 17782 Miss 121 62 63 Miss 88 126 30 Percent 99.50% 99.73% 99.63% Correct 99.65% 99.41% 99.83% Image Image Type F1 F2 F3 Type F1 F2 F3 Truth 22014 25813 16689 Truth 21655 28660 14201 Ours 22115 25774 16581 Ours 21364 28541 14315 Miss 101 39 108 Miss 291 119 114 Correct 99.54% 99.85% 99.35% _Correct 98.66% 99.58% 99.20% Image Image Type F1 F2 F3 Type F1 F2 F3 Truth 24540 24866 15110 Truth 23516 24329 16671 Ours 24351 24786 14987 Ours 23481 24351 16681 Miss 189 80 123 Miss 35 22 10 Correct 99.23% 99.68% 99.19% _Correct 99.85% 99.91% 99.94% Image Image Type F₁ F₂ F_{3 Type} F₁ F₂ F₃ Truth 23360 24533 16623 Truth 23920 25101 15495 Ours 23157 24687 16521 Ours 23684 25414 15368 Miss 203 154 102 Miss 236 313 127 Correct 99.13% 99.37% 99.39% _Correct 99.01% 98.75% 99.18% ȡ ȡ  ȡ ȡ  Airplane Boat Lena Peppers House Goldhill Bridge Cameraman ȡ ȡ  ȡ ȡ  ȡ ȡ  ȡ ȡ  ȡ ȡ  ȡ ȡ  圖 4.2: 實驗 A - 分群的有效度測試結果 (SPNoise)

4.4

實驗 B - 分群數量分析

不同的分群參數設定會導致不同分群結果，同時影響模糊規則數量及歸屬函數的 形成，而影響影像雜訊判斷的結果。因此，本節實驗目的為探討在固定 CGP 參數 的前提下，找出適合的參數設定及較佳的分群數，在分群演算法的參數設定中， 群聚相似度門檻值 ρ 設定在 0.3、0.6、0.7、0.8，初始 σ 為 0.3，圖4.4是以 Lena 影 像為例，具不同的分群群數結果圖示。雜訊過濾的測試結果如圖4.5所示。