模糊演化式影像雜訊濾波器於演化式硬體環境下的設計
125
0
0
全文
(2) 模糊演化式影像雜訊濾波器於 演化式硬體環境下的設計 指導教授：吳志宏 博士 國立高雄大學電機工程學系 學生：陳建榮 國立高雄大學電機工程學系. 摘要 雜訊過濾(noise filtering)或去噪(denoising)指的是將訊號中的雜訊減少或是 移除，是影像或聲音處理過程中的重要方法。一般去除雜訊的方法如果在預先知 道雜訊的類型，通常有不錯的過濾效果；但是在未知雜訊類型的情形下，則缺乏 了適應性(adaptability)與靈活性(flexibility)，往往過濾效果不佳。演化式硬體 (evolvable hardware) 結 合 演 化 式 演 算 法 (evolutionary algorithms) 及 可 重 構 式 (reconfigurable)硬體可以依照外在環境的變化，以演化的方式調整內部結構，獲 得具有適應性與靈活性的輸出。本論文以演化式硬體為平台，設計具彈性的影像 雜訊過濾器。本研究根據像素之間的相似度(similarity)與差異性(divergence)建立 雜訊型態模型，並藉由模糊推論進行雜訊型態的判定，建造出對應的演化式硬體 影像雜訊濾波器。本論文設計演化式硬體的演化機制與模糊分析模型，並與其他 過濾雜訊的方法進行實驗的比較與分析。實驗結果顯示此方法所訓練出來的濾波 器具備更好過濾雜訊的能力。 關鍵字：去除雜訊、影像雜訊濾波器、演化式硬體、模糊推論、胡椒鹽雜訊、脈 衝突發雜訊. i.
(3) The Design of Fuzzy Image Filters for Evolvable Hardware Environments Advisor: Dr. CHIH-HUNG WU Department of Electrical Engineering National University of Kaohsiung Student: CHIEN-JUNG CHEN Department of Electrical Engineering National University of Kaohsiung. ABSTRACT Denoising is to remove or reduce noises from the contaminated images and is an important research area in image processing. Denoising methods can work well if the noise models can be known in prior. However, it may lack of flexibility and adaptability when un-modeled types of noises are encountered. Evolvable Hardware (EHW) is a combination of evolutionary algorithm and reconfigurable hardware devices. EHW can change its architecture adaptively and produce flexible results for un-modeled problems. This study analyzes types of noises by fuzzy rules and builds EHW models for filtering image with various types of noises. Noise types are categorized and defined in fuzzy terms according to the similarity and divergence of the masked pixels in a sliding window. The value for restoring the noisy pixel is calculated from the outputs from the EHW models. With the proposed method, the efficiency of training EHW models and accuracy of image filtering are both improved. This thesis evaluates and compares the performance of the proposed method with other ones. Keyword: denoising, image filter, evolvable hardware, fuzzy reasoning, salt-and-pepper noise, impulse burst noise. ii.
(4) 致謝 光陰似箭，轉眼已過兩年輪到我寫致謝的時候。首先，感謝吳志宏老師這兩 年的指導，並讓我有機會參與 e-Eureka 資訊志工團隊，體驗不一樣的碩士生涯， 也體會到老師常說“活動辦的好，研究一定不會作的太差；研究作的好的人，活 動不見得辦的好＂這句名言。同時也感謝賴智錦老師的教導，與我分享許多專業 知識及作人態度。感謝阿良學長、銘宏學長、彥合學長、佳霖學長、瓏軒學長及 河馬學長在我剛進 ICAL 的時候，給予許多關照、提醒容易犯錯的地方及分享許 多辦活動的經驗及作人處事的方法，讓我得以快速了解實驗室的運作。 在兩年的碩士生活中，實驗室的每個成員都對我有極大的影響力。感謝俐雯 學姐及宜陞學長的關照，讓我在碩一的時候學習許多專業知識並提供研究方面的 指導及寶貴意見。感謝我的同梯好友，砲大哥立偉、砲二哥右棟及婉伊一同共度 兩年的碩士生活，在剛認識的時候，我們一起協助旻良學弟建構機器人比賽的場 地；一起遭遇 918 大水患並清理實驗室及腐敗的電冰箱；一起準備 e-Eureka 在 印尼泗水活動的器材以及在一間悶熱的小廁所內綁大量的水球給小朋友玩樂；一 起爬山健身、打球減肉、校園夜跑、享受美食及參加科工館的防疫戰鬥營，並且 在情緒失落時，與小葉一同飲酒作樂、說詩寫賦、談心解悶、互相扶持度過煎熬 的日子。感謝冬瓜學弟及錦源學弟協助實驗室大搬風以及在夜黑風高的夜晚，開 啟 406-2 實驗室並在 LOL 裡互相扮演好各自的角色，營造出實驗室的歡樂氣氛。 最後感謝我的女朋友虹綺給予我許多的支持及鼓勵，並且體諒我這兩年來陪 伴她的時間越來越少。感謝我的家人在背後支持我讀研究所，讓我可以把重心放 在學業上並取得碩士學位，謝謝您們 24 年來對我的栽培，希望我有天能夠成為 您們的榮耀。 陳建榮 謹誌於 國立高雄大學電機工程學系 中華民國 一百零一 年 七 月. iii.
(5) 目錄 摘要.................................................................................................................................i ABSTRACT...................................................................................................................ii 致謝.............................................................................................................................. iii 目錄...............................................................................................................................iv 表目錄...........................................................................................................................vi 圖目錄..........................................................................................................................vii 第一章、 緒論..............................................................................................................1 1.1 研究背景.........................................................................................................1 1.2 研究動機.........................................................................................................6 1.3 研究架構.........................................................................................................8 1.4 論文架構.........................................................................................................8 第二章、 背景知識與相關文獻................................................................................10 2.1 演化式演算法...............................................................................................10 2.2 直角座標式基因規劃...................................................................................11 2.3 模糊推論.......................................................................................................15 2.3.1 模糊關係............................................................................................16 2.3.2 模糊推理引擎....................................................................................17 2.3.3 解模糊化............................................................................................18 2.4 一般的影像雜訊濾波器...............................................................................19 2.5 以演化式硬體為基礎的影像雜訊濾波器...................................................20 2.6 影像雜訊偵測...............................................................................................22 第三章、 模糊影像雜訊型態分析............................................................................24 3.1 雜訊分析.......................................................................................................24 3.2 雜訊分類.......................................................................................................25 3.3 模糊雜訊分類...............................................................................................28 第四章、 模糊演化式硬體影像濾波器的設計........................................................32 4.1 問題定義.......................................................................................................32 4.2 訓練階段.......................................................................................................32 4.2.1 適應度函式........................................................................................35 4.2.2 重置策略............................................................................................35 4.3 測試階段.......................................................................................................36 4.4 濾波器處理流程...........................................................................................37 第五章、 實驗............................................................................................................40 5.1 實驗環境與參數...........................................................................................40 5.2 實驗A – 參數調整與分析...........................................................................43 iv.
(6) 5.3 實驗B – F1 與HF的比較..............................................................................49 5.3.1 訓練結果............................................................................................49 5.3.2 測試結果............................................................................................50 5.3.3 實驗結果............................................................................................52 5.4 實驗C – HF與SF的比較 ..............................................................................53 5.4.1 測試結果............................................................................................53 5.4.2 實驗結果............................................................................................55 5.5 實驗D – 不同功能模組的比較...................................................................55 5.5.1 測試結果............................................................................................56 5.5.2 實驗結果............................................................................................58 5.6 實驗E –綜合比較 .........................................................................................59 5.6.1 實驗結果............................................................................................59 第六章、 結論與未來展望......................................................................................107 6.1 結論.............................................................................................................107 6.2 未來展望.....................................................................................................108 參考文獻.....................................................................................................................cix. v.
(7) 表目錄 表 表 表 表 表 表 表 表 表 表 表 表 表 表 表 表 表 表. 1 功能模組表.........................................................................................................14 2 模糊歸屬函數的參數設定.................................................................................42 3 處理SPNoise的功能模組...................................................................................42 4 處理IBNoise的功能模組 ...................................................................................43 5 FCGP參數組合...................................................................................................44 6 實驗A - 最佳前四組參數..................................................................................47 7 FCGP參數設定...................................................................................................49 8 實驗B - F1 與HF的訓練結果 (SPNoise)..........................................................49 9 實驗B - F1 與HF的訓練結果 (IBNoise) ..........................................................50 10 實驗B - 各種濾波器處理SPNoise的PSNR效能............................................51 11 實驗B - 各種濾波器處理IBNoise的PSNR效能 ............................................52 12 實驗C - HF與SF處理SPNoise的MSE效能 .....................................................53 13 實驗C - HF與SF處理IBNoise的MSE效能 .....................................................54 14 本研究所使用的功能模組表...........................................................................56 15 實驗D - SF1 與SF2 處理SPNoise的PSNR效能..............................................56 16 實驗D - SF1 與SF2 處理IBNoise的PSNR效能 ..............................................57 17 功能模組的使用個數統計...............................................................................58 18 3BF參數設定....................................................................................................60. 表 19 PSF參數設定....................................................................................................60 表 20 計算時間...........................................................................................................62. vi.
(8) 圖目錄 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖. 1 影像雜訊...............................................................................................................1 2 滑動式視窗與遮罩...............................................................................................2 3 中值濾波器...........................................................................................................3 4 FPGA的基礎架構 ................................................................................................4 5 FPGA的主要設計流程 ........................................................................................5 6 演化式硬體的處理流程[ 6 ]................................................................................6 7 研究架構...............................................................................................................9 8 演化式演算法.....................................................................................................11 9 直角座標式基因規劃.........................................................................................12 10 靜態突變...........................................................................................................13 11 非靜態突變.......................................................................................................13 12 影像雜訊濾波器結合CGP...............................................................................14 13 常見的歸屬函數型式.......................................................................................17 14 Mamdani 推論法 .............................................................................................18. 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖. 15 中央權重中值濾波器.......................................................................................20 16 EHWIF..............................................................................................................21 17 3-Bank EHWIF .................................................................................................21 18 具像素選擇器的EHWIF..................................................................................22 19 適應性中值濾波器...........................................................................................23 20 未受到雜訊污染影像與其直方圖...................................................................24 21 中心點像素與鄰近像素...................................................................................25 22 非雜訊的相似度與差異性...............................................................................26 23 雜訊的相似度與差異性...................................................................................26 24 相似度與差異性的直方圖...............................................................................27 25 雜訊類型...........................................................................................................28 26 歸屬函數...........................................................................................................28 27 模糊軟式分類範例...........................................................................................30 28 模糊硬式分類範例...........................................................................................31 29 FCGP流程.........................................................................................................34 30 亂數與正交.......................................................................................................36 31 重置策略...........................................................................................................36 32 模糊硬式分類的主要處理流程.......................................................................38 33 模糊軟式分類的主要處理流程.......................................................................39 34 實驗測試影像...................................................................................................40 35 影像交叉重疊...................................................................................................41 vii.
(9) 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖. 36 實驗A - SPNoise之實驗結果...........................................................................45 37 實驗A - IBNoise之實驗結果 ...........................................................................46 38 實驗A - SPNoise之重置實驗結果...................................................................48 39 實驗A - IBNoise之重置實驗結果 ...................................................................48 40 實驗E - 綜合比較............................................................................................62 41 各種濾波器在Airplane受到胡椒鹽雜訊 5%汙染的過濾結果 ......................63 42 各種濾波器在Airplane受到胡椒鹽雜訊 10%汙染的過濾結果 ....................63 43 各種濾波器在Airplane受到胡椒鹽雜訊 20%汙染的過濾結果 ....................64 44 各種濾波器在Airplane受到胡椒鹽雜訊 40%汙染的過濾結果 ....................64 45 各種濾波器在Airplane受到胡椒鹽雜訊 50%汙染的過濾結果 ....................65 46 各種濾波器在Airplane受到胡椒鹽雜訊 70%汙染的過濾結果 ....................65 47 各種濾波器在Boat受到胡椒鹽雜訊 5%汙染的過濾結果.............................66 48 各種濾波器在Boat受到胡椒鹽雜訊 10%汙染的過濾結果...........................66 49 各種濾波器在Boat受到胡椒鹽雜訊 20%汙染的過濾結果...........................67 50 各種濾波器在Boat受到胡椒鹽雜訊 40%汙染的過濾結果...........................67 51 各種濾波器在Boat受到胡椒鹽雜訊 50%汙染的過濾結果...........................68 52 各種濾波器在Boat受到胡椒鹽雜訊 70%汙染的過濾結果...........................68 53 各種濾波器在Bridge受到胡椒鹽雜訊 5%汙染的過濾結果 .........................69 54 各種濾波器在Bridge受到胡椒鹽雜訊 10%汙染的過濾結果 .......................69 55 各種濾波器在Bridge受到胡椒鹽雜訊 20%汙染的過濾結果 .......................70 56 各種濾波器在Bridge受到胡椒鹽雜訊 40%汙染的過濾結果 .......................70 57 各種濾波器在Bridge受到胡椒鹽雜訊 50%汙染的過濾結果 .......................71 58 各種濾波器在Bridge受到胡椒鹽雜訊 70%汙染的過濾結果 .......................71 59 各種濾波器在Cameraman受到胡椒鹽雜訊 5%汙染的過濾結果.................72 60 各種濾波器在Cameraman受到胡椒鹽雜訊 10%汙染的過濾結果...............72 61 各種濾波器在Cameraman受到胡椒鹽雜訊 20%汙染的過濾結果...............73 62 各種濾波器在Cameraman受到胡椒鹽雜訊 40%汙染的過濾結果...............73 63 各種濾波器在Cameraman受到胡椒鹽雜訊 50%汙染的過濾結果...............74 64 各種濾波器在Cameraman受到胡椒鹽雜訊 70%汙染的過濾結果...............74 65 各種濾波器在Goldhill受到胡椒鹽雜訊 5%汙染的過濾結果.......................75 66 各種濾波器在Goldhill受到胡椒鹽雜訊 10%汙染的過濾結果.....................75 67 各種濾波器在Goldhill受到胡椒鹽雜訊 20%汙染的過濾結果.....................76 68 各種濾波器在Goldhill受到胡椒鹽雜訊 40%汙染的過濾結果.....................76 69 各種濾波器在Goldhill受到胡椒鹽雜訊 50%汙染的過濾結果.....................77 70 各種濾波器在Goldhill受到胡椒鹽雜訊 70%汙染的過濾結果.....................77 71 各種濾波器在House受到胡椒鹽雜訊 5%汙染的過濾結果 ..........................78 72 各種濾波器在House受到胡椒鹽雜訊 10%汙染的過濾結果 ........................78 73 各種濾波器在House受到胡椒鹽雜訊 20%汙染的過濾結果 ........................79 viii.
(10) 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖. 74 各種濾波器在House受到胡椒鹽雜訊 40%汙染的過濾結果 ........................79 75 各種濾波器在House受到胡椒鹽雜訊 50%汙染的過濾結果 ........................80 76 各種濾波器在House受到胡椒鹽雜訊 70%汙染的過濾結果 ........................80 77 各種濾波器在Lena受到胡椒鹽雜訊 5%汙染的過濾結果 ............................81 78 各種濾波器在Lena受到胡椒鹽雜訊 10%汙染的過濾結果 ..........................81 79 各種濾波器在Lena受到胡椒鹽雜訊 20%汙染的過濾結果 ..........................82 80 各種濾波器在Lena受到胡椒鹽雜訊 40%汙染的過濾結果 ..........................82 81 各種濾波器在Lena受到胡椒鹽雜訊 50%汙染的過濾結果 ..........................83 82 各種濾波器在Lena受到胡椒鹽雜訊 70%汙染的過濾結果 ..........................83 83 各種濾波器在Peppers受到胡椒鹽雜訊 5%汙染的過濾結果........................84 84 各種濾波器在Peppers受到胡椒鹽雜訊 10%汙染的過濾結果......................84 85 各種濾波器在Peppers受到胡椒鹽雜訊 20%汙染的過濾結果......................85 86 各種濾波器在Peppers受到胡椒鹽雜訊 40%汙染的過濾結果......................85 87 各種濾波器在Peppers受到胡椒鹽雜訊 50%汙染的過濾結果......................86 88 各種濾波器在Peppers受到胡椒鹽雜訊 70%汙染的過濾結果......................86 89 各種濾波器在Airplane受到脈衝突發雜訊 10%汙染的過濾結果 ................87 90 各種濾波器在Airplane受到脈衝突發雜訊 20%汙染的過濾結果 ................87 91 各種濾波器在Airplane受到脈衝突發雜訊 30%汙染的過濾結果 ................88 92 各種濾波器在Airplane受到脈衝突發雜訊 40%汙染的過濾結果 ................88 93 各種濾波器在Airplane受到脈衝突發雜訊 50%汙染的過濾結果 ................89 94 各種濾波器在Boat受到脈衝突發雜訊 10%汙染的過濾結果.......................89 95 各種濾波器在Boat受到脈衝突發雜訊 20%汙染的過濾結果.......................90 96 各種濾波器在Boat受到脈衝突發雜訊 30%汙染的過濾結果.......................90 97 各種濾波器在Boat受到脈衝突發雜訊 40%汙染的過濾結果.......................91 98 各種濾波器在Boat受到脈衝突發雜訊 50%汙染的過濾結果.......................91 99 各種濾波器在Bridge受到脈衝突發雜訊 10%汙染的過濾結果 ...................92 100 各種濾波器在Bridge受到脈衝突發雜訊 20%汙染的過濾結果 .................92 101 各種濾波器在Bridge受到脈衝突發雜訊 30%汙染的過濾結果 .................93 102 各種濾波器在Bridge受到脈衝突發雜訊 40%汙染的過濾結果 .................93 103 各種濾波器在Bridge受到脈衝突發雜訊 50%汙染的過濾結果 .................94 104 各種濾波器在Cameraman受到脈衝突發雜訊 10%汙染的過濾結果.........94 105 各種濾波器在Cameraman受到脈衝突發雜訊 20%汙染的過濾結果.........95 106 各種濾波器在Cameraman受到脈衝突發雜訊 30%汙染的過濾結果.........95 107 各種濾波器在Cameraman受到脈衝突發雜訊 40%汙染的過濾結果.........96 108 各種濾波器在Cameraman受到脈衝突發雜訊 50%汙染的過濾結果.........96 109 各種濾波器在Goldhill受到脈衝突發雜訊 10%汙染的過濾結果...............97 110 各種濾波器在Goldhill受到脈衝突發雜訊 20%汙染的過濾結果 ...............97 111 各種濾波器在Goldhill受到脈衝突發雜訊 30%汙染的過濾結果 ...............98 ix.
(11) 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖 圖. 112 各種濾波器在Goldhill受到脈衝突發雜訊 40%汙染的過濾結果 ...............98 113 各種濾波器在Goldhill受到脈衝突發雜訊 50%汙染的過濾結果 ...............99 114 各種濾波器在House受到脈衝突發雜訊 10%汙染的過濾結果 ..................99 115 各種濾波器在House受到脈衝突發雜訊 20%汙染的過濾結果 ................100 116 各種濾波器在House受到脈衝突發雜訊 30%汙染的過濾結果 ................100 117 各種濾波器在House受到脈衝突發雜訊 40%汙染的過濾結果 ................101 118 各種濾波器在House受到脈衝突發雜訊 50%汙染的過濾結果 ................101 119 各種濾波器在Lena受到脈衝突發雜訊 10%汙染的過濾結果 ..................102 120 各種濾波器在Lena受到脈衝突發雜訊 20%汙染的過濾結果 ..................102 121 各種濾波器在Lena受到脈衝突發雜訊 30%汙染的過濾結果 ..................103 122 各種濾波器在Lena受到脈衝突發雜訊 40%汙染的過濾結果 ..................103 123 各種濾波器在Lena受到脈衝突發雜訊 50%汙染的過濾結果 ..................104 124 各種濾波器在Peppers受到脈衝突發雜訊 10%汙染的過濾結果..............104 125 各種濾波器在Peppers受到脈衝突發雜訊 20%汙染的過濾結果..............105 126 各種濾波器在Peppers受到脈衝突發雜訊 30%汙染的過濾結果..............105 127 各種濾波器在Peppers受到脈衝突發雜訊 40%汙染的過濾結果..............106 128 各種濾波器在Peppers受到脈衝突發雜訊 50%汙染的過濾結果..............106. x.
(12) 第一章、緒論 1.1 研究背景 數位影像(digital image)一般指的是呈現於電腦上的圖片或相片，一張數位影像 的資料通常是由許多像素(pixels)組合成的一個二維陣列。一個二維陣列的大小， 即為這張影像的大小。舉例來說，若以一個 256×256 的二維陣列來存放一張數位 影像的資料，則這張數位影像的大小亦為 256×256(像素)。進行影像擷取及傳送的 過程中，可能會遭受到外在因素的干擾而造成影像失真，使影像上的某些像素不 具備其原本帶有的資訊，這些像素即稱為雜訊(noise)。影像上常見的雜訊有許多 種，例如，隨機分佈在影像上黑色或白色像素的胡椒鹽雜訊(salt-and-pepper noise， 本論文簡稱為SPNoise)，具有連續性損壞影像的脈衝突發雜訊(impulse burst noise， 本論文簡稱為IBNoise)，對影像上每個像素做高斯分佈處理的白高斯雜訊(white gaussian noise)等，如圖 1所示。. (a) Lena 原始影像. (b) 含 20% SPNoise 的 Lena 影像. (d) 含白高斯雜訊(μ= 0, σ = 0.05) 的 Lena 影像 圖 1 影像雜訊. (c) 含 20% IBNoise 的 Lena 影像. 1.
(13) 影像濾波器(image filter)是一種專門處理影像雜訊的系統，用來去除雜訊 (denoising)、移除雜訊(noise removal)或是降低雜訊(noise reduction)，藉此將雜訊還 原成原本的像素並具備其原有的資訊。影像是由一個二為陣列組成，所以可以用 空間域(spatial domain)的影像過濾方式來處理影像上的雜訊，其數學式表示如下。. f x, y Ti x,y . (1). 在上式之中，i為輸入影像、f為經過處理的影像、而T為作用於i的運算子亦稱為過 濾雜訊的方法。T會針對整張影像做滑動式視窗(sliding window)並以影像上每個座 標i(x, y)為中心點向外擴張一個m × m的遮罩(mask)，利用此遮罩內的像素做線性 (linear)或非線性(non-linear)計算，其結果為f(x, y)，如圖 2所示。 y. ix 1,y 1. ix 1,y . ix,y 1. ix,y . ix 1,y 1. ix 1,y . ix 1,y 1. ix,y 1. 滑動式視窗 x. 遮罩. ix 1,y 1. 圖 2 滑動式視窗與遮罩 典型的影像濾波器為中值濾波器(median filter)，將遮罩內所有像素先由小到大 排序後，取出中位數作為過濾雜訊的方法，如圖 3所示，及以中值濾波器為基礎 的適應性中值濾波器(adaptive median filter)[ 19 ]及權重中值濾波器(weighted median filter)[ 4 ]。. 2.
(14) 122 122 120 120 122. 124 124 126 124 124 126 128 255 126 122 122 122 120 122 122. 128 128 128 128. 122 122 120 120 122. i(x,y). (a) 輸入影像. 124 124 126 124 124 126 128 124 126 122 122 122 120 122 122. 128 128 128 128 120. f(x,y). (b) 經過處理的影像 圖 3 中值濾波器. 大多數的影像濾波器處理雜訊的方法運用各種不同複雜度的數學運算並且執 行於軟體上，在資料量龐大的情形下，要處理雜訊並獲得好的過濾效果，往往需 要複雜的數學運算及大量的計算時間。由於使用硬體進行雜訊處理可以利用硬體 平行處理資料的能力，減少大量的計算時間，因此將影像濾波器實現在硬體上是 未來的發展趨勢。近年來越來越多關於演化式硬體(evolvable hardware, EHW)應用 於影像雜訊濾波器的研究被提出。演化式硬體是由可重構式硬體(reconfigurable hardware)與演化式演算法(evolutionary algorithms, EA)結合而成，硬體透過與外在 環境的互動，以演化的方式改變自我本體的架構以達到執行效率的提升。由於是 以演化的方式不斷的找出新的答案並規劃出對應的架構，因此硬體平台必須具有 可重複規劃、燒錄及配置內部架構的能力。 可重構式硬體泛指如現場可程式化邏輯陣列(field programmable gate array, FPGA)或是複雜式可程式化邏輯設備(complex programmable logic device, CPLD)這 種具備可重新規劃內部結構能力的硬體。與一般的積體電路(integrated circuit, IC) 不同的地方在於，可重構式硬體允許內部結構在出廠後才規劃決定或是在規劃決 定之後再次進行更改等動作；而一般的IC則在出場之前就已經決定內部結構，無 法在出廠後進行更改。其中FPGA擁有多數的連接單元(connections unit)，賦予邏輯 區塊(logic block)彼此之間擁有高彈性的連結功能，使整個結構擁有更靈活的編輯 性，因此非常適合做為演化式硬體的平台。FPGA的基本架構如圖 4所示。 3.
(15) 圖 4 FPGA 的基礎架構 FPGA的主要設計流程如圖 5所示，其主要步驟如下： STEP 1.. 將輸入設計構想(design entry)。. STEP 2.. 將 STEP 1.的輸入合成(synthesis)出對應的 RTL(register-transfer-logic) 電路。. STEP 3.. 將合成的 RTL 電路進行執行功能的模擬驗證(behavioral simulation)， 如果功能正確則執行 STEP 4.，否則執行 STEP 1.。. STEP 4.. 將合成的 RTL 電路轉換成 FPGA 晶片內部電路元件，也就是進行 FPGA 晶片之轉換(translate)、對應(map)、佈置(place)及繞線(router) 等過程，此過程又稱為實作階段(implementation)。. STEP 5.. 進行時序模擬(timing simulation)，將實際電路得延遲時間加以模擬， 若模擬驗證成功則執行 STEP 6.，否則執行 STEP 4.。. STEP 6.. 將設計好的電路配置(configure)在 FPGA 晶片上，以執行硬體的驗 證，若驗證成功，則完成硬體設計，否則執行 STEP 1.修改或重新輸 入設計構想。. FPGA 的設計構想輸入方式可以分成下列四種： . 使用繪圖的方式。. . 使用 VHDL 硬體描述語言的方式。. . 使用 Verilog 硬體描述語言的方式。 4.
(16) . 使用狀態機(state machine)的方式。 輸入設計構想 合成電路 功能模擬 否 功能正確 是 實作電路 時序模擬 否 模擬正確 是 電路配置 否 驗證正確 是 使用於系統上. 圖 5 FPGA 的主要設計流程 傳統的硬體設計必須事先準備所有硬體功能的規格再進行規劃程序，且最後 設計的硬體結構是不可以改變的。當遇到工作需求的改變或是工作環境的變化， 即會發生硬體不適用或是故障等問題，造成硬體必須重新設計。演化式硬體是把 人工智慧實現在硬體上的一種概念[ 28 ][ 12 ]，仿效生物界中「物競天擇、優勝劣 敗」的自然進化法則，賦予硬體以演化的方式重覆規劃自己的架構，以因應工作 需求的改變或是工作環境的變化。其演化的方式可以分成下列兩種： 5.
(17) . 內在演化(intrinsic)：直接在可重構式硬體(如CPLD, FPGA等)上做演化式規劃 及改變自我本體的結構，並以硬體實作的方式進行適應性的評估 [ 2 ][ 20 ][ 21 ]。. . 外在演化(extrinsic)：以軟體模擬的方式進行設計或演化式規劃[ 45 ]，直到演 化程序達到終止條件，再將結果實現成硬體。 前者雖然可以獲得正確的電路品質與適應函數值，但由於硬體需要不停的做. 重新配置的動作，因此存有成本較大的問題。後者可以減低大量的成本，但由於 是以軟體進行模擬，所以需要大量的時間進行演化，且最後實際製作的電路不一 定具有實際的效能，因為模擬與實際始終存有一段差距。演化式硬體的簡易設計 流程如圖 6所示。. 圖 6 演化式硬體的處理流程[ 6 ]. 1.2 研究動機 典型的影像雜訊濾波器其過濾雜訊的方法通常使用簡單且靜態(static)的非線 性數學函數，所以處理受到雜訊數量破壞較少的影像可以快速得到滿意的結果， 但是在較高雜訊數量的情形並不然。並且無論在高雜訊數量或是低雜訊數量的情 形之下，典型的影像濾波器都會改變影像中某些未受到汙染的像素值，造成那些 未受到汙染的像素失真。影像雜訊偵測或分析的提出是為了解決典型的影像濾波 6.
(18) 器在處理雜訊時，會讓某些未受到汙染的像素失真的問題。例如典型的中值濾波 器只要遇到遮罩內的雜訊數量大於遮罩內所有像素數量的一半，且遮罩內的中心 點並非為雜訊時，就會造成影像失真。而影像雜訊偵測的提出，就是希望影像濾 波器遇到中心點非雜訊情況時，可以不做任何處理並保留原本像素與其資訊。換 句話說，影像濾波器在處理含有雜訊的影像時，先去偵測遮罩內的中心點是否為 雜訊，若判定為非雜訊則不做任何處理並保留其原本像素，反之則做處理雜訊的 動作。因此，如果想要在未知的雜訊類型或者濾波器的環境會隨著外在因素而改 變的情形下設計一個有效的影像濾波器，我們還需要考慮下列因素： . 影像失真(image distortion)：典型的影像雜訊濾波器雖然是使用非線性數學函 數進行雜訊處理，但若是沒有具備影像雜訊偵測的能力，依舊很難做到保留 非雜訊像素數值的動作。. . 適應性(adaptability)及靈活性(flexibility)：典型的影像雜訊濾波器在處理不同 類型的雜訊以及雜訊數量不同的情形下，沒有具備穩定且有效的過濾效果。. . 複雜度(complexity)：濾波器在處理資料量較多的情形下，若要擁有好的過濾 效果，其運算子必定是複雜的。相對的，若過濾雜訊的方法越複雜，則軟體 上的計算時間也會較為冗長。. . 實現在硬體(implemented in hardware)：將影像濾波器實現在硬體上，雖然可以 利用硬體平行化計算的優勢來加速計算時間。但是在硬體上很難實現具備複 雜運算子的影像雜訊濾波器，若是影像雜訊濾波器使用簡單的運算子，則過 濾效果未必是好的。 以演化式硬體為基礎所設計的影像雜訊濾波器(EHW-based image filters，以下. 簡稱 EHWIF)，由於具備演化式演算法自我演化的特性，因此賦予影像雜訊濾波器 在未知雜訊類型的情形下，依然擁有適應性及靈活性。EHWIF 雖然擁有演化式演 算法的自我演化以及硬體上的平行化計算等優勢，但是依然存有下列問題： . 簡易型電路：可重構式硬體只能提供基本電路進行簡易的運算，而簡易的電 7.
(19) 路未必能提供好的過濾效果。若想用可重構式硬體做出複雜的電路，則可能 產生電路面積龐大或是電路太過複雜而無法實現於硬體上等問題。 . 搜尋空間：使用演化式演算法搜尋一組從簡易的電路到合成為一個可過濾雜 訊的電路，其搜尋空間必定龐大。若處理的影像越大，則搜尋最佳解的困難 度也會相對提高。. . 單一濾波器：目前關於處理影像雜訊的研究中，大多數只使用一種影像濾波 器處理雜訊。但是在複雜的雜訊或是無法找尋到一組可過濾雜訊的電路的情 形下，則過濾效果未必是好的。 本論文提出針對影像上每個遮罩內中心點與鄰近點的關聯性做模糊推論. (fuzzy reasoning)進行雜訊分類，不同類別的雜訊使用不同屬性的 EHWIF 做雜訊處 理。此做法不僅可以保留非雜訊的像素數值與其資訊，解決未受到汙染的像素可 能會失真的問題，同時也因為將影像上每個遮罩的中心點做雜訊分類，減少了演 化式演算法的龐大搜尋空間及計算程序，故可加快演化速度及提高過濾雜訊的效 果。. 1.3 研究架構 本研究主要分成設計階段、硬體實作階段及濾波器應用階段等三大階段，其 研究架構如圖 7所示。本論文主要研究於濾波器的設計階段以提供FPGA的硬體實 作設計圖，而非直接實作FPGA硬體。. 1.4 論文架構 本論文架構如下：第一章說明研究背景與動機。第二章簡述背景知識及相關 的影像過濾技術與參考文獻。第三章定義雜訊型態，以及針對雜訊型態進行模糊 推論分析。第四章提出模糊演化式影像雜訊濾波器的設計與規劃。第五章實驗與 分析說明不同雜訊與影像的實驗設計與結果，並與其他影像雜訊濾波器進行比 8.
(20) 較。第六章說明研究的結果、以及未來可能的方向。. 訓練資料. 硬體設計. 含有雜訊 的影像. 演化式 演算法. 實作於 FPGA 上. 硬體 濾波器. 濾波器 模型. 硬體 濾波器. 還原影像. 設計階段. 硬體實作階段 圖 7 研究架構. 9. 濾波器應 用階段.
(21) 第二章、背景知識與相關文獻 本 章 簡 述 演 化 式 演 算 法 (evolutionary algorithms) 、 直 角 座 標 式 基 因 規 劃 (cartesian genetic programming)與模糊推論(fuzzy reasoning)及相關的影像過濾技術 與參考文獻。. 2.1 演化式演算法 演化式演算法是以進化論的天擇(natural selection)為基礎，根據生物演化觀念 所建構成的一種演算法，模擬自然界演化過程淘汰對環境適應不良的物種，藉此 尋找問題的最佳解。演化式演算法是一種通用的名詞，包含演化策略(evolution strategy)、演化式規劃(evolutionary programming)及基因演算法(genetic algorithms) 三種解決最佳化問題的主流。演化式演算法的基本步驟如下所示： . 編碼(encode)：將問題的解答以一長串數字或是字元所組成的序列來表示，此 序列亦稱為染色體(chromosome)。. . 初始化(initialization)：隨機產生一定數量的個體，有時候操作者也可以干預隨 機產生的過程，讓第一代的族群就擁有著部份優化的個體。. . 評估(evaluate)：將個體經由適應性函式(fitness function)的評估，進行區別個體 的好壞。. . 挑選(selection)：從族群裡挑選個體出來進行繁衍的動作。常見挑選的方式有 輪盤式(roulette wheel selection)、競爭式(tournament selection)及隨機式(random selection)。. . 交配(crossover)：交配是從族群之中，經由挑選機制所選出來個體作為父母， 並互相交換染色體產生出新的個體，而新的個體稱之為子代(offspring)。. . 突變(mutation)：突變的操作是從子代中，隨機挑選一個或數個基因，以亂數 的方式變更基因的數值。突變的策略可以確保族群在演化的過程中，可以跳 出區域最佳解的泥沼之中。 10.
(22) . 淘汰(natural selection)：透過適應性函式評估新的個體，弱勢的個體將會被淘 汰掉。保留下較好的個體行程新的一個世代。. . 終止條件(termination)：終止的條件主要有三種：第一種，適應值達到特定標 準。第二種，演化到一定代數。第三種條件，族群演化達到收斂的穩定狀態。. 演化式演算法透過編碼、初始化、評估、挑選、交配、突變、淘汰等步驟，依據 「適者生存、不適者淘汰」(survival of the fittest)的法則，演化出一代比一代更適 合的解答。演化式演算法的基本流程如圖 8所示。 染色體編碼 初始化 選擇. 適應度評估. 交配. 產生下一代. 突變. 淘汰. 產生新一代. 否. 滿足終 止條件 是 輸出最佳解 圖 8 演化式演算法. 2.2 直角座標式基因規劃 直角座標式基因規劃(簡稱CGP)是由學者Julian F. Miller與Peter Thomson在 2000 年提出，利用平面式座標位置先將座標點以二維空間關係由輸入端到輸出端 固定好，再依照座標位置加以編碼[ 8 ]。如果限制電路的描述方式為平面式，則整 個電路結構可視為一個直角座標體系，因此可以利用直角座標式基因規劃進行電 11.
(23) 路編碼的動作。舉例來說，假設將一個電路結構的座標空間訂為 2 × 2 的結點 (node)，如圖 9。每個結點可以擁有AND, XOR, NOT, OR, NULL等邏輯電路功能， 並加以編號(例如，以 0 為AND、1 為NOT、2 為XOR、3 為OR、4 為NULL等等)， 其中每個結點都有 2 個輸入 1 個輸出(2-by-1)。. 圖 9 直角座標式基因規劃 其編碼順序為由上至下、由左至右，每三個數字表示成一個 2-by-1 的結點。 0, 1, 0 表示位置(0, 0)的輸入為線路 0、線路 1，並以 AND(0)連接後輸出至線路位 置 2；0, 0, 2 表示位置(0, 1)的輸入為線路 0、線路 0，並以 XOR(2)連接後輸出至線 路位置 3；2, 2, 3 表示位置(1, 0)的輸入為線路 2、線路 3，並以 OR(3)連接後輸出 至線路位置 4；3, 3, 2 表示位置(1, 1)的輸入為線路 3、線路 3，並以 XOR(2)連接後 輸出至線路位置 5。虛線及顏色較淡的結點則表示該結點未作用，如位置(1, 1)的 XOR 閘。整體的關係為：OUT(4)= (IN(0) AND IN(1)) OR (IN(0) XOR IN(0))。 直角座標式基因規劃也會依照演化式演算法的基本流程進行演化程序，透過 編碼、初始化、評估、挑選、交配、突變、淘汰等步驟來找尋問題的最佳解，其 中突變的方式有兩種分別為 . 靜態突變(silent mutation)：此突變方式對於問題的解答沒有影響，但是仍舊改 變了染色體的結構，因此可靠後續的突變來產生新的解答，如圖 10所示。原 始的解答為OUT(4)= (IN(0) AND IN(1)) OR (IN(0) XOR IN(0))，經過靜態突變 後，解答為OUT(4)= (IN(0) AND IN(1)) OR (IN(0) XOR IN(0))。 12.
(24) 圖 10 靜態突變 . 非靜態突變(non-silent mutation)：此突變方式直接性的改變染色體的輸出，產 生新的解答，如圖 11所示。原始的解答為OUT(4)= (IN(0) AND IN(1)) OR (IN(0) XOR IN(0))，經過非靜態突變後，解答為OUT(5)= ((IN(0) XOR IN(0) OR (IN(0) XOR IN(0))。. 圖 11 非靜態突變 13.
(25) 由於FPGA的邏輯區塊可視為是直角座標式基因規劃裡的結點，並且層級與層 級之間可以互連(又稱之為level back)，所以非常適合使用直角座標式基因規劃來編 碼問題的解答。舉例來說，若想要設計一個影像雜訊濾波器，則輸入是影像上的 像素，輸出則是過濾出來的結果，中間的電路結構則是過濾雜訊的方法，如下圖 12。. 圖 12 影像雜訊濾波器結合 CGP 表 1 功能模組表 No. Function. Description. 0. 255. Constant. 1. i1. Identity. 2. 255-Sel1. Inversion. 3. i1 | i2. OR. 4. (~i1) or i2. (~i1) or i2. 5. i1 & i2. AND. 6. NAND. 7. ~(i1 & i2) i1 ♁ i2. 8. i1 >> 1. Right shift by 1. 9. i1 >> 2. Right shift by 2. 10. Swap(i1, i2). Swap nibbles. 11. i1 + i2. + (addition). 12. i1 + Si2. + with saturation. 13. (i1 + i2) >> 1. average. 14. Max(i1, i2). Maximum. 15. Min(i1, i2). Minimum. 14. XOR.
(26) 其中淡色位置表示該結點對於過濾結果並無影響，整個座標空間可以容納 4 × 6=24 個可配置邏輯區塊(configurable logic block, CLB)但目前使用 9 個有效位置， 有 15 個位置為無效空間，其功能模組表(function table)如表 1所示。電路經過編碼 後為 016, 232, 454, 6710, 0105, 9111, 10129, 1287, 1397, 131111, 11153, 16160, 13175, 171911, 11163, 20168, 21174, 18235, 18206, 24161, 21220, 26276, 22284, 24288, 1，此編碼亦可視為是染色體、一個問題的解答。. 2.3 模糊推論 在 1965 年代Lotfi A. Zadeh提出一種以數學模型來描述語意式的模糊資訊的方 法，也就是大家所熟知的模糊集合理論(fuzzy sets)[ 18 ]。模糊集合可以視為是傳統 的集合理論的一種推廣型式，將傳統的明確集合模糊化後，推廣至模糊集合。模 糊化的優點是可以提供更優越的推廣性、容錯性、以及更適合應用於現實生活中 的非線性系統。如今模糊理論被廣泛應用在各領域之中。例如，控制工程中的智 慧型控制、機器人設計等，在圖樣辨識(pattern recognition)方面的影像處理、語音 辨識、信號處理等，其他還有像是量化分析、軟體工程、醫學、預測、排程等領 域之應用。 在傳統的明確集合中，所謂的關係(relations)就是指集合彼此之間是否有某種 關聯性，也就是描述集合間是否有關係的一種方式，而這種描述方式是二元值的， 也就是“有關係＂或“沒關係＂兩種。若是我們將這種描述集合關係的方式推廣 至多元值，則形成了模糊關係(fuzzy relation)。換句話說，集合之間是否有關都只 是程度上的不同而已。若想從一個或多個模糊關係及相關規則中得到明確的結 果，則必須進行模糊推論。模糊推論的基本流程，如下面所示： STEP 1.. 將輸入的元素與集合之間的關係，從明確關係推廣成模糊關係。. STEP 2.. 從一個或多個模糊關係作模糊推理求得對應的結論。. STEP 3.. 將結論做解模糊化，即可獲得明確的結果。 15.
(27) 2.3.1 模糊關係 模糊關係則是允許元素與集合之間的關係，可以是介於 0 到 1 之間的任意值。 舉例來說，令U為整個論域(universe)、A為論域中的一個模糊集合、x為論域中的元 素，其數學定義可以如下：. A . x, . A. x . x U. . (2). 其中 A x 代表元素 x 對模糊集合 A 的歸屬程度， A 又稱為歸屬函數(membership function)。 歸屬函數可分為數值及函數等兩種定義的方式，數值之定義方式稱為離散型 歸屬函數，是直接給予模糊集合內所有元素的歸屬程度。而函數定義方式又稱之 為連續型歸屬函數，在應用上通常都使用連續型式歸屬函數。常見的歸屬函數描 述方式如下： . 三角形歸屬函數，其數學表示法如( 3 )所示。. Trapezoid. . 0 ,x a x a b a ,a x b x; a, b, c, d 1 , b x c , b c, x R d x ,c x d d c ,d x 0. 梯形歸屬函數，其數學表示法如( 4 )所示。. 0 ,x a x a a x b , b a Trapezoid x; a , b, c, d 1 , b x c , x R d x ,c x d d c ,d x 0 . (3). 平滑式梯形歸屬函數，其數學表示法如( 5 )所示。. 16. (4).
(28) STrapezoid. 0 ,xa 1 1 xb 2 2 cos b a , a x b x; a, b, c, d 1 , b x c , x R x c ,c x d 1 1 2 2 cos d c ,d x 0. 1. 1. 0. a. b. c. (a) 三角形歸屬函數. 0. (5). 1. a. b. c. d. 0. m. (b) 梯形歸屬函數 (c) 高斯分佈型歸屬函數 圖 13 常見的歸屬函數型式. 2.3.2 模糊推理引擎 模糊推理引擎(fuzzy inference engine)為模糊推論系統的核心部分，模擬人類思 考判斷的模式，根據模糊規則和模糊關係推倒出應有的結論。模糊規則是利用 IF…THEN…的形式來表示一條推理句 IF 稱為前提部分(antecedent)、THEN 稱為結 論部分(consequent)，其設計的合理性足以影響整個模糊推論結果的效應。而這種 語意式的推論句產生的方法主要有 . 由專家知識或經驗法則獲得。. . 根據設計者本身的設計制定。. . 根據被推論物件的特性制定。. . 藉由自我學習的方法獲得。 經由上述方式我們可以獲得模糊規則，假設有一系統有兩條模糊規則表示如. 下：. R1 :. IF x1 is A1 and x 2 is B1 , THEN y is C1. R2 : IF x1 is A2 and x 2 is B2 , THEN y is C 2 17.
(29) 定義出模糊規則後，必須要與模糊關係做合成運算才能推理出新的結論，本 研究使用的推理方法為 Mamdani Inference，其主要的步驟如下： STEP 1.. 計算模糊規則前提部分的歸屬程度。. STEP 2.. 計算模糊規則結論部分的歸屬程度。. STEP 3.. 合併所有模糊規則結論部分所得到的歸屬程度。. 我們利用R 1 及R 2 兩條模糊規則作舉例說明。首先計算R 1 及R 2 前提部分的歸屬程度 M i ，其數學表示法如( 6 )。. M i Ai xi Bi x2 min Ai x1 , Bi x2 . (6). 接著計算模糊規則結論部分的歸屬程度N i ，其數學表示法如( 7 )。. N i minM i , Ci y . (7). 最後，合併所有模糊規則結論部分所得到的歸屬程度獲得結果U，其數學表示法如 ( 8 )。. U maxN1 , N 2 . (8). 圖 14 Mamdani 推論法. 2.3.3 解模糊化 解模糊化(defuzzification)的主要目的在於將模糊推理的結論部分轉換為明確 18.
(30) 的結果。不同的解模糊化方法，對於明確的結果有不同的影響，常見在離散型態 的解模糊化方法有： . 重心法(center of gravity, COG) ：將模糊推理所得的模糊集合總面積取重心， 其數學表示法如( 9 ) 所示，其中u CO G 為解模糊化的結果、x i 為論域U內的一個 數值、μ c (x i )為x i 在結論部分的歸屬值。. u COG . x x x i. c. i. . i. c. i. (9). i. 最大平均法(mean of maxima, MOM) ：數學表示法如( 10 )所示，其中u MO M 為 解模糊化的結果、x i 為論域U內的第i個數值、Γ為x i 元素所對應c集合的歸屬程 度的最大值。. x. i. u MOM . i. . , i | c xi max . ( 10 ). 本研究預計採用重心法作為解模糊化的方法。. 2.4 一般的影像雜訊濾波器 許多的學者提出了各種不同的方法來處理影像雜訊，常用的影像雜訊濾波器 是以中值濾波器為基礎的延伸，例如學者S .J Ko與Y .H Lee在 1991 年提出的中央 權重中值濾波器(center-weighted median filter, CWM)[ 24 ]，對遮罩內中心點複製w 次，接著排序所有像素再取中值數作為過濾的結果。我們以圖 15作為舉例說明， 當w=3 時遮罩內中心點複製 3 次，則所有像素經過排序後為{122, 122, 122, 124, 124, 126, 126, 128, 255, 255, 255}，再取中值數 126 作為過濾的結果。此方法由於將中 心點做複製動作，因此當中心點並非雜訊時有較高的機會可以保留，但是在雜訊 數量過高的情形，則過濾效果會大幅下降。. 19.
(31) 122 122 120 120 122. 124 124 126 124 124 126 128 255 126 122 122 122 120 122 122. 128 128 128 128 128. (a) 輸入影像. 122 122 120 120 122. i(x,y). 124 124 126 124 124 126 128 126 126 122 122 122 120 122 122. 128 128 128 128 120. f(x,y). (b) 經過處理的影像 圖 15 中央權重中值濾波器. 現今融合模糊理論(fuzzy theory)來設計影像雜訊濾波器的研究越來越多 [ 13 ][ 27 ]。在 2003 年學者H K. Kwan定義遮罩內所有像素具備歸屬函數 (membership function)，賦予像素擁有權重概念，再經由解模糊化求得過濾的結果 [ 7 ]。此方法除了可以保留影像中部分的細節，同時對消除雜訊也有相當的效果。. 2.5 以演化式硬體為基礎的影像雜訊濾波器 近年來有許多的學者提出了以演化式硬體基礎的方法來設計影像雜訊濾波器 [ 29 ][ 17 ]。在 1993 年，學者Ch.Ravi Kumar與S.K. Srivathsa提出以演化式硬體為架 構來設計適應性中值濾波器[ 3 ]，在有限的時間內以演化的方式設計出濾波器的最 佳化硬體電路。2002 年，學者Lukas Sekanina以演化式硬體為基礎設計出影像雜訊 濾波器，用一組濾波模型進行雜訊處理並實作在硬體上，同時設計出可以消除影 像雜訊的功能模組(function)[ 16 ]，如圖 16所示。 在 2007 年的時候，學者Zdenek Vasicek與Lukas Sekanina提出以 3-Bank為概念 設計出以演化式硬體為基礎的影像雜訊過濾器[ 43 ][ 39 ]。其處理對像是SPNoise， 由於SPNoise的特性是擁有兩種雜訊(0/255)，因此將所有白色像素雜訊(255)進行反 轉，讓所有雜訊統一為黑色像素(0)。接著在訓練階段同時將三組模型進行演化， 最後過濾雜訊的時候，利用三組不同的模型進行雜訊處理，將其結果取中位數 (median)作為最後過濾雜訊的結果，如圖 17所示。 20.
(32) 圖 16 EHWIF. 圖 17 3-Bank EHWIF 將EHWIF處理IBNoise時，當遮罩大小為 3 × 3 其過濾雜訊效果不明顯，因此 需要擴大遮罩大小至 5 × 5，但是擴張遮罩大小會導致整個探索空間變大，因此 2009 年學者Zdenek Vasicek等眾人提出像素選擇器(pixel selector)[ 45 ]。從 5 × 5 = 25 像素中挑選出 9 個像素作為影像雜訊濾波器的輸入，藉此縮小探索空間，也可 以同時尋找出影像中的紋理，加強過濾的效果，如圖 18所示。而在 2010 年學者 Zdenek Vasicek、Lukas Sekanina與Michal Bidlo用十五張影像進行此方法的實驗， 除了比典型的影像雜訊濾波器提供更好的過濾效果外，其電路面積也比典型的影 像雜訊濾波器實作在硬體上還少許多[ 44 ]。. 21.
(33) 圖 18 具像素選擇器的 EHWIF. 2.6 影像雜訊偵測 一般的處理雜訊方式皆能在低雜訊數量的情形下擁有相當的濾波效果，但是 都無條件對所有輸入的像素進行雜訊處理。若遮罩內中心點為非雜訊時，則因為 會無條件對每個遮罩進行雜訊處理，造成影像失真及損失影像部分細節。因此， 許多學者陸續在影像雜訊濾波器中加入雜訊判斷的機制，即首先檢查輸入的遮罩 內中心點像素是否為影像雜訊，然後根據雜訊檢驗的結果再進行雜訊處理 典型含有影像雜訊偵測處理的影像濾波器為適應性中值濾波器。此濾波器會 根據中心點是否為雜訊來改變遮罩的大小，以達到最佳的過濾效果[ 19 ]。其特性 在於處理雜訊的同時，可以同時保存影像中的細節，這是傳統的中值濾波器所做 不到的。適應性中值濾波器的主要處理流程如下： STEP 1.. 針對影像做滑動式視窗，並設定初始遮罩大小為w、遮罩最大尺寸為 w max 。. STEP 2.. 找出遮罩內的最大值max (x, y) 、中間值med (x, y) 及最小值min (x, y) 。. STEP 3.. 判別max (x, y) 、med (x, y) 及min (x, y) 的關聯性是否滿足min (x, y) < i(x, y) < max (x, y)，若滿足則判定中心點為非雜訊，保留中心點像素f(x, y) = i(x, y)並結束處理這個遮罩。反之，則擴展遮罩大小為w = w + 2。. STEP 4.. 判斷遮罩大小是否滿足w ≦ w max，若是則跳到STEP 2.。反之，則判 定中心點為雜訊，以med (x, y) 取代i(x, y)，即f(x, y) = med (x, y) 。 22.
(34) 此方法雖然可以有效的移除雜訊，但是在低雜訊數量或是影像邊界的情況 下，依然有影像失真的問題存在。我們以圖 19作為舉例說明，當w max = 5，w = 3 或是w = 5 都不滿足min (x, y ) < i(x, y) < max (x, y ) 的條件，因此擴張遮罩大小w = w + 2，最後由於不滿足w ≦ w ma x 所以判定中心點為雜訊並以med (x, y ) = 124 作為過濾 的結果。. 122 122 120 120 122. 124 124 126 124 124 126 128 128 126 122 122 122 120 122 122. (a) 輸入影像. 128 128 128 128 120. 122 122 120 120 122. ix,y . 124 124 126 124 124 126 128 124 126 122 122 122 120 122 122. 128 128 128 128 120. f x,y . (b) 經過處理的影像 圖 19 適應性中值濾波器. 在 1999 年學者T. Chen等人提出三態式中值濾波器(tri-state median filter, TSM)，結合中值濾波器與中央權重中值濾波器，將這兩個過濾結果f med、f CMF 與中 心點像素之間的差異d med、d CMF 及門檻值T作為雜訊偵測的依據。若d med ≦ T則判 別中心點為非雜訊並以中心點像素作為過濾的結果；若d CMF ≦ T ＜ d med 則判別中 心點為雜訊並以f CMF 作為過濾的結果；若T ＜ d CMF 則判別中心點為雜訊並以f med 作 為過濾的結果[ 31 ]。 近年來結合模糊理論概念的影像雜訊偵測方法越來越多。在 2006 年，以學者 Stefan為主的研究團隊提出以模糊理論為基礎，結合影像雜訊判別的“Fuzzy Impulse Noise Detection and Reduction Method, FIDRM＂及“Fuzzy Two-STEP Color Filter, FTSCF＂影像雜訊濾波器[ 25 ][ 26 ]，賦予影像上每個遮罩內的像素擁 有與中心點的關聯性及歸屬程度(membership degree)並考慮影像上的紋理及方 向，進行影像雜訊偵測的推論及判斷。. 23.
(35) 第三章、模糊影像雜訊型態分析 本論文處理雜訊對象分別為 SPNoise 及 IBNoise 兩種，為了能有效的進行影像 雜訊偵測，先將影像雜訊做型態的分析是必要的。本章將說明本論文定義的影像 特徵並提出模糊雜訊分類。. 3.1 雜訊分析 SPNoise 的特性是在影像上隨機分佈白色像素(255)或黑色像素(0)，脈衝突發 雜訊的特性則是在影像上分佈具有連續性的白色像素(255)。我們將未受雜訊污染 的影像建構其直方圖(histogram)，可獲得影像像素分佈的狀況，如下圖。. (a) Airplane. (b) Baboon (c) Cameraman 圖 20 未受到雜訊污染影像與其直方圖. (d) Lena. 藉由圖 20可以得知一張未受到雜訊污染且有意義的影像存有白色像素(255) 或黑色像素(0)的數量極少，也就是說若影像上存有白色像素(255)或黑色像素(0)， 則那些像素為雜訊的可能性極高。且通常遮罩內中心點為雜訊時將整個遮罩轉換 成一維陣列展開，則可以得知中心點像素(即圖 21中的M4)與鄰近像素(即圖 21中 的M0、M1、M2、M3、M5、M6、M7、M8)之間像素數值差異很大。換句話說， 當遮罩內中心點為雜訊時，中心點像素與鄰近像素之間的關聯性很小；反之，則 關聯性很大，如圖 21所示。 24.
(36) 124 M0. 128. 125 M3. M2. 126. M4. 122. 122. 126. M1. M6. Pixel Value. 130. M5. 122. M7. 250 200 150 100 50 0 M0. M8. (a) 中心點為非雜訊 108 M0. 96. 255 M3 M6. M2. 76. M4. M5. 74. 74. 0. 87. M1. M7. M2. M3. M4. M5. M6. M7. M8. M7. M8. (b) 將(a)轉換成一維陣列. Pixel Value. 112. M1. 250 200 150 100 50 0 M0. M8. M1. M2. M3. M4. M5. M6. (c) 中心點為雜訊 (d) 將(c)轉換成一維陣列 圖 21 中心點像素與鄰近像素. 3.2 雜訊分類 若想要判別遮罩內中心點像素是否為雜訊，則還需依靠中心像素與鄰近像素 之間的關聯性，此關聯性又稱為影像特徵(image features)。我們定義兩種影像特徵 作為判別中心點像素是否為雜訊的依據，分別為 . 相似度(similarity)：相似度越高，則表示中心點像素可能為雜訊的可能性越 低；反之，則可能性越高。計算相似度的數學表示法如( 11 )所示，其中m為遮 罩大小、I(x, y)為遮罩M m (i, j)的中心點像素、I(i, j)為遮罩M m (i, j)內的所有像 素，但I(i, j) ≠ I(x, y)。 Similarity x , y . 1 sim ( pi , j , p x , y ) m 1 I (i , j ) 2. . sim ( pi , j , p x , y ) max pi , j , p x , y min pi , j , p x , y. . ( 11 ). 差異性(divergence)：差異性越大，則表示中心點像素可能為雜訊的可能性越 高；反之，則可能性越低。計算差異性的數學表示法如( 12 )所示，其中m為遮 罩大小、I(x, y)為遮罩M m (i, j)的中心點像素、I(i, j)為遮罩M m (i, j)內的所有像 素，但I(i, j) ≠ I(x, y)。 25.
(37) Divergence x , y . 1 2. p. m 1 I (i, j ). i, j. p x, y. ( 12 ). 我們舉例遮罩內中心點為非雜訊及雜訊等兩種情形下，其相似度與差異性計 算方式及結果分別如下所示： . 非雜訊：由於遮罩內中心點像素與鄰近像素的關聯性很大，所以相似度很高、 差異性很小，如圖 22所示。. . 雜訊：由於遮罩內中心點像素與鄰近像素的關聯性很小，所以相似度很低、 差異性很大，如圖 23所示。 130 124 126 128 125 126 122 122 122. 0.96 0.99 0.99 0.98 0.98 0.98 0.98 0.98 0.98. (a) Non-noise. (b) Similarity 圖 22 非雜訊的相似度與差異性. (c) Divergence. 0.44 0.42 0.34 0.38 0.31 0.30 0 0.29 0.29. 143 147 168 159 176 179 255 181 179. (b) Similarity 圖 23 雜訊的相似度與差異性. (c) Divergence. 112 108 87 96 255 76 0 74 74 (a) Noise. 5 3 3. 1 3 3. 1 1 3. 我們針對未受汙染的影像、含有IBNoise 20%的影像及含有SPNoise 40%的影 像作相似度與差異性的直方圖等化，並得知一張未受汙染的影像其相似度有 50% 以上分佈於 0.85 以上、差異性有 50%以上分佈於 30 以內；含有IBNoise 20%的影 像其相似度有 50%以上分佈於 0.75 以上、差異性有 50%以上分佈於 50 以內；含有 SPNoise 40%的影像其相似度有 50%以上分佈於 0.45 以上、差異性有 50%以上分 佈於 90 以內，如圖 24所示。. 26.
(38) (a) 未受汙染影像的相似度. (b) 含 20%脈衝突發雜訊影像的相似度. (c) 含 40%胡椒鹽雜訊影像的相似度. (d) 未受汙染影像的差異性. (e) 含 20%脈衝突發雜訊影像的差異性 (f) 含 40%胡椒鹽雜訊影像的差異性 圖 24 相似度與差異性的直方圖 藉由 圖 24可以得知相似度與差異性在未受到雜訊污染的影像及含有雜訊的影 像，有著明顯的差異，因此證明相似度與差異性確實可以成為影像特徵。針對一 張含有雜訊的影像做滑動式視窗，可以得知每個遮罩含有雜訊的數量不盡相同， 由於濾波器是利用遮罩內的像素去還原遮罩的中心點像素，所以遮罩內的雜訊數 量亦會影響到濾波器的模型。因此我們定義下面三種遮罩受到不同雜訊數量汙染 的雜訊類型，藉此解決雜訊數量會影響濾波器的模型的問題，如圖 25所示。. 27.
(39) . 124 124 126 128 125 126 122 122 122. 124 124 126 128 125 96 91 92 92. 124 124 126 128 255 126 122 122 126. (a) 低雜訊. (b) 中雜訊 圖 25 雜訊類型. (c) 高雜訊. 低雜訊(low-noise)：若中心點像素不是為雜訊或是為雜訊的可能性很低，即歸 屬於低雜訊的類型。. . 中雜訊(medium-noise)：若中心點像素為雜訊的可能性為中等，以及中心點像 素可能為影像邊界(image edge)，即歸屬於中雜訊的類型。. . 高雜訊(high-noise)：若中心點像素為雜訊或是為雜訊的可能性很高，即歸屬於 高雜訊的類型。 要將遮罩歸類成三種類型除了依靠影像特徵外，還需要一套可以準確判別的. 規則，因此我們使用模糊推論作為判別遮罩歸屬哪種類型的方法。. 3.3 模糊雜訊分類 我們將相似度及差異性這兩種影項特徵與雜訊之間的關聯性推廣成模糊關. High. 1. a. a’. Similarity(x, y). (a) 相似度. Small. Large. 1. b b’ Divergence(x, y). (b) 差異性 圖 26 歸屬函數. 28. μ(Noise-possibility(x, y)). Low. μ(Divergence(x, y)). μ(Similarity(x, y)). 係，並以梯形函數為基礎制定出歸屬函數如下圖 26所示。. Low. Medium. High. 1. 0. c. c. c. 100 Noise-possibility(x, y). (c) 雜訊的可能性.
(40) 要判別雜訊的模糊關係，還須依靠模糊推理引擎進行雜訊判別。我們將相似 度及差異性兩者與雜訊之間的模糊規則定義為 R1 : IF Simlarity x,y is Low AND Divergence x,y is Small THEN Noise-poss ibility x,y is Medium. R2 : IF Simlarity x,y is Low AND Divergence x,y is Large THEN Noise-possibility x,y is High. R3 : IF Simlarity x,y is High AND Divergence x,y is Small THEN Noise-poss ibility x,y is Low. R 4 : IF Simlarity x,y is High AND Divergence x,y is Large THEN Noise-poss ibility x,y is Medium. 定義出模糊規則後，必須要與模糊關係做合成運算才能推論出新的結論。我 們使用 Mamdani Inference 作為推論的方法並加入門檻值(threshold)判別歸屬程度 是否有滿足條件，其主要的步驟如下： STEP 1.. 分別計算出相似度與差異性的歸屬程度 M i 。. STEP 2.. 利用相似度與差異性的歸屬程度做˄(min)運算，即可得到結論部分的 歸屬程度N i 。. STEP 3.. 判別是否滿足N i < threshold，若滿足則N i = 0；反之，則N i = N i 。. STEP 4.. 將所有模糊規則結論部分的歸屬程度做˅(max)運算，即可得到雜訊的 可能性面積 U。. 最後將結論部分經由解模糊化即可得到中心點為雜訊的可能性。本論文提出 兩種雜訊分類的方式分別如下： . 模糊硬式分類(fuzzy hard classification, HF)：硬式分類將推理所求得的結論使 用重心法求得雜訊的可能性後，再經由數學表示式( 13 )判別出此遮罩要分類 於哪一種雜訊類型，其中c 1 、c 2 及c 3 如圖 26(c)所示。. 29.
(41) Low m x, y Medium High . c1 c 2 2 c c3 c1 c 2 u COG 2 , if 2 2 c2 c3 u COG 100 , if 2 , if 0 u COG . ( 13 ). 我們將舉圖 28作為說明硬式分類的例子，以遮罩m(x, y)其相似度為 0.7 及差 異性為 55 作為輸入，經過模糊推理引擎後可求得結論的總面積，再利用重心法得 知中心點為雜訊的可能性為 23.90%，最後利用公式( 13 )求得此遮罩內中心點歸屬 於Medium。 . 模糊軟式分類(fuzzy soft classification, SF)：不同於硬式分類將雜訊分類於單一 種類型的作法，軟式分類賦予雜訊在不同的雜訊類型有不同的歸屬程度 (membership degree, 本論文簡稱為MD)，讓雜訊不再只分類於單獨一種類型。 軟式分類與硬式分類大致上相同，唯一不同處在於使用重心法不再只取雜訊 的可能性，而是反推回去此雜訊在每種雜訊分類所擁有的歸屬程度，即雜訊 的 可 能 性 為 高 的 歸 屬 程 度 (MD-High) 、 雜 訊 的 可 能 性 為 中 的 歸 屬 程 度 (MD-Median)及雜訊的可能性為低的歸屬程度(MD-Low)。我們以圖 27作為舉 例說明，若有一遮罩經過模糊推論後得知此遮罩為雜訊的可能性為 65%，則 反推回去歸屬程度可得知此遮罩歸屬於雜訊的可能性為高的程度有 0.65、雜 訊的可能性為中的程度有 0.35 及雜訊的可能性為高的程度有 0.00。. 圖 27 模糊軟式分類範例 30.
(42) IF Similarity is Low AND Divergence is Small Small Low. THEN Noise-possibility is Medium D M = Min(0.3, 1) =. s 0.25. d. m. 0.75. 120. 60. 1. m. IF Similarity is Low AND Divergence is Large Large Low. THEN Noise-possibility is High D H = Min(0.3, 0) =. 0.25. 0.75. s. m. d. 120. 60. m. IF Similarity is High AND Divergence is Small Small High. THEN Noise-possibility is Low D L = Min(0.8, 1) =. 0.25. 0.75. s. m. d. 120. 60. m. IF Similarity is High AND Divergence is Large High Large. THEN Noise-possibility is Medium D M = Min(0.8, 0) =. 0.25. 0.75. s. d. 120. 60. m. Low. m. Medium. High. 1. 0%. 30%. 50%. 70%. 100%. Noise-Poss(ρ). ρ = 23.90%. 0.75 * 0 0.75 * 10 0.75 * 20 0.75 * 30 0.5 * 40 0.3 * 50 0.3 * 60 0.0 * 70 23.90% 0.75 0.75 0.75 0.75 0.5 0.3 0.3 0.0 30 50 Low , 0 if u COG 2 30 50 50 70 u COG mx, y Medium , if 2 2 50 70 High , if u COG 100 2. u COG . 圖 28 模糊硬式分類範例 31.
(43) 第四章、模糊演化式硬體影像濾波器的設計 4.1 問題定義 影像濾波器是希望將影像中的雜訊去除並還原其像素原本帶有的資訊，或是 過濾出來的影像與原始影像之間的誤差總和可以最小。一般的 EHWIF 是利用單一 種數學模型針對整張影像做處理。但是當處理的影像越來越大的時候，不僅過濾 效果變差、訓練階段的資料量也會相對變大且更複雜，造成訓練時間過於冗長， 或是在有限的時間下不能尋找出好的解答等情形。因此我們針對影像上每個遮罩 做雜訊分類，讓受到不同雜訊數量污染的遮罩使用不同的 EHWIF，達到減少在訓 練階段資料量過大、訓練時間太過冗長以及在有限時間上不能找到好的解答等問 題。. 4.2 訓練階段 混合模糊雜訊分類(fuzzy classification on noises)的直角座標式基因規劃本論文 簡稱為 FCGP。由於 FCGP 之目的在於尋找含有雜訊影像與未受到雜訊污染影像之 間誤差最小的數學模型，因此需要一張含有雜訊的影像作為訓練影像及一張未受 雜訊污染的影像作為，藉此建立出影像雜訊濾波器的模型，此階段又稱訓練階段。. FCGP 的演算法如下所示： STEP 1.. 設 定 各 種 參 數 。 初 始 化 以 及 產 生 每 種 濾 波 器 模 組 (Low, High,. Medium)的第一個世代的族群。 STEP 2.. 針對訓練影像做滑動式視窗並計算對應遮罩的相似度及差異性。. STEP 3.. 使用模糊推論判別此遮罩歸屬於哪種雜訊類別，並決定要用哪組濾 波器模型進行過濾。. STEP 4.. 使用適應度函式計算此遮罩所歸屬的模組內每一條染色體適應度。. STEP 5.. 判斷整張影像是否掃描完畢，若是達到條件則進行 STEP 6.輸出適應. 32.
(44) 度。若是未達到條件則跳到 STEP 2.. STEP 6.. 每種濾波器模組的族群各自使用競爭法(tournament)選擇配偶。. STEP 7.. 每種濾波器模組的配偶各自使用雙點式交配法(two point crossover) 產生新的子代。. STEP 8.. 計算每種濾波器模組的子代之中每一條染色體的每一個基因是否突 變。若是突變，則用此基因範圍內的亂數取代。. STEP 9.. 針對訓練影像做滑動式視窗並計算對應遮罩的相似度及差異性。. STEP 10.. 使用模糊推論判別此遮罩歸屬於哪種雜訊類別，並決定要用哪組濾 波器模型進行過濾。. STEP 11.. 使用適應度函式計算此遮罩所歸屬的模組內每一條子代的染色體適 應度。. STEP 12.. 判斷整張影像是否掃描完畢，若是達到條件則進行 STEP 13.輸出適 應度。若是未達到條件則跳到 STEP 9.. STEP 13.. 從子代之中挑出最好的前 10%的染色體取代族群中最差的後 10%染 色體。. STEP 14.. 判斷是否達到終止條件，若是達到條件則跳到 STEP 16.輸出結果， 若是未達到條件則進行 STEP 15.。. STEP 15.. 判斷前面數代的適應值是否達到穩態，若是穩態則保留最好的前. 10%條染色體，其餘的以重置策略產生。若是沒有收斂則跳至 STEP 6. STEP 16.. 停止執行並且輸出結果，每種模組最好的染色體即為濾波器之模型。. 演算法一開始會將每種濾波器模組的染色體以亂數的方式產生，這個步驟被 稱為初始化。接著會對影像做滑動式視窗並計算對應遮罩的相似度與差異性，利 用這兩項影像特徵進行模糊推論判別此遮罩歸屬於哪種雜訊類別，並決定要使用 哪組濾波器模型進行過濾。遮罩所歸屬的模組內每一條染色體會依照適應度函式. 33.
(45) 進行評估。經過評估之後，會先判斷是否完成整張圖的掃描，若是達到目標則適 應值較高的個體具有較高的機會可以繁衍下一代。反之，則重複進行滑動式視窗、 計算遮罩的相似度與差異性、模糊推論、適應度的評估等步驟直到完成整張圖的 掃描。每種濾波器模組內適應值比較高的個體被挑選出來後，會進行交配的程序。 交配後會產生新的個體，稱之為子代。產生出來的子代會有機會發生突變。透過 交配與突變的機制，族群會有新的個體出現，這些新個體將會進行適應度的計算 來評估是否是屬於優良的個體。子代中優秀的個體將會取代父代中差劣的個體， 其餘的則會被淘汰掉。最後這一群新的族群我們稱之為下一個世代，演算法到此 會判斷是否有達到演化的目標，若是達到目標將會把最好的個體輸出即為解答。 相反的，若是未達到演化的目標，演算法將會重複的進行滑動式視窗、適應度評 估、擇偶、交配、突變、淘汰等步驟直到滿足條件為止。整個FCGP的流程如圖 29 所示。. 滑動式視窗 遮罩的相似度與 差異性計算 模糊推論 適應度計算. 初始化 適應度評估 選擇配偶 交配 突變. 未完成 掃描完成. 族群重新. 未達成 達成目標. 適應度評估 達成. 完成. 適者生存 輸出結果. 結束適應度計算. 圖 29 FCGP 流程. 34.
相關文件
Huan Liu and Dan Orban, “Cloud MapReduce: a MapReduce Implementation on top of a Cloud Operating System,” IEEE/ACM International Symposium on Cluster, Cloud and
D.Wilcox, “A hidden Markov model framework for video segmentation using audio and image features,” in Proceedings of the 1998 IEEE Internation Conference on Acoustics, Speech,
[16] Goto, M., “A Robust Predominant-F0 Estimation Method for Real-time Detection of Melody and Bass Lines in CD Recordings,” Proceedings of the 2000 IEEE International Conference
Harma, “Automatic identification of bird species based on sinusoidal modeling of syllables,” in Proceedings of IEEE International Conference on Acoustics, Speech,
Chen, “Adjustable gamma correction circuit for TFT LCD,” IEEE International Symposium on Circuits and Systems, vol. Kan, “Implementation of the Gamma (γ) Line System Similar
Li, The application of Bayesian optimization and classifier systems in nurse scheduling, in: Proceedings of the 8th International Conference on Parallel Problem Solving
Tan, “Thermo-Mechanical Analysis of Solder Joint Fatigue and Creep in a Flip Chip On Board Package Subjected to Temperature Cycling Loading,” IEEE 48th Electronic Components
Tan, “Thermo-Mechanical Analysis of Solder Joint Fatigue and Creep in a Flip Chip On Board Package Subjected to Temperature Cycling Loading,” IEEE 48th Electronic Components
