行車紀錄器之視訊震動改善技術探討

全文

(1)國立屏東大學資訊工程學系碩士班碩士論文行車紀錄器之視訊震動改善技術探討. A Study on the improvement of Video Blur that recorded by Dashcam. 指導教授：王隆仁博士研究生：邱浩庭. 中華民國一百零五年七月.

(2) A Study on the improvement of Video Blur that recorded by Dashcam. Advisor：Dr. Lung-Jen Wang By：Hao-Ting Ciou. A Thesis Submitted to Department of Computer Science and Information Engineering National Pingtung University in Partial Fulfillment of the Requirements for the Degree of Master in Computer Science and Information Engineering. Pingtung, Taiwan, R.O.C.

(3) July, 2016.

(4) 誌謝終於完成了碩士論文，期間最感謝的就是我的指導教授王隆仁博士，教授本身公務繁忙，還要撥空指導我們實在是萬分感謝，自從大學專題開始就給王教授指導，在他的身上學到了許多待人處事的道理和做事永遠努力到底的精神，在實驗室學習的期間，也是託教授的福，才可以接觸到產學合作案子，讓我學習到許多技術面的知識和經驗，真的是非常感謝。感謝口試委員陳毓璋教授博士和黃振藝教授，在口試期間不吝嗇地指導，點出了本篇論文的許多問題和意見，讓這篇論文更加完整。也很開心念研究所的同時有一起申請五年一貫的實驗室同學芳倫一起努力，從專題開始到做產學專案，都一起合作，相信彼此都成長了許多。也感謝實驗室同學俊涵，能在硬體配備不足下提供支援，並且在研究方向有疑問時給予建議。感謝女朋友淑鈞，在我因課業壓力大而低潮時給予陪伴和鼓勵，並且在遠距離的感情中給予忙碌的我無限的包容。最後感謝家人，讓我無後顧之憂的升學，我認為我很幸運，真的非常感謝。. 致所有關心我的人，謝謝你們。. 邱浩庭謹致於屏東大學資訊工程學系研究所中華民國一零五年七月 I.

(5) 行車紀錄器之視訊震動改善技術探討研究生：邱浩庭. 指導教授：王隆仁博士. 國立屏東大學資訊工程學系碩士班中華民國一○五年七月. 摘要隨著現代科技的革新、攝影器材的價格平價化，每輛車上幾乎都會安裝行車紀錄器來錄影蒐證、避免行車糾紛，但安裝在汽車或是機車上，不外乎都會因為震動和快速的移動而產生影像的模糊。在影像處理中，影像增強技術的種類繁多，其中非線性影像增強的結構最為單純並且效果顯著，在非線性影像增強技術中有兩個主要的參數，分別是裁減(Clipping)和尺度(Scaling)，它們的關係是複雜的。因為影片中有許多的影格，故本論文運用了兩層機會成本，去決定影片增強中 c 和 s 的最佳值，來增強影像並去除模糊。在處理影片的過程中，如果每個影格都要去計算的話，計算次數非常的龐大，導致計算時間非常久，本論文也提出了改善計算效率的方法，運用了取樣的概念來解決，來消除一些不必要的計算，進而提高效率。. 關鍵詞：非線性影像增強、裁減、尺度、機會成本. II.

(6) A Study on the improvement of Video Blur that recorded by Dashcam Student：Hao-Ting Ciou. Advisor：Dr. Lung-Jen Wang. Department of Computer Science and Information Engineering, National Pingtung University, Taiwan. ABSTRACT With the advance of Technology, and the price of the camera equipment are getting lower. The dashcam are placing in almost every vehicle to record for evidence and avoid the dispute of car accident. However, whether the dashcam are placing at car or scooter, it’ll cause the blur because of the shake that generate by vehicle movement. Also because of the speed is going too fast when it recording. There are many kinds of technique in image processing. Among, non-linear image enhancement has the simplest structure and works very well. Non-linear image enhancement has two main parameter, which is Clipping and Scaling. The relative of between them is complicated. We use two layer of Opportunity Cost to decide the best value of Clipping and Scaling due to there are lots of frames in a single video. Non-linear Image enhancement can reduce blur in video. During the process, if we calculate each frames of video. The calculate time will be too long. We propose the method to decrease the calculate time by using the concept of sampling. It’ll reduce the calculate time which can improve the effectiveness. III.

(7) Keyword：Nonlinear Image Enhancement, Clipping, Scaling, Opportunity Cost. IV.

(8) 目錄. 誌謝................................................................ I 摘要............................................................... II ABSTRACT.......................................................... III 目錄............................................................. IIIV 圖目錄 VI 表目錄 VII. 第1章. 緒論.................................................... 1. 1.1 研究背景 ........................................................... 1 1.2 研究動機與目的 ..................................................... 1 1.3 論文架構 ........................................................... 2. 第2章. 非線性影像增強處理之相關探討............................ 3. 2.1 多解析度影像處理 ................................................... 3 2.1.1 高斯金字塔 ...................................................... 4 2.1.2 FSD 金字塔 ...................................................... 5 2.1.3 非線性影像增強方法程序 .......................................... 6 2.2 低通影像增強方法 .................................................... 9 2.2.1 低通影像增強方法使用高斯金字塔 .................................. 9 2.2.2 低通影像增強方法使用 FSD 金字塔 ................................. 12. 第3章. 使用機會成本於影像增強之改善........................... 14. 3.1 機會成本法於影像增強參數分析 ...................................... 14 3.2 介紹機會成本之最佳參數組合演算法 .................................. 15 3.3 以立方 B -樣條濾波器改良非線性影像增強方法 ......................... 19. 第4章. 實驗結果............................................... 22 V.

(9) 第5章. 結論與未來研究......................................... 43. 5.1 結論 43 5.2 未來研究 ........................................................... 43. 參考文獻........................................................... 44. 圖目錄圖 1.1 非線性影像增強方法 ........................................... 2 圖 2.1 高斯金字塔之濾波器計算 ....................................... 4 圖 2.2 高斯金字塔之取樣影像 ......................................... 5 圖 2.3 FSD 金字塔過程 ............................................... 6 圖 2.4 以低通濾波器與非線性運算的影像增強方法 ....................... 7 圖 2.5 非線性影像增強方法使用 FSD 金字塔 ............................. 8 圖 2.6 以低通濾波器與非線性運算的影像增強方法 ....................... 9 圖 2.7 非線性影像增強方法使用高斯金字塔 ............................ 10 圖 2.8 非線性影像增強方法使用 FSD 金字塔 ............................ 12 圖 3.1 參數 c 與 s 所產生的所有組合 .................................. 16 圖 3.2 最佳組合演算法運作流程 ...................................... 16 圖 3.3 非線性影像增強方法流程圖 .................................... 19 圖 3.4 不同之參數值增強後的影像比較 ................................ 21 圖 4.1 512×512 灰階影像之原始影像畫面 .............................. 28 圖 4.2 灰階影像 Aerial 增強後的影像品質比較 .......................... 29 圖 4.3 灰階影像 Baboon 增強後的影像品質比較 ......................... 30 圖 4.4 灰階影像 Barbara 增強後的影像品質比較 ......................... 31 圖 4.5 灰階影像 Boat 增強後的影像品質比較 ........................... 32 圖 4.6 為灰階影像 F16 增強後的影像品質比較 ......................... 33 VI.

(10) 圖 4.7 灰階影像 France 增強後的影像品質比較 .......................... 34 圖 4.8 灰階影像 Lena 增強後的影像品質比較 ........................... 35 圖 4.9 灰階影像 Peppers 增強後的影像品質比較 ......................... 36 圖 4.10 灰階影片 akiyo 增強後的影像品質比較 .......................... 37 圖 4.11 灰階影片 foreman 增強後的影像品質比較 ....................... 38 圖 4.12 灰階影片 highway 增強後的影像品質比較 ....................... 39 圖 4.13 灰階影片 news_cif 增強後的影像品質比較 ...................... 40 圖 4.14 行車紀錄器影片範例 1 增強後的影像品質比較 ................... 41 圖 4.15 行車紀錄器影片範例 2(增強後的影像品質比較 ................... 42. 表目錄. 表 3-1 為 x1、x2、x3 三張影像與參數值 c 與 s 的對應 ..................... 18 表 3-2 x1、x2、x3 三張影像在不同的參數值的機會成本表 ................. 18 表 4-1 顯示增強灰階影像方法的 PSNR(dB).............................. 23 表 4-2 顯示增強灰階影片方法的 PSNR(dB).............................. 24. VII.

(11) 第1章. 緒論. 1.1 研究背景拜多媒體技術的蓬勃發展和近代科技的進步所賜，讓先進的科技融入了人們的生活，並且數位多媒體成為了訊息的傳播媒介，像是數位電視(HDTV)和視訊電話，並且快速發展的攝影技術，讓影像紀錄的運用範圍迅速的擴大，近年來也因交通事故頻傳，行車中的錄影紀錄也成為了非常主要的應用方向之一。車輛在路面行進時，由於地面平整度不一所產生的許多震動，這些震動透過了車體傳導到了安裝於車內的攝影機，並造成了畫面的模糊，這類的模糊是因為攝影機的快門關閉的太慢，而畫面晃動得太快讓影像遺失了高頻的資訊 [14][15][16]。為了改善模糊影像的品質，後處理的影像增強是必要的動作。在影像增強的技術中，並沒有一種技術是適用於所有模糊影像的，只有在知道模糊的種類或造成模糊的移動方向和移動量，才有辦法做最佳的影像增強 [16][18]，本論文提出一個通用的影像增強方法，方法結合了非線性增強和機會成本，來達到最佳化的影像增強結果。. 1.2 研究動機與目的影像增強在影響處理領域中是個重要的課題，因為在許多方面的運用，遺失高頻訊號的模糊影像都會造成一些誤差、雜訊，一般在實作影像增強時，會將高通濾波器(High-Pass Filter)後的結果作後處理(Post-Processing)，利用這個程序來加強影像的高頻，如圖 1-1 所示。. 1.

(12) 圖 1.1 非線性影像增強方法. 機會成本(Opportunity Cost)[1][2][3][10][11][12][17][22]也是本論文採用的主要概念，模擬影像增強程序中的主要參數裁減 (Clipping ,c)和尺度 (Scaling ,s)，以機會成本來找出這兩個參數的最佳組合，再利用此組最佳組合來增強影像，減少影像的模糊。. 1.3 論文架構本論文分為五個章節，分別為第1章. 介紹研究背景、研究動機與研究目的和本篇論文的架構。. 第 2 章介紹非線性影像增強處理之相關探討，包含多解析度影像處理和低通影像增強方法。第3章. 介紹使用機會成本於影像增強之改善。. 第4章. 將本論文所提出的理論，進行實驗模擬，並且以客觀的評估(PSNR) 得到的實驗結果。第五章則為結論及未來研究的方向。. 2.

(13) 第2章. 非線性影像增強處理之相關探討. 增強並沒有一定的評判標準，一般是用客觀的評比數據 PSNR(Peak Signal to Noise Ratio, 峰值性噪比)，但在原始影像就是模糊影像的狀況下，並沒有清晰的影像讓我們去計算 PSNR，所以增強後的品質評估是主觀的，只要有達到使用者的要求，這就是成功的影像增強技術。造成影像模糊的原因有許多種，像是影像壓縮(Image Compression)、影像放大(Image Enlarge)、動作模糊(Motion Blur)……等等，如果是在行車紀錄器影片的模糊，除了震動導致模糊外，另一種就是環境太暗，光圈調大導致快門變慢，所導致的模糊。影像增強技術主要是要改善品質不佳的影像，讓改善後的影像品質更適合人的視覺或電腦處理。影像增強的技術有很多種，但沒有一種是適用於所有類型的影像，一般適合的影像增強技術，都要先知道影像模糊的種類，才可以達到最佳的增強或改善，在本章節裡會針對於非影像增強處理方法的相關研究與技術做探討。. 2.1 多解析度影像處理電腦視覺和影像處理的其中一個標準為多解析度影像處理，主要分為影像金字塔(Image Pyramid)和小波轉換(Wavelet Transform)兩種處理方式[6][22]。影像金字塔主要有兩個優勢：(1)是一個階層式的影像處理方法，可以讓影像從高解析度轉到低解析度的影像來做分析，高解析度影像可以用來分析物體的個別特性，低解析度影像則用來做大範圍的影像分析，這是一個有效的影像分析系統。 (2) 影像金字塔將輸入的影像資料轉換到空間域或頻率域，完成了許多在前端影像處理中所需要的工作，是一種效果不錯的濾波器。一張影像在多解析度影像系統中被分解成幾個低通(Low-Pass)和帶通(Band-Pass)，解析的部分則是使用高斯金字塔(Gaussian Pyramid)和 FSD 金字塔(Filter Subtract and Decimate 3.

(14) Hierarchical Pyramid)。高斯金字塔是用均化的方式來去除高頻的訊號，可以視為一種低通濾波器(Low-Pass Filter)；而 FSD 金字塔也是一種比高斯金字塔來的簡化、更適合實作在硬體上的低通濾波器，所以也是一種帶通濾波器 (Band-Pass Filter) 。以下說明高斯金字塔與 FSD 金字塔：. 2.1.1 高斯金字塔高斯金字塔的概念是用高斯低通濾波器對影像進行一連串的模糊化，利用幾個相鄰的像素加權計算來產生新的像素，藉此來產生一組新的影像，反覆計算後可以濾除高頻的訊號，最後影像會縮小成一點，如圖 2-1 所示。. GAUSSIAN PYRAMID. 𝐺0 = 原始圖片. 高斯金字塔. 𝐺𝐿 = 𝑅𝐸𝐷𝑈𝐶𝐸(𝐺𝐿−1 ). 圖 2-1 高斯金字塔之濾波器計算假設有一個解析度為 m×n 的原始影像𝐺0，𝐺1 為經過高斯低通濾波器縮減取樣後的結果，所以𝐺1 就是𝐺0 縮減取樣的影像，以此類推，就可得到下一個縮減取樣影像𝐺2，如果讓𝐺𝐿 縮減取樣，𝐺𝐿−1就是縮減取樣前的影像。其縮減取樣公式如下： 𝐺𝐿 = [𝑊 ∗ 𝐺𝐿−1 ] ↓ 2 = 𝑅𝐸𝐷𝑈𝐶𝐸(𝐺𝐿−1 ) = 𝑔𝑙 (𝑖, 𝑗) 2. 2. (2.1). = ∑ ∑ 𝑊(𝑚, 𝑛)𝑔𝑙−1 (2𝑖 + 𝑚)(2𝑗 + 𝑛) 𝑚=−2 𝑛=−2. 𝑊為高斯低通濾波器，其一維及二維之濾波器公式如下：. 一維濾波器 ∑2𝑚=−2 𝑊(𝑚) = 1, 𝑊(0) = 𝑎, 4.

(15) 1. 𝑊(1) = 𝑊(−1) = 𝑏 = 4,. (2.2). 𝑊(2) = 𝑊(−2) = 𝑐 = 1/4 − 𝑎/2, 𝑎 + 2𝑐 = 2𝑏 二維濾波器 𝑊(𝑚, 𝑛) = 𝑊(𝑚)𝑊(𝑛) = 1 高斯金字塔的取樣影像圖如圖 2-2 所示。. 2-2 高斯金字塔之取樣影像. 2.1.2 FSD 金字塔修改自高斯金字塔的 FSD 金字塔(Filter Subtract Decimate Hierarchical Pyramid)，其公式如下： 0 𝐺𝑛+1 = 𝑊 ∗ 𝐺𝑛. (2.3). 0 𝐿𝑛 = 𝐺𝑛 − 𝐺𝑛+1. (2.4). 0 𝐺𝑛+1 = 𝑆𝑢𝑏𝑠𝑎𝑚𝑝𝑙𝑒𝑑(𝐺𝑛+1 ). (2.5). FSD 金字塔是一個低通濾波器， 𝑊是高斯低通濾波器，其係數總和為 1。和高斯金字塔不同的是在流程的部分，FSD 金字塔中，低頻影像𝐺1 是原始影像𝐺0 透 5.

(16) 過高斯低通濾波器所得到，殘餘影像𝐿0 為兩者相減所得到的結果，之後低頻影像 𝐺1 縮減後，形成 FSD 金字塔，如圖 2-3，其目的是確保圖形效果不會失真或混疊到殘餘影像𝐿𝑛 上，並且硬體的實做上，比高斯金字塔簡單，故有一定的優勢。. 圖 2-3 FSD 金字塔過程. 2.1.3 非線性影像增強方法程序非線性影像增強的原理是去預測出一個高頻訊號，並且利用此信號去加強影像高頻的部分，使得影像變的清楚、更銳利。低頻影像𝐺1 是輸入影像𝐺0 透過低通濾波器得到的，將兩者相減後可以得到殘餘影像(Residual Image)或者是高頻影像𝐿0，重複這些步驟，就可得到不同解析度的殘餘影像，如圖 2-4 所示，從高解析度到低解析度的殘餘影像𝐿0 ～𝐿3，越高的解析度，就會有越高的曲線斜率，利用非線性影像的增強方法，就能預測到更高頻的部分𝐿−1 。圖 2-5 為非線性影像增強方法的步驟，將輸入影像𝐺0 的一維曲線圖經過低通濾波器後，可以到解析度較低的影像𝐺1 的曲線圖，殘餘影像(高頻影像) 𝐿0 可由兩者相減所得，換句話說， 6.

(17) 透過非線性影像濾波器來預測高頻殘餘影像𝐿−1 是可行的，增強後的影像𝐺−1 為殘餘影像 𝐿0 和輸入影像𝐺0 相加的結果。. 圖 2-4 殘餘影像(Residual Image). 7.

(18) 圖 2-5 非線性影像增強方法程序. 8.

(19) 2.2 低通影像增強方法我們的目的是提高影像的清晰度，並且產生一個新的高頻訊號，加強影像的高頻部分，使得影像變得清晰、銳利。非線性影像增強大多應用於處理模糊影像，影像模糊發生是因為該影像已經失去高頻訊號。非線性影像增強的方法，如圖 2-6 所示。. 2-6 以低通濾波器與非線性運算的影像增強方法. 2.2.1 低通影像增強方法使用高斯金字塔圖 2-7 為非線性影像增強使用高斯金字塔[4]的演算法，低頻影像𝐺1,1為輸入影像𝐺0 透過高斯金字塔縮減取樣再擴張取樣之後得到的結果，將兩者相減則得到殘餘影像𝐿0 ，透過非線性濾波器得到高頻殘餘影像𝐿−1 ，再加上輸入影像𝐺0 則獲得增強影像𝐺−1 。. 9.

(20) 圖 2-7 非線性影像增強方法使用高斯金字塔. 高斯金字塔縮減取樣和擴張取樣的公式如下： 𝐺𝐿 = 𝑅𝐸𝐷𝑈𝐶𝐸(𝐺𝐿−1 ) = [𝑊 ∗ 𝐺𝐿−1 ] ↓ 2. (2.6). 𝐺𝐿,𝑁 = 𝐸𝑋𝑃𝐴𝑁𝐷(𝐺𝐿,𝑁−1 ) = [𝑊 ∗ 𝐺𝐿,𝑛−1 ] ↑ 2. (2.7). 10.

(21) 非線性影像增強所使用高斯金字塔使用的濾波器公式為：一維濾波器 (2.8). 𝑊(𝑚)為[0.0625 0.25 0.375 0.25 0.0625] 二維濾波器 𝑊(𝑚, 𝑛)為 0.00390625 0.01562500 0.02343750 0.01562500 [ 0.00390625. 0.01562500 0.06250000 0.09375000 0.06250000 0.01562500. 0.02343750 0.09375000 0.14062500 0.09375000 0.02343750. 0.01562500 0.06250000 0.09375000 0.06250000 0.01562500. 0.00390625 0.01562500 0.02343750 0.01562500 0.00390625 ]. (2.9). 非線性濾波器的公式如下 𝐿−1 = 𝑐𝑜𝑛𝑠𝑡(𝐵𝑜𝑢𝑛𝑑(𝐿0 )). (2.10). 𝐵, 𝐵𝑜𝑢𝑛𝑑(𝑥) = { 𝑥, −𝐵,. (2.11). 𝑖𝑓 𝑥 > 𝐵 𝑖𝑓 − 𝐵 ≤ 𝑥 ≤ 𝐵 𝑖𝑓 𝑥 < −𝐵. 公式中的殘餘影像(高頻訊號) 𝐿0 是一個線性的運算， 𝐿0 透過非線性的運算可以得到𝐿−1 ，再用固定(Constant)邊界值的過濾低頻的訊號，就能獲得更高頻的訊號𝐿−1 。 𝐵 = 0.04 × (𝐺0 )𝑚𝑎𝑥. (2.12). 實驗結果告訴我們邊界值大概是最大信號的 0.04 倍，例如最大信號為 128，邊界值就會是 5。 𝐸𝑛ℎ𝑒𝑛𝑐𝑒𝐼𝑚𝑎𝑔𝑒 = 𝐿−1 + 𝐵𝑙𝑢𝑟𝐼𝑚𝑎𝑔𝑒. (2.13). 11.

(22) 2.2.2 低通影像增強方法使用 FSD 金字塔圖 2-8 為非線性影像增強使用 FSD 金字塔的演算法，低頻影像𝐺1 為輸入影像 𝐺0 透過 FSD 金字塔濾波器之後所得到的結果，將兩者相減則會得到殘餘影像𝐿0 ，透過非線性濾波器得到高頻殘餘影像𝐿−1 ，增強影像𝐺−1 為高頻殘餘影像𝐿−1 跟輸入影像𝐺0 相加所得的結果。. 圖 2-8 非線性影像增強方法使用 FSD 金字塔. 12.

(23) 0 𝐺𝑛+1 = 𝑊 ∗ 𝐺𝑛 ;. (2.14). 0 𝐿𝑛 = 𝐺𝑛 − 𝐺𝑛+1. (2.15). 0 𝐺𝑛+1 = 𝑆𝑢𝑏𝑠𝑎𝑚𝑝𝑙𝑒𝑑(𝐺𝑛+1 ). (2.16). FSD 金字塔公式：非線性影像增強所使用 FSD 金字塔使用的濾波器公式為：一維濾波器𝑊(𝑚)為(2.8) 二維濾波器𝑊(𝑚, 𝑛)為(2.9). 非線性濾波器公式為：(2.10)(2.11)(2.12) 𝐵 = (1 − 𝑐) × 𝐿0𝑚𝑎𝑥. (2.17). 13.

(24) 第3章. 使用機會成本於影像增強之改善. 本論文所提出機會成本法之非線性影像增強的系統流程圖以及演算法會在本章節中介紹。3.1 介紹機會成本法於影像增強參數分析 3.2 介紹機會成本之最佳參數組合演算法 3.3 介紹雙層機會成本. 3.1 機會成本法於影像增強參數分析本論文在影像增強處理中運用了機會成本 (Opportunity Cost)[1][2][3][8][9][21][22]的概念。機會成本的意義是，如果在一個需要作出選擇的狀況下，決策出一個選擇，則會捨棄掉其他的選項，選擇某個可以得到最高價值的選項，他的成本則是機會成本。在公司營運的角度來說，因為要生產一件產品，而失去利用部分的資源，那一部分的資源可以用來生產其他最佳的替代品的機會就是所謂的機位成本。另外舉個例子，例如，養殖戶想要養殖螃蟹，就不能在同一個水缸中養殖蝦子，那選擇養殖螃蟹的機會成本就是捨棄掉養殖蝦子的收益，假設養殖螃蟹可以有 200 元的營收，而養殖蝦子可以有 100 元的營收，選擇養螃蟹的機會成本就是放棄養蝦子的 100 元，反之選擇養殖蝦子的機會成本就是養螃蟹的 200 元，在機會成本上我們要選擇最低的成本，也就是養殖螃蟹，以求最高的獲利[22]。在本論文的非線性影像增強中用到了兩個主要的參數：裁減(Clipping)c 和尺度(Scaling)s，這兩個參數的組合不同會產生不同影像的最佳解，不過最佳解無法適用於每一個影像中，因次如果有兩個影像甲和乙，甲使用乙的最佳解會有機會成本，相反的乙使用甲的最佳解也會有機會成本，這時我們會採用最低的機會成本，來作為甲、乙兩個影像中的最佳解。本論文在實驗裡也提出了如何以機會成本找出最佳參數的演算法，在主要參 14.

(25) 數 c (Clipping)與 s (Scaling)的參數中找出最佳的組合，再用此最佳參數來做非線性運算的增強，以去除模糊。但是 c (Clipping)與 s (Scaling)有個特別的關係，如果裁減 c (Clipping)參數值較高，會讓影像趨近於模糊，尺度 s (Scaling) 較高的話，則會讓影像趨近銳利，太銳利則會產生振鈴現象。以機會成本來決定參數組合則會一併決定影像增強後的結果。. 3.2 介紹機會成本之最佳參數組合演算法裁減 c (Clipping)和尺度 s (Scaling)參數所有的組合中，必須找出一組最佳的增強參數值，則是利用最佳組合演算法 (Optimum Combination Algorithms)。在不同的參數組合下，同一張輸入影像會產生不同的 PSNR 值，例如： c=0.1,s=3,PSNR=26.54; c=0.5,s=4,PSNR=26.76。Op(n)為一張影像的最佳參數，利用 Op(n)找出在每組 c 與 s 的組合之中所產生的機會成本(Opportunity Cost)。本論文設定 c 與 s 分別為 c=0.1~1,s =1~10，總共有一百種組合，如圖三所示。 cost 為在不同 c 與 s 組合中的機會成本，當影像甲選擇參數 c = 0.1, s = 1 而放棄選擇最佳參數 Op(n)會產生機會成本，並在參數都相同的狀況下，把每張影像所產生的機會成本相加，會得到所有 c 與 s 組合機會成本的總和(Tcost)。因此在 c 與 s 不同組合中找出一個最佳解，直接選擇總成本最小的，就可以得到最佳參數組合。. 15.

(26) 圖 3-1 參數 c 與 s 所產生的所有組合在多張模糊影像中，輸入不同的參數值並求得每組參數值所得到的 PSNR 值，在這些 PSNR 值中找出每張影像的最佳參數值，因此會得到 n 組最佳參數值，在這 n 組不同的參數值中，會產生 n x n 組機會成本，將每組機會成本加總後會得到總機會成本，總機會成本中成本最低的參數組合，就是最佳的參數組合。. 圖 3-2 最佳組合演算法運作流程由於欲取得最佳參數的輸入範本為影片，影片是由許多影格所組成，每個影 16.

(27) 片可以用最佳參數組合演算法求的一組最佳參數 c 與參數 s，但多個輸入影片則還是會有多組，故最後會再做一次機會成本，運用以上決定最佳參數的概念再執行一次，以求得最佳的參數組合。令𝑖為參數 c 與 s 所產生的組合數，𝑗為影片的影格數，所產生的 PSNR 值之最佳組合演算法(Optimum Combination Algorithms)，描述如下：. (1) 取樣欲實作的影片，取樣至一秒鐘一個畫面。 𝑆𝑎𝑚𝑝𝑙𝑒. 𝑓𝑟𝑎𝑚𝑒𝑠 = 𝐼𝑛𝑝𝑢𝑡𝑉𝑖𝑑𝑒𝑜. 𝑓𝑟𝑎𝑚𝑒𝑠/𝑓𝑃𝑆. (3.1). (2) 計算𝑃𝑆𝑁𝑅(𝑖, 𝑗)，所有影像的 c 與 s 的組合數。 (3) 計算所有影像的最佳參數值𝑂𝑃(𝑗)。 𝑂𝑃(𝑗) = max(𝑃𝑆𝑁𝑅(. , 𝑗)). (3.2). (4) 獲得每一張影像的最佳 PSNR 值 𝑂𝑝𝑡𝑖𝑚𝑎𝑙𝑃𝑆𝑁𝑅(𝑗) = max(𝑂𝑃(𝑗)). (3.3). (5) 計算每張影像的機會成本 𝐶𝑜𝑠𝑡(𝑗) = |𝑂𝑃(𝑗) − 𝑂𝑝𝑡𝑖𝑚𝑎𝑙_𝑃𝑆𝑁𝑅(𝑗)|. (3.4). (6) 計算影像的總機會成本 𝑛. 𝑇𝑐𝑜𝑠𝑡 = ∑ 𝐶𝑜𝑠𝑡(𝑗). (3.5). 𝑗=1. (7) 選擇最小總機會成本(Tcost)當作最佳解，並取得 c 與 s 參數值。 (8) 每個影片所得的參數 c 與參數 s，再做一次機會成本決定最佳參數。以該演算法實作一個簡單的範例，為了簡單說明，因此令 c=0.5~0.7,s=5~7，共得 9 種不同的組合，每張影像也分別對應了 9 個不同的 PSNR 值，當輸入影像為三張時，如表 3-1 所示：. 17.

(28) 表 3-1 為 x1、x2、x3 三張影像與參數值 c 與 s 的對應 Parameters. PSNR (dB). c. s. X1. X2. X3. 0.5. 5. 11. 18. 32. 0.5. 6. 14. 17. 35. 0.5. 7. 16. 25. 36. 0.6. 5. 17. 21. 37. 0.6. 6. 20. 27. 35. 0.6. 7. 22. 17. 31. 0.7. 5. 17. 23. 32. 0.7. 6. 28. 21. 29. 0.7. 7. 15. 29. 38. 首先必須先找出每張影像的最大值，分別為 28, 29 及 38dB，如表 3-2。在不同的參數下，每張影像的最佳值並不代表為所有影像的最佳值，如影像 x1 與影像 x2、x3 的最佳參數值是不同的，因此在這情況下會產生機會成本，如表 II 中的 costA~C, Tcost 為相同參數下機會成本總和，最後取出最小的 Tcost 得到影像最佳機會成本，也就是本研究所提出的最佳解，因此在本範例中，最佳解為 c=0.7,s=7。表 3-2 為 x1、x2、x3 三張影像在不同的參數值 c 與 s 下所產生的機會成本 costA、 costB、costC，以及機會成本的 Tcost 總和 Parameters. PSNR (dB). Opportunity Cost. c. s. X1. X2. X3. cost(X1). cost(X2). cost(X3). Tcost. 0.7. 6. 28. 21. 29. 0. 8. 9. 17. 18.

(29) 0.7. 7. 15. 29. 38. 13. 0. 0. 13. 0.7. 7. 15. 29. 38. 13. 0. 0. 13. 3.3 以立方 B -樣條濾波器改良非線性影像增強方法在本論文裡使用立方 B-樣條濾波器(Cubic B-Spline Filter)[7][23]方法，來改善非線性影像增強方法，如圖 3-3 所示。. 圖 3-3 非線性影像增強方法流程圖因為 {. 𝐼1 = 𝑆3 × 𝐼0 𝐾0 = 𝐼0 − 𝐼1. (3.6). 而且 {. 𝐼0 = 𝑆3 × 𝐼−1 𝐾−1 = 𝐼−1 − 𝐼0. (3.7). 所以 𝐼−1 = 𝐼0 + 𝐾−1. (3.8). 𝐼−1 則為增強後之影像。一般來說，輸入影像𝐼0 是不清楚並且帶有模糊的影像，低頻影像𝐼1 為將輸入 19.

(30) 影像𝐼0 透過使用立方 B-樣條濾波器(Cubic B-Spline Filter)S3 來獲得，再將輸入影像𝐼0 和低頻影像𝐼1 相減，就可得到殘餘影像𝐾0 (高頻影像)，如公式(3.5)，再用通過非線性運算所決定出的最佳裁減(Clipping,c)和尺度(Scaling,s)的參數組合，得到更高頻影像𝐾−1，如公式(3.6)，將高頻影像𝐾−1 與輸入影像𝐼0 相加就能得到增強後的影像𝐼−1 ，強後的影像𝐼−1 會比輸入影像𝐼0 來的清晰、更銳利，如公式(3.7)。 𝐾−1 = 𝑁𝐿(𝐾0 )，𝐾0 = 𝐼0 − 𝐼1，而且𝑁𝐿(∙)是一個非線性的運算子[4]，其中包含了裁減(Clipping)的參數值 c 和尺度(Scaling)的參數值 s，公式如下： 𝑁𝐿(x) = 𝑠 × 𝐶𝑙𝑖𝑝(𝑥). (3.9). 𝐶𝑙𝑖𝑝(𝑥)如下： 𝐵, 𝐶𝑙𝑖𝑝(𝑥) = { 𝑥, −𝐵,. 𝑖𝑓 𝑥 > 𝐵 𝑖𝑓 − 𝐵 ≤ 𝑥 ≤ 𝐵 𝑖𝑓 𝑥 < −𝐵. (3.10). 𝑥為影像高頻𝐾0 的像素，𝐵 = 𝑐 × 𝐾0𝑚𝑎𝑥 ，𝐾0𝑚𝑎𝑥 是高頻影像𝐾0 像素的最大值。高頻影像𝐾−1在非線性的運算中與輸入模糊影像𝐼0 相加，就獲得影像增強𝐼−1 ，並增強了輸入模糊影像𝐼0 ， c 參數值非線性的來增加影像內容的頻率，s 參數值則提供一個可以降低模糊化的銳利曲線斜率，太高則會增加振鈴效應。舉例來說，三組參數值來進行實驗，第一組為 c=0.1;s=10 、第二組為 c=0.4;s=5 、第三組 c=0.8;s=2，從圖 4-6 中，第二組的參數值是最為恰當的，因為第一組則是增強得太多，在邊緣部分有些包住方型的線條，這又稱為振鈴效應(Ring Effect)，而第三組依然有模糊的現象，. 20.

(31) 增強不夠，所以第二組參數值是最佳的。. 第一組為 c=0.1;s=10. 第二組為 c=0.4;s=5. 第三組 c=0.8;s=2. 圖 3-4 不同之參數值增強後的影像比較. 21.

(32) 第4章. 實驗結果. 為了評估經過處理後的影像品質，影像之間的差異會參考訊號及雜訊比 (Peak Signal-to-Noise Ratio, PSNR)，令𝑋(𝑖, 𝑗)與𝑋̂(𝑖, 𝑗)分別為原始影像與增強影像，其中𝑖, 𝑗為垂直與水平方向之索引數，0 ≤ 𝑖 ≤ 𝑀 − 1且0 ≤ 𝑗 ≤ 𝑁 − 1。影像之均方誤差(MSE, Mean-Square Error)定義為：. 𝑀𝑆𝐸 =. 𝑁−1 ̂ ∑𝑀−1 𝑖=0 ∑𝑗=0 |𝑋(𝑖, 𝑗) − 𝑋 (𝑖, 𝑗)|. 2. (4.1). 𝑀×𝑁. 且影像之 PSNR 值定義為： 𝑃𝑆𝑁𝑅(𝑑𝐵) = 10𝑙𝑜𝑔10 2552 /(𝑀𝑆𝐸). (4.2). 在建立決定 c 與 s 組合的樣本資料時，採用的模糊種類為高斯模糊[5*5]，模糊化後以不同組合之 c 與 s 來增強，計算出的 PSNR 在用公式(3.5)求得機會成本最低之結果，本論文以 4 個影片做為樣本資料，求出來 c=1s=1，再去這組參數組合去增強行車錄影畫面，如圖 4-13、圖 4-14。以下顯示出由本論文所提出之最佳參數值以及 FSD[4]、Gaussian 增強後的結果。. 22.

(33) 表 4-1 顯示增強灰階影像方法的 PSNR(dB)，分別為 FSD[4]、Gaussian、和本論文提出的方法 Proposed NIE Method with Image Name. Blur. FSD[4]. Gaussian cubic B-spline. Wood. 27.2222. 26.1833. 26.2202. 27.1984. c=0.1,s=1. Utahmtn. 22.6326. 20.7645. 21.1327. 22.6170. c=0.1,s=1. Tahoe. 25.1695. 23.2861. 23.7155. 25.1441. c=0.1,s=1. Stonehse. 23.4607. 22.1459. 22.3958. 23.4399. c=0.1,s=1. Sedona. 26.8323. 25.1516. 25.5078. 26.7983. c=0.1,s=1. Stagcoch. 26.9868. 25.4351. 25.6465. 26.9526. c=0.1,s=1. Portofino. 29.4077. 28.1894. 28.1506. 29.3835. c=0.1,s=1. Peppers. 30.7513. 30.7173. 29.7994. 31.7385. c=0.8,s=6. Lena. 29.9856. 29.9516. 29.3179. 31.3534. c=1,s=7. House. 27.6756. 26.9849. 27.1659. 27.6414. c=0.1,s=1. France. 18.9132. 18.8792. 19.1289. 19.6721. c=0.7,s=10. F16. 24.4628. 24.4288. 24.6277. 25.0438. c=1,s=10. Elaine. 30.2315. 31.0904. 29.7340. 30.1745. c=0.1,s=1. Couple. 27.4831. 26.7554. 26.8610. 27.4422. c=0.1 s=1. Crowd. 28.9906. 28.0971. 27.7077. 28.9251. c=0.1,s=1. Boat. 27.9792. 27.9452. 27.8608. 29.1213. c=0.8,s=7. Blackb. 30.5281. 30.2603. 30.1298. 30.4833. c=0.1,s=1. Barbara. 24.7167. 24.0844. 23.9832. 25.3657. c=0.4,s=9. Baboon. 19.0206. 18.9866. 19.2464. 19.6014. c=1,s=10. Aerial. 25.6031. 25.5691. 25.8064. 26.5953. c=0.9,s=6. 23.

(34) 表 4-2 顯示增強灰階影像方法的 PSNR(dB)，分別為模糊、和本論文提出的方法 Proposed NIE Method with cubic Video Name. Blur B-spline. foreman_cif. 24.5242. 24.4789. c=0.3,s=4. news_cif. 22.0200. 22.1746. c=1,s=6. akiyo_cif. 27.4196. 27.4651. c=0.9,s=3. highway_cif. 27.9026. 27.9959. c=0.7,s=6. 24.

(35) (a) Aerial 之原始影像畫面. (b) Baboon 之原始影像畫面. (c) Barbara 之原始影像畫面. (d) Blackb 之原始影像畫面. (e) Boat 之原始影像畫面. (f) Couple 之原始影像畫面 25.

(36) (g) Crowd 之原始影像畫面. (h) Elaine 之原始影像畫面. (i) F16 之原始影像畫面. (j) France 之原始影像畫面. (k) House 之原始影像畫面. (l) Lena 之原始影像畫面 26.

(37) (m) Peppers 之原始影像畫面. (n) Portofino 之原始影像畫面. (o) Sedona 之原始影像畫面. (p) Stagcoch 之原始影像畫面. (q) Stonehse 之原始影像畫面. (r) Tahoe 之原始影像畫面 27.

(38) (s) Utahmtn 之原始影像畫面. (t) Wood 之原始影像畫面. 圖 4-1 (a)~(t)為 512×512 灰階影像之原始影像畫面下面灰階影像圖分別為範例影像第一類別影像有 Aerial、Baboon、Barbara、 Boat、 F16、France、House、Lena、Peppers 之增強後的影像畫面品質比較： (a)模糊影像畫面(b)使用本論文提出的影像增強方法增強影像參數 1 (c) 使用本論文提出的影像增強方法增強影像參數 2 (d)使用 FSD[4]方法增強影像(e)使用 Gaussian 方法增強影像。. 28.

(39) 圖片範例：. (a)原始影像. (b)模糊影像. (c)使用本論影像增強方法. (d)使用本論影像增強方法. (c=0.1,s=7). (c=0.9,s=6). (e)使用 FSD 方法增強影像. (f)使用 Gaussian 方法增強影像. 圖 4-2 為灰階影像 Aerial(512×512)增強後的影像品質比較. 29.

(40) 圖片範例：. (a)原始影像. (b)模糊影像. (c)使用本論影像增強方法. (d)使用本論影像增強方法. (c=0.1,s=7). (c=1,s=10). (e)使用 FSD 方法增強影像. (f)使用 Gaussian 方法增強影像. 圖 4-3 為灰階影像 Baboon (512×512)增強後的影像品質比較. 30.

(41) 圖片範例：. (a)原始影像. (b)模糊影像. (c)使用本論影像增強方法. (d)使用本論影像增強方法. (c=0.1,s=7). (c=0.4,s=9). (e)使用 FSD 方法增強影像. (f)使用 Gaussian 方法增強影像. 圖 4-4 為灰階影像 Barbara (512×512)增強後的影像品質比較. 31.

(42) 圖片範例：. (a)原始影像. (b)模糊影像. (c)使用本論影像增強方法. (d)使用本論影像增強方法. (c=0.1,s=7). (c=0.8,s=7). (e)使用 FSD 方法增強影像. (f)使用 Gaussian 方法增強影像. 圖 4-5 為灰階影像 Boat (512×512)增強後的影像品質比較. 32.

(43) 圖片範例：. (a)原始影像. (b)模糊影像. (c)使用本論影像增強方法. (d)使用本論影像增強方法. (c=0.3,s=7). (c=1,s=10). (e)使用 FSD 方法增強影像. (f)使用 Gaussian 方法增強影像. 圖 4-6 為灰階影像 F16 (512×512)增強後的影像品質比較. 33.

(44) 圖片範例：. (a)原始影像. (b)模糊影像. (c)使用本論影像增強方法. (d)使用本論影像增強方法. (c=0.3,s=7). (c=0.7,s=10). (e)使用 FSD 方法增強影像. (f)使用 Gaussian 方法增強影像. 圖 4-7 為灰階影像 France (512×512)增強後的影像品質比較. 34.

(45) 圖片範例：. (a)原始影像. (b)模糊影像. (c)使用本論影像增強方法. (d)使用本論影像增強方法(c=1,s=7). (c=0.3,s=7). (e)使用 FSD 方法增強影像. (f)使用 Gaussian 方法增強影像. 圖 4-8 為灰階影像 Lena (512×512)增強後的影像品質比較. 35.

(46) 圖片範例：. (a)原始影像. (b)模糊影像. (c)使用本論影像增強方法(c=0.3,s=7). (d)使用本論影像增強方法 (c=0.8,s=6). (e)使用 FSD 方法增強影像. (f)使用 Gaussian 方法增強影像. 圖 4-9 為灰階影像 Peppers (512×512)增強後的影像品質比較. 36.

(47) 影片範例：. (a)原始影像. (b)模糊影像. (c)使用本論影像增強方法 (c=0.9,s=3). 圖 4-10 為灰階影片 akiyo (288x352x300)增強後的影像品質比較. 37.

(48) 影片範例：. (a)原始影像. (b)模糊影像. (c)使用本論影像增強方法 (c=0.9,s=3). 圖 4-11 為灰階影片 foreman (288x352x300)增強後的影像品質比較. 38.

(49) 影片範例：. (a)原始影像. (b)模糊影像. (c)使用本論影像增強方法 (c=0.9,s=3). 圖 4-12 為灰階影片 highway (288×352x2000)增強後的影像品質比較. 39.

(50) 影片範例：. (a)原始影像. (b)模糊影像. (c)使用本論影像增強方法 (c=0.9,s=3). 圖 4-12 為灰階影片 news_cif(288×352x2000)增強後的影像品質比較. 40.

(51) 行車紀錄器影片範例 1：. (a)原始影像. (b)增強影像(c=1,s=1). (c)放大原始影像. (d)放大增強影像(c=1,s=1). 圖 4-13 為行車紀錄器影片範例 1(1280×720x9030)增強後的影像品質比較. 41.

(52) 行車紀錄器影片範例 2：. (a)原始影像. (b)增強影像(c=1,s=1). (c)放大原始影像. (d)放大增強影像(c=1,s=1). 圖 4-14 為行車紀錄器影片範例 2(1280×720x9030)增強後的影像品質比較. 42.

(53) 第5章. 結論與未來研究. 5.1 結論以非線性增強的方法加上機會成本(Opportunity Cost)的概念，這個方法預測了裁減 c (Clipping)和尺度 s (Scaling)參數值，並且將兩個值得組合最佳化，可以達到很好的增強效果，實驗結果也顯示，本論文提出的方法在主觀上能產生較好的品質，且透過客觀的 PSNR 的評估，也能獲得比其他非線性影像增強方法有較好的重建影像。. 5.2 未來研究本論文提出的利用機會成本概念來對模糊影像進行增強，但是放在影片上的計算，整體要算出機會成本的計算量頗大，不得不用取樣的方式降低計算量，未來會針對大量資料統計，去縮小裁減 c (Clipping)和尺度 s (Scaling)的計算範圍，將計算量降到最低，達到最有效率的計算。. 43.

(54) 參考文獻 [1]. A. Heitmueller, K. Ingles, “The earnings of informal carers: Wage differentials and opportunity costs,” Journal of Health. Economics, vol. 26, no. 4, pp.821-841, Jul. 2007. [2]. E. Wale, “A study on financial opportunity costs of growing local varieties of sorghum in Ethiopia: Implications for on-farm conservation policy,” Ecological Economics, pp. 603-610, 2008.. [3]. E. Z. Wale, J. Mburu, K. Holm-Muller, M. Zeller, “Economic analysis of farmers’ preferences for coffee variety attributes: lessons for on-farm conservation and technology adoption in Ethiopia,” Quarterly Journal of International Agriculture, vol.44, no.2, pp.121-139, 2005.. [4]. H. Greenspan, C. H. Anderson, and S. Akber, “Image enhancement by nonlinear extrapolation in frequency space,” IEEE Trans. on. Image Processing, vol. 9, no. 6, pp. 1035-1048, Jun. 2000. [5]. H.. Greenspan,. S.. Akber,. “Nonlinear. edge. enhancement,”. International Conference on Volume 1, vol.1, pp. 179–182, Oct. 1995. [6]. L. J. Wang, K. R. Shieh, and Y. L. Tang, “A non-linear image enhancement method by spline basis filter,” in Proc. of. International Computer Symposium 2006 (ICS 2006), Taipei, Taiwan, Dec. 4-6, 2006. [7]. L. J. Wang, Y. C. Huang,“A study on opportunity cost with classification for non-linear image enhancement,” International 44.

(55) Journal of Computer Science and Artificial Intelligence, vol.3, no.2, pp.34-43, World Academic Publishing, June 2013 [8]. L. J. Wang, “Improved non-linear image enhancement for video coding,” International Journal of Communications, vol. 2, no. 2, pp. 31-39, Science and Engineering Publishing, June 2013.. [9]. L. J. Wang, Y. C. Huang, “Combined opportunity cost and image classification for non-linear image enhancement,”. in Proc. of. the Sixth International Conference on Complex, Intelligent, and Software Intensive Systems (CISIS 2012), Palermo, Italy, July 4-6, 2012. [10] L. J. Wang, Y. C. Huang, “Non-linear image enhancement using opportunity costs,” in Proc. of the Second International Conference on Computational Intelligence, Communication Systems and Networks (CICSyN 2010), Liverpool, UK, July 28-30, 2010. [11] L. J. Wang, Y. C. Huang, Y. L. Tang, “A study on the opportunity cost concept in non-linear image enhancement,” in Proc. of the ICDC 2009 International Conference on Digital Content (ICDC 2009), Yuan Ze University, Chung-Li, Taiwan, R.O.C., Dec. 17-18, 2009. [12] M. Unser, A. Aldroubi, and M. Eden, “Enlargement or reduction of digital images with minimum loss of information,” IEEE Trans.. on Image Processing, vol. 4, pp. 247-258, Mar. 1995. [13] M. Unser, “Splines: a perfect fit for signal and image processing,” IEEE Signal Processing Magazine, vol. 16, no. 6, pp.22-38, Nov. 1999.. 45.

(56) [14] Q. R. Razligh, N. Kehtarnavaz, “Image blur reduction for cell-phone cameras via adaptive tonal correction”, IEEE Trans.. on Image Processing, vol. 1, pp. 113-116, Oct. 2007. [15] S. Cho, J. Wang, and S. Lee, “Video deblurring for hand-held cameras using patch-based synthesis”, ACM Transactions on Graphics, vol.31, issue4, 2012. [16] S. Zheng, L. Xu, J. jia, “Forward motion deblurring” ICCV, 2013. [17] S. Yuan, A. Taguchit, M. Kawamata, “Arbitrary scale image enlargement with the prediction of high frequency components,”. in Proc. of IEEE International Symposium on Circuits and Systems, vol. 6, pp.6264-6267, May 2005. [18] T. H. Kim, K, M, Lee, “Generalized video deblurring for dynamic scenes”, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.5426-5434, June 2015. [19] Y. Takahashi and A. Taguchi, “An enlargement method of digital image based on Laplacian pyramid representation,” SPIE vol. 3961:. Nonlinear Image Processing XI, pp. 163–169, 2000. [20] Y. Yang, B. Li, “Non-linear image enhancement for digital TV applications. using. Gabor. Filters,”. IEEE. International. Conference on 06-06 pp. 1018–1021, July 2005. [21] 黃雅君，利用機會成本法於非線性影像增強方法之研究，屏東商業技術學院碩士論文，2010。 [22] 唐英倫，運用立方樣條插補法於影像增強方法之研究，屏東商業技術學院碩士論文，2007。. 46.

(57) [23] 謝坤融，利用樣條基本函數於非線性影像增強方法之研究，屏東商業技術學院碩士論文，2006。. 47.

(58)