影像縫補技術應用於以樣本為基礎的超解析度演算法之研究 - 政大學術集成

全文

(1)國立政治大學資訊科學系 Department of Computer Science National Chengchi University 碩士論文 Master’s Thesis. 立. 政治大. ‧ 國. 學 ‧. 影像縫補技術應用於以樣本為基礎的超解析度演算法之研究. n. al. er. io. sit. y. Nat. Image Quilting for Example-based Super Resolution. Ch. engchi. i n U. v. 研究生：郭勝夫指導教授：廖文宏. 中華民國一百零二年十一月 November 2013.

(2) 影像縫補技術應用於以樣本為基礎的超解析度演算法之研究 Image Quilting for Example-based Super Resolution. 研究生：郭勝夫. Student：Sheng-Fu Kuo. 指導教授：廖文宏. Advisor：Wen-Hung Liao. 資訊科學系碩士論文. 學. ‧ 國. 立. 政治大國立政治大學. sit. y. ‧. Nat. A Thesis. er. io. submitted to Department of Computer Science. n. al National Chengchi University iv. n U i Requirements in partial fulfillment e n g cofhthe. Ch. for the degree of Master in Computer Science. 中華民國一百零二年十一月 November 2013.

(3)

(4)

(5) 致謝. 感謝指導教授廖文宏老師在我學習的路途上，不斷地給予我指導與鼓勵。同時，也感謝我的家人，在我思緒低潮的時候，給予我溫暖與關懷。因為有你們的支持，讓我可以一直走到這裡，完成人生的一個重要目標。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v.

(6) 影像縫補技術應用於以樣本為基礎的超解析度演算法之研究摘要高解析度影像含有較多的像素資訊，所以可以呈現出比低解析度影像更多的細節內容與色調變化，提升影像解析度的技術一直是數位影像處理的重要研究課題。在本論文中，我們實作了以樣本為基礎的超解析度演算法. 政治大空間上相對應的高頻資訊作為樣本，用以估算出相對合理(plausible)的高解立. (example-based super resolution)，其主要是利用高解析度與低解析度影像在. 析度影像。在演算法中有兩個關鍵的因素會影響執行結果的品質，一個是. ‧ 國. 學. 補丁合成的方法，另一個則是訓練資料的選擇。我們嘗詴將影像縫補(image. ‧. quilting)的技術應用在補丁的紋理合成(texture synthesis)上，使得縫補的邊緣. y. Nat. 可以得到較佳的連續性。實驗結果顯示本論文所提出的方法對於增強影像. er. io. sit. 解析度有良好的效果。另外，學習型的超解析度演算法具有資料導向的特性，針對訓練資料的多寡與多樣性對於執行結果的影響，我們也在本論文. n. al. 作進一步的探討。. Ch. engchi. i n U. 關鍵字：超解析度、補丁、影像縫補、紋理合成. i. v.

(7) Image Quilting for Example-based Super Resolution Abstract High-resolution images contain a larger number of pixels, more detailed content and color variations than low-resolution ones. Image resolution enhancement has been an important research area in digital image processing. In this thesis, we developed an example-based super-resolution algorithm which. 政治大 high-resolution images as examples to guide the estimation of plausible high 立 utilizes a collection of reduced-resolution images and their corresponding. resolution images from low-resolution ones. Two factors in the algorithm will. ‧ 國. 學. influence the quality of the output image. One is the method for patch synthesis. ‧. and the other is the selection of training data. To obtain better continuity among the boundaries between neighboring patches, we apply image quilting. y. Nat. sit. technology to synthesize the patch textures. Experimental results show that the. er. io. proposed method has good performance on sharpening images. In addition,. n. a resolution is intrinsically since example-based super i v data-driven, we will also l C n U investigate the influence of thehamount and the diversity of the training data on engchi the result.. Keywords: super resolution, patch, image quilting, texture synthesis. ii.

(8) 目錄第一章緒論 ....................................................................................... 1 1.1. 研究動機與目的 ............................................................................................ 1. 1.2. 論文架構 ........................................................................................................ 5. 第二章相關研究 ............................................................................... 6 影像內插法 .................................................................................................... 7 2.1.1. 最近相鄰內差法 ............................................................................... 7. 2.1.2. 雙線性內插法 ................................................................................... 8. 政治大雙立方內插法 ................................................................................... 9 立. 2.1.3. ‧ 國. 產生關聯模型的訓練資料庫 ......................................................... 11. 2.2.2. 馬可夫網路模型 ............................................................................. 11. 2.2.3. One-pass 演算法 .............................................................................. 12. ‧. 2.2.1. y. Nat. 影像縫補應用於紋理合成與轉移 .............................................................. 15. al. n. 2.3.2. 影像縫補流程 ................................................................................. 16. io. 2.3.1. sit. 2.3. 以樣本為基礎的超解析度演算法 .............................................................. 10. 學. 2.2. er. 2.1. i n U. v. 最小錯誤邊界分割 ......................................................................... 17. C. hengchi 第三章研究方法 ............................................................................. 19 3.1. 3.2. 訓練程序 ...................................................................................................... 19 3.1.1. 關聯模型 ......................................................................................... 20. 3.1.2. 模糊化與重新取樣 ......................................................................... 21. 3.1.3. 高頻濾波 ......................................................................................... 22. 3.1.4. 影像切割與局部對比正規化 ......................................................... 23. 超解析度程序 .............................................................................................. 24 3.2.1. 影像前處理 ..................................................................................... 24. 3.2.2. 影像分割與局部對比正規化 ......................................................... 25. 3.2.3. 資料搜尋與局部對比正規化的反向運算 ..................................... 26. iii.

(9) 影像縫補 ......................................................................................... 28. 3.2.4. 第四章實驗結果與分析 ................................................................. 33 4.1. 4.2. 4.3. 實驗環境 ...................................................................................................... 33 4.1.1. 影像資料庫 ..................................................................................... 33. 4.1.2. 影像評量方法 ................................................................................. 39. 實驗結果 ...................................................................................................... 40 4.2.1. 受測影像的取樣比率對於超解析度結果的影響 ......................... 41. 4.2.2. 不同補丁合成方法對於超解析度結果的比較 ............................. 45. 治政不同數量的訓練資料對於超解析度結果的比較 ......................... 54 大立不同性別的訓練資料對於超解析度結果的比較 ......................... 56. 訓練資料的特性對於超解析度結果的影響 .............................................. 54 4.3.1. 學. ‧ 國. 4.3.2 4.3.3. 不同人種的訓練資料對於超解析度結果的比較 ......................... 61. 4.3.4. 不同類別的訓練資料對於超解析度結果的比較 ......................... 66. ‧. 第五章結論與未來方向 ................................................................. 70. n. er. io. sit. y. Nat. al. Ch. engchi. iv. i n U. v.

(10) 表目錄表 4-1 受測影像在不同取樣比率的條件下所得到的 PSNR 與 SSIM .............................. 45 表 4-2 One-pass 演算法與本論文方法在不同取樣比率時所得到的 PSNR 與 SSIM....... 50 表 4-3 不同數量的訓練資料所得到的 PSNR 與 SSIM ...................................................... 56 表 4-4 不同類別的訓練資料所得到的 PSNR 與 SSIM ...................................................... 68. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. v. i n U. v.

(11) 圖目錄圖 1-1 不同影像內插法放大後的效果 ................................................................................... 2 圖 2-1 最近相鄰內插法 ........................................................................................................... 8 圖 2-2 雙線性內插法 ............................................................................................................... 8 圖 2-3 雙立方內插法 ............................................................................................................... 9 圖 2-4 馬可夫網路 ................................................................................................................. 12 圖 2-5 輸入的中頻補丁與資料庫中最相似的 K 個候選補丁 ............................................ 13 圖 2-6 Freeman 方法的訓練資料樣本 ................................................................................... 14. 政治大. 圖 2-7 Freeman 方法所得到的超解析度的結果 ................................................................... 14. 立. 圖 2-8 Freeman 方法所得到的超解析度失敗的結果 ........................................................... 15. 學. ‧ 國. 圖 2-9 紋理的處理 ................................................................................................................. 16 圖 2-10 紋理的轉移 ............................................................................................................... 18. ‧. 圖 3-1 訓練程序的流程圖 ..................................................................................................... 20. y. Nat. 圖 3-2 重新取樣的過程 ......................................................................................................... 22. io. sit. 圖 3-3 高頻濾波 ..................................................................................................................... 23. n. al. er. 圖 3-4 色彩空間轉換 ............................................................................................................. 24. i n U. v. 圖 3-5 輸入的中頻補丁與經搜尋資料庫後所得的高頻補丁 ............................................. 25. Ch. engchi. 圖 3-6 超解析度程序的流程圖 ............................................................................................. 27 圖 3-7 補丁重疊區域 ............................................................................................................. 28 圖 3-8 最小錯誤邊界分割 ..................................................................................................... 29 圖 3-9 Dijkstra 演算法 pseudo code ....................................................................................... 30 圖 3-10 補丁切割路徑 ........................................................................................................... 32 圖 4-1 訓練資料樣本－人臉(8 張 200×200 pixels 高解析度影像) .................................... 34 圖 4-2 訓練資料樣本－人臉－女性(8 張 200×200 pixels 高解析度影像) ........................ 35 圖 4-3 訓練資料樣本－人臉－男性(8 張 200×200 pixels 高解析度影像) ........................ 35 圖 4-4 訓練資料樣本－人臉－亞洲人(8 張 200×200 pixels 高解析度影像) .................... 36 圖 4-5 訓練資料樣本－人臉－西方人(8 張 200×200 pixels 高解析度影像) .................... 36. vi.

(12) 圖 4-6 訓練資料樣本－森林(8 張 200×200 pixels 高解析度影像) .................................... 37 圖 4-7 訓練資料樣本－建築(8 張 200×200 pixels 高解析度影像) .................................... 37 圖 4-8 訓練資料樣本－動物(8 張 200×200 pixels 高解析度影像) .................................... 38 圖 4-9 訓練資料樣本與所產生的補丁資料 ......................................................................... 38 圖 4-10 受測影像向下取樣 1/2 的結果 ................................................................................ 41 圖 4-11 受測影像向下取樣 1/4 的結果 ................................................................................ 42 圖 4-12 受測影像向下取樣 1/16 的結果 .............................................................................. 42 圖 4-13 受測影像向下取樣 1/64 的結果 .............................................................................. 43 圖 4-14 受測影像向下取樣 1/256 的結果 ............................................................................ 43. 政治大. 圖 4-15 受測影像在不同取樣比率的條件下所得到的 PSNR 與 SSIM 折線圖 ............... 45. 立. 圖 4-16 One-pass 演算法與本論文方法在取樣比率為 1/2 時的比較(受測影像一) .......... 46. ‧ 國. 學. 圖 4-17 One-pass 演算法與本論文方法在取樣比率為 1/2 時的比較(受測影像二) .......... 46 圖 4-18 One-pass 演算法與本論文方法在取樣比率為 1/4 時的比較(受測影像一) .......... 47. ‧. 圖 4-19 One-pass 演算法與本論文方法在取樣比率為 1/4 時的比較(受測影像二) .......... 47 圖 4-20 One-pass 演算法與本論文方法在取樣比率為 1/16 時的比較(受測影像一) ........ 48. y. Nat. sit. 圖 4-21 One-pass 演算法與本論文方法在取樣比率為 1/16 時的比較(受測影像二) ........ 48. n. al. er. io. 圖 4-22 補丁在重疊區域的分割路徑圖 ............................................................................... 49. i n U. v. 圖 4-23 One-pass 演算法與本論文方法在不同取樣比率時的折線圖(受測影像一) ......... 50. Ch. engchi. 圖 4-24 One-pass 演算法與本論文方法在不同取樣比率時的折線圖 (受測影像二) ....... 50 圖 4-25 100 張 200×200 pixels 的人臉受測影像(縮小顯示) ............................................... 51 圖 4-26 100 張人臉受測影像所得到的 PSNR 與 SSIM 的折線圖 ..................................... 52 圖 4-27 Freeman 方法與本論文方法對於雜訊影像的超解析度結果的比較 ..................... 53 圖 4-28 不同數量的訓練資料對於人臉超解析度結果的比較 ........................................... 55 圖 4-29 不同數量的訓練資料所得到的 PSNR 與 SSIM 的折線圖 ................................... 56 圖 4-30 100 張 200×200 pixels 的性別受測影像(縮小顯示) ............................................... 57 圖 4-31 不同性別的資料庫所得到的 PSNR 與 SSIM 的折線圖(女性受測影像) ............. 58 圖 4-32 不同性別的資料庫所得到的 PSNR 與 SSIM 的折線圖(男性受測影像) ............. 59 圖 4-33 男性受測影像適用女性資料庫的案例 ................................................................... 60 圖 4-34 100 張 200×200 pixels 的人種受測影像(縮小顯示) ............................................... 62 vii.

(13) 圖 4-35 不同人種的資料庫所得到的 PSNR 與 SSIM 的折線圖(亞洲人種受測影像) ..... 63 圖 4-36 不同人種的資料庫所得到的 PSNR 與 SSIM 的折線圖(西方人種受測影像) ..... 64 圖 4-37 人臉與森林類別的訓練資料對於超解析度結果的比較 ....................................... 66 圖 4-38 人臉與建築類別的訓練資料對於人臉超解析度結果的比較 ............................... 67 圖 4-39 人臉與動物類別的訓練資料對於人臉超解析度結果的比較 ............................... 67 圖 4-40 不同類別的訓練資料所得到的 PSNR 與 SSIM 的折線圖 ................................... 68. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. viii. i n U. v.

(14) 第一章緒論. 隨著科技的進步，人們對於影像品質的要求也就越高，相對應可以提供高解析度影像擷. 政治大代價十分昂貴，此外，若干公共場所的影像擷取設備由於年代較為久遠，在解析度與影立. 取的硬體規格也隨之提升，但傳輸頻寬與儲存空間的限制使得利用硬體來提高解析度的. ‧ 國. 學. 像品質部分也都有改善的空間。為了降低取得高解析度影像的成本，或從較低品質的影像回復高解析度內容，利用超解析度重建技術(super resolution reconstruction)[1]將低解析. ‧. 度影像轉換成高解析度影像的技術不斷地被研究與改進。提昇影像解析的技術是近年來. sit. y. Nat. 在數位影像處理中相當熱門的一項研究課題，其主要精神就是希望利用相關的影像處理. io. al. er. 技術來產生接近於真實世界的高解析度影像。其應用範圍相當廣泛，如：醫學影像、犯. n. 罪鑑識、安全監控等領域，都需要高解析度影像的輔助。. 1.1. Ch. engchi. i n U. v. 研究動機與目的. 利用影像處理技術來提升解析度的方法，可分為影像內差法 (image interpolation)[2][3][4]以及超解析度法(super resolution)[5]。影像內插法由於兼具運算快速且尚可接受的影像品質的優點，是目前提高影像解析度中最普遍的方法。常見的影像內插法有：最近相鄰內插法 (nearest neighbor interpolation) 、雙線性內插法 (bilinear interpolation)與雙立方內插法(bi-cubic interpolation)等。這些影像內插法都是利用鄰近像素的資訊來放大影像，忽略了影像中高頻資訊的特性與變化，隨著放大倍率增加後，在 1.

(15) 影像的邊緣(edge)與紋理(texture)區域容易產生模糊效應。. 如圖 1-1 所示，為經由不同內插法放大影像四倍後的效果。其中，圖 1-1 (c)為最近相鄰內插法的結果，其方塊效應(block effect)十分嚴重，放大後的影像品質並不是很理想。圖 1-1 (d)為雙線性內插法的結果，雖然較最近相鄰內插法效果要好，但在影像的邊緣處依然不夠銳利，且細節處也模糊不清。而雙立方內插法(圖 1-1 (e))由於參考了更多鄰近像素的資訊，所以效果是三種影像內插法當中最好的，不過，在影像的邊緣與紋理處的高頻變化同樣不足。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. i n U. e n g c(b) h i圖(a)縮小1/4. (a) 原始高解析度影像. (c) 最近相鄰內插法. v. (d) 雙線性內插法圖 1-1 不同影像內插法放大後的效果 2. (e) 雙立方內插法.

(16) 通常影像中較為高頻的區域即為邊緣的所在，而人類視覺對於高頻處又特別敏感，如何改善影像放大後因欠缺高頻資訊而造成的模糊，[6][7][8][9]提出了以學習為基礎的超解析度方法，這類型的研究主要概念是先蒐集大量的高解析度影像作為訓練模型的樣本，使其產生低解析度與高解析度的相對應關係的資料庫，再利用這些資料來強化低解析度影像中所缺乏的高頻資訊。這類方法所產生的高頻資訊並不是真正的高頻資訊，而是屬於仿真的高頻資訊，對於放大後影像的邊緣與紋理部分都能有不錯的表現。. 立. 政治大. 在電腦圖學(computer graphics)中，紋理合成(texture synthesis)是一個重要的研究領. ‧ 國. 學. 域，相關的應用有：數位影像編輯、3D 電腦繪圖、電影中的特效與遊戲等。在 2001 年 Efros 與 Freeman[10]提出了具編織性之性質的紋理合成與紋理轉移演算法。它的概念延. ‧. 伸自 Wei 與 Levoy[16]的方法，把以像素為基礎(pixel-based)的紋理合成擴展到以區塊為. Nat. sit. y. 基礎(patch-based)，利用影像縫補(image quilting)的方式將區塊拼湊為一張具有來源影像. n. al. er. io. 紋理的新影像，對於合成後的影像在其結構與紋理特性上都有良好的效果。. Ch. engchi. i n U. v. 在 Freeman[8]的以樣本為基礎的超解析度過程中，高頻補丁與相鄰補丁之間的接續與合成的方法對於超解析度的結果有很大的影響，為了提高超解析度的影像品質，我們嘗詴將影像縫補的技術，應用在補丁之間的接續與合成，藉此提升補丁接續的連續性，避免區塊效應的產生。. 超解析度技術中特別令人感興趣的是人臉的超解析度應用，在 2000 年 Baker 與 Kanade[10]首先將低解析度人臉影像轉換成高解析度人臉影像的技術稱之為人臉超解析度(face hallucination)，其主要方法是以訓練資料中父結構的區域特徵推斷出人臉高頻資訊的成份。接著在 2003 年 Wang 與 Tang[11]提出基於特徵值轉換(Eigen transformation) 3.

(17) 的人臉超解析度技術，該方法由低解析度人臉影像中擷取出最大的臉部特徵資訊，以強化影像中的高頻人臉特徵。2007 年 Liu 等人[12]提出了一個整合全域參數模型與區域非參數模型的人臉超解析度的方法，第一步，先推導出一個全域線性模型，以主成份分析法(PCA, Principal Component Analysis)學習出高解析度與低解析度人臉影像之間的關係，第二步，由補丁為基礎的非參數馬可夫網路(Markov network)模型中學習出高頻的資訊以重建人臉的高解析度影像。有別於 PCA 的方法，2008 年 Yang 等人[13]提出了以稀疏基礎編碼與稀疏表示(sparse basis coding and sparse representation)的方法來重建人臉影像，. 政治大. 亦獲得了相當良好的效果。2010 年 Ma 等人[14]利用位置補丁(position-patch)來降低鄰近. 立. 補丁的搜尋範圍，由於位置補丁與輸入的低解析度補丁在結構上通常較為類似，當輸入. ‧ 國. 學. 的人臉影像中的特徵點如：眼球與嘴巴等位置對齊的狀況下，可以產生極佳的人臉超解析度的效果。本論文所提出的超解析度方法也著重在人臉超解析度的應用上，在後續實. ‧. 驗的部分，將以人臉影像來進行驗證與分析。. sit. y. Nat. n. al. er. io. 本論文的主要貢獻在於提出以區塊為基礎的補丁合成方法，應用在以樣本為基礎的. i n U. v. 超解析度演算法中，以解決補丁在重疊區域的不連續性的問題。由實驗數據顯示，以本. Ch. engchi. 論文方法所得到的峰值訊號雜訊比(PSNR)平均高於 Freeman 方法約 1.0 dB，而在結構相似度指標(SSIM)的部分，平均也有 2%的提升。證明本論文方法對於超解析度後的影像品質有一定程度的改善。此外，經由實驗證實，合適的訓練資料類別與足夠的訓練資料數量將有助於超解析度影像品質的提升。. 4.

(18) 1.2. 論文架構. 本論文採用五個章節來進行討論，第一章為本論文的研究動機與目的。第二章介紹影像內插法、學習型超解析度演算法與影像縫補技術的相關文獻回顧。第三章說明本論文所提出的方法以及實作流程。實驗的結果則在第四章，我們除了實作本論文方法外，也將與 Freeman 的方法進行效能上的評估比較，此外，並分析訓練資料的特性對於執行結果的影響。最後，在第五章分享我們的結論與未來的工作。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 5. i n U. v.

(19) 第二章相關研究. 利用影像處理技術將低解析度影像轉換為高解析度影像的方法稱為超解析度技術，目前. 政治大. 超解析度技術的研究主要分為靜態影像放大與動態影像放大。. 立. ‧ 國. 學. 靜態影像的超解析度技術主要是以單張影像來產生一張高解析度影像[17]，常用的方法為影像內插法。不過，經內插所得到的影像，只能算是一張像素放大的影像，缺少. ‧. 了細節與高頻資訊。而學習型的超解析度技術，則必頇利用額外的一個擁有多張高解析. sit. y. Nat. 度影像的資料庫，利用低解析度影像中不同的特徵資訊，透過搜尋或者是學習的方法找. io. al. n. 可以得到擁有豐富細節資訊的高解析度影像。. Ch. engchi. er. 到被放大後的低解析度影像所缺乏的高頻資訊，最後將細節加入被放大後的影像中，就. i n U. v. 而動態影像的超解析度技術首先由 Tsai 和 Huang[18]提出，主要概念是利用同一場景中的數張低解析度影像來產生一張高解析度影像。這些低解析度影像除了具有空間上的關係外，還有時間上的關係，利用這些不同的次像素位移(subpixel shift)的資訊，將影像間的位移與旋轉等資訊計算出來，即能在高解析度網格(grid)上求出像素分佈。對於利用多張低解析度影像的超解析度演算法都有相同的前提，即必頇對一個場景進行多張低解析度影像的拍攝，但是在很多的情況下，並不容易對相同的場景擷取多張的影像，抑或手上資料僅有針對場景拍攝的單張相片，無法回到過去再做重拍。. 6.

(20) 以樣本為基礎的超解析度演算法屬於靜態影像放大的方法，其主要目的是為了解決低解析度影像在經由影像內插放大後，因為欠缺高頻資訊而導致模糊與不夠銳利的問題。本論文的研究結合了兩種技術，第一是以樣本為基礎的超解析度演算法，第二是影像縫補技術，以下將對於相關的技術作一簡略的回顧。. 2.1. 影像內插法. 政治大. 要對一張影像進行放大，最方便且快速的方法就是影像內差法，一般常用的內插法，. 立. 大多是多項式內插法(polynomial interpolation)，其概念是藉由離散(discrete)的取樣點估. ‧ 國. 學. 算出一個通過這些取樣點的連續函數，其定義域(domain)如果是有理數則具有數的稠密性(dense)，可以在這個連續函數上進行取樣。將影像視為是一個二維的訊號，向下取樣. ‧. 即是將連續訊號轉換為離散訊號，而向上取樣則是將離散訊號還原成連續訊號，因此影. y. Nat. n. al. er. io. sit. 像的內差即是影像訊號的重新取樣。以下將依序介紹常用的影像內插法。. 2.1.1 最近相鄰內差法. Ch. engchi. i n U. v. 最近相鄰內插法，主要方法是要找到與非整數點座標距離最接近的整數像素點，並利用該整數像素點的灰階值作為新像素點的灰階值。如圖 2-1 所示，由原始 image ( x, y) 放大四倍後的影像 image( x, y) 中的像素點 P 的位置是介於像素點 r, s, t, u 之間，最近相鄰內插法的作法就是計算像素點 P 與周圍像數點 r, s, t, u 的距離，找出距離最短的像素點的灰階值作為 P 點的灰階值。最近相鄰內插法是所有內插法中最快速且複雜度最低的一種內插演算法，但其缺點就是內插出來的影像品質很差，容易產生齒狀與方塊的現象。. 7.

(21) Y. t. Y. u P. t. u. r. s. ×4 = r. image ( x, y). 立. s. X. e( x, y) 政治 imag 大. X. 圖 2-1 最近相鄰內插法. ‧ 國. 學. 2.1.2 雙線性內插法. ‧ sit. y. Nat. 直線上任意兩點間的線性插值法是利用兩點與插值點的距離，依據比例權重計算出. io. al. er. 插值。同樣地，在平面空間上，則可以利用相鄰四點的像素位置，依據距離遠近的不同，. n. 距離近的權重大，距離遠的權重小，以求得平面空間上的插值像素值。. Ch. engchi. P3. i n U. P4. dx. Pn. dy. P1. P2. 圖 2-2 雙線性內插法. 8. v.

(22) Pn  f ( x, y)  (1  dx)(1  dy) P1  dx(1  dy) P2 (1  dx)dyP3  dxdyP4. (2.1). 在圖 2-2 中可知，P1、P2、P3 與 P4 為內插點 Pn 的四個相鄰點，如式 (2.1)所示， f ( x, y) 為經過雙線性內插法評估後的 Pn 點的像素值。距離 Pn 點越近的點，權重則越大，所貢獻的值也越多。使用雙線性內插法的複雜度會比最近相鄰內插法要來的高，但放大後的影像品質較好，由於內插值是參考鄰近四點的像素值並依據距離權重的計算，所以放大後的影像會比較平滑，而比較不會有齒狀與方塊現象等問題。. 政治大. 立. 2.1.3 雙立方內插法. ‧ 國. 學 ‧. 如圖 2-3 所示，雙立方內插演算法的作法依然是參考鄰近的像素點，與最近相鄰內差法以及雙線性內插法不同的是，雙立方內插法是參考鄰近周圍的 16 個相鄰點作為取. y. Nat. al. n. Si , j 1. er. io Si 1, j 1. sit. 樣點，且與插值點距離的不同的像素會以不同的權重進行取樣。. Si 1, j 1. Si  2, j 1. Ch. Si 1, j. engchi. Si 1, j. Si , j. Si 1, j 1. b a P Si 1, j 1 Si , j 1. Si  2, j 1. Si 1, j  2. Si , j  2. Si 1, j  2. Si  2 , j  2. i n U. v. Si  2 , j. P. 圖 2-3 雙立方內插法. 9.

(23) 計算方式是對這 16 個相鄰點作迴旋積分(convolution)，其核心定義如下：. 3 3 5 2  s  s 1 2 2  1 3 5 2 u ( x )   s  s  4 s  2 2  2  0 . 內插值表示式：. 立 2. 2. 2.2. i  m, j  n. (2.2). ,o t h e r w i s e. 政治大. u ( n  a ) u ( m  b). (2.3). ‧. ‧ 國.  S. m  1 n  1. 1,  s  2. 學. P. 0,  s  1. 以樣本為基礎的超解析度演算法. er. io. sit. y. Nat. 影像經由內插法放大後，因為缺乏高頻資訊，所以在邊緣與紋理處常常模糊不清，. al. n. v i n 影像的品質仍有改善的空間。Freeman C h 在 2002 年提出了以樣本為基礎的超解析度演算法 engchi U [8]，主要目的是為了讓影像在放大後能有較銳利的效果。. 其方法是預先建立大量的高解析度與低解析度影像的關連模型資料庫，對於輸入的低解析度影像則先以雙立方內插法將影像放大，並以其中的中頻資訊在關連模型資料庫中找出相似的中頻補丁，並以此中頻補丁所對應的高頻補丁來增強放大後圖像的高頻部分。在接下來的小節裡，將分別簡介如何產生關聯模型的訓練資料庫、馬可夫網路模型與 One-pass 演算法。. 10.

(24) 2.2.1 產生關聯模型的訓練資料庫. 將蒐集到的高解析度影像，透過模糊化(blur)與二次重新取樣(subsampling)的過程，將原始高解析度影像退化(degrade)成低解析度影像，如此的影像轉換程序稱之為訓練 (training)。經由訓練程序後所得到的低解析度影像，再利用高頻濾波器過濾出中頻資訊，另一方面，將原始高解析度影像與訓練後的低解析度影像相減後，即得到低解析度影像所欠缺的高頻資訊，接著將相對應的中頻與高頻資訊影像分割成小塊的補丁，經過相對. 政治大. 應關係的標示建立後，將其儲存於資料庫當中，以便後續執行資料搜尋時使用。. 立. ‧. ‧ 國. 學. 2.2.2 馬可夫網路模型. 馬可夫網路(Markov network)[19][20]是貝氏網路(Bayesian network)的延伸，可以自. Nat. sit. y. 動學習出影像與場景間的對應關係，只要輸入任何一張影像，則可經由貝氏信任傳遞. al. n. 參數。. er. io. (Bayesian belief propagation)找到該影像最可能的對應場景，而得知該影像所隱含的場景. Ch. engchi. i n U. v. 對於一張給定的影像資料 y，為了得到其相對應的場景 x，必頇先計算其事後機率. P( x | y)  cP( x, y) ，其中 c . 1 為事前機率常數，同時也必頇定義事後機率 P 的損失 P( y ). 函式(loss function)如 MMSE (minimum mean squared error)或者是 MAP (maximum a posterior)，以得到最佳的評估場景 xˆ 。如圖 2-4 所示，將經由訓練程序所得到的中頻與高頻的影像都分割成較小塊的補丁後，中頻補丁為網路中的觀測節點 y，而高頻補丁則網路中的隱藏節點 x，節點與節點連接的邊則表示統計上的依賴關係。. 11.

(25) 圖 2-4 馬可夫網路. 學. ‧ 國. 立. 政治大. ‧. 此外，定義 Ψ 與 Φ 兩個相容性矩陣 (compatibility matrix)，機率矩陣 Ψ 用來評估隱藏節點與隱藏節點之間的關係，而向量矩陣 Φ 則用來評估觀測節點與隱藏節點之間的關. y. Nat. io. sit. 係，在每個節點上能獲得最大機率值的高頻補丁即為所求的最佳相似度補丁。而信任傳. n. al. er. 播演算法(belief propagation algorithm)是一種使用近似值解法的迭代運算演算法，可以有. Ch. i n U. v. 效地縮短計算時間並能得到幾乎同樣的效果。通常的情況下，經過三到四次的迭代運算即可找出最佳相似度補丁。. engchi. 2.2.3 One-pass 演算法. 信任傳播演算法是馬可夫網路模型的快速解決方案，但 Freeman 提出了一種更簡單快速的機制來找出最佳相似度補丁，即 One-pass 演算法。該演算法提供了與迭代運算後類似的良好效果並能縮短運算時間，藉以用來取代運算複雜度較高的馬可夫網路模型。. 12.

(26) 首先，將欲放大的低解析度影像，以內插法放大後，再以高頻濾波器過濾出相關的中頻資訊，並將其切割成 M × M (M = 7)的補丁資料，然後利用 L2 -norm 逐一由預先建立的關聯模型訓練資料庫中找出距離最短的 K (K = 16)個候選補丁(如圖 2-5 所示)。在回填 N × N (N = 5)的高頻補丁時，為了確保補丁之間接續的連續性，要貼合的高頻補丁與相鄰補丁間會有 1 pixel 的重疊區域，這部分同樣以 L2 -norm 計算其值並乘以一權重因子.  ，最後參考兩次 L2 -norm 的結果，具有最小合併 L2 -norm 值的候選補丁，即為所求的. 政治大. 最佳相似度補丁。. 立. ‧ 國. 學. 特別值得注意的是，高頻補丁與相鄰補丁間在重疊區域上的相似度計算與合成方法，會影響超解析度的影像品質。當重疊區域相似度計算的權重參數設定較高時，補丁間的. ‧. 接續會有良好的連續性，但卻無法達到較佳的影像品質。反之，當重疊區域相似度計算. Nat. sit. n. al. er. io (a) 輸入的中頻補丁. y. 的權重較低時，輸出的影像則會產生方塊效應。. Ch. engchi. i n U. v. (b) 搜尋後資料庫中 K 個最相似的中頻補丁. (c) K 個中頻補丁相對應的高頻補丁. 圖 2-5 輸入的中頻補丁與資料庫中最相似的 K 個候選補丁. 13.

(27) 在 Freeman 的方法中，如圖 2-6 所示，選定 6 張 200x200 的樣本影像作為超解析度演算法的訓練資料，並以 1 pixel 的偏移量將樣本影像切割成大約 200,000 組以上的中頻與高頻補丁配對的關聯資料。圖 2-7 (c)是經由 One-pass 演算法所得到的一張人臉的高解析度影像，訓練資料庫來自於圖 2-6 的 6 張樣本影像。由結果發現，以樣本為基礎的超解析度演算法所放大的影像能夠保持更鋒利的邊緣與更清晰的影像細節。. 立. 政治大. ‧. ‧ 國. 學. io. sit. y. Nat. n. al. er. 圖 2-6 Freeman 方法的訓練資料樣本. Ch. engchi. i n U. v. 圖 2-7 Freeman 方法所得到的超解析度的結果 (a) 原始影像 (b) 三次曲線近似內插法放大. 14. (c) One-pass 演算法放大.

(28) 經由 Freeman 的實驗結果中我們也發現，原本低解析度影像中由於拍攝品質或者是影像壓縮後所產生的雜訊，同樣也會被超解析度演算法放大。如圖 2-8 (c)所示，JPEG 雜訊被視為是高頻內容，經超解析度演算法放大後，強化了這些雜訊，而導致了失敗的結果。. 立. 政治大. ‧. ‧ 國. 學. io. sit. y. Nat. n. al. er. 圖 2-8 Freeman 方法所得到的超解析度失敗的結果 (a) 原始影像. 2.3. Ch. i v One-pass 演算法放大 (c) n U. (b) 三次曲線近似內插法放大. engchi. 影像縫補應用於紋理合成與轉移. 紋理合成是藉由樣本紋理來合成一個自定大小的目標區域，不僅可以使用在3D場景的材質合成上，也可以運用在影像修補方面。Efros與Freeman[15]提出了新的紋理合成與轉移演算法，把以像素為基礎的紋理合成延伸到以區塊為基礎，並利用影像縫補的技術將區塊拼湊為一張具有來源影像紋理的新影像。作法雖簡單，但卻有著相當出色的合成結果。. 15.

(29) 2.3.1 影像縫補流程. 其演算法流程如下： ·. 步驟一：採光柵式掃描(raster-scan)順序(上到下，左至右)，每次合成一個區塊。. ·. 步驟二：對於每一個欲合成的區域，利用其相鄰的重疊區域(上與左側區域)，找出輸入影像中符合錯誤容許值的區塊的集合後，再由集合中隨機選取一個區塊準備貼入將要合成的位置。. 政治大. 步驟三：計算要貼入的新區塊與相鄰區塊間的重疊區域的像素誤差值，利用. 立. dynamic programming 的方式，找出最小錯誤邊界的分割 (minimum error. 學. ‧ 國. boundary cut)，邊界的上與左側區域以相鄰區塊的像素值填入，而邊界的下與右側區域以新區塊的像素值填入，而分割線上的點則填入新區塊與相鄰區塊的. ‧. 平均值。如此重複步驟二與三，直到合成完整張影像為止。. io. sit. y. Nat. n. al. er. ·. Ch. engchi. (a). i n U. v. (b). (c). 圖 2-9 紋理的處理 (a) 區塊為隨機選擇貼上 (b) 利用相鄰的重疊區域找出相近的區塊貼上 (c) 為降低區塊效應，對重疊區域進行最小錯誤邊界分割. 16.

(30) 2.3.2 最小錯誤邊界分割. 對於最小錯誤邊界分割的計算，Efros 與 Freeman 採用了最短路徑演算法(shortest path algorithm)來找出重疊區域中的最小錯誤的邊界。首先，假設兩個不同紋理的區塊 B1 與 B2 ，其各自的重疊區域 B1ov 與 B2ov (如圖 2-9 (c)所示)，則重疊區域內像素點的錯誤值 e  ( B1ov  B2ov )，接著依據垂直方向計算重疊區域中所有路徑的錯誤值，如式 (2.4)所示。. 立. Ei , j  ei , j  min( E i 1, j 1, Ei 1, j. 政治大 ,E ). (2.4). i 1, j 1. ‧ 國. 學. Ei , j 表示重疊區域中，以像素點 (i, j ) 為起點的最小錯誤值的總和， ei , j 則表示目前. ‧. 計算過的最小錯誤值的總和，藉由不斷的重複計算，直到區域內所有的像素點都計算完. n. al. er. io. sit. y. Nat. 成。. Ch. i n U. v. 在影像縫補技術中有兩個因素會影響演算法的結果，第一是區塊大小的決定，第二. engchi. 是重疊區域的寬度。區塊大小的決定取決於給定影像的紋理特性，它必頇要足夠大到能夠涵蓋適當的紋理結構，但過大的區塊又會產生破碎的現象，所以必頇經過多次的實驗後，才能找到適當的區塊大小。另外，重疊區域寬度的設定依據Efros與Freeman的的實驗結果顯示，當寬度為區塊大小的1/6時，可以得到較好的效果。影像縫補技術除了應用在紋理合成，Efros與Freeman還提出了紋理轉移的相關技術應用。如圖 2-10所示，透過目標影像的亮度分佈等資訊，將來源的紋理合成到目標影像當中。. 17.

(31) +. =. 圖 2-10 紋理的轉移. 學. ‧ 國. 立. 政治大. ‧. 本論文以 Freeman 的以樣本為基礎的超解析度演算法為研究基礎，針對其架構加以改良。在訓練階段，我們使用 Freeman 方法中的訓練程序，建立中頻與高頻補丁相對應. y. Nat. io. sit. 關係的訓練資料庫。在超解析度階段，我們應用了影像縫補技術，將原本以像素為基礎. n. al. er. 的補丁合成方法改良為以區塊為基礎的補丁合成方法。關於研究方法以及實作流程，將. Ch. 於下一章中進行詳細的說明與解釋。. engchi. 18. i n U. v.

(32) 第三章研究方法. 以樣本為基礎的超解析度演算法可以區分為獨立的兩個程序：訓練程序與超解析度程序。. 政治大. 以下章節將依序介紹各個程序的方法與細節。. 立訓練程序. ‧. ‧ 國. 學. 3.1. 訓練程序的流程，如圖 3-1 所示，包含了關聯模型(relation model)的定義、影像的. Nat. n. al. Ch. engchi. 19. er. io. 與局部對比正規化(contrast normalization)。. sit. y. 模糊化與重新取樣(re-sampling)、高頻濾波(high-pass filter)、影像切割(image extracting). i n U. v.

(33) 模糊化. 重新取樣. －高頻濾波.  +ε 政治大 T. 立. 局部對比正規化. 學. ÷. ‧ 國. 局部對比正規化. .... ‧. 高頻補丁. Nat. .. 中低頻補丁 .. sit. y. .... n. al. er. io 3.1.1 關聯模型. 圖 3-1 訓練程序的流程圖. ÷. Ch. engchi. i n U. v. 以樣本為基礎的超解析度演算法的概念，是利用經由訓練程序所產生的高解析度與低解析度影像的關聯模型，透過超解析度的學習程序來評估出輸入的低解析度影像中所缺少的高頻細節資訊。Freeman 於 2000 年於低階視覺學習[6]中，針對超解析度演算法的關聯模型給定兩個假設，首先，將一張影像的資訊分為高頻、中頻與低頻的組合，其中，H 代表高頻的影像資訊，M 與 L 分別代表中頻與低頻的影像資訊，於是我們可以假設當給定中頻資訊 M 時，高頻資訊 H 是條件獨立(conditionally independent)於低頻資訊 L：. 20.

(34) P( H | M , L)  P( H | M ). (3.1). 如式 (3.1)所示，這個假設可以讓我們僅需建立高頻與中頻資訊的關聯模型，即可在超解析度程序中利用這樣的關聯模型，評估出低解析度影像所缺乏的高頻資訊，而不需要在訓練程序中儲存所有高解析度與低解析度影像的所有資訊，將可有效地節省資料用量。. 政治大. 另外，第二個假設是，不同解析度影像間的統計關係是獨立於影像對比度，並與縮. 立. 放比率無關。所以在訓練程序中，我們不需考慮到訓練影像之間的整體對比度關係，僅. ‧ 國. 學. 需針對切割的補丁進行對比正規化。. ‧. 於是，經由訓練程序所產生的低解析度影像與原始高解析度影像的差，為影像的高. Nat. sit. y. 頻資訊，而訓練後的低解析度影像則含有中與低頻資訊，再將低解析度影像經由高頻濾. al. n. 庫。. er. io. 波後所得即為中頻資訊。在訓練程序中，我們即是要建立高頻與中頻資訊的關聯資料. Ch. engchi. i n U. v. 3.1.2 模糊化與重新取樣. 在定義了資料庫的關聯模型後，開始收集大量的高解析度影像，為了模擬出退化 (degrade)的低解析度影像，首先利用高斯模糊(Gaussian blur)降低高解析度影像中的高頻資訊，讓影像轉為模糊而平滑，接著再將經過高斯模糊後的影像重新取樣，取像的方法是利用雙立方內插法，先向下取樣至原圖的 1/d (d = 4)後，再向上取樣回原圖的大小，以產生退化的低解析度影像。取樣的過程如圖 3-2 所示。. 21.

(35) 向下取樣. (a). 向上取樣. (b). (c). 圖 3-2 重新取樣的過程 (a)經由高斯模糊後的影像. 立. 3.1.3 高頻濾波. (b)縮小 1/d. (c)退化的低解析度影像. 政治大. ‧ 國. 學. 如圖 3-3 (a)所示，對於原始高解析度影像與退化的低解析度影像之間的差異，即是. ‧. 透過訓練過程所模擬出的“低解析度影像所缺少的高頻資訊”，此外，如圖 3-3 (b)所示，. sit. y. Nat. 我們使用拉普拉斯濾波器(Laplacian filter)，將低解析度影像的高頻資訊過濾出來，由於. io. er. 退化過的低解析度影像原本即缺乏高頻資訊，當經由高頻濾波後所得，並非真正的高頻. al. 資訊，其可以視為是相對於高解析度影像中的中頻資訊。如式 (3-2)所示，拉普拉斯濾. n. v i n Ch 波器是一種空間二階導數的運算子，它對於影像中快速變化的區域具有強化作用，常作 engchi U 為邊緣偵測與高頻抽取使用。. 2 f . 2 f 2 f  x 2 y 2. (3.2). 22.

(36) (a). (b) 圖 3-3 高頻濾波. (a)高頻資訊：原始高解析度影像減去退化的低解析度影像 (b)中頻資訊：退化的低解析度影像以拉普拉斯濾波後的結果. 立. 政治大. 3.1.4 影像切割與局部對比正規化. ‧ 國. 學. 對於高頻濾波後的影像，採光柵式掃描順序(由上到下，從左至右)，每次以 1 pixel. ‧. 的位移量依序將中頻資訊影像切割為 M × M pixels 的補丁，而在相對應座標位置(水平與. Nat. sit. y. 垂直方向各位移 1 pixel)的高頻資訊影像則切割為 N × N pixels 的補丁。依據 Freeman 的. n. al. er. io. 實驗結果顯示，M = 7 與 N = 5 的補丁大小為最理想的切割尺寸，且中頻補丁的尺寸略. i n U. v. 為大於高頻補丁，在超解析度的結果，可以得到較好的影像品質。. Ch. engchi. 由於演算法的運作是假設中頻與高頻資訊的對應關係是獨立於整體影像的對比度，正因為如此，我們針對每個相對應的中頻與高頻資訊的補丁，進行局部對比正規化處理。首先，計算中頻資訊補丁的標準差  T ，如式 (3.3)所示，為避免  T 為 0 而造成後續計算上的錯誤，我們將  T 加上一個極小的常數 ε (ε = 0.0001)，再將中頻與高頻資訊補丁的各個像素值除以  T ，最後，將完成正規化處理的補丁配對儲存在資料庫當中，以作為超解析度階段搜尋的資料使用。. 23.

(37) T . 3.2. 1 n ( xi  x ) 2  n i 1. (3.3). 超解析度程序. 在超解析度程序中，包含了影像前處理(image preprocessing)、影像分割與局部對比正規化、資料搜尋與局部對比正規化的反向運算(inverse of local contrast normalization). 治政與影像縫補，以下的小節將針對各個步驟進行逐一的說明。大立 ‧ 國. 學. 3.2.1 影像前處理. ‧. 將輸入的低解析度影像，向上取樣至我們所要放大的影像大小，如訓練程序中向上. y. Nat. io. sit. 取樣的方法，在超解析度程序中，我們亦採用雙立方內插法對於輸入的影像進行向上取. n. al. er. 樣。由於在訓練與超解析度階段，中頻與高頻補丁都是基於灰階的影像分割，所以當輸. Ch. i n U. v. 入的影像完成向上取樣後，必頇進行色彩空間轉換(color space transformation)。如圖 3-4. engchi. 所示，我們將彩色影像由 RGB 空間轉換到 YCbCr 空間，並以 Y 分量的灰階影像進行後續的處理。. Input RGB to YCbCr. Cb, Cr component. ＋. Y component. Gray image processing. 圖 3-4 色彩空間轉換 24. Output YCbCr to RGB.

(38) 接著，利用拉普拉斯濾波器將灰階影像中的高頻資訊過濾出來，由於經內插放大後的影像雖然解析度已經提高，但仍缺乏高頻的資訊，對於經由拉普拉斯濾波器過濾後的資訊，並非真正的高頻資訊，可以視為是相對於高解析度影像中的中頻資訊。. 3.2.2 影像分割與局部對比正規化. 相對於訓練程序中對於低解析度影像的分割，我們對於經由前處理後的中頻資訊，. 政治大. 採用光柵式掃描順序，依序將中頻資訊分割成 M × M 的補丁，為了讓後續 N × N 的高. 立. 頻補丁在回填時能與相鄰的補丁有  pixels (   2 )的重疊，如圖 3-5 所示，每次補丁切. ‧. ‧ 國. 學. 割位置的位移量在水平與垂直方向均是 N   pixels。. 在訓練過程中，我們已經將訓練過的中頻與高頻補丁的配對以中頻補丁的標準差. Nat. sit. y.  T 進行正規化處理。在超解析度階段，對於分割後的中頻補丁，亦計算其標準差  S ，. n. al. er. io. 以此標準差  S 進行正規化處理後，便可進入下個階段進行資料庫的搜尋與比對。 M. Ch. engchi. i n U. v. N. 位移 N   pixels. M 7 N 5 M×M 中頻補丁. N×N 高頻補丁資料庫. 圖 3-5 輸入的中頻補丁與經搜尋資料庫後所得的高頻補丁 25. 2.

(39) 3.2.3 資料搜尋與局部對比正規化的反向運算. 對於資料的比對，我們必頇同時考慮到兩個部分：第一，必頇考慮到資料庫中最相似的中頻補丁。第二，必頇考慮到在回填高解析度補丁時與相鄰補丁間的接續問題。在相似度的計算上，我們以 L2 -norm 計算補丁與補丁間的相似度，也以 L2 -norm 計算高頻補丁與相鄰補丁間的重疊區域的相似度。. 治政整個超解析度的搜尋過程如圖 3-6 所示，在補丁比對的過程中，一個權重因子大立 (weight factor) α 將會影響超解析度演算法的結果。當 α 的設定值過大時，高頻補丁與相 ‧ 國. 學. 鄰補丁間的重疊區域將會有較好的接續性，但超解析度後的影像品質則較差。而當 α 的. ‧. 設定值過小時，超解析度後的影像則會有區塊效應。Freeman 經實驗後發現，將 M 與 N 的關係代入式 (3.4)後所得到的 α 值，可以得到最好的影像品質。在計算過資料庫中所. y. Nat. n. al. er. io. 補丁。. sit. 有的候選補丁後，如式 (3.5)所示，擁有最小 Norm 值的補丁 P 即為所求的最佳相似度. M2   0.1 2N 1. Ch. engchi. Norm  P  P 2    L  L 2. i n U. v. (3.4). (3.5). 26.

(40) P ：輸入的中頻補丁. P ：資料庫中的中頻補丁 L ： P  所對應的重疊區的高頻補丁. L. L ：重疊區域的高頻補丁. P.  S +ε. 立. P. 政治大 L. Nat. sit. y. ‧. ‧ 國. 學圖 3-6 超解析度程序的流程圖. io. er. 在超解析度的影像分割階段，對於分割後的中頻補丁，我們已計算其標準差  S ，並利用  S 對中頻補丁進行正規化處理。所以在找到最佳相似度的補丁配對後，我們將. al. n. v i n Ch 其中的高頻補丁的每個像素值乘以標準差 e n gc來完成正規化的反向運算處理。 hi U S. 27.

(41) 3.2.4 影像縫補. 找到最佳相似度的高頻補丁後，我們將繼續進行高頻補丁的回填作業。如圖 3-7 所示，當只有垂直區域重疊時(圖 3-7 (a))，重疊區域的大小為 N   。當只有水平區域重疊時(圖 3-7 (b))，重疊區域的大小為   N 。而當垂直與水平區域都重疊時，重疊區域的大小為   N  (N  )   (圖 3-7 (c))。. 政治大. 立. N. N. ‧ 國. 學. 重疊區域. . =. . =. +. ‧. +. 重疊區域. y. (b). io. sit. N. 重疊區域. n. al. er. Nat. (a). Ch. e n g c=h i. i n U +. . v. N =5.  =2. (c) 圖 3-7 補丁重疊區域 (a)垂直方向的重疊. (b)水平方向的重疊. 28. (c)垂直與水平方向的重疊.

(42) 2 0. 148 5. 146 10. 145 12. 145 14. 144. 1. 2. 6. 7. 5. 9. 149. 1. 149. 152. 151 8. 147 148. 0. 4. 3. 148 149. 6. 145. 148. 11. 10. －. 144. 142. 14. 8. 148 147. 5. 9. 148. 1. 1. 153. 6. 10. ＝. 142. 9. 1. 0 8. 1. 9. 1. 4. 4 13. 1 14. 1 15. 0. 144. 7. 1. 4. 3. 1. 11. 12. 144. 2. 4. 1. 146. 15. 144. 142. 151. 13. 144. 143 15. 7. 0. 4. 3. 11. 12. 13. 2. 150 148. 4. (a) 1 2 3 治政大. 0. 1. 1. 立 5. 4. 1. 1. 1. 7. 6 1. 1. 1. 0. 1. 1. 4 0. 8. 9. 1. 1. 學. ‧ 國. 4 9. 4. 10. 4. 1. 11. start nodes. 9 1. 12. ‧. 1. 1. 13 4. 4. io. sit. 15. 0. n. al. end nodes. Ch. (b). engchi. er. Nat. 0. 14. y. 1. i n U. v. 圖 3-8 最小錯誤邊界分割 (a)以 L2 -norm 計算像素差值. (b)將計算結果轉換成有向圖形 G. 以垂直與水平方向都有重疊的區域為例，如圖 3-8 (a)所示，我們利用 L2 -norm 計算高頻補丁與相鄰補丁在重疊區域的像素值的差值，對於計算後的差值，將其轉換成具權重的有向圖形 G (圖 3-8 (b))。在設定的起點與終點的組合條件中，找出一條最短的路徑，作為最小錯誤邊界的分割。. 29.

(43) 在求圖形的最短路徑的方法中，Dijkstra 演算法[21]可以找出加權圖形 G  ( E,V ) 中，邊的權重值不為負值，自起點 s ( s V )到其他節點 v ( v V -{s})的最短路徑。在實作的部分，以圖 3-8 (c)為例，圖形 G 包含了   N  (N  )   個節點，我們使用一個 K × K 的相鄰矩陣來儲存圖形 G 的的資訊。其中，陣列的索引值代表節點，陣列中的元素值如果為 0，表示節點 vi 自己；如果為∞，表示節點 vi 到 v j 沒有存在的邊；其餘的陣列元素值則為節點 vi 到 v j 的權重值。接著，利用 Dijkstra 演算法來找出圖形中的最短路徑，其. 政治大. pseudo code 如圖 3-9 所示。. 立. ‧ 國. 學. Dijkstra’s algorithm 0 function Dijkstra(G, s). do dist[v]←∞. sit. io. al. n. 4 Q←V. er. 3 S←∅. y. Nat. 2. ‧. 1 for all v ∈ V-{s}. 5 while Q ≠ ∅. Ch. engchi. i n U. v. 6 do u←minDistance(Q, dist) 7. S←S ∪ {u}. 8. for all v ∈ neighbors[u]. 9. do if dist[v] > dist[u] + w(u, v). 10. then dist[v]←dist[u]+w(u, v). 11 return dist. 圖 3-9 Dijkstra 演算法 pseudo code. 30.

(44) 找出最短路徑後，即可利用此最短路徑作為重疊區域的最小錯誤邊界的分割，在邊界的上與左側，以相鄰補丁的像素值作為合成後的像素值，在邊界的下與右側，以最佳相似度的高頻補丁的像素值作為合成後的像素值，而在分割邊界上的點，則以相鄰補丁與最佳相似度的高頻補丁的像素平均值作為合成後的像素值。. 如圖 3-10 (a)(b)(c)所示，使用影像縫補技術在重疊區域的補丁合成上，以最小錯誤. 政治大. 邊界進行分割，可以確保高頻補丁與相鄰補丁之間接續的連續性。另如圖 3-10 (d)(e)(f). 立. 所示，在 Freeman 的 One-pass 演算法中，由於重疊區域僅有 1 pixel，補丁之間的分割即. ‧ 國. 學. 為重疊區域，並無針對補丁間的接續性進行特別的處理。. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. 31. i n U. v.

(45) L2 -norm. －. (a). 切割路徑 2. ＝ 2. －. (b). ＝ 2. －. 2. y. ＝. sit. －. Nat. 2. io. －a. n. (f). ＝. ‧. (e). －. 2. 學. (d). ‧ 國. 立. 政＝治大. er. (c). iv l C ＝ n hengchi U. 圖 3-10 補丁切割路徑 (a)影像縫補(垂直方向) (b)影像縫補(水平方向) (c)影像縫補(垂直加水平方向) (d) One-pass 演算法(垂直方向) (e) One-pass 演算法(水平方向) (f) One-pass 演算法(垂直加水平方向). 32.

(46) 第四章實驗結果與分析. 在本章中，我們將以人臉影像作為主要的訓練與受測樣本，對於本論文所提出之方法與. 政治大我們也將藉由實驗的結果探討資料特性對於人臉超解析度結果的影響。立. Freeman 的 One-pass 演算法進行比較，並以量化的影像評量數據作為客觀的分析。此外，. ‧ 國. 學. 4.1. 實驗環境. ‧. Nat. sit. y. 本論文所使用平台為 Microsoft Windows 7 (64-bit)，CPU 為 Intel(R) Core(TM). n. al. er. io. i5-3317U CPU @ 1.70 GHz，記憶體為 4.00 GB。開發環境為 Microsoft Visual Studio 2010 Visual C++。影像處理函式使用 OpenCV 2.4.5 版。. Ch. engchi. i n U. v. 4.1.1 影像資料庫. 本實驗所使用的影像資料庫有四個，分別是 MIT (Massachusetts Institute of Technology) CBCL (Center for Biological & Computational Learning) face database[22]、 MIT CVCL (Computational Visual Cognition Laboratory) database、Centro Universitario da FEI face database 與 Hong Kong University VCL (Visual Cognition Laboratory) face database。我們主要使用 CBCL 與 FEI face database 中的人臉圖片作為人臉訓練資料的樣本與受測影像，VCL face database 中的人臉圖片使用在亞洲人種的受測影像，而非人臉的影像樣 33.

(47) 本則利用 CVCL database 中的城市建築與自然風景等圖片。. 如圖 4-1 所示，以 8 張 200×200 的高解析度人臉影像作為訓練資料的樣本，將可訓練出大約 300,000 筆 7×7 與 5×5 的補丁配對資料。在 4.2.1、4.2.2 與 4.3.1 小節的實驗中，主要都以圖 4-1 的人臉訓練資料樣本所產生的補丁配對作為訓練資料庫。在 4.3.2 小節中，則各別以圖 4-2 與圖 4-3 的女性與男性的人臉訓練資料樣本進行實驗。而圖 4-4 與圖 4-5 的亞洲與西方人種的人臉影像樣本則為 4.3.3 小節的訓練資料樣本。最後，在. 政治大. 4.3.4 小節中，則以圖 4-6、圖 4-7 與圖 4-8 中不同於人臉類別的影像作為訓練資料進行. 立. 實驗。. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 4-1 訓練資料樣本－人臉(8 張 200×200 pixels 高解析度影像). 34.

(48) 立. 政治大. ‧ 國. 學. 圖 4-2 訓練資料樣本－人臉－女性(8 張 200×200 pixels 高解析度影像). ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 4-3 訓練資料樣本－人臉－男性(8 張 200×200 pixels 高解析度影像). 35.

(49) 立. 政治大. ‧ 國. 學. 圖 4-4 訓練資料樣本－人臉－亞洲人(8 張 200×200 pixels 高解析度影像). ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 4-5 訓練資料樣本－人臉－西方人(8 張 200×200 pixels 高解析度影像). 36.

(50) 立. 政治大. ‧ 國. 學. 圖 4-6 訓練資料樣本－森林(8 張 200×200 pixels 高解析度影像). ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 4-7 訓練資料樣本－建築(8 張 200×200 pixels 高解析度影像). 37.

(51) 立. 政治大. ‧ 國. 學. 圖 4-8 訓練資料樣本－動物(8 張 200×200 pixels 高解析度影像). n. al. er. io. sit. Nat. 資料庫. y. ‧. 8 張 200×200 pixels 的高解析度影像. Ch. engchi U. v ni. ‧ ‧ ‧ ‧ ‧ ‧ ‧ ‧. 訓練程序. 可以產生超過 300,000 筆的. ‧ ‧ ‧ ‧ ‧ ‧ ‧ ‧. 補丁資料. 中頻補丁高頻補丁. 圖 4-9 訓練資料樣本與所產生的補丁資料. 如圖 4-9 所示，一張 200×200 的高解析度影像經由訓練程序後可以產生大約 40,000 組的中頻與高頻補丁的配對，扣除資料相同的補丁後，8 張高解析度影像總共可以產生大約 300,000 筆以上的補丁資料。. 38.

(52) 4.1.2 影像評量方法. 在數位影像處理中評斷圖像品質優劣的方式有兩種，一種是藉由主觀的視覺感受，另外一種則是使用客觀的數值評量。在一般研究中通常採用峰值訊號雜訊比(PSNR, Peak Signal to Noise Ratio)來評量影像品質的優劣，如式 (4.1)所示， xij 是原始影像中第(i, j) 像素的灰階值， xij 表示參考影像中第(i, j)像素的灰階值，M 與 N 則為影像的大小。PSNR. 政治大時，PSNR 值在 30 以上算是輕微的失真，而當 PSNR 值達到 40 以上的話，幾乎可以跟立. 值越大代表與原始影像越接近，也就是擁有較高的影像品質，通常，在比較影像失真度. ‧ 國. 學. 原始影像一模一樣了。. ‧.     2 255   PSNR  10  log10   M N  1  ( xij  yij ) 2   MN i 1 j 1 . n. er. io. sit. y. Nat. al. (4.1). Ch. i n U. v. 另外，結構相似度指標(SSIM index, Structural SIMilarity index)[23]是一種用於評量. engchi. 兩張影像相似度的指標，結合了影像的亮度、對比度與結構性，綜合性地表示影像的整體品質，相較於常用的峰值訊號雜訊比，結構相似度指標在影像品質的評量上較能符合人眼對於影像品質的判斷，SSIM 值越高代表與原始影像越接近，也就是擁有較高的影像品質。其計算公式如式 (4.2)所示，其中，l ( x, y) (式 (4.3))比較 x 與 y 的亮度(luminance)，. c( x, y) (式 (4.4)) 比較 x 與 y 的對比度(contrast)， s( x, y) (式 (4.5)) 比較 x 與 y 的與結構性(structure)，並給予不同的權重α、β、γ，  x 與  y 、 x 與  y 分別為 x 與 y 的平均值與標準差，  xy 則為 x 與 y 的共變異數，而 C1 、 C2 與 C3 為常數，目的在於增加計算之穩定性。 39.

(53) SSIM ( x, y)  [l ( x, y)]  [c( x, y)]  [s( x, y)]. l ( x, y ) . c ( x, y ) . s ( x, y ) . (4.2). 2 x y  C1. (4.3).  x2   y2  C1 2 x y  C2. (4.4).  x2   y2  C2  xyC3  x y  C3. 立. 政治大. (4.5). ‧ 國. 學. 為了比較本論文方法與 Freeman 的方法所得到的超解析度影像的效果，我們將以不同的低解析度影像來進行測詴，並使用 PSNR 與 SSIM 作為量化數據的標準，以證實本. ‧. 論文方法的效果。此外，我們也將利用客觀的評量數據來分析訓練資料的特性對於超解. Nat. sit. al. n. 實驗結果. er. io. 4.2. y. 析度結果的影響。. Ch. engchi. i n U. v. 本節中，我們針對受測影像的取樣比率對於超解析度結果的影響進行分析，並決定受測影像的取樣比率。接下來，將比較以本論文方法與 Freeman 的方法所得到的超解析度的影像放大的效果，並對於兩者的差異進行分析。. 40.

(54) 4.2.1 受測影像的取樣比率對於超解析度結果的影響. 為了對照超解析度的結果與原始影像之間的差異，我們假設低解析度影像是高解析度影像受到高斯模糊與向下取樣的退化所產生，因此，將受測的高解析度影像樣本，加入 mean 值為 1 的 5×5 高斯低通模糊函數，再經由向下取樣的動作將影像縮小以降低影像的品質。訓練資料的影像樣本如圖 4-1 所示，資料庫中的補丁配對數量為 200,000 筆。我們分別以 1/2、1/4、1/16、1/64 與 1/256 的縮小比率進行實驗。. 立. 政治大. Conditions:. ‧ 國. 學. DB: Human face DB patches: 200,000 LR resize: 1/2 Patches synthesis: image quilting. ‧. io. sit. y. Blur and Resize to 1/2. n. al. er. Nat. Original HR image. High pass filter. Ch. engchi. i n U. v. Result. Resize by NN. PSNR: 32.30 dB SSIM: 78.56%. 圖 4-10 受測影像向下取樣 1/2 的結果. 41. Quilting path.

(55) Conditions: DB: Human face DB patches: 200,000 LR resize: 1/4 Patches synthesis: image quilting. Original HR image. Blur and Resize to 1/4. 立. High pass filter. 政治大. Result. Resize by NN. Quilting path. PSNR: 31.74 dB SSIM: 76.22%. ‧ 國. 學圖 4-11 受測影像向下取樣 1/4 的結果. ‧ y. Nat. DB: Human face. n. al. er. io. sit. Conditions:. Ch. n U engchi. Original HR image. Blur and Resize to 1/16. High pass filter. Resize by NN. iv. DB patches: 200,000 LR resize: 1/16 Patches synthesis: image quilting. Result PSNR: 30.95 dB SSIM: 72.50%. 圖 4-12 受測影像向下取樣 1/16 的結果. 42. Quilting path.

(56) Conditions: DB: Human face DB patches: 200,000 LR resize: 1/64 Patches synthesis: image quilting. Original HR image. Blur and Resize to 1/64. 立. High pass filter. 政治大. Result. Resize by NN. Quilting path. PSNR: 29.06 dB SSIM: 66.22%. ‧ 國. 學圖 4-13 受測影像向下取樣 1/64 的結果. ‧ y. Nat. sit. Conditions:. io. n. al. er. DB: Human face. Ch. n U engchi. Original HR image. Blur and Resize to 1/256. High pass filter. Resize by NN. iv. DB patches: 200,000 LR resize: 1/256 Patches synthesis: image quilting. Result PSNR: 26.14 dB SSIM: 59.46%. 圖 4-14 受測影像向下取樣 1/256 的結果. 43. Quilting path.

(57) 圖 4-10 到圖 4-14 分別表示一張人臉的受測影像在經過 1/2、1/4、1/16、1/64 與 1/256 的向下取樣後，由超解析度演算法所放大後的影像。可以發現當取樣比率在 1/2、1/4 與 1/16 時，其各對應的中頻影像仍可清楚地看見人臉的輪廓與一些細節資訊，在超解析度後的 PSNR 值仍有 30 dB 以上，SSIM 也保有 70%以上，算是可以接受的影像品質。而取樣比率在 1/64 與 1/256 時，其各對應的中頻影像幾乎已無邊緣等中頻資訊，在超解析度後的 PSNR 已降至 30 dB 以下，SSIM 也低於 70%，影像失真嚴重。如表 4-1 與圖 4-15 所示，受測影像在退化過程的取樣比率越小時，PSNR 與 SSIM 也隨之降低，影像失真. 政治大. 的情況越嚴重。後續實驗中，我們將以 1/2、1/4 與 1/16 作為受測影像在退化過程中的. 立. 主要取樣比率。. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 44. i n U. v.

(58) 表 4-1 受測影像在不同取樣比率的條件下所得到的 PSNR 與 SSIM Resize. PSNR (dB). SSIM (%). 1/2. 32.30. 78.56. 1/4. 31.74. 76.22. 1/16. 30.95. 72.50. 1/64. 29.06. 66.22. 1/256. 26.14. 59.46. 立. SSIM. 1//2. 1/4. 50%. Nat. 20. 60%. 1/16. io. al. 1/256. 1//2. n. (a). 1/64. Ch. y. 25. 70%. ‧. 30. 80%. 1/4. 1/16. (b). sit. 35. 90%. er. 40. 學. ‧ 國. PSNR. 政治大. n U engchi. iv. 1/64. 1/256. 圖 4-15 受測影像在不同取樣比率的條件下所得到的 PSNR 與 SSIM 折線圖. 4.2.2 不同補丁合成方法對於超解析度結果的比較. 在這部分的實驗中，將比較本論文所提出的影像縫補技術與 Freeman 的 One-pass 演算法這兩種不同的補丁合成方法對於超解析度結果的影響。訓練資料的影像樣本如圖 4-1 所示，資料庫中的補丁配對數量為 200,000 筆。. 45.

(59) Conditions: DB: Human face DB patches: 200,000 LR resize: 1/2 Patches synthesis:. smoother. Original HR image. One-pass algorithm vs. our method. Blur and Resize to 1/2. 立. 政治大. Our method. PSNR: 32.19 dB. PSNR: 32.30 dB. SSIM: 78.12%. SSIM: 78.56%. Quilting path. 學. ‧ 國. One-pass algorithm. 圖 4-16 One-pass 演算法與本論文方法在取樣比率為 1/2 時的比較(受測影像一). ‧ y. Nat. DB: Human face. smoother. n. al. er. io. sit. Conditions:. Original HR image. Ch. engchi. Un. iv. DB patches: 200,000 LR resize: 1/2 Patches synthesis: One-pass algorithm vs. our method. Blur and Resize to 1/2. One-pass algorithm. Our method. PSNR: 33.60 dB. PSNR: 34.29 dB. SSIM: 80.95%. SSIM: 81.66%. Quilting path. 圖 4-17 One-pass 演算法與本論文方法在取樣比率為 1/2 時的比較(受測影像二). 46.

(60) Conditions: DB: Human face DB patches: 200,000 LR resize: 1/4. sharper. Patches synthesis: One-pass algorithm vs. our method. Original HR image. Blur and Resize to 1/4. 立. 政治大. One-pass algorithm. Our method. PSNR: 31.02 dB. PSNR: 31.74 dB. SSIM: 73.90%. SSIM: 76.22%. Quilting path. ‧ 國. 學. 圖 4-18 One-pass 演算法與本論文方法在取樣比率為 1/4 時的比較(受測影像一). ‧. Nat. y. Conditions: DB patches: 200,000. n. al. er. io. sit. DB: Human face. Original HR image. Ch. engchi U. v ni. LR resize: 1/4 Patches synthesis: One-pass algorithm vs. our method. Blur and Resize to 1/4. One-pass algorithm. Our method. PSNR: 32.36 dB. PSNR: 33.33 dB. SSIM: 76.21%. SSIM: 78.39%. Quilting path. 圖 4-19 One-pass 演算法與本論文方法在取樣比率為 1/4 時的比較(受測影像二). 47.

(61) Conditions: DB: Human face DB patches: 200,000 LR resize: 1/16 Patches synthesis: One-pass algorithm vs. our method. Original HR image. Blur and Resize to 1/16. 立. 政治大. One-pass algorithm. Our method. PSNR: 30.82 dB. PSNR: 30.95 dB. SSIM: 72.15%. SSIM: 72.50%. Quilting path. ‧ 國. 學. 圖 4-20 One-pass 演算法與本論文方法在取樣比率為 1/16 時的比較(受測影像一). ‧. Nat. y. Conditions: DB patches: 200,000. n. al. er. io. sit. DB: Human face. Original HR image. Ch. engchi U. v ni. LR resize: 1/16 Patches synthesis: One-pass algorithm vs. our method. Blur and Resize to 1/16. One-pass algorithm. Our method. PSNR: 32.37 dB. PSNR: 32.69 dB. SSIM: 75.76%. SSIM: 75.88%. Quilting path. 圖 4-21 One-pass 演算法與本論文方法在取樣比率為 1/16 時的比較(受測影像二). 48.

(62) 圖 4-16、圖 4-18 與圖 4-20 分別代表受測影像一在取樣比率為 1/2、1/4、1/16 時的超解析度放大結果；圖 4-17、圖 4-19 與圖 4-21 則分別代表受測影像二在取樣比率為 1/2、1/4、1/16 時的超解析度放大結果。以本論文方法所產生的超解析度影像與 Freeman 的方法相比，可以發現在受測影像中，頭髮的邊緣較為銳利，而皮膚也較為平滑。由於本論文方法在每一次高頻補丁與相鄰補丁的合成上，都會找最小錯誤邊界的分割，如圖 4-22 所示，我們將每一次的最小錯誤邊界的分割紀錄成一張路徑圖，以觀察其實際分割的變化並與超解析度後的影像進行對照比對。. 立. 政治大. ‧. ‧ 國. 學 er. io. sit. y. Nat. al. n. v i n Ch 圖 4-22 補丁在重疊區域的分割路徑圖 engchi U. 如表 4-2 所示，本論文方法在 PSNR 與 SSIM 的數據都高於 Freeman 的 One-pass 演算法。其中，如圖 4-23 與圖 4-24 所示，在受測影像的取樣比率為 1/4 時，效果更為明顯。在對照實際的評量數據 PSNR 與 SSIM 後，證實本論文所提出的影像縫補技術可以適用在以樣本為基礎的超解析度演算法中的補丁合成方法上，對於影像品質的提升有一定的幫助。. 49.

(63) 表 4-2 One-pass 演算法與本論文方法在不同取樣比率時所得到的 PSNR 與 SSIM 受測影像一 One-pass 演算法. 本論文方法. PSNR (dB). SSIM (%). 32.19. 78.12. 32.30. 78.56. 1/4. 31.02. 73.90. 31.74. 1/16. 30.82. 72.15. 30.95. SSIM (%). 33.60. 80.95. 34.29. 81.66. 76.22. 32.36. 76.21. 33.33. 78.39. 72.50. 32.37. 75.76. 32.69. 75.88. 政治大. SSIM 90% 85% 80% 75% 70%. 1/4. 1/16. Nat. 本論文方法. One-pass演算法. io. al. Ch. 1/4. n U engchi. 1/16 本論文方法. One-pass演算法. n. (a). 1//2. y. 1//2. PSNR (dB). ‧. 30. 立. SSIM (%). 學. 35. ‧ 國. PSNR. PSNR (dB) SSIM (%) PSNR (dB). 本論文方法. sit. 1/2. One-pass 演算法. er. Resize. 受測影像二. (b). iv. 圖 4-23 One-pass 演算法與本論文方法在不同取樣比率時的折線圖(受測影像一). PSNR. SSIM. 35. 90% 85% 80% 75%. 30. 70% 1//2. 1/4. One-pass演算法. 1/16. 1//2. 本論文方法. 1/4. 本論文方法. One-pass演算法. (a). 1/16. (b). 圖 4-24 One-pass 演算法與本論文方法在不同取樣比率時的折線圖 (受測影像二). 50.

(64) 另外，為了讓實驗結果能更為嚴謹與周延，我們使用了 FEI face database 中的 100 張人臉圖片作為大量受測影像的樣本，以大規模受測影像的實驗數據驗證本論文方法的效能。如圖 4-25 所示，總計 100 張解低度為 200×200 的人臉受測影像，其中男性與女性的比例各為 50%，先將 100 張高解析度影像退化為低解析度影像，然後以光柵式掃描的順序依續進行測詴。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 4-25 100 張 200×200 pixels 的人臉受測影像(縮小顯示). 51.

(65) PSNR 40. 35. 30. 25. 政治大 One-pass演算法. 立. ‧ 國. ‧ y. sit. n. al. er. io. 80%. SSIM. Nat. 90%. (a). 學. 100%. 70%. 本論文方法. Ch. engchi. One-pass演算法. i n U. v. 本論文方法. (b) 圖 4-26 100 張人臉受測影像所得到的 PSNR 與 SSIM 的折線圖. 圖 4-26 (a)與(b)各為 100 張人臉受測影像的實驗數據所繪製而成的 PSNR 與 SSIM 的折線圖，可以很清楚地發現，以本論文方法所得到的 PSNR 與 SSIM 的值均高於 One-pass 演算法。其中，在最好的狀況下，以本論文方法所得到的 PSNR 值可以大於 One-pass 演算法約 1.5 dB，而在 SSIM 的部分，也有高達 4%的差距。此外，我們也使. 52.

(66) 用 Freeman 的以樣本為基礎的超解析度演算法文中的一張失敗案例的影像進行實驗，如圖 4-27 所示，將一張含有 JPEG 雜訊的低解析度影像進行超解析度放大，以 Freeman 方法放大的結果，在影像中人物的臉上出現許多因雜訊與補丁接續不良而產生的人工高頻資訊，相對於本論文方法，由於利用影像縫補技術，使得補丁與補丁之間的接續性更為良好，對於含有雜訊的影像而言，以本論文方法所得到的超解析結果同樣也優於 Freeman 方法。. 立. 政治大. ‧ 國. 學 ‧. (b). n. Ch. (c). engchi. er. io. sit. y. Nat. a(a)l. i n U. v. 圖 4-27 Freeman 方法與本論文方法對於雜訊影像的超解析度結果的比較 (a) 原始低解析度影像 (b) 以 Freeman 方法放大 4 倍的結果 (c) 以本論文方法放大 4 倍的結果. 53.

(67) 4.3. 訓練資料的特性對於超解析度結果的影響. 在訓練程序中，我們以中頻與高頻補丁在空間上的相對應關係為基礎定義了訓練資料的關聯模型，同時也定義了不同解析度影像間的統計關係是獨立於影像對比度，並與縮放比率無關，所以資料間的關聯性是建立在影像的區域(local)關係而非全域(global)關係上，然而不同的訓練影像經訓練程序後所產生的補丁資料，其像素值的分佈與變化都不盡相同。在這一節中，我們將分析不同數量與不同類別的訓練資料，對於超解析度結. 治政果的影響，同時我們也將探討相同性別或者是人種的受測影像與訓練資料的組合，對於大立人臉超解析度的結果是否具有正面的意義與幫助。 ‧ 國. 學. Nat. y. ‧. 4.3.1 不同數量的訓練資料對於超解析度結果的比較. io. sit. 就統計學上的角度而言，訓練資料的數量越多，代表中頻與高頻補丁的變化組合越. n. al. er. 多，則越能滿足在超解析度階段中最相似補丁的搜尋結果。在 Freeman 的方法，其使用. Ch. i n U. v. 了 6 張 200×200 的高解析度影像作為訓練資料的樣本，產生了大約 200,000 筆的中頻與. engchi. 高頻補丁的配對做為訓練資料，並獲得了良好的影像品質。為了找出訓練資料的數量與執行結果的關係，我們以圖 4-1 中的人臉影像樣本作為訓練資料，分別產生 50K、100K、 150K、200K、250K、300K 的補丁配對數量進行測詴。. 54.