I-Shou University Institutional Repository:Item 987654321/12880

全文

(1)義. 守. 大. 學. 資訊工程研究所碩士論文. 適應性取樣為基礎之影像放大 Adaptive Sampling Based Image upsampling. 研究生：莊定遠指導教授：楊乃忠共同指導教授：郭忠民. 博士博士. 中華民國壹百年六月.

(2) 適應性取樣為基礎之影像放大 Adaptive Sampling Based Image upsampling 研究生：莊定遠 Student：Ting-Yuan Chuang 指導教授：楊乃中博士 Advisor：Nai-Cung Yang 共同導教授：郭忠民博士 Co-Advisor：Chung-Ming Kuo. 義守大學資訊工程研究所碩士論文 A Thesis Submitted to Department of Information Engineering I-Shou University in Partial Fulfillment of the Requirements for the Master degree in Information Engineering. June, 2011 Kaohsiung, Taiwan, Republic of China.

(3)

(4) 適應性取樣為基礎之影像放大研究生：莊定遠. 指導教授：楊乃中博士共同指導教授：郭忠民博士. 義守大學. 資訊工程研究所. 碩士論文. 摘要本論文主旨在針對現行的手持行動裝置、例如手機 PDA 等產品之影像放大，研究如何在運算能力不足的情況下完成即時放大，並且同時兼顧影像品質，另一方面希望能夠應用在醫療圖片，路口監視的照片與個人的相片放大及到即修正檢視的目的。本論文主要是用以分類為基礎內插來完成影像放大，首先運用 Lagrange polynomial 內插，做個簡單的分類得到初步的放大圖片，再運用以樣本為基礎的超解析技術(example-based for super resolution)的精神做個簡單的原始影像，依相對位置去比對原始圖片的資料再和超解析後的圖片去比對，然後把差異極大的值修正。經由本論文所提出的方法擁有低計算複雜度的特性，和不具有龐大複雜的資料庫去做運算，經由實驗結果証明，本論文所提出的以混合方法為基礎之超解晰影像，不僅能符合放即時大修正的目的，更能有效的在運算能力有限的行動裝置上來完成。 i.

(5) 關鍵字：沿著邊緣方向內插，以樣本為基礎的超解析技術. ii.

(6) Adaptive Sampling Based Image upsampling Student：Ting-Yuan Chuang. Advisor：Nai-Cung Yang Co-Advisor：Chung-Ming Kuo. Department of Information Engineering I-Shou University. Abstract This thesis focuses on how to improve the quality of image resizing for hand-held devices, which are characterized by their low computation performance, such as PDA. On the other hand, the algorithm can be extended to many applications, e.g., medical images, surveillance and digital camera. The proposed method introduces a region-based interpolation. First, the best sampling set is determined by a simple way based on object concept. Then, Lagrange polynomial is adopted to compute the pixel values. Finally, each pixel is compared with the original image. If the interpolated value is unreasonable due to the existence of noises, the pixel is corrected by a simple example-based technique. Results indicate that the proposed achieve high performance on v i s u a l. q u a l i t y. a n d. c o m p u t a t i o n a l. Keywords：Image Resizing, Interpolation iii. c o s t ..

(7) 誌謝承蒙楊乃中老師、郭忠民老師，提供許多學業與研究上的指導，在報告時耐心的聆聽，因為你們不辭辛勞的耐心指導，學生始能順利完成研究，在此致上最誠摯感謝與感激。另外特別感謝楊乃中老師，在這兩年的研究中給予我許多的鼓勵，除了平時細心的指導外，還給予我人生上許多的看法，在我最失落時給我的鼓勵。此外，還要感謝博士班學長劉志山分享了許多做研究的觀念與態度，讓我在遇到研究的瓶頸時能夠順利的克服困難，以及研究時間所有同學們的相互扶持與鼓勵，碰到問題能夠一起討論，一起成長，透過彼此的交流讓我學習到很多研究的知識跟人生的道理。最後特別要感謝研究室裡的一群認真的同學們，除了專心在自己的研究上，並且總是不吝於分享，讓我們在足夠的資源下互相討論、互相學習，一起成長，關懷與鼓勵，你們的支持跟關心是讓我打起精神面對一切困難的最大動力。. v.

(8) 目錄摘要 ......................................................................................................... I ABSTRACT...........................................................................................III 誌謝 ...................................................................................................... V 目錄 .................................................................................................... VI 圖目錄 ................................................................................................ VIII 第1章. 緒論......................................................................................... 1. 1.1 研究背景與動機 .............................................................................. 1 1.2 論文結構 .......................................................................................... 3 第2章. 相關研究回顧 ......................................................................... 4. 2.1 經由高頻取樣強化邊緣影像 ......................................................... 4 2.1-1 簡介 ......................................................................................................................................4 2.1-2 高頻取樣的方法 ...................................................................................................................4 2.1-3 邊緣的處理..........................................................................................................................5 2.1-4 提出方法..............................................................................................................................6 2.1-5 優缺點 .................................................................................................................................6. 2.2. 單張影像學習以樣本為基礎超解析和 JPEG 人工移除 ............. 8 2.2-1 簡介 ......................................................................................................................................8 2.2-1.1 單張影像超解晰 ...............................................................................................................8. vi.

(9) 2.2-1.2 JPEG 人工痕跡移除 ..........................................................................................................9 2.2-2 結合比對資料庫 ..................................................................................................................9 2.2-3 優缺點 ............................................................................................................................... 10. 2.3 以樣本為基礎超解析 .......................................................... 12 2.4 最近相鄰內插 ...................................................................... 15 2.5 沿著邊緣方向內插 .............................................................. 17 2.6 雙線性內插法 ...................................................................... 18 第3章. 以混合方法為基礎之超解析影像 .........................................20. 3.1 以分類為基礎多項式內插 ...................................................... 20 3.2 二次多項式 LAGRANGE POLYNOMIAL ...................................... 24 3-2-1 簡易區域分類與 Lagrange polynomial 內插合併方式 ..................................................... 26. 3.3 以樣本為基礎把不合理的值修正 .......................................... 28 第4章. 實驗結果 ................................................................................30. 4.1 實驗環境 ................................................................................. 30 4.2 實驗結果 ................................................................................. 31 第 5 章、結論與未來發展 ....................................................................52 參考文獻 ...............................................................................................53. vii.

(10) 圖目錄. 圖 1 單張影像學習以樣本為基礎超解析和 JPEG 人工移除（放大放大 2 倍）a. NN 插值，b. 原始影像，以及從 C – G，分別為 SVR, NN, NLE, NIP 以及 Kim 與 Kwon 等人提出的方法的超解析度 ......................................................... 11 圖 2 馬克夫網路模型 .............................................................................................. 13 圖 3（a）原影像。（b）雙立方內插。（c）Freeman 等人的做法。 .............. 13 圖 4 最近相鄰內插示意圖 ...................................................................................... 15 圖5. (a)為原始圖片(b)為最近相鄰內插後的節果 .............................................. 16. 圖 6 雙線性內插示意圖 .......................................................................................... 18 圖 7 (a)原始圖 (b)雙線性內插法 ........................................................................... 19 圖 8 最近相鄰內插 .................................................................................................. 20 圖 9 雙線性內插 ...................................................................................................... 21 圖 10 捕捉資料示意圖(水平方方) ......................................................................... 23 圖 11 Lagrange polynomial 示意圖 ........................................................................ 25 圖 12 簡易區域分類示意圖 .................................................................................... 26 圖 13 以樣本為基礎修正示意圖 ............................................................................ 28 圖 14 山羊放大 2 倍比較結果 ................................................................................ 31 圖 15 鳥放大 2 倍比較結果 .................................................................................... 32 viii.

(11) 圖 16 牛放大 2 倍比較結果 .................................................................................... 33 圖 17 孔雀放大 2 倍比較結果 ................................................................................ 34 圖 18 乳牛放大 2 倍比較結果 ................................................................................ 35 圖 19 天鵝放大 2 倍比較結果 ................................................................................ 36 圖 20 老鷹放大 2 倍比較結果 ................................................................................ 37 圖 21 海鷗放大 2 倍比較結果 ................................................................................ 38 圖 22 花放大 2 倍比較結果 .................................................................................... 39 圖 23 花邊緣放大 2 倍比較結果 ............................................................................ 40 圖 24 貨車頭放大 2 倍比較結果 ............................................................................ 41 圖 25 貨櫃車放大 2 倍比較結果 ............................................................................ 42 圖 26 公車放大 2 倍比較結果 ................................................................................ 43 圖 27 電車放大 2 倍比較結果 ................................................................................ 44 圖 28 燈塔放大 2 倍比較結果 ................................................................................ 45 圖 29 風車放大 2 倍比較結果 ................................................................................ 46 圖 30 鐵塔放大 2 倍比較結果 ................................................................................ 47 圖 31 公園放大 2 倍比較結果 ................................................................................ 48 圖 32 日落放大 2 倍比較結果 ................................................................................ 49 圖 33 農耕機放大 2 倍比較結果 ............................................................................ 50. ix.

(12) 第1章. 緒論. 1.1 研究背景與動機近年來，由於多媒體數位視訊產品快速發展，改變了我們的生活，也隨著不同領域發展出許多不同的需求，例如手機、PDA 等多媒體數位產品不斷進步，其中數位相機、數位攝影機的功能都被完整的整合致其中使得數位影像的機會提高不少，加上網際網路的快速發展，數位影像可說是現代人生活中的一部份，不管是瀏覽網頁、收發電子郵件或是管理自己的網路相簿，數位影像隨處可見。不過有時可能會因硬體的設限（如：鏡頭的解析度、儲存設備空間、處理器的運算能力....等），所取得的影像解析度往往不如我們所需。若想從硬體解決這個問題，會花上較多成本。除此之外，人們也可以藉助影像放大技術來達到所想要的結果。影像放技術是近年來相當熱門的研究之一，其應用層面相當廣泛，例如醫學領域的病患的胸部、頭部等的 X-ray 影像放大，或是自然科學上的衛星空照圖和刑事及交通事故的路口監視系統等，都被廣泛的運用。影像放大技術是將現有的影像資訊做填補的動作來提高影像解析度。而透過數位影像處理演算法從低解析度影像獲得高解析度影像。目前這一類解析度增強(resolution enhancement)的方法稱之為超解析度(Super Resolution)，目前常用的方法可分成三類： 1.

(13) 1.多項式內插(polynomial interpolation) 2.沿著邊緣方向內插(edge-directed Interpol) 3.以樣本為基礎的超解析技術(example-based for super resolution) 多項式內插是目前影像超解析度應用最廣的方法，主要具有演算法簡單、運算速度快和在平滑區域效果不錯等優點。常用的多項式內插方法有零次內插(Zero-order Interpolation)、雙線性內插(Bilinear Interpolation or first-order interpolation)和雙立方內插法(Bicubic Interpolation or second-order interpolation)。提出沿著邊緣方向內插方法，主要是為了解決多項式內插在高頻資訊無法有效呈現的問題，這裡的高頻資訊是指影像的紋理(texture)和邊緣(edge)區域，由於人眼對於統理區域的感受較不明顯，因此，這一類方法所強調的重點在於邊緣部分的保留，這類演算法的基本構想是先找出在影像中屬於邊的部分，並且決定這些邊的方向，藉由這兩個有關邊緣的資訊，然後取樣函數就會沿著所偵測到的邊的方向，做一個適當的轉換，所以不同方向的邊緣都各自有一個順著算己方向的取樣函數來做內插。而以樣本為基礎的超解析度主要是為了解決沿著邊緣方向內插無法處理的高頻紋理區域而提出的。它的概念在於利用己經存在的高解析度影像來當作模型的訓練資料，使其產生低解析度和高解析度可能的對應關係資料庫，進而強化低解析度影像所缺少的高頻資訊，這個方法主要是利用方真 (plausible)的高頻資訊來提高影像的視覺品質，而非影像原來真正的高頻資 2.

(14) 訊。. 1.2 論文結構本論文架構中，第二章相關研究回顧將介紹影像多項式內插常用的方法。第三章介紹我們提出來的方法：依照第二章的方法採用混合的方式，並且做點簡單的修改，來達到我們提出的目地。第四章實驗結果中，針對影像加入我們的方法之實驗結果。最後第五章是結論與未來發展。. 3.

(15) 第2章. 相關研究回顧. 2.1 經由高頻取樣強化邊緣影像 ( Image Upsampling Via Imposed Edge Statistics ) 2.1-1 簡介影像大小調整或重新取樣是最基本的一種影像處理，幾乎所有的影像處理軟體都支援，並可用於多種用途。雖然要得到令人滿意的結果，低頻部份必須經過適當的低頻濾波，而高頻取樣不可以這麼做。高頻取樣影像通常缺乏小規模與紋理相關的特點，而且清的邊界變得模糊，原來的像素點網格仍然很明顯，在某些情況下，密度突然轉換時，附近還會出現震動。一般情況上說，高頻取樣要確定的像素點密度比起指定的取樣數目要多的多，其結果將與取得影像資訊與假設密切相關。文獻[1]中指出不同解析度的影像倒數關係，和真實世界影像類似，相互之間有獨特的關連性；較高解析度的像素點差異取決於他們與邊界的距離，邊界空間分佈的差異強度，都在低解晰度影像中進行估算。基於這種不平凡的關係，作者 Fattal 開發出了一種新的影像高頻取樣的方法。使用低解析度影像加上以統計方法為基礎的資訊，邊緣就可以保持清析，且與高頻取樣有關的典型缺陷可以達到最小化。 2.1-2 高頻取樣的方法 4.

(16) 影像高頻取樣的題已引起電腦圖形和影像處理研究方面的廣泛的討論。因此，近年來已經提出許多新技術。比如 Carrato 等人提出線性插值參數化會隨著局部密度的不同而變化，這個方法就可以更快速地進行影像強度轉換。儘管這種方法比起線性濾波，能產生更清晰的邊界，一維處理會造成不均勻區域的水準和垂直邊界。Su 與 Willis 2004 提出權重內插方式減少取樣數目，然而缺點是產生區塊效應。另一種改善高頻取樣影像品質的方法是減少鋸齒。採用了某種指定的插值技術後，等照度線的通過反覆的過程來最小化。解析度的增強也得到了改進，以便更廣泛地應用。分析插值影像可以透添加高頻資訊(假的資料)來改善。這種方法可以產生清晰的影像邊界和詳細的外觀。然而，這樣一個有限的資訊往往會在構建影像中會出現某些誤差。 2.1-3 邊緣的處理影像中的清晰邊界一般意味著此處有較強度的梯度集中，而平滑的邊界則表示較弱的梯度在分散。作者對一個影像進行高頻取樣時，是通過構建一個梯度空間來實現的，而不是直接由像點的密度來決定。重點就在於生成密度合適的梯度空間，就可以建構清晰的邊緣，同時避免震動痕跡。因此，我們就要以統計低解析度輸入影像預測高解析度影像的空間強度差異。輸入影像中強度的平滑度可能不會與較高解析度中類似的傾斜和空間分佈有關。在不同的解析度下捕捉不同的邊 5.

(17) 界依賴關係，如果在數量上增多，就會為新的高頻取樣的影像提供一個正確的邊界建構標準。 2.1-4 提出方法 1. 在過濾的邊界強度的變化定義為： t2. 𝓂(𝓍) = � 𝒩�𝜑𝓍 (t)�𝑑𝑑. t1. 2. 定義t 0為邊緣的質量中心其中𝜑𝓍 (t)為邊緣的梯度的方向 t2. t 0 = � t ∙ 𝒩�𝜑𝓍 (t)�𝑑𝑑 ∕ 𝓂(𝓍), t1. 3. 最接近邊的二次矩s(𝓍)定義為： 𝑡2. s(𝓍) = � (t − t 0 )2 ∙ 𝒩�𝜑𝓍 (t)�𝑑𝑑 ∕ 𝓂(𝓍), t1. 4. 將統計方式利用高頻取樣的模(EFCM)型問題最終將求解來得到影像最佳化的問題 d log(𝑃) 𝑇 D 𝑠 . 𝑑 𝐷 .𝐼 = 𝐿 𝑑𝐼. 其中： I : 為影像的高頻資訊 L : 為影像的低頻資訊 D : 為 N 的階層 2.1-5 優缺點. 這個方法是以實際的邊界特性為基礎。它能夠重建清晰的邊界。如 6.

(18) 果在收集統計資料時，如果能限制到特定類型的場，景那麼可能會產生更精確的影像。整體的清晰度會產生一個相當微妙的變化。針對通用的邊界行為，並不能準確描述每一項具體情況。作者 Fattal 能成功重建邊界的一個重要特徵就是邊界連續進行強制性互動，這樣就可以和邊界融合。事實上，這個機制在長邊情況完全一致的網格會沒有，通用的邊界來建構，可能就會缺乏適當的清晰度。高頻取樣使用的模型，可能會造成結構上的缺陷。另一方面，經. 由高頻取樣強化邊緣影像的技術能夠更成功地合成紋理。這個方法由於方程式太過於複雜，導致經常遇到無解的問題。主要原因如下： (一) 影像往往缺乏質感和紋理消失。 (二) 鋸齒痕跡雖然己經減少到最小，但有時還是能明顯地看到。 (三) 扭曲邊界的邊緣可能無法正常補捉。 (四) 此方法比現有的其他方法需要更多高計算複雜度。. 7.

(19) 2.2 單張影像學習以樣本為基礎超解析和 JPEG 人工移除 (Example-based Learning for Single-image Super-resolution and JPEG Artifact Removal) 2.2-1 簡介以樣本為基礎的超解析和 JPEG 人工移除是重要，但尚未完全得到解決的問題。Kim 與 Kwon[2]針對這些問題提出了一種方法，其基本想法就是先建立一個影像資料庫，並採取學習方式，把超解析後的影像，和資料庫比對後合成新影像。其方式如下： 1. 先將要處理的影像用三次內插並把高頻跟低頻做先行分類 2. 事先建立通用的影像資料庫 3. 綜合以上的方法個別產生後，並分別產生單張影像以訓練的方式，利用基礎的超解析和 JPEG 人工移除演算法。 2.2-1.1 單張影像超解晰影像的超解析度是指低解析度影像放大成高解析度的任務，主要為將新的高解析度細節加入到了重建的影像中。作法是用許多影像事先切割成區塊，並建立資料庫。假設一個場景中存在多個影像，交叉比對產生一個高解析度影像。現有的超解晰演算法在學習階段，收集成對的低解析度影像和相對應的高解析度影像切成固定的區塊的大小，在超解析度運算時，比對每 8.

(20) 個給定的低解析度影像的補丁和存儲的低解析度區塊，高解析度區塊對應到最近的低解析度區塊，如果滿足匹配條件時，就可以選定作為輸出。然後，使用馬爾可夫網路，以最近相鄰內插法為基礎估算高頻的區塊，進行超解晰運算。 2.2-1.2 JPEG 人工痕跡移除影像和視頻壓縮應用通常是用模組化離散餘弦轉換(DCT)的編碼，包括 JPEG 影像壓縮和 MPEG 視頻壓縮都採用這種方法。其基本想法是將影像分成獨立的模組，然後對每一個模組進行單獨轉換、量化和編碼。這種方法可以有效地開發 DCT 來壓縮小影像。然而，解碼的影像會出現區塊效應。針對此問題有幾種解決方法，就是重新應用 JPEG 處理編碼的影像，把影像移位到原來的亮度。另一種方法則是來自於銳化後低通濾波的想法。一旦模糊，JPEG 影像內的 DCT 區塊間邊界就會滅少，而問題就會變成遺失高頻資訊。這個問題可以從 DCT 係數分段回歸改進。 2.2-2 結合比對資料庫此方法先建立一個資料庫，當作比對資料。如果不單只以區塊為基礎而以周圍重建境為基礎，就能得到更準確的節果。為此，要為每個位置(x, y)輸入一個線性回歸資料集，他們收到的輸出影像區塊Z(N𝐿(x,y),;) ， 9.

(21) 與未知所需的輸出和資料庫之間去比對估算差異 ({d𝑡 (x, y), … . . , d𝑁 (x, y)})。一個圖位置(x, y)的像素點最終估計值就得到. 了：. Y(x, y) = � Wi (x, y)𝑍(𝑥, 𝑦, 𝑖), i=1,….,N. 其中 W𝑖 (𝑥, 𝑦) =. |di(x,y)| � 𝜎𝑐 �d (𝑥,𝑦)� ∑j=1,…,N 𝑒𝑒𝑒�− 𝑖 � 𝜎c. exp�−. X , Y 為影像座標 Wi 為影像權重值 D 為影像距離. 2.2-3 優缺點這個作法主要是用來捕捉遺失的高頻資訊，並且利用事先建好的資料庫去，比對影像不容易處理的高頻資訊，去做內插。先把要做超解析的影像用 cubic spline 的方式內插影像，然後在把高頻和低頻的資訊分開，並且利用 Freeman 與 Jones[2]等人提出的方法，把高頻資訊用 Laplacian 內插。接著在用事先建好的資料庫，隨機的去比對看看有沒有相似的資料，之後在把影像依據從資料庫找出的相似的資料，每一個像素點，並且輸出。 10.

(22) 這個方法的好處是雜訊少，而壞處是邊的部份會比較模糊。. 圖 1 單張影像學習以樣本為基礎超解析和 JPEG 人工移除（放大放大 2 倍） a. NN 插值，b. 原始影像，以及從 C – G，分別為 SVR, NN, NLE, NIP 以及 Kim 與 Kwon 等人提出的方法的超解析度. 11.

(23) 2.3 以樣本為基礎超解析 ( example based super-resoltion ) 以樣本為基礎超解析演算法主要對於空間上相對應的關係，使用馬克夫網路模型（Markov Network Model)，首先將影像與場景分割成小塊的補丁，然後將馬可夫網路的一個節點對應到一個補丁，而連接的邊表示統計上的依賴關係，當我們知道了位置上的場景，即可同時獲得該處影像與相鄰場景的資訊。首先給定一張經過初始放大、高頻抽取經前處理過的輸入影像，來估算出底層場景。輸入的影像製作成許多觀測點的中間頻率補丁𝓎，並用來在隱藏點高頻補丁𝓍中來尋找底層場景。如圖 2 所示，連接的邊表示節點之間統計上的依賴關係。訓練集合用來估算高頻節點水平方向之間相互的機率矩陣ψ，和高頻、中頻節點之間垂直方向的相互機率矩陣ϕ，最適合的高頻補丁在馬克夫網路中可獲得最大的機率值，互動的演算法，用來計算高解析度的影像。. 12.

(24) 圖 2 馬克夫網路模型. 圖 3（a）原影像。（b）雙立方內插。（c）Freeman 等人的做法。. 13.

(25) 產生假的高頻資料. 輸入影像資料. 原始低頻影像高低頻資訊分離. 合成假的高頻資料. *a 合成的高頻資料. 高頻資資訊. *. + 事先建好的資料庫隨機選出資料. 資料庫比對合成輸出. 先輸入影像資訊後把高頻資訊分出來然後，根據分出來的高頻資訊建立假的資料，接著在和原來的資料與，事先建立好的訓練的資料結合產生新的超解晰。 14.

(26) 2.4 最近相鄰內插 ( nearest neighbor interpolation ) 最近相鄰內插法，主要是要找到與非整數點座標距離最接近的整數像素點，並利用該整數像素點的值，作為新像素點的值。當影像放大時，由於比例關係，有可能會產像素在非整數點座標上的問題，因此需要藉由鄰近像素點的值來內插出新的值。利用鄰新像素點的灰階值，內插出新像素點灰階值的方法有很多，其中一種最簡單的方法就是最鄰近像素法，其主要精神是要找到與非整數點座標距離最接新的整數像素點，並利用該整數像素點的灰階值作為新像素點的灰階值。如圖 4 所示：. x. 影像 I(x,y) a b c. 影像 I(x,y). x 放大 3 的倍率. d e f g h i y. a. b. c. d. e P. f. g. h. i y. 圖 4 最近相鄰內插示意圖. 15.

(27) 圖5. (a)為原始圖片(b)為最近相鄰內插後的節果. 由圖 5 可得知最近相鄰內插由於是採用直接複製的方式因此(b)圖有明顯的鋸齒狀產生了。. 16.

(28) 2.5 沿著邊緣方向內插 ( edge-directed interpolation ) 沿著邊綠方向內插是由 Allebach 與 Wongh[5]所提出，其概念是經由找出低解析影像的邊緣資訊，將它對應到高解析度上的相對位置，再藉由修正過的內插法及配合適當的濾波器，建構出高解析度影像。隨後，Li 與 Orchard[6] 提出新邊緣方向內插法，其主要概念是邊緣的方冋與解析度無關，故可由內插估算出適合插補在較高解析度的影像。新邊緣方向內插法是一個 4 階的內插演算法，並且透過最小均方差去計算出內插像表的灰階值，這種演算法會先判斷影像物體邊緣的部份，然後再沿著邊緣的部分去做內插，以防止邊緣模糊的效應。 1. 1. Y2𝑖+1,𝑗+1 = � � 𝛼2k+l 𝑌2(𝑖+𝑘),2(𝑗+𝑙) 𝑘=0 l=0. 這個演算法雖然可以考慮到解決因影像放大所造成的一些失真現象，但由於此演算法的運算過程比較複雜，因此，此演算法如要套用在目前商業應用，可行性並不高。另外，此方法，只是將原先低解析度的影像，作較準確的放大，而並未考量到如果此低解析度的影像本身就己經遭受到模糊退化時，那麼影像放大後，仍然是模糊的影像。. 17.

(29) 2.6 雙線性內插法 (Bi-linear Interpolation Method) 雙線性內插法是利用相鄰四點的像素位置，依據已知的非整數像素與相鄰距離的遠近，根據比例求得取樣值。換句話說，就是給予相鄰像素值一個權重，距離近的取樣比例大，距離遠的取樣比例小。它跟最近相鄰內插法同樣都是利用鄰近的四個整數像素值，來計算出新的值，圖 6 為雙線性內插示意圖。. P1. P2 dy dx F(x,y ). P3. P4. 圖 6 雙線性內插示意圖. 18.

(30) 內插公式如下 ℱ (𝓍, 𝓎) = (1 − 𝑑𝓍 )�1 − 𝑑𝓎 �𝑃1 + 𝑑𝓍 �1 − 𝑑𝓎 �𝑃2 + (1 − 𝑑𝓍 )𝑑𝓎 𝑃3 + 𝑑𝓍 𝑑𝓎 𝑃4. 在圖 6 中ℱ (𝓍, 𝓎) = �𝑑𝓍 , 𝑑𝓎 �為影像放大後欲補插點的影像像素 P 所在. 的四個頂點其距離ℱ (𝓍, 𝓎)點越近，即表示像素值對ℱ (𝓍, 𝓎)點的貢獻度越大，. 反之則越小。使用雙線性內插法放大的影像，相鄰像素之間會比直接取整數點更有連續性，也就是更加平滑。圖 7 所示為雙線性內插法放大放大 2 倍後的結果。. 圖 7 (a)原始圖 (b)雙線性內插法 19.

(31) 第3章. 以混合方法為基礎之超解析影像. 3.1 以分類為基礎多項式內插經由第二章的說明我們不難發現，利用多項式內插放大後得到的結果，有明顯鋸齒狀產生，並且會有模糊不清的缺點。依最近相鄰內插為例，明顯有鋸齒狀產生。例如圖 8 人臉的邊、眼睛、帽子的邊緣、肩膀的邊緣都可以清楚的看到鋸齒狀產生。. 圖 8 最近相鄰內插. 20.

(32) 圖 9 為雙線性內插的結果，和圖 8 相比較，臉部的細節明顯就相差很多。圖 9 很清楚的可以看到比較模糊，如果仔細看，還是可以看到帽子部份有細微的鋸齒狀，不過和圖 8 比較起來，可以明顯改善很多。. 圖 9 雙線性內插. 21.

(33) 最近相鄰內插會有鋸齒狀的現象產生，最主要的原因是此方法採複製相鄰的像素，因而有鋸齒狀的現象產生。另外，雙線性內插則是採用平均的方法，以致內插後的結果模糊，這兩種方法的優點是運算速度快，缺點則是具有鋸齒狀或模糊與邊緣不清。因此，我們提出了以混合方法為基礎，來完成內插。其中主要方法為把原來的多項式內插之前，加入了一個判斷機制。因為傳統多項式內插，通常是直接複製旁邊的資料，或是把要內插的點的週圍的相鄰近像素資訊，內插出所要的資料，這樣的做法在運算上固然是簡單，執行也快，但是相對的如果遇到要內插的部份差異極大時，內插出來的結果相對的就不是很理想。也因為這樣，我們採取的方法，在要內插時，先加入一個簡單的分類機制，把要內插的像素點，與相鄰的像素比對的方式，把要內插的像素點的位置，依照放大比例去跟前面的像素點，與後面的像素點的相對位置做比對。如果內插目標和前面的像素點的值，比較相似，我們就用這個位置的像素點，來進行內插產生新的像素點，反之如果目標與後面的像素點。的值比較相似，就用這個位置的像素點，來進行內插，產生新的像素點，若都不像，則直接從中間的像素點，取樣內插，然後得到我們要的結果。. 22.

(34) 圖 10 中可知，X1、X2、X3、X4、X5、X6、X7、X6、X8、X9、X10 為來源圖的已知影像像素，其餘空白階為未知的像素值，綠色則為要進行內插取值的位置，當要進行內插取值時，可能的已知像素集合為 (X1、X2、 X3) (X2、X3、X5) (X3、X4、X5) 內插時選取合適的集合作為已知像素，可以得比較合理的結果。例如若(X1、X2、X3)比(X2、X3、X5)小，代表這些像素極可能是同一個選擇(X1、X2、X3)比(X2、X3、X5)合理。. X1. X2. X3. X4. X5. X6. X7. X8. X9. X10. 圖 10 捕捉資料示意圖(水平方方). 23.

(35) 3.2 二次多項式 Lagrange polynomial Lagrange polynomial 多項式內插公式為：. 𝑓(𝑥 ) = 𝑦0. (𝑥 − 𝑥1 )(𝑥 − 𝑥2 ) (𝑥 − 𝑥0 )(𝑥 − 𝑥2 ) (𝑥 − 𝑥0 )(𝑥 − 𝑥1 ) + 𝑦1 + 𝑦2 (𝑥0 − 𝑥1 )(𝑥0 − 𝑥2 ) (𝑥1 − 𝑥0 )(𝑥1 − 𝑥2 ) (𝑥2 − 𝑥0 )(𝑥2 − 𝑥1 ). 其中： x 為內插像素之座標值 x０、x１、x２為與 x 鄰近的像素點座標內插時分為二個步驟，分別為水平與垂直方向別內插。 y0、y1、y2 為相對置之已知像素值. 24.

(36) 假設黑底為已知像素值，若欲得到 I(i-1，j)的內插值那麼就要利用 I(i-2，j)、 I( i，j)、I( i+2，j)這三個值來內插。 Ii-2，j-2. Ii-1，j-2. Ii，j-2. Ii+1，j-2. Ii+2，j-2. Ii-2，j-1. Ii-1，j-2. Ii，j-1. Ii+1，j-1. Ii+2，j-1. Ii-2，j. Ii-1，j. Ii，j. Ii+1，j. Ii+2，j. Ii-2，j+1. Ii-1，j+1. Ii，j+1. Ii+1，j+1. Ii+2，j+1. Ii-2，j+2. Ii-1，j+2. Ii，j+2. Ii+1，j+2. Ii+2，j+2. 圖 11 Lagrange polynomial 示意圖. 利用 Lagrange polynomial 內插，完成整張圖片的放大依圖 11 如要果要內插的是水平方向，白底那一點的值的話，那就必須經由 I(i-2，j)、I( i，j)、I( i+2，j)這 3 點內插才能完成。. 25.

(37) 3-2-1 簡易區域分類與 Lagrange polynomial 內插合併方式由於二次多項式內插(Lagrange polynomial)會有邊緣錯色的問題為了改善這個問題，是我們用簡單區域的概念去分類。 Ii-4，j-4 Ii-3，j-4 Ii-2，j-4 Ii-2，j-4 Ii，j-4 Ii+1，j-4 Ii+2，j-4 Ii+3，j-4 Ii+4，j-4 Ii-4，j-3 Ii-3，j-3 Ii-2，j-3 Ii-2，j-3 Ii，j-3 Ii+1，j-3 Ii+2，j-3 Ii+3，j-3 Ii+4，j-3 Ii-4，j-2 Ii-3，j-2 Ii-2，j-2 Ii-1，j-2 Ii，j-2 Ii+1，j-2 Ii+2，j-2 Ii+3，j-2 Ii+4，j-2 Ii-4，j-1 Ii-3，j-1 Ii-2，j-1 Ii-1，j-1 Ii，j-1 Ii+1，j-1 Ii+2，j-1 Ii+3，j-1 Ii+4，j-1 Ii-4，j. Ii-3，j. Ii-2，j. Ii-1，j. Ii，j. Ii+1，j. Ii+2，j. Ii+3，j. Ii+4，j. Ii-4，j+1 Ii-3，j+1 Ii-2，j+1 Ii-1，j+1 Ii，j+1 Ii+1，j+1 Ii+2，j+1 Ii+3，j+1 Ii+4，j+1 Ii-4，j+2 Ii-3，j+1 Ii-2，j+2 Ii-1，j+2 Ii，j+2 Ii+1，j+2 Ii+2，j+2 Ii+3，j+2 Ii+4，j+2 Ii-4，j+3 Ii-3，j+3 Ii-2，j+3 Ii-1，j+3 Ii，j+3 Ii+1，j+3 Ii+2，j+3 Ii+3，j+3 Ii+4，j+3 Ii-4，j+4 Ii-3，j+4 Ii-2，j+4 Ii-1，j+4 Ii，j+4 Ii+1，j+4 Ii+2，j+4 Ii+3，j+4 Ii+4，j+4. 圖 12 簡易區域分類示意圖假設要求 Ii-1，j 的資料，相鄰的已知像素包括 Ii-4，j、 Ii-2，j、 Ii，j、 Ii+2，j、Ii+4， j，把這五個資料分成三組分別為 j、. A = (Ii-4，j、 Ii-2，j、 Ii，j) 、B = (Ii-2，j、 Ii，. Ii+2，j) 、C = (Ii，j、 Ii+2，j、Ii+4，j)再尋找最接近的一組進行內插。. 26.

(38) 例如欲求求 Ii-1，j 三組不同已知像素合分類如下： A = �I𝑖−4,𝑗 ，I𝑖−2,𝑗 ，I𝑖,𝑗 � B = �I𝑖−2,𝑗 ，I𝑖,𝑗 ，I𝑖+2,𝑗 �. C = �I𝑖,𝑗 ，I𝑖+2,𝑗 ，I𝑖+4,𝑗 �. 𝑥 =i-1 𝓍0 = i0 ，𝓍1 = i1 ，𝓍2 = i2. 我們定義σ2A 、 σ2B 、σ2C 分別為三個集合內像素的變異數，並用其判斷那一個. 集合中的像素值最接近，σ值愈小，代表這一個集合最有可能是同一個區域或物件，因此，將選擇這個集合作為內插的已知值若變異數 σ2A < σ2B 且 σ2A < σ2C ，則選擇 A 集合，即 𝓍0 = 𝐼𝑖−4,𝑗 �𝓍1 = 𝐼𝑖−2,𝑗 𝓍2 = 𝐼𝑖,𝑗. 若變異數 σ2B < σ2A 且 σ2B < σ2C ，則選擇 B 集合，即 𝓍0 = 𝐼𝑖−2,𝑗 � 𝓍1 = 𝐼𝑖,𝑗 𝓍2 = 𝐼𝑖+2,𝑗. 若變異數 σ2C < σ2A 且 σ2C < σ2B ，則選擇Ｃ集合，即 𝓍0 = 𝐼𝑖,𝑗 �𝓍1 = 𝐼𝑖+2,𝑗 𝓍2 = 𝐼i+4,j. 𝑓(𝑥) = 𝑦0. (𝑥 − 𝑖0 ) × (𝑥 − 𝑖2 ) (𝑥 − 𝑖0 ) × (𝑥 − 𝑖1 ) (𝑥 − 𝑖1 ) × (𝑥 − 𝑖2 ) + 𝑦1 + 𝑦2 (𝑖0 − 𝑖1 ) × (𝑖0 − 𝑖2 ) (𝑖1 − 𝑖0 ) × (𝑖1 − 𝑖2 ) (𝑖2 − 𝑖0 ) × (𝑖2 − 𝑖1 ) 27.

(39) 3.3 以樣本為基礎把不合理的值修正為了避免內插時，因為雜訊造成極不理想內插值，我們提出用原始影像和新產生的影像去比對，如果和原始影像差極大，則把原始影像的資料直接複製到新的影像，如圖 13. 原始影像. 放大後影像圖 13 以樣本為基礎修正示意圖. 28.

(40) 3.4 流程圖. 載入影像. 以分類為基礎分類. 決定相似的集合. Lagrange polynomial 內插. Yes. 判斷是否有不合理的值. No. 放大完成，輸出結果. 29. 以樣本為基礎修正不合理的值.

(41) 第4章. 實驗結果. 我們隨機從網路下載 85 張圖片，分別用論文提出的方法和現有常見的方法 Bilinear、Bicubic、Hermite 去做放放大 2 倍大比較，去把同一張圖片放大比較，再任意的從裡裡面挑選 20 張來展示。其中 Bilinear 是做影像放大，最基本的方法，同時也是效果最有限的方法，這方法除了會模糊，背景亮度也不是很理想，但是計算最簡單。而 Bicubic 是 Bilinear 的進階方法，從一次內插變為三次多項式內插，所以得到的效果相當不錯，但是，在運算上也明顯的複雜許多，另外 Hermite 則是比 Bilinear 好一點，他一樣會存在模糊的問題，不過他的顏色明顯比較深同時也有比較清晰一點。而本文提出的方法，經由選擇合適內插已知集合，得到的結果明顯優於其他方法。. 4.1 實驗環境在我們實驗中的硬體平台為 Intel Pentium 4 524, 3066 MHz (23 x 133)處理器和 1024MB 記憶體。在軟體系統上，採用微軟視窗 XP 系統和 Borland C++ Builder 6.0 編譯器。. 30.

(42) 4.2 實驗結果. 原始影像. A. Bilinear. B. Bicubic. C.提出方法. 圖 14 山羊放大 2 倍比較結果圖 14 為三種方法的測試結果。 A 圖為雙線性內插法。 B 圖為雙立方內插法。 C 圖為論文方法。其中從 A、B、C 中可以明顯的看出羊的眼睛從格子狀、到清晰。. 31.

(43) 原始影像. A. Bilinear. B. Bicubic. C.提出方法. 圖 15 鳥放大 2 倍比較結果圖 15 為三種方法的測試結果，主要為海鷗的影像，背景為藍色的天空。這張圖由於背景大多為藍色，所以不一樣的地方很有限，但是若仔細觀查，則可發現最大差別之處，在於鳥的尾巴和頭眼睛和鳥嘴，有光照射到的地方，有著明顯的差別。其中、Ａ圖效果最差其次是 B 圖然後 C 圖最好。. 32.

(44) 原始影像. A. Bilinear. B. Bicubic. C.提出方法. 圖 16 牛放大 2 倍比較結果圖 16 為三種方法的測試結果，主要為乳牛影像，背景為草地。其中 B 圖明顯模糊。C 圖在牛的眼睛旁邊比 B 圖亮度有部分差異。 C 圖在背景部份與在牛的主體、耳朵、頭的中間、身體都比較清晰。。. 33.

(45) 原始影像. A. Bilinear. B. Bicubic. C.提出方法. 圖 17 孔雀放大 2 倍比較結果圖 17 為三種方法的測試結果，主要為孔雀影像，背景為樹和草地其中 A、B 圖一樣有強烈的格子狀與模糊現象，唯一不同是是 C 在孔雀後面的樹和羽毛有較亮一點。. 34.

(46) 原始影像. A. Bilinear. B. Bicubic. C.提出方法. 圖 18 乳牛放大 2 倍比較結果圖 18 為三種方法的測試結果，主要為乳牛影像，背景為草地。其中 A 格子狀、B 圖模糊、C 圖線條亮度都有改善。 C 圖都有比其他的圖片鮮艷許多。. 35.

(47) 原始影像. A. Bilinear. B. Bicubic. C.提出方法. 圖 19 天鵝放大 2 倍比較結果圖 19 為三種方法的測試結果，主要為二隻鵝影像，背景為長滿草的地。其中 B 圖一樣明顯出現模糊。 C 圖在亮度上明顯提升，與Ａ、Ｂ相比明顯差很多。 A 圖在各方面都明顯比 B、C 差。. 36.

(48) 原始影像. A. Bilinear. B. Bicubic. C.提出方法. 圖 20 老鷹放大 2 倍比較結果圖 20 為三種方法的測試結果，主要為老鷹影像，背景為模糊的草地。。唯一的差別，在於老鷹的身體部份的羽毛、嘴吧、眼睛，明顯層次的線條上可以看的出清晰與模糊。. 37.

(49) 原始影像. A. Bilinear. B. Bicubic. C.提出方法. 圖 21 海鷗放大 2 倍比較結果圖 21 為三種方法的測試結果，主要為海鷗影像，背景為海上。這張圖片在背景部份，差別在於亮度，而在海鳥的主體部份差別也不大，不同之處在於鳥的眼睛，Ａ、Ｂ圖幾乎都看不到眼睛了都變白色的，而Ｃ圖在於翅膀的線條與頭部的亮度部份，都明顯比較亮。. 38.

(50) 原始影像. A. Bilinear. B. Bicubic. C.提出方法. 圖 22 花放大 2 倍比較結果圖 22 為三種方法的測試結果，主要為花的影像，背景為綠色草。這張圖對於，不同之處在於花朵附近，獨立的幾根樹葉與花朵的內部有差別外，依序為格子狀、模糊、清晰。. 39.

(51) 原始影像. A. Bilinear. B. Bicubic. C.提出方法. 圖 23 花邊緣放大 2 倍比較結果圖 23 為三種方法的測試結果，主要為花的影像，背景為牆壁。這個圖片中，背景與花的主體部份，有細微的差別，而在花朵的線條，與花朵的亮度有明顯的差。. 40.

(52) 原始影像. A. Bilinear. B. Bicubic. C.提出方法. 圖 24 貨車頭放大 2 倍比較結果圖 24 為三種方法的測試結果，主要為行駛中的卡車，背景為其他車輛與地上。在卡車的車頂與車頭引擎的線條，和裡面的駕駛都有顯差別。. 41.

(53) 原始影像. A. Bilinear. B. Bicubic. C.提出方法. 圖 25 貨櫃車放大 2 倍比較結果圖 25 為三種方法的測試結果，主要為貨車，背景為樹與地上。這張圖在在 A 圖跟Ｂ圖與Ｃ圖的差別在車尾的那一排 EXPRESS HAULAGE 字有著很大的差別，Ｃ圖的方法明顯比其他圖清楚很多。. 42.

(54) 原始影像. A. Bilinear. B. Bicubic. C.提出方法. 圖 26 公車放大 2 倍比較結果圖 26 為三種方法的測試結果，主要為紅色巴士影像，背景為樹和天空。這張圖不同之處在於車頭的白色字體 706 上方的黃色英文，SHOP AT 字樣，Ｃ圖明顯優於其他圖。. 43.

(55) 原始影像. A. Bilinear. B. Bicubic. C.提出方法. 圖 27 電車放大 2 倍比較結果圖 27 為三種方法的測試結果，主要為火車影像，背景為房屋和地上。。 C 圖在車頭部份亮度與字有明顯比較好。 A 圖在火車駕駛與字都有格子狀。Ｂ圖則是會模糊。. 44.

(56) 原始影像. A. Bilinear. B. Bicubic. C.提出方法. 圖 28 燈塔放大 2 倍比較結果圖 28 為三種方法的測試結果，主要為指引塔影像，背景為海洋。這張圖不同之處，在海浪的白色部份Ｃ圖明顯的感覺出立體感，和燈塔中間的，黑色的窗戶，有著明顯差別，明顯優於其他圖片。. 45.

(57) 原始影像. A. Bilinear. B. Bicubic. C.提出方法. 圖 29 風車放大 2 倍比較結果圖 29 為三種方法的測試結果，主要為風車影像，背景為天空。 A 圖與Ｂ圖差別不大。Ｃ圖則可以明顯的感覺出層次與線條感，在風車的葉片上明顯不一樣。. 46.

(58) 原始影像. A. Bilinear. B. Bicubic. C.提出方法. 圖 30 鐵塔放大 2 倍比較結果圖 30 為三種方法的測試結果，主要為鐡塔影像，背景為天空。這張圖最大的差別之處，在於逆光的鐵塔的主體與上方的雲部份。. 47.

(59) 原始影像. A. Bilinear. B. Bicubic. C.提出方法. 圖 31 公園放大 2 倍比較結果圖 31 為三種方法的測試結果，主要為綠色草原影像，背景為後方的樹。這一張圖 A、B、C 的結果，都不是很理想，主要在背景與主體都看的出模糊，不過Ｃ還是可以明顯的分別出深淺，與樹葉和地上的草。. 48.

(60) 原始影像. A. Bilinear. B. Bicubic. C.提出方法. 圖 32 日落放大 2 倍比較結果圖 32 為三種方法的測試結果，主要為日落影像，背景為紅色天空。這張圖在於太陽的邊緣部份，Ａ圖可以看到少格子狀。Ｂ圖有點模糊。Ｃ圖則是亮度明顯有改善，並且看不到格子狀與模糊的現象。. 49.

(61) 原始影像. A. Bilinear. B. Bicubic. C.提出方法. 圖 33 農耕機放大 2 倍比較結果圖 33 為三法的測試結果，主要為農耕機影像，背景為草原。Ａ圖有格子狀Ｂ圖格子狀沒了不過卻有模糊的現象。Ｃ圖整體顏色，明亮很多，同時車身線條與支架都可以清楚的感覺出立體感。. 50.

(62) 本文所提出方法，是用簡易區域分類的方式，加入一個判斷機制，檢查相鄰像素值相似的內插，最後在把內插後的結果，依照放大後的相對位置與原始影像比對修正，因為雜訊造成極不理想內插值。經實驗結果，我們可以歸納提出方法的優點為 1. 亮度增加 2. 邊緣變清晰 3. 背景變明亮 4. 影像中的字體變的更清楚 5. 背景不清的細節有變好 6. 顏色會變的更鮮艷. 51.

(63) 第 5 章、結論與未來發展在本論文中，為實現在運算能力有限的，手持行動裝置放大影像後的影像品質及解析度，我們使用了，以分類為基礎的方式，來放大資料，提出用 Lagrange polynomial 合併分類的方法，改善背景銳利度不足的問題，最後再以樣本為基礎的方法，做個簡單的修正不合理的值，這個方法，由於不需要事先建立好複雜的資料庫，所以能節省計算量，對於因為雜訊造成極不理想內插值，效果也不錯。在數位影像處理的領域中，影像的放大是一種很基本的運算，影像縮放的演算法也很多，都有各自的優缺點及特色。如果能再配合影像的邊緣偵測，針對邊緣與非邊緣的像表使用不同的放大演算法，定能使影像品質獲得相當程度的改善。最後，在第四章的實驗結果，與常見的放大演算法，比較之後，雖然有得到不錯的結果，但是如果真的在運算能力有限的，手持行動裝置放大影像，現階段要達到完美，似乎還有一段距離，畢竟我們是在運算能力，還不算太差的個人電腦上模擬的，但是相信在不久的將來一定能得到令人滿意的結果。. 52.

(64) 參考文獻 [1] R. Fattal, “ Image upsampling via imposed edges statistics, ”ACM Transactions on Graphics (Proceedings of SIGGRAPH 2007) 26, 95. July 2007. [2] K. I. Kim and Y. Kwon, “Example-Based Learning for Single Image Super-Resolution and JPEG Artifact Removal,” Max-Planck Institut für Biologische Kybernetik, Technical Report 173, Aug. 2008. [3] W. T. Freeman, T. R. Jones and E.C. Pasztor “Example-Based SuperResolution. Image-Based Modelling,” Rendering, and Lighting. IEEE. March/April, 2002. [4] T. M. Lehmann, C. Gönner and K. Spitzer, “Survey: Interpolation Methods in Medical Image Processing,” IEEE Trans. on Medical Imaging, Vol. 18, No. 11, pp. 1049–1075, Nov. 1999. [5] J. Allebach and P. W. Wong, “Edge-directed interpolation,” IEEE Int. Conf.Image Processing, Lausanne, Switzerland, pp. 707-710, Sept. 1996. [6] X. Li, M. T. Orchard, “New Edge-Directed Interpolation,” IEEE Trans. On Image Processing, Vol. 10, pp. 1521-1527, Oct. 2001. [7] W. T. Freeman, T. R. Jones and E. C. Pasztor, “Example-based. 53.

(65) super-resolution,” Computer Graphics and Applications, IEEE , Vol.22 , No. 2, March 2002.. 54.

(66)