第一章 緒論
1.2 論文架構
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
1.2 論文架構
本論文採用五個章節來進行討論，第一章為本論文的研究動機與目的。第二章介紹 影像內插法、學習型超解析度演算法與影像縫補技術的相關文獻回顧。第三章說明本論 文所提出的方法以及實作流程。實驗的結果則在第四章，我們除了實作本論文方法外，
也將與 Freeman 的方法進行效能上的評估比較，此外，並分析訓練資料的特性對於執行 結果的影響。最後，在第五章分享我們的結論與未來的工作。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
第二章 相關研究
利用影像處理技術將低解析度影像轉換為高解析度影像的方法稱為超解析度技術，目前 超解析度技術的研究主要分為靜態影像放大與動態影像放大。
靜態影像的超解析度技術主要是以單張影像來產生一張高解析度影像[17]，常用的 方法為影像內插法。不過，經內插所得到的影像，只能算是一張像素放大的影像，缺少 了細節與高頻資訊。而學習型的超解析度技術，則必頇利用額外的一個擁有多張高解析 度影像的資料庫，利用低解析度影像中不同的特徵資訊，透過搜尋或者是學習的方法找 到被放大後的低解析度影像所缺乏的高頻資訊，最後將細節加入被放大後的影像中，就 可以得到擁有豐富細節資訊的高解析度影像。
而動態影像的超解析度技術首先由 Tsai 和 Huang[18]提出，主要概念是利用同一場 景中的數張低解析度影像來產生一張高解析度影像。這些低解析度影像除了具有空間上 的關係外，還有時間上的關係，利用這些不同的次像素位移(subpixel shift)的資訊，將影 像間的位移與旋轉等資訊計算出來，即能在高解析度網格(grid)上求出像素分佈。對於利 用多張低解析度影像的超解析度演算法都有相同的前提，即必頇對一個場景進行多張低 解析度影像的拍攝，但是在很多的情況下，並不容易對相同的場景擷取多張的影像，抑 或手上資料僅有針對場景拍攝的單張相片，無法回到過去再做重拍。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
以樣本為基礎的超解析度演算法屬於靜態影像放大的方法，其主要目的是為了解決 低解析度影像在經由影像內插放大後，因為欠缺高頻資訊而導致模糊與不夠銳利的問題。
本論文的研究結合了兩種技術，第一是以樣本為基礎的超解析度演算法，第二是影像縫 補技術，以下將對於相關的技術作一簡略的回顧。
2.1 影像內插法
要對一張影像進行放大，最方便且快速的方法就是影像內差法，一般常用的內插法，
大多是多項式內插法(polynomial interpolation)，其概念是藉由離散(discrete)的取樣點估 算出一個通過這些取樣點的連續函數，其定義域(domain)如果是有理數則具有數的稠密 性(dense)，可以在這個連續函數上進行取樣。將影像視為是一個二維的訊號，向下取樣 即是將連續訊號轉換為離散訊號，而向上取樣則是將離散訊號還原成連續訊號，因此影 像的內差即是影像訊號的重新取樣。以下將依序介紹常用的影像內插法。
2.1.1 最近相鄰內差法
最近相鄰內插法，主要方法是要找到與非整數點座標距離最接近的整數像素點，並 利用該整數像素點的灰階值作為新像素點的灰階值。如圖 2-1 所示，由原始image (x,y) 放大四倍後的影像image(x,y)中的像素點 P 的位置是介於像素點 r, s, t, u 之間，最近相 鄰內插法的作法就是計算像素點 P 與周圍像數點 r, s, t, u 的距離，找出距離最短的像素 點的灰階值作為 P 點的灰階值。最近相鄰內插法是所有內插法中最快速且複雜度最低的 一種內插演算法，但其缺點就是內插出來的影像品質很差，容易產生齒狀與方塊的現
‧
‧
‧
計算方式是對這 16 個相鄰點作迴旋積分(convolution)，其核心定義如下：
‧
馬可夫網路(Markov network)[19][20]是貝氏網路(Bayesian network)的延伸，可以自 動學習出影像與場景間的對應關係，只要輸入任何一張影像，則可經由貝氏信任傳遞 (Bayesian belief propagation)找到該影像最可能的對應場景，而得知該影像所隱含的場景 參數。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 2-4 馬可夫網路
此外，定義Ψ 與 Φ 兩個相容性矩陣 (compatibility matrix)，機率矩陣 Ψ 用來評估隱 藏節點與隱藏節點之間的關係，而向量矩陣Φ 則用來評估觀測節點與隱藏節點之間的關 係，在每個節點上能獲得最大機率值的高頻補丁即為所求的最佳相似度補丁。而信任傳 播演算法(belief propagation algorithm)是一種使用近似值解法的迭代運算演算法，可以有 效地縮短計算時間並能得到幾乎同樣的效果。通常的情況下，經過三到四次的迭代運算 即可找出最佳相似度補丁。
2.2.3 One-pass 演算法
信任傳播演算法是馬可夫網路模型的快速解決方案，但 Freeman 提出了一種更簡單 快速的機制來找出最佳相似度補丁，即 One-pass 演算法。該演算法提供了與迭代運算後 類似的良好效果並能縮短運算時間，藉以用來取代運算複雜度較高的馬可夫網路模型。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
首先，將欲放大的低解析度影像，以內插法放大後，再以高頻濾波器過濾出相關的 中頻資訊，並將其切割成 M × M (M = 7)的補丁資料，然後利用L2-norm 逐一由預先建立 的關聯模型訓練資料庫中找出距離最短的 K (K = 16)個候選補丁(如圖 2-5 所示)。在回 填 N × N (N = 5)的高頻補丁時，為了確保補丁之間接續的連續性，要貼合的高頻補丁與 相鄰補丁間會有 1 pixel 的重疊區域，這部分同樣以L2-norm 計算其值並乘以一權重因子
，最後參考兩次L2-norm 的結果，具有最小合併L2-norm 值的候選補丁，即為所求的 最佳相似度補丁。特別值得注意的是，高頻補丁與相鄰補丁間在重疊區域上的相似度計算與合成方法，
會影響超解析度的影像品質。當重疊區域相似度計算的權重參數設定較高時，補丁間的 接續會有良好的連續性，但卻無法達到較佳的影像品質。反之，當重疊區域相似度計算 的權重較低時，輸出的影像則會產生方塊效應。
(a) 輸入的中頻補丁
(b) 搜尋後資料庫中 K 個最 相似的中頻補丁
(c) K 個中頻補丁相對應的 高頻補丁
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
在 Freeman 的方法中，如圖 2-6 所示，選定 6 張 200x200 的樣本影像作為超解析度 演算法的訓練資料，並以 1 pixel 的偏移量將樣本影像切割成大約 200,000 組以上的中頻 與高頻補丁配對的關聯資料。圖 2-7 (c)是經由 One-pass 演算法所得到的一張人臉的高 解析度影像，訓練資料庫來自於圖 2-6 的 6 張樣本影像。由結果發現，以樣本為基礎的 超解析度演算法所放大的影像能夠保持更鋒利的邊緣與更清晰的影像細節。
圖 2-6 Freeman 方法的訓練資料樣本
圖 2-7 Freeman 方法所得到的超解析度的結果
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
經由 Freeman 的實驗結果中我們也發現，原本低解析度影像中由於拍攝品質或者是 影像壓縮後所產生的雜訊，同樣也會被超解析度演算法放大。如圖 2-8 (c)所示，JPEG 雜訊被視為是高頻內容，經超解析度演算法放大後，強化了這些雜訊，而導致了失敗的 結果。
圖 2-8 Freeman 方法所得到的超解析度失敗的結果
(a) 原始影像 (b) 三次曲線近似內插法放大 (c) One-pass 演算法放大
2.3 影像縫補應用於紋理合成與轉移
紋理合成是藉由樣本紋理來合成一個自定大小的目標區域，不僅可以使用在3D場景 的材質合成上，也可以運用在影像修補方面。Efros與Freeman[15]提出了新的紋理合成 與轉移演算法，把以像素為基礎的紋理合成延伸到以區塊為基礎，並利用影像縫補的技 術將區塊拼湊為一張具有來源影像紋理的新影像。作法雖簡單，但卻有著相當出色的合
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
2.3.1 影像縫補流程
其演算法流程如下：
· 步驟一：採光柵式掃描(raster-scan)順序(上到下，左至右)，每次合成一個區塊。
· 步驟二：對於每一個欲合成的區域，利用其相鄰的重疊區域(上與左側區域)，
找出輸入影像中符合錯誤容許值的區塊的集合後，再由集合中隨機選取一個區 塊準備貼入將要合成的位置。
· 步驟三：計算要貼入的新區塊與相鄰區塊間的重疊區域的像素誤差值，利用 dynamic programming 的 方 式 ， 找 出 最 小 錯 誤 邊 界 的 分 割 (minimum error boundary cut)，邊界的上與左側區域以相鄰區塊的像素值填入，而邊界的下與 右側區域以新區塊的像素值填入，而分割線上的點則填入新區塊與相鄰區塊的 平均值。如此重複步驟二與三，直到合成完整張影像為止。
(a) (b) (c) 圖 2-9 紋理的處理
(a) 區塊為隨機選擇貼上
(b) 利用相鄰的重疊區域找出相近的區塊貼上
‧
對於最小錯誤邊界分割的計算，Efros 與 Freeman 採用了最短路徑演算法(shortest path algorithm)來找出重疊區域中的最小錯誤的邊界。首先，假設兩個不同紋理的區塊B1 與B2，其各自的重疊區域B1ov與B2ov(如圖 2-9 (c)所示)，則重疊區域內像素點的錯誤值 在紋理合成，Efros與Freeman還提出了紋理轉移的相關技術應用。如圖 2-10所示，透過 目標影像的亮度分佈等資訊，將來源的紋理合成到目標影像當中。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 2-10 紋理的轉移
本論文以 Freeman 的以樣本為基礎的超解析度演算法為研究基礎，針對其架構加以 改良。在訓練階段，我們使用 Freeman 方法中的訓練程序，建立中頻與高頻補丁相對應 關係的訓練資料庫。在超解析度階段，我們應用了影像縫補技術，將原本以像素為基礎 的補丁合成方法改良為以區塊為基礎的補丁合成方法。關於研究方法以及實作流程，將 於下一章中進行詳細的說明與解釋。
+
=
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
第三章 研究方法
以樣本為基礎的超解析度演算法可以區分為獨立的兩個程序：訓練程序與超解析度程序。
以下章節將依序介紹各個程序的方法與細節。
3.1 訓練程序
訓練程序的流程，如圖 3-1 所示，包含了關聯模型(relation model)的定義、影像的 模糊化與重新取樣(re-sampling)、高頻濾波(high-pass filter)、影像切割(image extracting) 與局部對比正規化(contrast normalization)。