第二章 相關研究
2.2 以樣本為基礎的超解析度演算法
計算方式是對這 16 個相鄰點作迴旋積分(convolution)，其核心定義如下：
‧
馬可夫網路(Markov network)[19][20]是貝氏網路(Bayesian network)的延伸，可以自 動學習出影像與場景間的對應關係，只要輸入任何一張影像，則可經由貝氏信任傳遞 (Bayesian belief propagation)找到該影像最可能的對應場景，而得知該影像所隱含的場景 參數。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 2-4 馬可夫網路
此外，定義Ψ 與 Φ 兩個相容性矩陣 (compatibility matrix)，機率矩陣 Ψ 用來評估隱 藏節點與隱藏節點之間的關係，而向量矩陣Φ 則用來評估觀測節點與隱藏節點之間的關 係，在每個節點上能獲得最大機率值的高頻補丁即為所求的最佳相似度補丁。而信任傳 播演算法(belief propagation algorithm)是一種使用近似值解法的迭代運算演算法，可以有 效地縮短計算時間並能得到幾乎同樣的效果。通常的情況下，經過三到四次的迭代運算 即可找出最佳相似度補丁。
2.2.3 One-pass 演算法
信任傳播演算法是馬可夫網路模型的快速解決方案，但 Freeman 提出了一種更簡單 快速的機制來找出最佳相似度補丁，即 One-pass 演算法。該演算法提供了與迭代運算後 類似的良好效果並能縮短運算時間，藉以用來取代運算複雜度較高的馬可夫網路模型。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
首先，將欲放大的低解析度影像，以內插法放大後，再以高頻濾波器過濾出相關的 中頻資訊，並將其切割成 M × M (M = 7)的補丁資料，然後利用L2-norm 逐一由預先建立 的關聯模型訓練資料庫中找出距離最短的 K (K = 16)個候選補丁(如圖 2-5 所示)。在回 填 N × N (N = 5)的高頻補丁時，為了確保補丁之間接續的連續性，要貼合的高頻補丁與 相鄰補丁間會有 1 pixel 的重疊區域，這部分同樣以L2-norm 計算其值並乘以一權重因子
，最後參考兩次L2-norm 的結果，具有最小合併L2-norm 值的候選補丁，即為所求的 最佳相似度補丁。特別值得注意的是，高頻補丁與相鄰補丁間在重疊區域上的相似度計算與合成方法，
會影響超解析度的影像品質。當重疊區域相似度計算的權重參數設定較高時，補丁間的 接續會有良好的連續性，但卻無法達到較佳的影像品質。反之，當重疊區域相似度計算 的權重較低時，輸出的影像則會產生方塊效應。
(a) 輸入的中頻補丁
(b) 搜尋後資料庫中 K 個最 相似的中頻補丁
(c) K 個中頻補丁相對應的 高頻補丁
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
在 Freeman 的方法中，如圖 2-6 所示，選定 6 張 200x200 的樣本影像作為超解析度 演算法的訓練資料，並以 1 pixel 的偏移量將樣本影像切割成大約 200,000 組以上的中頻 與高頻補丁配對的關聯資料。圖 2-7 (c)是經由 One-pass 演算法所得到的一張人臉的高 解析度影像，訓練資料庫來自於圖 2-6 的 6 張樣本影像。由結果發現，以樣本為基礎的 超解析度演算法所放大的影像能夠保持更鋒利的邊緣與更清晰的影像細節。
圖 2-6 Freeman 方法的訓練資料樣本
圖 2-7 Freeman 方法所得到的超解析度的結果
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
經由 Freeman 的實驗結果中我們也發現，原本低解析度影像中由於拍攝品質或者是 影像壓縮後所產生的雜訊，同樣也會被超解析度演算法放大。如圖 2-8 (c)所示，JPEG 雜訊被視為是高頻內容，經超解析度演算法放大後，強化了這些雜訊，而導致了失敗的 結果。
圖 2-8 Freeman 方法所得到的超解析度失敗的結果
(a) 原始影像 (b) 三次曲線近似內插法放大 (c) One-pass 演算法放大