第三章 研究方法
3.1 訓練程序
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
第三章 研究方法
以樣本為基礎的超解析度演算法可以區分為獨立的兩個程序：訓練程序與超解析度程序。
以下章節將依序介紹各個程序的方法與細節。
3.1 訓練程序
訓練程序的流程，如圖 3-1 所示，包含了關聯模型(relation model)的定義、影像的 模糊化與重新取樣(re-sampling)、高頻濾波(high-pass filter)、影像切割(image extracting) 與局部對比正規化(contrast normalization)。
‧ 國
立 政 治 大 學
‧
N a tio na
l C
圖 3-1 訓練程序的流程圖h engchi U ni ve rs it y
3.1.1 關聯模型
以樣本為基礎的超解析度演算法的概念，是利用經由訓練程序所產生的高解析度與 低解析度影像的關聯模型，透過超解析度的學習程序來評估出輸入的低解析度影像中所 缺少的高頻細節資訊。Freeman 於 2000 年於低階視覺學習[6]中，針對超解析度演算法 的關聯模型給定兩個假設，首先，將一張影像的資訊分為高頻、中頻與低頻的組合，其 中，H 代表高頻的影像資訊，M 與 L 分別代表中頻與低頻的影像資訊，於是我們可以假 設當給定中頻資訊 M 時，高頻資訊 H 是條件獨立(conditionally independent)於低頻資訊 L：
模糊化 重新取樣
－
T+ε
÷ ÷
高頻補丁 中低頻補丁
...
.
...
.
高頻濾波
局部對比正規化 局部對比正規化
‧
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 3-3 高頻濾波
(a)高頻資訊：原始高解析度影像減去退化的低解析度影像 (b)中頻資訊：退化的低解析度影像以拉普拉斯濾波後的結果
3.1.4 影像切割與局部對比正規化
對於高頻濾波後的影像，採光柵式掃描順序(由上到下，從左至右)，每次以 1 pixel 的位移量依序將中頻資訊影像切割為 M × M pixels 的補丁，而在相對應座標位置(水平與 垂直方向各位移 1 pixel)的高頻資訊影像則切割為 N × N pixels 的補丁。依據 Freeman 的 實驗結果顯示，M = 7 與 N = 5 的補丁大小為最理想的切割尺寸，且中頻補丁的尺寸略 為大於高頻補丁，在超解析度的結果，可以得到較好的影像品質。
由於演算法的運作是假設中頻與高頻資訊的對應關係是獨立於整體影像的對比度，
正因為如此，我們針對每個相對應的中頻與高頻資訊的補丁，進行局部對比正規化處理。
首先，計算中頻資訊補丁的標準差T，如式 (3.3)所示，為避免T為 0 而造成後續計算 上的錯誤，我們將T加上一個極小的常數ε (ε = 0.0001)，再將中頻與高頻資訊補丁的各 個像素值除以T，最後，將完成正規化處理的補丁配對儲存在資料庫當中，以作為超
(b) (a)
‧
正規化、資料搜尋與局部對比正規化的反向運算(inverse of local contrast normalization) 與影像縫補，以下的小節將針對各個步驟進行逐一的說明。3.2.1 影像前處理
將輸入的低解析度影像，向上取樣至我們所要放大的影像大小，如訓練程序中向上 取樣的方法，在超解析度程序中，我們亦採用雙立方內插法對於輸入的影像進行向上取 樣。由於在訓練與超解析度階段，中頻與高頻補丁都是基於灰階的影像分割，所以當輸 入的影像完成向上取樣後，必頇進行色彩空間轉換(color space transformation)。如圖 3-4 所示，我們將彩色影像由 RGB 空間轉換到 YCbCr 空間，並以 Y 分量的灰階影像進行 後續的處理。
RGB to YCbCr ＋
Gray image processing
YCbCr to RGB
Cb, Cr component
Input Output
Y component