第三章 研究方法
3.2 超解析度程序
3.2.4 影像縫補
‧
start nodes
end nodes
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
在求圖形的最短路徑的方法中，Dijkstra 演算法[21]可以找出加權圖形G(E,V)中，
邊的權重值不為負值，自起點 s (sV)到其他節點 v (vV-{s})的最短路徑。在實作的 部分，以圖 3-8 (c)為例，圖形 G 包含了N(N)個節點，我們使用一個 K × K 的相鄰矩陣來儲存圖形 G 的的資訊。其中，陣列的索引值代表節點，陣列中的元素值如 果為 0，表示節點vi自己；如果為∞，表示節點vi到vj沒有存在的邊；其餘的陣列元素 值則為節點vi到vj的權重值。接著，利用 Dijkstra 演算法來找出圖形中的最短路徑，其 pseudo code 如圖 3-9 所示。
Dijkstra’s algorithm
0 function Dijkstra(G, s) 1 for all v ∈ V-{s}
2 do dist[v]←∞
3 S←∅
4 Q←V 5 while Q ≠ ∅
6 do u←minDistance(Q, dist) 7 S←S ∪ {u}
8 for all v ∈ neighbors[u]
9 do if dist[v] > dist[u] + w(u, v) 10 then dist[v]←dist[u]+w(u, v) 11 return dist
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
找出最短路徑後，即可利用此最短路徑作為重疊區域的最小錯誤邊界的分割，在邊 界的上與左側，以相鄰補丁的像素值作為合成後的像素值，在邊界的下與右側，以最佳 相似度的高頻補丁的像素值作為合成後的像素值，而在分割邊界上的點，則以相鄰補丁 與最佳相似度的高頻補丁的像素平均值作為合成後的像素值。
如圖 3-10 (a)(b)(c)所示，使用影像縫補技術在重疊區域的補丁合成上，以最小錯誤 邊界進行分割，可以確保高頻補丁與相鄰補丁之間接續的連續性。另如圖 3-10 (d)(e)(f) 所示，在 Freeman 的 One-pass 演算法中，由於重疊區域僅有 1 pixel，補丁之間的分割即 為重疊區域，並無針對補丁間的接續性進行特別的處理。
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
第四章 實驗結果與分析
在本章中，我們將以人臉影像作為主要的訓練與受測樣本，對於本論文所提出之方法與 Freeman 的 One-pass 演算法進行比較，並以量化的影像評量數據作為客觀的分析。此外，
我們也將藉由實驗的結果探討資料特性對於人臉超解析度結果的影響。
4.1 實驗環境
本論文所使用平台為 Microsoft Windows 7 (64-bit)，CPU 為 Intel(R) Core(TM) i5-3317U CPU @ 1.70 GHz，記憶體為 4.00 GB。開發環境為 Microsoft Visual Studio 2010 Visual C++。影像處理函式使用 OpenCV 2.4.5 版。
4.1.1 影像資料庫
本 實 驗 所 使 用 的 影 像 資 料 庫 有 四 個 ， 分 別 是 MIT (Massachusetts Institute of Technology) CBCL (Center for Biological & Computational Learning) face database[22]、
MIT CVCL (Computational Visual Cognition Laboratory) database、Centro Universitario da FEI face database 與 Hong Kong University VCL (Visual Cognition Laboratory) face database。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
本則利用 CVCL database 中的城市建築與自然風景等圖片。
如圖 4-1 所示，以 8 張 200×200 的高解析度人臉影像作為訓練資料的樣本，將可訓 練出大約 300,000 筆 7×7 與 5×5 的補丁配對資料。在 4.2.1、4.2.2 與 4.3.1 小節的實驗中，
主要都以圖 4-1 的人臉訓練資料樣本所產生的補丁配對作為訓練資料庫。在 4.3.2 小節 中，則各別以圖 4-2 與圖 4-3 的女性與男性的人臉訓練資料樣本進行實驗。而圖 4-4 與圖 4-5 的亞洲與西方人種的人臉影像樣本則為 4.3.3 小節的訓練資料樣本。最後，在 4.3.4 小節中，則以圖 4-6、圖 4-7 與圖 4-8 中不同於人臉類別的影像作為訓練資料進行 實驗。
圖 4-1 訓練資料樣本－人臉(8 張 200×200 pixels 高解析度影像)
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 4-2 訓練資料樣本－人臉－女性(8 張 200×200 pixels 高解析度影像)
圖 4-3 訓練資料樣本－人臉－男性(8 張 200×200 pixels 高解析度影像)
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 4-4 訓練資料樣本－人臉－亞洲人(8 張 200×200 pixels 高解析度影像)
圖 4-5 訓練資料樣本－人臉－西方人(8 張 200×200 pixels 高解析度影像)
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 4-6 訓練資料樣本－森林(8 張 200×200 pixels 高解析度影像)
圖 4-7 訓練資料樣本－建築(8 張 200×200 pixels 高解析度影像)
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 4-8 訓練資料樣本－動物(8 張 200×200 pixels 高解析度影像)
圖 4-9 訓練資料樣本與所產生的補丁資料
如圖 4-9 所示，一張 200×200 的高解析度影像經由訓練程序後可以產生大約 40,000 組的中頻與高頻補丁的配對，扣除資料相同的補丁後，8 張高解析度影像總共可以產生
訓練程序
中頻補丁 高頻補丁
‧ ‧
‧ ‧
‧ ‧
‧ ‧
‧ ‧
‧ ‧
‧ ‧
‧ ‧
8 張 200×200 pixels 的高解析度影像 資料庫
可以產生超過 300,000 筆的
補丁資料
‧
另外，結構相似度指標(SSIM index, Structural SIMilarity index)[23]是一種用於評量 兩張影像相似度的指標，結合了影像的亮度、對比度與結構性，綜合性地表示影像的整
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
4.2.1 受測影像的取樣比率對於超解析度結果的影響
為了對照超解析度的結果與原始影像之間的差異，我們假設低解析度影像是高解析 度影像受到高斯模糊與向下取樣的退化所產生，因此，將受測的高解析度影像樣本，加 入 mean 值為 1 的 5×5 高斯低通模糊函數，再經由向下取樣的動作將影像縮小以降低影 像的品質。訓練資料的影像樣本如圖 4-1 所示，資料庫中的補丁配對數量為 200,000 筆。
我們分別以 1/2、1/4、1/16、1/64 與 1/256 的縮小比率進行實驗。
圖 4-10 受測影像向下取樣 1/2 的結果
Original HR image Blur and Resize to 1/2
High pass filter Resize by NN Result
PSNR: 32.30 dB SSIM: 78.56%
Quilting path Conditions:
DB: Human face DB patches: 200,000 LR resize: 1/2
Patches synthesis: image quilting
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 4-11 受測影像向下取樣 1/4 的結果
圖 4-12 受測影像向下取樣 1/16 的結果
Original HR image Blur and Resize to 1/16
High pass filter Resize by NN Result
PSNR: 30.95 dB SSIM: 72.50%
Quilting path Conditions:
DB: Human face DB patches: 200,000 LR resize: 1/16
Patches synthesis: image quilting Original HR image Blur and Resize to 1/4
High pass filter Resize by NN Result
PSNR: 31.74 dB SSIM: 76.22%
Quilting path Conditions:
DB: Human face DB patches: 200,000 LR resize: 1/4
Patches synthesis: image quilting
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 4-13 受測影像向下取樣 1/64 的結果
Original HR image Blur and Resize to 1/256
High pass filter Resize by NN Result
PSNR: 26.14 dB SSIM: 59.46%
Quilting path Conditions:
DB: Human face DB patches: 200,000 LR resize: 1/256
Patches synthesis: image quilting Original HR image Blur and Resize to 1/64
High pass filter Resize by NN Result
PSNR: 29.06 dB SSIM: 66.22%
Quilting path Conditions:
DB: Human face DB patches: 200,000 LR resize: 1/64
Patches synthesis: image quilting
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 4-10 到圖 4-14 分別表示一張人臉的受測影像在經過 1/2、1/4、1/16、1/64 與 1/256 的向下取樣後，由超解析度演算法所放大後的影像。可以發現當取樣比率在 1/2、1/4 與 1/16 時，其各對應的中頻影像仍可清楚地看見人臉的輪廓與一些細節資訊，在超解析度 後的 PSNR 值仍有 30 dB 以上，SSIM 也保有 70%以上，算是可以接受的影像品質。而 取樣比率在 1/64 與 1/256 時，其各對應的中頻影像幾乎已無邊緣等中頻資訊，在超解析 度後的 PSNR 已降至 30 dB 以下，SSIM 也低於 70%，影像失真嚴重。如表 4-1 與圖 4-15 所示，受測影像在退化過程的取樣比率越小時，PSNR 與 SSIM 也隨之降低，影像失真 的情況越嚴重。後續實驗中，我們將以 1/2、1/4 與 1/16 作為受測影像在退化過程中的 主要取樣比率。
‧
在這部分的實驗中，將比較本論文所提出的影像縫補技術與 Freeman 的 One-pass 演算法這兩種不同的補丁合成方法對於超解析度結果的影響。訓練資料的影像樣本如圖
‧
Original HR image
Our method PSNR: 34.29 dB
SSIM: 81.66%
Quilting path Conditions:
DB: Human face DB patches: 200,000 LR resize: 1/2 Patches synthesis:
One-pass algorithm vs. our method
One-pass algorithm PSNR: 33.60 dB
SSIM: 80.95%
Blur and Resize to 1/2
smoother Original HR image
Our method PSNR: 32.30 dB
SSIM: 78.56%
Quilting path Conditions:
DB: Human face DB patches: 200,000 LR resize: 1/2 Patches synthesis:
One-pass algorithm vs. our method
One-pass algorithm PSNR: 32.19 dB
SSIM: 78.12%
Blur and Resize to 1/2
smoother
‧
Original HR image
Our method PSNR: 33.33 dB
SSIM: 78.39%
Quilting path Conditions:
DB: Human face DB patches: 200,000 LR resize: 1/4 Patches synthesis:
One-pass algorithm vs. our method
One-pass algorithm PSNR: 32.36 dB
SSIM: 76.21%
Blur and Resize to 1/4 Original HR image
Our method PSNR: 31.74 dB
SSIM: 76.22%
Quilting path Conditions:
DB: Human face DB patches: 200,000 LR resize: 1/4 Patches synthesis:
One-pass algorithm vs. our method
One-pass algorithm PSNR: 31.02 dB
SSIM: 73.90%
Blur and Resize to 1/4
sharper
‧
Original HR image
Our method PSNR: 32.69 dB
SSIM: 75.88%
Quilting path Conditions:
DB: Human face DB patches: 200,000 LR resize: 1/16 Patches synthesis:
One-pass algorithm vs. our method
One-pass algorithm PSNR: 32.37 dB
SSIM: 75.76%
Blur and Resize to 1/16 Original HR image
Our method PSNR: 30.95 dB
SSIM: 72.50%
Quilting path Conditions:
DB: Human face DB patches: 200,000 LR resize: 1/16 Patches synthesis:
One-pass algorithm vs. our method
One-pass algorithm PSNR: 30.82 dB
SSIM: 72.15%
Blur and Resize to 1/16
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖 4-16、圖 4-18 與圖 4-20 分別代表受測影像一在取樣比率為 1/2、1/4、1/16 時 的超解析度放大結果；圖 4-17、圖 4-19 與圖 4-21 則分別代表受測影像二在取樣比率 為 1/2、1/4、1/16 時的超解析度放大結果。以本論文方法所產生的超解析度影像與 Freeman 的方法相比，可以發現在受測影像中，頭髮的邊緣較為銳利，而皮膚也較為平滑。由於 本論文方法在每一次高頻補丁與相鄰補丁的合成上，都會找最小錯誤邊界的分割，如圖 4-22 所示，我們將每一次的最小錯誤邊界的分割紀錄成一張路徑圖，以觀察其實際分割 的變化並與超解析度後的影像進行對照比對。
圖 4-22 補丁在重疊區域的分割路徑圖
如表 4-2 所示，本論文方法在 PSNR 與 SSIM 的數據都高於 Freeman 的 One-pass 演算法。其中，如圖 4-23 與圖 4-24 所示，在受測影像的取樣比率為 1/4 時，效果更為 明顯。在對照實際的評量數據 PSNR 與 SSIM 後，證實本論文所提出的影像縫補技術可 以適用在以樣本為基礎的超解析度演算法中的補丁合成方法上，對於影像品質的提升有 一定的幫助。
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
另外，為了讓實驗結果能更為嚴謹與周延，我們使用了 FEI face database 中的 100 張人臉圖片作為大量受測影像的樣本，以大規模受測影像的實驗數據驗證本論文方法的 效能。如圖 4-25 所示，總計 100 張解低度為 200×200 的人臉受測影像，其中男性與女 性的比例各為 50%，先將 100 張高解析度影像退化為低解析度影像，然後以光柵式掃描 的順序依續進行測詴。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
(a)
(b)
圖 4-26 100 張人臉受測影像所得到的 PSNR 與 SSIM 的折線圖
圖 4-26 (a)與(b)各為 100 張人臉受測影像的實驗數據所繪製而成的 PSNR 與 SSIM 的折線圖，可以很清楚地發現，以本論文方法所得到的 PSNR 與 SSIM 的值均高於 One-pass 演算法。其中，在最好的狀況下，以本論文方法所得到的 PSNR 值可以大於
25 30 35 40
PSNR
One-pass演算法 本論文方法
70%
80%
90%
100%
SSIM
One-pass演算法 本論文方法
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
用 Freeman 的以樣本為基礎的超解析度演算法文中的一張失敗案例的影像進行實驗，如 圖 4-27 所示，將一張含有 JPEG 雜訊的低解析度影像進行超解析度放大，以 Freeman 方法放大的結果，在影像中人物的臉上出現許多因雜訊與補丁接續不良而產生的人工高 頻資訊，相對於本論文方法，由於利用影像縫補技術，使得補丁與補丁之間的接續性更 為良好，對於含有雜訊的影像而言，以本論文方法所得到的超解析結果同樣也優於 Freeman 方法。
圖 4-27 Freeman 方法與本論文方法對於雜訊影像的超解析度結果的比較 (a) 原始低解析度影像
(b) 以 Freeman 方法放大 4 倍的結果 (c) 以本論文方法放大 4 倍的結果 (a)
(b)
(c)
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
4.3 訓練資料的特性對於超解析度結果的影響
在訓練程序中，我們以中頻與高頻補丁在空間上的相對應關係為基礎定義了訓練資 料的關聯模型，同時也定義了不同解析度影像間的統計關係是獨立於影像對比度，並與 縮放比率無關，所以資料間的關聯性是建立在影像的區域(local)關係而非全域(global)關 係上，然而不同的訓練影像經訓練程序後所產生的補丁資料，其像素值的分佈與變化都 不盡相同。在這一節中，我們將分析不同數量與不同類別的訓練資料，對於超解析度結 果的影響，同時我們也將探討相同性別或者是人種的受測影像與訓練資料的組合，對於 人臉超解析度的結果是否具有正面的意義與幫助。
4.3.1 不同數量的訓練資料對於超解析度結果的比較
4.3.1 不同數量的訓練資料對於超解析度結果的比較