第四章 實驗結果與分析
4.3 訓練資料的特性對於超解析度結果的影響
4.3.4 不同類別的訓練資料對於超解析度結果的比較
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
4.3.4 不同類別的訓練資料對於超解析度結果的比較
在這一小節中，我們各別以森林(圖 4-6)、建築(圖 4-7)與動物(圖 4-8)類別的訓練 資料作為人臉超解析度的訓練資料庫，進行實驗。以觀察不同類別的訓練資料對於超解 析度結果的影響。
圖 4-37 人臉與森林類別的訓練資料對於超解析度結果的比較
Conditions:
DB: Human face vs. Forest DB patches: 200,000 LR resize: 1/4
Patches synthesis: our method
PSNR: 31.74 dB SSIM: 76.22%
DB: Forest DB: Human face
PSNR: 28.13 dB SSIM: 54.60%
‧
DB: Human face vs. Animal DB patches: 200,000 LR resize: 1/4
Patches synthesis: our method
PSNR: 31.74 dB
DB: Human face vs. Building DB patches: 200,000 LR resize: 1/4
Patches synthesis: our method DB: Building
DB: Human face
PSNR: 25.83 dB SSIM: 41.06%
‧
Human face Forest Building Animal
PSNR
Human face Forest Building Animal
SSIM
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
多寡與類別的屬性，對於以樣本為基礎的超解析度演算法的執行結果具有相當重要的影 響，而相同類別中更進一步的子分類，如：性別與人種的組合變化，對於超解析度結果 的影響十分有限，可以忽略之。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
第五章 結論與未來方向
本研究主要目的在於提升超解析度的影像品質，我們利用影像縫補技術作為超解析 度演算法中補丁合成的方法，可以使得補丁在重疊區域間的合成具有良好的接續性。對 於實驗結果，以人眼的主觀評定可以發現，本論文方法在於人臉影像的頭髮與皮膚等區 域上，具有較為平滑的效果，整體的雜訊也較少。此外，由客觀的影像評量數據顯示，
本論文方法在 PSNR 與 SSIM 的值均高於 One-pass 演算法。由此證明，本論文方法適用 於以樣本為基礎的超解析度演算法，並可以提升超解析度後的影像品質。
透過資料特性這部分的實驗可以得知，訓練資料量的增加與超解析度後的影像品質 呈正相關，但資料量超過一定的門檻值之後，影像品質提昇的速度則漸趨緩慢。而不同 類別的訓練資料同樣會影響執行的結果，以森林、建築等不同類別的影像進行人臉的超 解析度後，在結果的影像中會出現類似訓練資料的紋理，因而造成影像品質的降低。另 外，人臉子類別中，相同性別或者是人種的受測影像與資料庫的組合，並不影響超解析 度的結果。
在安全監控或者是犯罪鑑識等領域中，常面臨到低解析度影像因模糊不清而無法辨 識的問題，利用本論文所提出的以樣本為基礎的超解析度方法，將可以有效地解決這些 問題，改善低解析度影像經由內插法放大後的影像品質。此外，由實驗的結果亦可得知，
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
度結果，對於子類別中的性別與人種等條件，則不需要再進行分類與比較。
以樣本為基礎的超解析度演算法，補償了低解析度影像經由內插放大後所缺乏的高 頻資訊，其基礎是建立中頻與高頻資訊的關聯模型上，然而在實際應用中，低解析度影 像因為高壓縮所產生的失真與雜訊等問題，並非由關聯模型所能模擬出來的。所以如果 直接對這些高壓縮影像進行超解析度，將同時放大這些失真與雜訊，因而得到了一個失 敗的結果。但如果先去除這些失真與雜訊的話，在超解析度後則會得到一張高頻細節不 足的影像。如何在關聯模型中加入不同的雜訊函數，以滿足各式不同雜訊條件的低解析 度影像，將是值得思考的問題。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
參考文獻
[1] S.C. Park, M.K. Park, M.G. Kang, “Super-resolution image reconstruction: a technical overview,” IEEE Signal Processing Magazine, vol. 20, no. 3, pp. 21-36, May. 2003.
[2] R.C. Gonzalez and R.E. Woods, “Digital Image Processing,” 2nd edition, Prentice Hall, New Jersey, 2002.
[3] H.S. Hou and H.C. Andrews, “Cubic Splines for Image Interpolation and Digital Filtering,” IEEE Trans. Acoustics, Speech, and Signal Processing, vol. ASSP-26, no. 6, pp. 508-517, Dec. 1978.
[4] R.G. Keys, “Cubic Convolution Interpolation for Digital Image Processing,” IEEE Trans. Acoustics, Speech, and Signal Processing, vol. ASSP-26, no. 6, pp. 1153-1160,
Dec.1981.
[5] S. Baker and T. Kanade, “Limits on Super-Resolution and How to Break Them,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 24, pp. 1167-1183,
2002.
[6] W.T. Freeman and E.C. Pasztor, “Learning to estimate scenes from images,” Advances in Neural Information Processing Systems, vol. 11, pp.775-781, Nov. 1999.
[7] W.T. Freeman, E.C. Pasztor and O. T. Carmichael, “Learning low-level vision,”
International Journal of Computer Vision, vol. 40, no. 1, pp. 25-47, Oct. 2000.
[8] W.T. Freeman, T.R. Jones, and E.C. Pasztor, “Example-based super-resolution,” IEEE Computer Graphics and Applications, vol. 22, no. 2, pp. 56-65, Mar. 2002.
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
[9] J. Sun, N. N. Zheng, H. Tao, and H.Y. Shum, “Image Hallucination with Primal Sketch Priors,” in IEEE International Conference on Computer Vision and Pattern Recognition, volume 2, pages 729-736, 2003.
[10] S. Baker, and T. Kanade, “Hallucinating Faces,” Proceedings IEEE International Conference on Automatic Face and Gesture Recognition, pp. 83-88, 2000.
[11] X. Wang and X. Tang, “Face Hallucination and Recognition,” in Proceedings of 4th Int.
Conf. Audio and video based Personal Authentication, IAPR, University of Surrey,
Guildford, UK, 2003.
[12] C. Liu, H.-Y. Shum, and W. T. Freeman, “Face hallucination: Theory and practice,” Int.
J. Comput. Vis., vol. 75, no. 1, pp. 115-134, 2007.
[13] J. Yang, H. Tang, Y. Ma, and T. Huang, “Face hallucination via sparse coding,” in Proc.
IEEE Conf. Image Process., pp.1264-1267, 2008.
[14] X. Ma, J. Zhang, and C. Qi, “Hallucinating face by position-patch,” Pattern Recognition, vol.43, no.6, pp.3178-3194, 2010.
[15] A. A. Efros and W. T. Freeman, “Image quilting for texture synthesis and transfer,” in Proceedings of SIGGRAPH 2001, pages 341-346, August 2001.
[16] L.Y. Wei and M. Levoy, “Fast Texture Synthesis Using Tree-Structured Vector Quantization,” in SIGGRAPH 2000 Conference Proceedings, pages 479-488. 2000.
[17] D. Glasner, S. Bagon, and M. Irani, “Super-resolution from a single image,” in Computer Vision, 2009 IEEE 12th International Conference on, pp. 349-356, 2009.
[18] R. Y. Tsai and T. S. Huang, “Multiframe Image Restoration and Registration,” Advances
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
[19] R. R. Schultz, R. L. Stevenson, “A Bayesian approach to image expansion for improved definition,” IEEE Trans. on Image Processing, vol. 3, pp. 233-242, May. 1994.
[20] W.T. Freeman and E.C. Pasztor, “Markov networks for super-resolution,” Proc. of the 34th Conference on Information Sciences and Systems, Princeton, New Jersey, U.S.A,
Mar. 2000.
[21] E. W. Dijkstra, “A note on two problems in connexion with graphs”, Numer. Math. vol. 1, pp. 269-71, 1959.
[22] B. Weyrauch, J. Huang, B. Heisele, and V. Blanz, “Component-based Face Recognition with 3D Morphable Models”, First IEEE Workshop on Face Processing in Video, Washington, D.C., 2004.
[23] Z. Wang, A. C. Bovik, H. R. Sheikh and E. P. Simoncelli, “Image quality assessment:
From error visibility to structural similarity,” IEEE Transactions on Image Processing, vol. 13, no. 4, pp. 600-612, Apr. 2004.