第三章 計算灰階值之內/外插函數
3.2 懸殊灰階值間的內插
h
尤其是h≥30之後，影像已經漸趨模糊。然而影響不只於此，我們可以觀察到，
與圖 3-5(b)相比，圖 3-5(c)的鋸齒現象較為緩和。其原因為對於鋸齒細紋，在邊 界漸層化的同時，可使其細紋較為模糊。因此由於深淺交界處的漸層式內插，可 以使放大後的影像得以選擇其深淺交界處之銳利程度，並同時降低鋸齒現象。
(a) 原圖 (b) h=0
(c) h=10 (d) h=20
(e) h=30 (f) h=40
圖 3-5 邊界區域寬度的調整。
目標區塊內的各部份的內/外插補點方式已經介紹完畢。承接第一章的 2×2 區塊內像素的分群與分類，有些區塊被歸類以 Bi-Cubic 處理之，有些則進一步 對內/外插補點目標與其周圍像素作亮度的高/低標記，並與第二章所建立之其所 屬的類別圖樣群作比對，比對成功後可得該圖樣所搭配之高/低群分界函式，以 之將高解析度各像素做 1/0 標記而區隔出高/低灰階群。對於這些標記完成後的像 素，進而計算其像素灰階值。首先對於區塊內的高/低灰階群，計算個別的平面 函式I 與0 I ，進而對區塊內的所有高解析度像素依其與高/低群邊界的距離，分1 成距離大於 h 者與距離小於等於 h 者。當該像素與邊界距離大於 h ，則以像素座 標帶入其所屬灰階群之平面函式以求其灰階值。反之，當距離小於等於 h ，則屬 於邊界區域內的像素。此時則依其與邊界區域兩端之垂直距離，以不同比重混合 該像素於高/低灰階群之兩平面函式的數值為其灰階值。如此，區塊內的所有像 素灰階值皆已計算完成，此時將目標區塊往影像右方移動一個像素距離，重複同 樣的工作直至影像右下角最末端。
四、實驗結果
步與 Bi-Cubic、Nearest Neighbor 和[23]的放大結果作比較。並在本章最後，透 過PCA 為放大後影像中邊緣部分作量化的比較。此模糊化的結果。而圖 4‐1(c)改以Ti = 、5 Te =15，因此圖 4‐1(c)中只剩一塊邊
(a) 原圖 (b) Ti =20、Te =60
(c) Ti =5、Te =15 圖 4-1 以 h=10 從解析度 180×180 放大至解析度 400×400。
(a) 原圖 (b) Ti=20、Te=60
(c) Ti=5、Te=15 圖 4-2 以 h=10 從解析度 180×180 放大至解析度 400×400。
(d) Ti=20、Te=60 影像中 Bi-Cubic 補點部分以黑色取代
(e) Ti=5、Te=15 影像中 Bi-Cubic 補點部分以黑色取代 圖 4-2 以 h=10 從解析度 180×180 放大至解析度 400×400。(續)
(a) 原圖 (b) h=0
(c) h=7 (d) h=15
圖 4-3 以 Ti=0、Te=15 將影像從解析度 100×150 放大至解析度 200×375。
4.2 與其他方法的比較
在上一節已經展示了 h 、T 、i T 不同的數值對放大結果的影響，本節將著重e 在與 Bi-Cubic、Nearest Neighbor 和[23]作比較。並且由於本論文是針對[23]作進 一步改善， T 與i T 為共同參數，因此在比較時將以相同的e T 、i T 作為比較基準。 e
圖 4-4(a)為解析度 75×75 像素的影像，圖 4-4(b)、(c)個別為經過 Nearest Neighbor 和 Bi-Cubic 放大處理之後的結果。可以觀察到圖 4-4(b)的放大結果相當 不理想，而圖 4-4(c)相較之下好很多，但是仍有過於模糊的缺點。圖 4-4(d)為[23]
另外對於如圖 4-6 這樣的二值影像放大，比起 Nearest Neighbor 和 Bi-Cubic，
本論文有著更強烈的優勢。由於我們的演算法是以區塊內的深淺二分法為主軸延 伸，所以對與二值影像，正好切中本方法的主要精神。圖 4-6(a)是解析度為 125
×125 像素的原始影像，在經過 Nearest Neighbor 、Bi-Cubic 放大至解析度為 300
×300 像素的結果分別如圖 4-6(b)、(c)所示。可看見圖 4-6(b)明顯的鋸齒現象和圖 4-6(c)中的鋸齒現象和模糊現象。然而[23]的方法在Ti = 、5 Te =15的情況下的結 果，如圖 4-6(d)所示，鋸齒現象已經大幅減少，並且沒有像圖 4-6(c)這樣模糊的 邊緣。更優於[23]，圖 4-6(e)為在同樣的T 、i T 下，並設定e h= 的結果，可觀察15 到圖 4-6(d)中些微的鋸齒現象已獲得更進一步的改善。
圖 4-7(a)為常見的顯示器測試影像，其解析度為 800×600 像素。圖 4-7(b)為 [23]所提的方法在Ti = 、5 Te =15下放大至 1024×768 後的部分影像，圖 4-7(c)為 本論文的方法在同樣的T 與i T ，並且設定e h=10的結果。可以觀察到圖 4-7(c)中 的細線較為平順，色塊的四角較為完整，並且在文字的放大上較為美觀。另外由 圖 4-7(d)可看出放大後被判別為類別 G 的部分。
透過上述的這些例子，可以明顯看出比起 Nearest Neighbor 和 Bi-Cubic，本 論文所提出的方法對於影像法大後的鋸齒和模糊有著顯著的改善。而[23]中一些 矯枉過正的缺點也得到解決，而以更適切的灰階變化詮釋原始影像中的各種細微 灰階變化，使得內插後的放大結果較為自然。
(a) 原圖
圖 4-4 將影像從解析度 75×75 放大至解析度 250×250。
(b) Nearest Neighbor (c) Bi-Cubic
(d) [23] Ti=30、Te=50 (e) Ti=30、Te=50、h=20
(f) [23] Ti=30、Te=80 (g) Ti=30、Te=80、h=20 圖 4-4 將影像從解析度 75×75 放大至解析度 250×250。(續)
(h) Ti =30、Te =50、h=20 影像中 Bi-Cubic 補點部分以黑色取代
(i) Ti =30、Te =80、h=20 影像中 Bi-Cubic 補點部分以黑色取代 圖 4-4 將影像從解析度 75×75 放大至解析度 250×250。(續)
(a) 原圖 (b) Bi-Cubic
(c) [23] Ti=30、Te=80 (d) Ti=30、Te=80、h=20 圖 4-5 將影像從解析度 640×512 放大至解析度 2000×2000 的部分影像。
(a) 原圖
(b) Nearest Neighbor (c) Bi-Cubic
(d) [23] Ti=5、Te=15 (e) Ti=5、Te=15、h=15 圖 4-6 將影像從解析度 125×125 放大至解析度 300×300。
(a) 原圖
圖 4-7 將影像從解析度 800×600 放大至解析度 1024×768 的部分影像。
(b) [23] Ti=5、Te=15 (c) Ti=5、Te=15、h=10 圖 4-7 將影像從解析度 800×600 放大至解析度 1024×768 的部分影像。(續)
(d) 在 Ti=5、Te=15、h=10 下判別為類別 G 的部分
圖 4-7 將影像從解析度 800×600 放大至解析度 1024×768 的部分影像。(續)
4.3 影像斜邊放大後的平整程度比較
此節我們將對 Nearest Neighbor、[23]和本篇論文三種演算法作放大品質作進 一步的量化比較。我們透過比較視覺上的舒適度可以粗略地比較各演算法的放大 邊作比較。以 Nearest Neighbor、[23]和本篇論文等三種演算法將此五張影像從解 析度 648×486 放大到 1920×1080，並從放大每張後的影像中取出邊緣部分的 100 個像素座標，透過 PCA 找出近似直線。在 PCA 計算過程中我們可求得此 100 像 素座標的相關矩陣(covariance matrix)的特徵值，特徵值中較小者可表示為此 100 像素與上述近似直線的平均誤差。誤差越小我們可視為此 100 像素座標的分布越 接近一條直線。
結果如圖 4-9 所示，縱軸為特徵值，橫軸分別表示五個不同斜率，特徵值越 小表示取樣的像素與降維後直線的誤差越小。我們可以觀察到[23]與本篇論文所 提方法明顯優於 Nearest Neighbor 的放大結果。而[23]與本篇論文所提方法差異 不大，但就記憶體需求量來說，因為本篇論文因透過圖樣群的妥善設計，所以節 省了記錄連接點暫存器，在將來尋求硬體實現的前提下，可以較低的記憶體成本 達到相似的邊緣放大平整性。
(a) (b) (c)
(d) (e) 圖 4-8 分析不同斜率的斜邊放大後平整程度的測試資料。
圖 4-9 不同斜率的斜邊放大後平整程度的測試結果，PCA 計算所得較小的特徵值越 小表示越平整。
五、結論
現象，放大品質明顯優於 Nearest Neighbor 和 Bi-Cubic 內插放大，尤其是對二值 化影像的放大，有極優異的表現。另外，因為平面函式作像素灰階的計算方式取在這樣情況下，或許可以靠著區塊內灰階深淺的三分法或者四分法，以彌補灰階 值高/低二分法的不足，減少以 Bi-Cubic 作內插補點的機會。但如此一來，所需 考慮的圖樣又將更為複雜，並且在顧及演算法複雜度之下，將會是一個值得努力 的方向。另一方面，因為本論文是以硬體實作為出發點，因此有朝一日若希望能 落實在硬體實作方面，勢必將面對更多時間與空間上面的限制。屆時，對現有的 演算法架構作最佳化的處理，將會是所須面對的新挑戰。
參考文獻
[1] T. W. Parks and C. S. Burrus, Digital Filter Design, John Wiley & Sons, 1987. Page.
209-213.
[2] R. G. Keys, “Cubic Convolution Interpolation for Digital Image Processing,” IEEE Trans.
ASSP, vol. 29, pp. 1153-1160, 1981.
[3] D. P. Mitchell and A. N. Netravali, “Reconstruction Filters in Computer Graphics,” Proc.
SIGGRAPH, vol. 22, pp. 221-228, August 1988.
[4] http://www.cg.tuwien.ac.at/~theussl/DA/node11.html
[5] K. Turkowski, “Filters for Common Resampling Tasks,” Graphics Gems, Academic Press, pp. 147-165, 1991.
[6] R. C. Gonzalez and R. E. Woods, Digital Image Processing, Prentice Hall, 2nd Ed., 2002.
[7] S. D. Bayrakeri and R. M. Mersereau, “A New Method for Directional Image Interpolation,”
Proc. IEEE ICASSP, vol. 4, pp. 2383-2386, 1995
[8] D. Su and P. Willis, “Image Interpolation by Pixel Level Data-Dependent Triangulation,”
Computer Graphics Forum, vol. 23, no. 2, pp. 189-201, 2004.
[9] L. Rodrigues, D. L. Borges, and L. M. Ganalves, “A Locally Adaptive Edge-Preserving Algorithm for Image Interpolation,” Proc. Computer Graphics and Image Processing, pp.
300-305, Oct. 2002.
[10] C. H. Kim, S.M. Seong, J. A. Lee, and L. S. Kim, “Winscale: An Image-Scaling Algorithm Using an Area Pixel Model,” IEEE Trans. CSVT, vol. 13, no. 6, pp. 549-553, 2003.
[11] X. Wu and X. Zhang, “Image Interpolation Using Texture Orientation Map and Kernel Discriminant,” Proc. ICIP, vol. 1, pp. 49-52, 2005.
[12] A. J. Storkey, “Dynamic Structure Super-Resolution,” Proc. NIPS, 2002.
[13] M. Bertalmio, A. L. Bertozzi, and G. Sapiro, “Navier-Stokes, Fluid Dynamics, and Image and Video Inpainting,” Proc. CVPR, 2001
[14] B. Morse and D. Schwartzwald, “Image Magnification Using Level-Set Reconstruction,”
Proc. CVPR, vol. 1, pp. 333-340, 2001.
[15] M. Elad and A. Feuer, “Restoration of a Single Superresolution Image from Several Blurred, Noisy, and Undersampled Measured Image,” IEEE Trans. Image Processing, vol. 6, no. 12 , pp. 1646-1658, December 1997.
[16] M. Irani and S. Peleg, “Improving Resolution by Image Registration,” CVGIP, 1991.
[17] S. Baker and T. Kanade, “Limits on Super-Resolution and How to Break Them,” IEEE TPAMI, vol. 24, no. 9, pp. 1167-1183, September 2002.
[18] H. Chang, D. Y. Yeung, and Y. Xiong, “Super-Resolution through Neighbor Embedding,”
Proc. IEEE Conf. CVPR, pp. I:275-282, 2004.
[19] W. T. Freeman, T. R. Jones, and E. C. Pasztor, “Example-Based Super-Resolution,” IEEE Computer Graphics and Applications, vol. 22, no. 2, pp. 56–65, 2002.
[20] A. Hertzmann, C. E. Jacobs, N. Oliver, B. Curless, and D. H. Salesin, “Image Analogies,”
Proc. of ACM SIGGRAPH’01, pp. 327-340, 2001.
[21] J. Sun, N. N. Zheng, H. Tao, and H. Y. Shum, “Image Hallucination with Primal Sketch Priors,” Proc. CVPR, 2003.
[22] A. J. Eglit, “Method and Apparatus for Upscaling an Image in Both Horizontal and Vertical Directions,” US005739867, Feb. 1997.
[23] J. Chuang, H. Lin, and S. Wu“A Pattern-Based Inter-/Extra-Polation Approach for Image Scaling”, Proc. ICIP, vol. 4, pp. IV:209-212, 2007.