第二章 決定影像像素內/外插圖樣與高解析度高/低群分界函式
2.3 高/低灰階群邊界的決定
上節提及的邊界連接點一致性將影響其相鄰區塊內插後的連續性，不一致的 情況會導致鋸齒狀的內插結果。然而區塊內之高/低灰階群分界線的斜率對於內 插後的視覺效果也有很大的影響，如圖 2-10 所示，綠色線段為我們所設計的高 解析度高/低群分界函式所構成的高/低群分界線，而藍色則是主觀上較為合理的 分界線。對於每個 2×2 中間綠色小線段的決定，其參考範圍只有 16 個像素，因 此導致波浪狀的產生在所難免。但是經過實驗與調整，可使綠線的位置盡可能接 近藍線。然而分隔線的斜率與其左右的連接點是互相牽制的。所以，高/低灰階 群分界函式的制訂必須兼顧邊界連接點的一致性與整體分界線的平順。
以下我們列出本論文所有類別的圖樣與其高解析度高/低群分界函式的邊界，
如圖 2-11、圖 2-12、圖 2-13、圖 2-14、圖 2-15、圖 2-16 和圖 2-17 所示。此處的 圖樣列舉了大部分認知上的邊、線、角的案例，並且滿足了各種像素灰階高/低
分布情形的可能性，對於類別 G 中一些難以判斷的案例，則可採用 Bi-Cubic 來 作例外的處理。
至此，影像內/外插放大技術的主要部分大抵上已經完成，其主要精神在於 使得放大後的影像保有原畫面銳利度；然而，太過銳利的影像在視覺上不見得是 絕對討喜的，而或有矯枉過正之憾。因此本論文對於上述的高解析度高/低群分 界函式中的高/低灰階群邊界附近的像素，將會以沿著垂直於邊界方向作線性內 插的方式作改善，以降低太過銳利的情況。另一方面，[23]中對高/低灰階各群內 部像素一概以平均值作內插值，在本論文中則改依平面函數內插之，以達到較為 平順的內插補點效果，這些都將於下一章一併作說明。
(a) (b) 圖 2-10 不同斜率下理想與現實的差異，圖中藍線為理想情況，綠線為我們所定義的高/低群分界函
式所形成的邊界線，紅圈為邊緣發生的 2×2 區塊。
圖 2-11 類別 A 圖樣與其高/低群邊界。 圖 2-12 類別 B 圖樣與其高/低群邊界。
圖 2-13 類別 C 圖樣與其高/低群邊界。
圖 2-14 類別 D 圖樣與其高/低群邊界。
E17 E18 E19
E20 E21 E22
E23 E24 E25
E1 E2 E3 E4
E5 E6 E7 E8
E9 E10 E11 E12
E13 E14 E15 E16
圖 2-15 類別 E 圖樣與其高/低群邊界。
F17 F18 F19
F20 F21 F22
F23 F24 F25
F1 F2 F3 F4
F5 F6 F7 F8
F9 F10 F11 F12
F13 F14 F15 F16
圖 2-16 類別 F 圖樣與其高/低群邊界。
圖 2-17 類別 G 圖樣與其高/低群邊界。
三、計算灰階值之內/外插函數
前一章已經將內插目標內的高解析度像素依其灰階高/低作標記。進一步地，
依每個像素所屬的灰階群，計算其灰階值為接下來的工作。在[23]中，所有像素 一概由所屬灰階群在低解析度的參考素平均值作(零次)內/外插補點。此即，即使 這些參考像素灰階值有著些微的差異，但將忽略其間差異而以同一灰階值作內/
外插。這意味著放大後的影像中將會有許多等灰階值的區塊。因此，本論文將對 這樣的缺點作改進，即使這些被判斷為相似的像素其灰階值是相近的，但仍可由 計算一次平面函式，使得高解析度的每個像素可依其所在位置計算較為合適的灰 階值。另一方面，為求良好的放大品質，銳利化一向是影像放大過程中不可或缺 的一部分。然而，試想電視上的銳化調整，太過銳利的影像在視覺上反而讓人覺 得不自然。在[23]中，並沒有特別對深淺懸殊的兩灰階群之邊界作處理，以致於 在高/低灰階群邊界部分的懸殊變化使放大後的影像過於銳利。因此，如圖 3-1，
藍色線段為我們為高/低灰階群的分隔線，圖中區塊 A/B 將以中央區塊中灰階群 0 的 3 個像素灰階值作內/外插依據，區塊 D 則以灰階群 1 中間的像素灰階值為 外插依據，而像區塊 C 這樣較接近邊界之鄰近區域則作漸層式的內插，並使其 邊界的銳利程度可隨區塊 C 大小作調整。
圖 3-1 區塊 A、B、C 和 D 將以不同方式作內/外插處理。
3.1 相近灰階值中的內插
若以圖 2-11 中類別 A 中的 2×2 區塊來說，其依灰階值高/低分群的結果是上 部的 2 個像素為一群，下部的 2 的像素為一群。因此，欲計算上部的高解析度像 素灰階值時，可參考上部的在低解析度時的 2 個相鄰像素，下部亦同，而類別 B 與類別 A 類似。另外對於類別 C 而言，其分群結果為左上部的 1 個像素與右下 部的 3 個像素。此時可參考的像素左上部為 1 個，右下部為 3 個。然而對於類別 G 而言，左上角與右下角判斷為同一灰階群，右上角與左下角為另一灰階群，各 群可參考的像素皆為對角的 2 個像素。因此，在作補點時可將參考的像素依數量 分成參考 1 個像素、參考 2 個像素和參考 3 個像素三種案例處理。並分別對高/
低灰階值各群，依其參考像素建構一個平面函式I x y
(
,)
，以計算 2×2 區塊內標記為該群的高解析度像素灰階值，其中
(
x y,)
為各像素座標。現象形成原因來自於被判斷為屬於同灰階群的像素是以同一灰階值進行內/外插 補點，進而使得被放大後的影像以當初的 2×2 區塊為單位形成塊狀。然而在以平 面函數為內插補點方法之後，可依參考的像素在不同位置而採用平面方程式計算 不同的灰階值，因而減少因區塊內同灰階群像素以同一灰階值作內/外插而引起 的區塊化現象。
(a) 原圖
(b) 以參考點平均值作內/外插補點 (c) 以平面函數作內/外插補點
圖 3-2 相同參數下，不同內/外插補點計算方法之比較。
3.2 懸殊灰階值間的內插
h
尤其是h≥30之後，影像已經漸趨模糊。然而影響不只於此，我們可以觀察到，
與圖 3-5(b)相比，圖 3-5(c)的鋸齒現象較為緩和。其原因為對於鋸齒細紋，在邊 界漸層化的同時，可使其細紋較為模糊。因此由於深淺交界處的漸層式內插，可 以使放大後的影像得以選擇其深淺交界處之銳利程度，並同時降低鋸齒現象。
(a) 原圖 (b) h=0
(c) h=10 (d) h=20
(e) h=30 (f) h=40
圖 3-5 邊界區域寬度的調整。
目標區塊內的各部份的內/外插補點方式已經介紹完畢。承接第一章的 2×2 區塊內像素的分群與分類，有些區塊被歸類以 Bi-Cubic 處理之，有些則進一步 對內/外插補點目標與其周圍像素作亮度的高/低標記，並與第二章所建立之其所 屬的類別圖樣群作比對，比對成功後可得該圖樣所搭配之高/低群分界函式，以 之將高解析度各像素做 1/0 標記而區隔出高/低灰階群。對於這些標記完成後的像 素，進而計算其像素灰階值。首先對於區塊內的高/低灰階群，計算個別的平面 函式I 與0 I ，進而對區塊內的所有高解析度像素依其與高/低群邊界的距離，分1 成距離大於 h 者與距離小於等於 h 者。當該像素與邊界距離大於 h ，則以像素座 標帶入其所屬灰階群之平面函式以求其灰階值。反之，當距離小於等於 h ，則屬 於邊界區域內的像素。此時則依其與邊界區域兩端之垂直距離，以不同比重混合 該像素於高/低灰階群之兩平面函式的數值為其灰階值。如此，區塊內的所有像 素灰階值皆已計算完成，此時將目標區塊往影像右方移動一個像素距離，重複同 樣的工作直至影像右下角最末端。
四、實驗結果
步與 Bi-Cubic、Nearest Neighbor 和[23]的放大結果作比較。並在本章最後，透 過PCA 為放大後影像中邊緣部分作量化的比較。此模糊化的結果。而圖 4‐1(c)改以Ti = 、5 Te =15，因此圖 4‐1(c)中只剩一塊邊
(a) 原圖 (b) Ti =20、Te =60
(c) Ti =5、Te =15 圖 4-1 以 h=10 從解析度 180×180 放大至解析度 400×400。
(a) 原圖 (b) Ti=20、Te=60
(c) Ti=5、Te=15 圖 4-2 以 h=10 從解析度 180×180 放大至解析度 400×400。
(d) Ti=20、Te=60 影像中 Bi-Cubic 補點部分以黑色取代
(e) Ti=5、Te=15 影像中 Bi-Cubic 補點部分以黑色取代 圖 4-2 以 h=10 從解析度 180×180 放大至解析度 400×400。(續)
(a) 原圖 (b) h=0
(c) h=7 (d) h=15
圖 4-3 以 Ti=0、Te=15 將影像從解析度 100×150 放大至解析度 200×375。
4.2 與其他方法的比較
在上一節已經展示了 h 、T 、i T 不同的數值對放大結果的影響，本節將著重e 在與 Bi-Cubic、Nearest Neighbor 和[23]作比較。並且由於本論文是針對[23]作進 一步改善， T 與i T 為共同參數，因此在比較時將以相同的e T 、i T 作為比較基準。 e
圖 4-4(a)為解析度 75×75 像素的影像，圖 4-4(b)、(c)個別為經過 Nearest Neighbor 和 Bi-Cubic 放大處理之後的結果。可以觀察到圖 4-4(b)的放大結果相當 不理想，而圖 4-4(c)相較之下好很多，但是仍有過於模糊的缺點。圖 4-4(d)為[23]
另外對於如圖 4-6 這樣的二值影像放大，比起 Nearest Neighbor 和 Bi-Cubic，
本論文有著更強烈的優勢。由於我們的演算法是以區塊內的深淺二分法為主軸延 伸，所以對與二值影像，正好切中本方法的主要精神。圖 4-6(a)是解析度為 125
×125 像素的原始影像，在經過 Nearest Neighbor 、Bi-Cubic 放大至解析度為 300
×300 像素的結果分別如圖 4-6(b)、(c)所示。可看見圖 4-6(b)明顯的鋸齒現象和圖 4-6(c)中的鋸齒現象和模糊現象。然而[23]的方法在Ti = 、5 Te =15的情況下的結 果，如圖 4-6(d)所示，鋸齒現象已經大幅減少，並且沒有像圖 4-6(c)這樣模糊的 邊緣。更優於[23]，圖 4-6(e)為在同樣的T 、i T 下，並設定e h= 的結果，可觀察15 到圖 4-6(d)中些微的鋸齒現象已獲得更進一步的改善。
圖 4-7(a)為常見的顯示器測試影像，其解析度為 800×600 像素。圖 4-7(b)為 [23]所提的方法在Ti = 、5 Te =15下放大至 1024×768 後的部分影像，圖 4-7(c)為 本論文的方法在同樣的T 與i T ，並且設定e h=10的結果。可以觀察到圖 4-7(c)中 的細線較為平順，色塊的四角較為完整，並且在文字的放大上較為美觀。另外由 圖 4-7(d)可看出放大後被判別為類別 G 的部分。
透過上述的這些例子，可以明顯看出比起 Nearest Neighbor 和 Bi-Cubic，本 論文所提出的方法對於影像法大後的鋸齒和模糊有著顯著的改善。而[23]中一些 矯枉過正的缺點也得到解決，而以更適切的灰階變化詮釋原始影像中的各種細微 灰階變化，使得內插後的放大結果較為自然。
(a) 原圖
圖 4-4 將影像從解析度 75×75 放大至解析度 250×250。
(b) Nearest Neighbor (c) Bi-Cubic
(d) [23] Ti=30、Te=50 (e) Ti=30、Te=50、h=20
(f) [23] Ti=30、Te=80 (g) Ti=30、Te=80、h=20 圖 4-4 將影像從解析度 75×75 放大至解析度 250×250。(續)
(h) Ti =30、Te =50、h=20 影像中 Bi-Cubic 補點部分以黑色取代
(i) Ti =30、Te =80、h=20 影像中 Bi-Cubic 補點部分以黑色取代 圖 4-4 將影像從解析度 75×75 放大至解析度 250×250。(續)
(a) 原圖 (b) Bi-Cubic
(c) [23] Ti=30、Te=80 (d) Ti=30、Te=80、h=20 圖 4-5 將影像從解析度 640×512 放大至解析度 2000×2000 的部分影像。
(a) 原圖
(b) Nearest Neighbor (c) Bi-Cubic
(d) [23] Ti=5、Te=15 (e) Ti=5、Te=15、h=15 圖 4-6 將影像從解析度 125×125 放大至解析度 300×300。
(a) 原圖
圖 4-7 將影像從解析度 800×600 放大至解析度 1024×768 的部分影像。
(b) [23] Ti=5、Te=15 (c) Ti=5、Te=15、h=10 圖 4-7 將影像從解析度 800×600 放大至解析度 1024×768 的部分影像。(續)
(d) 在 Ti=5、Te=15、h=10 下判別為類別 G 的部分
圖 4-7 將影像從解析度 800×600 放大至解析度 1024×768 的部分影像。(續)
4.3 影像斜邊放大後的平整程度比較
此節我們將對 Nearest Neighbor、[23]和本篇論文三種演算法作放大品質作進 一步的量化比較。我們透過比較視覺上的舒適度可以粗略地比較各演算法的放大
此節我們將對 Nearest Neighbor、[23]和本篇論文三種演算法作放大品質作進 一步的量化比較。我們透過比較視覺上的舒適度可以粗略地比較各演算法的放大