論文架構

本論文中，在第二章會針對過去所提出的一些影像放大內插法的優缺點來做討論，

從圖片的失真問題中邊緣所產生的一些鋸齒及模糊的情形來進行討論，最後會針對彩色 像素格式及演算法的原理來做一個探討。第三章對於整個邊緣適應性演算法硬體實現，

從彩色影像資料的擷取到演算法的運算後資料處理的流程討論，另外也會針對過去灰階 架構中的一些問題來做一個改善。第四章部份則列出實驗後的結果及電路面積、效能的 比較。第五章則是總論及未來展望。

二 二

二 二. . . . 影像放大原理及相關研究 影像放大原理及相關研究 影像放大原理及相關研究 影像放大原理及相關研究

2.1 影像放大基本原理 影像放大基本原理 影像放大基本原理 影像放大基本原理

在數位影像縮放技術中，影像放大原理是將一張低解析度的照片變成高解析度的照 片。所以在圖片放大的過程中必須要在原來的點與點之間必須插入一個新的點，經由現 有的資料插入資料以提高取樣(Up Sampling)，藉此求得較高解析度的影像，也就是所謂 的內插法，內插(Interpolation)的數學意義就是將兩個函數做迴旋積分(Convolution)影響 影像放大品質的主要關鍵是內插濾波器的不同，一個理想的濾波器函數是sinc如圖2-1所 示，在實際上的濾波器不會跟sinc的函數一樣，所以在經過影像放大後的結果品質也會 有所不同，一般來說，要放大低解析度的影像成為高解析度影像時，大部份的研究使用 多項式內插法 (Polynomial Interpolation)。常用的多項式內插法包括最近相鄰內插法、雙 線性內插法及雙立方內插法，而這些內插法中對於邊緣部份的處理會產生鋸齒或模糊的 情況，為了解決此問題便有人提出邊緣方向偵測內插法 (Edge-Directed Interpolation)或 等照度線內插法 (Isophote Interpolation)些類型主要目的是針對邊緣部份做有效的修 正，使得放大後的圖片中的線條可以更平滑。

0 T 3T 4T t

H r(t)

-3T -T -4T

Fig. 2-1. 重建濾波器響應[24]

2.2 內插法的相關研究 內插法的相關研究 內插法的相關研究 內插法的相關研究

(1) (1) (1)

(1) 最近 最近 最近 最近相鄰內插法 相鄰內插法 相鄰內插法 相鄰內插法 (Nearest Neighbor Interpolation)

最近相鄰內插法[4]由A.H.Thiessen所提出的一種較為簡單的內插法，主要的精神是 將四個相鄰近的像素點的值來做內插並求出新的補插點，這是所有內插法中最簡單的內 插法，但所放大後的影像品質並不是那麼好，圖片通常會產生一些鋸齒狀(Jagged)的線 條。

A B

C D

Pixel Columns Pixel Columns

Pixel Rows

Transform Pixel

原始影像 目的影像 Fig. 2-2. 相鄰內插法說明圖

由圖2-2中可以得知，在目的影像中的像素，推回至原始影像，並不會落在整數值 的像素上，而是落在像素A、B、C、D之間非整數倍率像素的位置上，最近相鄰內插法 的作法就是將原始影像中的分數位置選擇一個最接近距離的整數位置的像素。以圖2-2 的範例來說的話，假如C點為最近的距離，就將C點的像素值複製給目的影像這個像素。

這種方法適合影像類型為影像內容非常銳化(例如方形)且顏色對比非常明顯，因為此內 插法可以保持處理後的影像的色調與原始影像不變。

(2) 雙線性內插法 雙線性內插法 雙線性內插法 (Bilinear Interpolation) 雙線性內插法

雙線性內插法[2] 也是很簡單內插法之一，它是把未知像素色彩值周圍的同色像 素，採用線性方式平均得到估算的像素值，如式(2.1)所示。

4 3

) 1 ( 2 ) 1 ( 1 ) 1 )(

1 ( ) ,

(x y dx dy P dx dy P dx dyP dxdyP

f = − − + − + − + (2.1)

P1 P2

P3 P4

dx ffff

dy

Fig. 2-3. 雙線性內插法說明圖

在圖2-3中，要計算的新像素值 f(x, y)補插點的位置介於四個整數值的像素點P1、 P2、P3、P4之間，而且它們與的間距也是已知的，這個間距只要計算出跟像素點P1的 間距，這些鄰近點若是離越近，表示對補插點越有貢獻，亦是表示此點的值對有較多的 影響，反之，則對的影響力越小，使用雙線性內插法縮放大的影像，相鄰像素之間會比 直接取整數點更有連續性，也就是更加平滑。

(3) 雙立方內插法 雙立方內插法 雙立方內插法 (Bicubic Interpolation) 雙立方內插法

雙立方內插法[5]是計算鄰近周圍16個像素，根據目標點與鄰近16點的距離不同而有 不同的貢獻程度。雙立方內插法之補插點運算式如式(2.2)及雙立方內插法的核心 (interpolation kernel)如式(2.3)：

∑ ∑

S(i-1,j-1) S(i,j-1) S(i+1,j-1) S(i+2,j-1)

S(i-1,j) S(i,j) S(i+1,j) S(i+2,j)

S(i-1,j+1) S(i,j+1) S(i+1,j+1) S(i+2,j+1)

S(i-1,j+2) S(i,j+2) S(i+1,j+2) S(i+2,j+2)

Fig. 2-4. 雙立方內插法說明圖

( ((

(4 44 4) )) ) 邊緣方向偵測 邊緣方向偵測 邊緣方向偵測 邊緣方向偵測內插法 內插法 內插法 內插法 (Edge-Directed Interpolation)

邊緣方向偵測內插法[9]，是經由找出在低解析度影像中的邊緣資訊，將它對應到高 解析度上的相對位置，再藉由修正過的內插法及配合適當的濾波器，建構出高解析度影 像如圖2-5所示。

Edge-directed Interpolation

Subpixel-edge Estimator

High Resolution Edge Map

Enlarged Image Orignal Image

Fig. 2-5. 邊緣方向內插法架構[9]

隨後，Xin Li 與Michael Orchard 又提出新邊緣方向內插法[10]，其主要的概念上是 先計算原來低解析度影像的局部協方差係數 (local covariance coefficient)，再經由協方差 計算出適合插補在較高解析度的影像。新邊緣方向內插法是一個4階的內插演算法，並 透過最小均方差 (least mean squares)來計算出內插像素的灰階值，這種演算法會先判斷 影像物體邊緣的部分，然後再沿著邊緣的部分去做內插，圖2-6為新邊緣方向內插示意 圖。

P P

P P

ffff (2i+1 , 2j+1)

(2i+2 , 2j+2) (2i+2 , 2j+1)

(2i , 2j) (2i , 2j+2)

在圖2-6所示，原來較低解析度影像P的4個像素(P0, P1, P2, P3)，在較高解析度影像

等照度線內插法[14] (Isophote Interpolation)從最近的邊緣方向內插法中添加有限的 幾何訊息（邊緣地圖）建立更準確視覺效果補插在影像中較關鍵的輪廓上。等照度線內

Fig. 2-7. Isophote 重建誤差[14]

2.3 影像失真問題 影像失真問題 影像失真問題 影像失真問題

由於我們使用上述的各種不同的內插法，會導致影像失真，主要失真會有兩種就是 模糊(Blur)及鋸齒(Jag)，以下針對圖片放大後會產生的兩種問題來討論。

(1) 模糊 模糊 模糊(Blurring) 模糊

當圖片在放大後發生模糊(Blurring)的情形時，人的眼睛對於放大後影像中的物體無 法對焦與辨識，就會造成模糊(Blurring)主要原因是影像像素反覆地進行內插，通常重建 濾波器為一個低通濾波器，因此會把高頻部份給濾除，便會出現模糊(Blurring)的效果，

如果使用雙線性內插法如圖2-8(a)，就會發現有模糊(Blurring)的情形。

(2) 格狀及鋸齒 格狀及鋸齒 格狀及鋸齒(Block & Jag) 格狀及鋸齒

由於實際的內插函數在時間軸上並非如同sinc函數是無限延伸的，都是以有限數目 的取樣像素來取樣，因此取樣點的像素都會被周圍的像素給影響到，會造成格狀的失真 效果，而且在影像的邊緣處則出現鋸齒狀(Jag)的現象。通常內插函數在時間軸上，波形 的下降程度越陡的話，其格子狀(Block)與鋸齒狀(Jag)的情況會更為嚴重。在典型的內插 函數為最近相鄰內插法，可以從圖2-8(b)中可以看出放大後的影像會有出現格狀的現象。

(a) (b)

Fig. 2-8. (a)使用雙線性內插法產生模糊(Blurring)及(b)相鄰內插法後圖片產生格狀(Block)[31]

2.4 色彩處理相關研究 色彩處理相關研究 色彩處理相關研究 色彩處理相關研究

利用彩色圖片來做放大也可以利用上述的這些內插法來執行，在眾多彩色格式中以 RGB及YUV為主，RGB 訴求於人眼對色彩的感應，YUV則著重於視覺對於亮度的敏 感程度，因為無論是數位電視、數位相機或電視遊樂器在輸入或輸出時所要求的格式是 以這兩種為最多。

(1) RGB 格式:

RGB 三原色光顯示主要用於電視和計算機的顯示器，有陰極射線管顯示、液晶顯 示和電漿顯示等方法，將三種原色光在每一像素中組合成從全黑色到全白色之間各種不 同的顏色光，目前在計算機硬體中採取每一像素用 24 位元表示的方法，所以三種原色 光各分到8位元，每一種原色的強度依照8位元的最高值2⁸分為256個值。用這種方法 可以組合出1670萬種顏色如圖2-9所示為RGB立方體平面，但人眼實際只能分辨出1000 萬種顏色。每一個像素點為 24 位元編碼的 RGB 值，所使用表示為紅色、綠色和藍色 強度的三個8 位元無符號整數（0 到 255）。處理內插法必須注意到，在補點時的運算 都要根據這三種顏色(RGB)的變化來做運算，所以在使用RGB格式過程內插法的運算都 必須是獨立，這樣使得它的運算量或者是資料量的處理都會是一個很大的負擔。

Fig. 2-9. RGB 立方體平面[25]

(2) YUV 格式:

YUV被解釋成True-color顏色空間（color space）的種類，YUV、YCbCr、YPbPr等專 有名詞都可以統稱為YUV。「Y」表示明亮度（Luminance）如圖2-10(a)，「U」和「V」

則是色差、濃度（Chrominance）如圖2-10(c)(d)，其中YUV和通常用來描述類比訊號，

而相反的YCbCr則是用來描述數位的影像訊號。大多數YUV格式平均使用的每像素位數 都少於24位元。如圖2-11(a)所示為YUV 4:4:4排列所有的像素組合中最逼真的格式，每 一個像素（24 bits）都會有自己獨立的YUV元素，即每4個Y能夠分配4個U及4個V；如 圖2-11(b)所示為YUV 4:2:2排列在不影響視覺上的判斷時可以將UV做減半，即每4個Y 能夠分配2個U及2個V[20]。

(a) (b)

(c) (d)

Fig. 2-10. (a) YUV 4:4:4 組合[26]、(b)Y 像素部份、(c)U 像素、及(d)V 像素部份

2.5 根據人類視覺可適應性邊緣彩色影像縮放 根據人類視覺可適應性邊緣彩色影像縮放 根據人類視覺可適應性邊緣彩色影像縮放 根據人類視覺可適應性邊緣彩色影像縮放(HVS- based

edge-adaptive Color image scaling)

2.5.1 簡介 簡介 簡介 簡介

在數位影像處理中，影像縮放技術的應用非常廣泛，但普遍存在的問題就是影像縮 放後的失真現象。過去所使用的一些內插法中例如:最近相鄰內插法、雙線性內插法及雙 立方內插法[2]-[6]這些內插法對於邊緣處理未能提供較好的效果。

由於人的眼睛對於圖片中的邊緣部份較為敏感所有很多針對邊緣處理的演算法已 被提出[7]-[15]。這些理論可用來提高在視覺上對於邊緣的效果。

為了讓影像縮放後得到更好的邊緣效果，本篇論文採用根據人類視覺可適應性邊緣 影像縮放(HVS-based edge-adaptive image scaling)[1]。在本篇論文中會使用到雙線性內插 法(Bilinear Interpolation)和邊緣適應性影像內插法(Edge-Adaptive Interpolation)。在使用 上述兩種內插法之前會使用到模糊決策系統(Fuzzy Decision System) 。來決定影像的是 否 為 邊 緣 部 份 ， 經 由 此 系 統 的 判 斷 可 以 將 影 像 分 為 人 類 視 覺 中 的 非 感 測 區 域 (Non-Sensitive Regions)和感測區域(Sensitive Regions)。當偵測出是非感測區域也就是一 般較為平面或人眼較無法判別的範圍，選擇使用雙線性內插法(Bilinear Interpolation)，

如果偵測出是感測區域也就是邊緣線條部份，選擇則使用邊緣適應性影像內插法 (Edge-Adaptive Interpolation)。

2.5.2 演算法架構 演算法架構 演算法架構 演算法架構

在 人 類 視 覺 可 適 應 性 邊 緣 彩 色 影 像 縮 放 (HVS-based edge-adaptive Color image scaling)演算法架構中如圖 2-14 所示，包含模糊決策系統、角度計算(Angle Evaluation)、

邊緣適應性影像內插法及雙線性內插法。

在處理影像之前，必須先把影像切割成 4×4 的滑動區塊如圖 2-15(a)，模糊決策系統 會先將 4×4 的滑動區塊執行背景物件及邊緣的判斷，再根據模糊決策系統所輸出的結 果，來決定使用邊緣適應性內插法或雙線性內插法；如果判斷輸出的結果是邊緣，將會 執行邊緣適應性影像內插法，在取得適應性補插點之前，需對邊緣方向需先做角度的判 定，故在影像 4×4 的滑動區塊中的 16 個像素在計算出角度的結果之後，演算法會根據 每一個像素所輸出的角度做直方圖(Histogram)統計，最後再依據直方圖計算出來的結果

在處理影像之前，必須先把影像切割成 4×4 的滑動區塊如圖 2-15(a)，模糊決策系統 會先將 4×4 的滑動區塊執行背景物件及邊緣的判斷，再根據模糊決策系統所輸出的結 果，來決定使用邊緣適應性內插法或雙線性內插法；如果判斷輸出的結果是邊緣，將會 執行邊緣適應性影像內插法，在取得適應性補插點之前，需對邊緣方向需先做角度的判 定，故在影像 4×4 的滑動區塊中的 16 個像素在計算出角度的結果之後，演算法會根據 每一個像素所輸出的角度做直方圖(Histogram)統計，最後再依據直方圖計算出來的結果