色彩處理相關研究

二. 影像放大原理及相關研究

2.4 色彩處理相關研究

利用彩色圖片來做放大也可以利用上述的這些內插法來執行，在眾多彩色格式中以 RGB及YUV為主，RGB 訴求於人眼對色彩的感應，YUV則著重於視覺對於亮度的敏感程度，因為無論是數位電視、數位相機或電視遊樂器在輸入或輸出時所要求的格式是以這兩種為最多。

(1) RGB 格式:

RGB 三原色光顯示主要用於電視和計算機的顯示器，有陰極射線管顯示、液晶顯示和電漿顯示等方法，將三種原色光在每一像素中組合成從全黑色到全白色之間各種不同的顏色光，目前在計算機硬體中採取每一像素用 24 位元表示的方法，所以三種原色光各分到8位元，每一種原色的強度依照8位元的最高值2⁸分為256個值。用這種方法可以組合出1670萬種顏色如圖2-9所示為RGB立方體平面，但人眼實際只能分辨出1000 萬種顏色。每一個像素點為 24 位元編碼的 RGB 值，所使用表示為紅色、綠色和藍色強度的三個8 位元無符號整數（0 到 255）。處理內插法必須注意到，在補點時的運算都要根據這三種顏色(RGB)的變化來做運算，所以在使用RGB格式過程內插法的運算都必須是獨立，這樣使得它的運算量或者是資料量的處理都會是一個很大的負擔。

Fig. 2-9. RGB 立方體平面[25]

(2) YUV 格式:

YUV被解釋成True-color顏色空間（color space）的種類，YUV、YCbCr、YPbPr等專有名詞都可以統稱為YUV。「Y」表示明亮度（Luminance）如圖2-10(a)，「U」和「V」

則是色差、濃度（Chrominance）如圖2-10(c)(d)，其中YUV和通常用來描述類比訊號，

而相反的YCbCr則是用來描述數位的影像訊號。大多數YUV格式平均使用的每像素位數都少於24位元。如圖2-11(a)所示為YUV 4:4:4排列所有的像素組合中最逼真的格式，每一個像素（24 bits）都會有自己獨立的YUV元素，即每4個Y能夠分配4個U及4個V；如圖2-11(b)所示為YUV 4:2:2排列在不影響視覺上的判斷時可以將UV做減半，即每4個Y 能夠分配2個U及2個V[20]。

(a) (b)

Fig. 2-10. (a) YUV 4:4:4 組合[26]、(b)Y 像素部份、(c)U 像素、及(d)V 像素部份

2.5 根據人類視覺可適應性邊緣彩色影像縮放根據人類視覺可適應性邊緣彩色影像縮放根據人類視覺可適應性邊緣彩色影像縮放根據人類視覺可適應性邊緣彩色影像縮放(HVS- based

edge-adaptive Color image scaling)

2.5.1 簡介簡介簡介簡介

在數位影像處理中，影像縮放技術的應用非常廣泛，但普遍存在的問題就是影像縮放後的失真現象。過去所使用的一些內插法中例如:最近相鄰內插法、雙線性內插法及雙立方內插法[2]-[6]這些內插法對於邊緣處理未能提供較好的效果。

由於人的眼睛對於圖片中的邊緣部份較為敏感所有很多針對邊緣處理的演算法已被提出[7]-[15]。這些理論可用來提高在視覺上對於邊緣的效果。

為了讓影像縮放後得到更好的邊緣效果，本篇論文採用根據人類視覺可適應性邊緣影像縮放(HVS-based edge-adaptive image scaling)[1]。在本篇論文中會使用到雙線性內插法(Bilinear Interpolation)和邊緣適應性影像內插法(Edge-Adaptive Interpolation)。在使用上述兩種內插法之前會使用到模糊決策系統(Fuzzy Decision System) 。來決定影像的是否為邊緣部份，經由此系統的判斷可以將影像分為人類視覺中的非感測區域 (Non-Sensitive Regions)和感測區域(Sensitive Regions)。當偵測出是非感測區域也就是一般較為平面或人眼較無法判別的範圍，選擇使用雙線性內插法(Bilinear Interpolation)，

如果偵測出是感測區域也就是邊緣線條部份，選擇則使用邊緣適應性影像內插法 (Edge-Adaptive Interpolation)。

2.5.2 演算法架構演算法架構演算法架構演算法架構

在人類視覺可適應性邊緣彩色影像縮放 (HVS-based edge-adaptive Color image scaling)演算法架構中如圖 2-14 所示，包含模糊決策系統、角度計算(Angle Evaluation)、

邊緣適應性影像內插法及雙線性內插法。

在處理影像之前，必須先把影像切割成 4×4 的滑動區塊如圖 2-15(a)，模糊決策系統會先將 4×4 的滑動區塊執行背景物件及邊緣的判斷，再根據模糊決策系統所輸出的結果，來決定使用邊緣適應性內插法或雙線性內插法；如果判斷輸出的結果是邊緣，將會執行邊緣適應性影像內插法，在取得適應性補插點之前，需對邊緣方向需先做角度的判定，故在影像 4×4 的滑動區塊中的 16 個像素在計算出角度的結果之後，演算法會根據每一個像素所輸出的角度做直方圖(Histogram)統計，最後再依據直方圖計算出來的結果選擇邊緣適應性影像內插法的權重(Weight)再將 16 個像素做乘加的計算，即可得到所要的補插點；另外模糊決策系輸出是非邊緣時，只需使用較簡單的雙線性內插法。

Fig. 2-14. 人類視覺可適應性邊緣彩色影像縮放演算法架構[1]

(a) (b)

Fig. 2-15. (a) 4 × 4 滑動原始影像, (b) 兩倍補插點方塊圖[1]

當一張原始影像輸入時，首先會切割成一個4×4滑動區塊，會切割為4×4的原因就是考慮到，如果將滑動區塊切割太小，如3×3將使得演算法可能無法判斷出邊緣的情形，

反之如果將滑動區塊切割太大，如6×6將使得邊緣的向位無法單一，也就是在一個滑動區塊中邊緣可能會出現多個向位，這樣一來會使得演算法對於角度計算會較為複雜，故在演算法在運算之前只要取得4×4滑動區塊，而在一張圖片中會有很多重疊的滑動區塊，在每一次的滑動區塊計算完畢之後，4×4影像區塊就會以水平的方向移動一個像素的間距，直到整個圖片的水平的像素點處理完之後，再以垂直的方向移動一個像素的間距。如圖2-15(a)是一個被切割4×4滑動區塊這裡O( i , j )指的是每一原始圖中的像素，圖 2-15(b)是一張兩倍補插點的方塊圖在這張圖會有P(1,0), P(0,-1), P(1,-1)需要經由適應性影像內插法或雙線性內插法來執行補插點。

2.5.3 演算法分析演算法分析演算法分析演算法分析

1. 模糊決策系統模糊決策系統模糊決策系統模糊決策系統(fuzzy decision system)

研究發現人類視覺系統(Human Visual System)對於亮度對比和在相同亮度比較之下亮度對比對於人類視覺較為敏感。人類眼睛的能力可以判別物件及背景之間的不同取決於背景亮度(Background Luminance (BL))的平均值。如圖 2-16 所示，主要是模擬人眼對於背景及物件的曲線圖，也就是能見度臨界值(Visibility Threshold)與背景亮度關係曲線，從曲線中得知當背景亮度的範圍介於 70 到 150，所需的能見度臨界值較低，就是指背景亮度在 70 到 150 時，只要能見度臨界值大約等於 3，就能夠分辨出背景及物件之間的關係，另外當背景亮度最暗(BL=0)時，所需的能見度臨界值大約等於 22，所以背景亮度處在最暗的情形之下必需要提高能見度臨界值，才能夠使得人眼能夠分辨出背景及物件，總結上述的解釋可以從式子(2.7)所計算出來的結果以關係曲線為分界點，位於曲線上方者表示可以分辨出背景及物件，但如果在曲線的下方者並不能夠分辨出背景及物件。

Fig. 2-16. Visibility thresholds 與背景亮度關係曲線[1]

為了使影像在補插點很能夠使得影像能夠有較好的品質，本論文中所提到的模糊決策系統能夠將輸入的影像分類人類視覺中的非感測區域(Non-Sensitive Regions)和感測區域(Sensitive Regions)。

針對非感測區域，可以使用雙線性內插法能夠減少計算成本對於硬體的實現也較為簡單，針對感測區域中，使用邊緣適應性影像內插法可以達到較好的視覺品質。

在模糊決策系統中會有三種輸入變量，為VD (Visibility Degree)、SD (Structure Degree)及CD (Complexity Degree)。VD主要是檢測背景及物件之間的關係，SD為邊緣或雜訊的一個判斷指標，而CD能夠對邊緣或紋理做一個偵測處理。從上述這三種變化中最後會得到一個結果，來做為是否為邊緣適應性影像內插法或是雙線性內插法的一個指標，接下來就是對於模糊決策系統的詳細介紹：

(1) VD (Visibility Degree)

VD的主要目的是將4×4的滑動區塊執行背景及物件的一個分析，每一個滑動區塊中

從關係曲線如式(2.7)中，可以將已計算出的背景亮度帶入能見度臨界值和背景亮度

(2) SD (Structure Degree)

SD的主要目的是將4×4的滑動區塊執行邊緣及雜訊的判斷，SD對於4×4滑動區塊中

Fig. 2-17. 4×4 的滑動區塊像素在 SD 參數分佈圖[1]

SD的值介於0和1之間，如果SD的值比較小(接近0)表示σ₁^和σ2^{是很接近的如圖}

2-17(a)，4×4的滑動區塊中分出兩種頪型表示影像區塊可能包含邊緣或紋理結構。反之如果SD的值比較大(σ₁−σ₂ >>0)如圖2-17(b)表示影像區塊中的像素的只有一種類型，

因此在影像區塊中可能包含雜訊。

(3) CD (Complexity Degree)

在得SD的值之後，如果從中SD判斷出影像區塊為邊緣或紋理時，必需使用CD的計

Zero-Crossing

Fig. 2-19. Laplacian 運算遮罩

)

(4) Fuzzy output

VD的變化量會有兩組模糊集合(Fuzzy Set)，N(negative) 和P(positive)，SD的變化量會輸出三組模糊集合，S(small), M(medium) 和B(big)，CD的變化量也會有三組模糊集合，S(small), M(medium) 和B(big)。歸屬函數(Membership Function)所對應的VD、SD和 CD的關係如圖2-20 (a)–(c)，經由模糊決策系統中會有7種不同的結果如下:

1. If VD is N then Mo is BL.

2. If SD is B then Mo is BL.

3. If CD is B then Mo is BL.

4. If VD is P and SD is S and CD is S then Mo is NN.

5. If VD is P and SD is S and CD is M then Mo is BL.

6. If VD is P and SD is M and CD is S then Mo is NN.

7. If VD is P and SD is M and CD is M then Mo is BL.

當模糊決策系統計算輸出是NN，系統將選擇邊緣適應性影像內插法，反之選擇雙線性內插法。

1 0 -1

µVD

P N

µSD

S M B

0.36 0.4

0.32 SD

µCD

13 16

(a) (a)

(a) (a) (b) (b) (b) (b)

(c) (c) (c) (c)

S M B

Fig. 2-20. (a)VD,(b)SD 和(c)CD 於隸屬函數的各種模糊集合[1]

2. Angle Evaluation

Fig. 2-22. 角度計算流程圖[21]

在獲得4×4影像區塊16個像素定位角度之後，演算法會針對這16次的角度做直方圖的計算，而直方圖的範圍共分成8階，就是角度會有八種不同的範圍如θ =22.5×k^，k=0, 1, …, 7，而演算法會針對這16個像素來計算每一個像素所代表的角度範圍，如圖2-23所示為每一個像素角度位於直方圖中的範圍，從直方圖可以得知這16個像素出現在那一個 角度範圍的次數，以出現頻率最多次(k=0,1,2…,7)來執行邊緣適應性影像內插法詳細內 容請參考下一小節。

Fig. 2-23. 角度於直方圖中的分佈

2.5.4 內插法分析內插法分析內插法分析內插法分析

三三三

三. . . 邊緣可適應性彩色影像縮放硬體實現 . 邊緣可適應性彩色影像縮放硬體實現邊緣可適應性彩色影像縮放硬體實現邊緣可適應性彩色影像縮放硬體實現

3.1 簡介簡介簡介簡介

為了可以在硬體電路實現邊緣可適應性彩色影像縮放，首先必需考慮到原始影像來源，因為所要處理的資料是彩色的資料非常的大圖片的大小是720 × 240因為在彩色的像素中所使用YUV格式每一個像素除了Y像素(亮度或稱灰階)之外，還包含U像素及V像素 (色差)，硬體對於大量彩色影像資料的處理，必須要有外部記憶體來做為存放資料的一個地方，所以在硬體的架構上就要規劃一個能跟外部記憶體溝通的一個介面(SSRAM interface)，另外也必需考慮到的影像處理的一個即時性，所採用的記憶體是同步靜態隨機記憶體(SSRAM)，因為它的存取速度非常的快最快可達到200MHz，所以才能夠在處

在文檔中以人類視覺系統為基礎之彩色影像縮放硬體實現 (頁 21-0)