第二章 系統架構

第二章 系統架構

2.1 典型數位相機中影像處理流程

Read Image Raw Data

Color Interpolation

Edge Detection

Noise Filter

R G B

R G B

Color Correction sRGB

to CIELAB White Balance

Edge Enhancement Color Saturation

Enhancement

CIELAB to sRGB

Gamma Correction

JPEG Compression

R G B

sRGB to YCbCr

L*

a*

b*

R G B

Y Cb

Cr

R G B R

G B L*

a*

b*

L*

a*

b*

R G B

R G B R

G B

Tone Reproduction

R G B

Auto Level

R G B

圖 2-1 數位相機中的影像處理流程

圖 2-1 為數位相機中的影像處理流程，而本論文所提出的部分為由紅色 色彩填滿的區塊。當影像經電荷耦合元件 CCD 擷取影像進來之後，所得的 影像為 Raw data 原始影像(Read Image Raw Data)，此時我們先對未經過插補 處理的 Raw data 影像做自動色階(Auto Level)和白平衡(White Balance)的影 像處理流程，這兩個步驟不需要整個影像的 R、G、B 資訊，而是只要知道 整張影像的平均亮度值即可做計算處理。然後使用影像插補方法(Color Interpolation)將每個像素點插補出該有的 R、G、B 三成份。

由於我們所擷取的影像可能會受到鏡頭、硬體或使用長時間曝光…等因 素影響而造成雜訊的出現，因此接下來會使用較不受雜訊影響的邊緣偵測方 法(Edge detection)，以得到邊緣圖供後段影像處理使用，接下來對影像做雜 訊濾除(Noise filter)與色彩校正(Color correction)的處理，並做 RGB 轉

CIELAB 的轉換計算，將影像轉到 CIELAB 色彩空間，針對亮度 L 作邊緣增 強處理，並對與影像色彩有相關性的 A 與 B 做色彩飽和影像處理。然後再 將影像轉回 RGB 做 Tome reproduction 與 Gamma correction 的處理，最後將 影像轉換至 YCbCr 的影像空間以作後續的影像壓縮動作。

2.2 影像處理流程中各區塊的主要功能

相機接收影像時，由前端的電荷耦合元件感光，由於電荷耦合元件只能 感受到光線的強弱，並不能感受到顏色的變化，因此當進行數位取樣時，必 須在感光元件的前面加上一塊分色濾光片，通常分色濾光片是採用 RGB 三 原色分色法，然後將三個電荷耦合元件所擷取到的三色彩值混合成全彩影 像，由於數位相機考慮到使用三個電荷耦合元件的成本高以及所佔體積大的 因素下，一般只會使用單一電荷耦合元件，而使得每一個像素只有 R、G、

B 其中一種色彩元素的亮度值，造成其他的兩個色彩元素遺失，而這就是我 們一開始取得的 Raw data 影像。

單色濾光片所擷取的影像是以彩色濾波陣列(Color Filter Array, CFA)表 示(見圖 2-2)，分別使用三種彩色濾光片截取出紅、綠、藍三種成分值。在 目前的數位相機中最常見的彩色濾波陣列為貝爾圖形(Bayer pattern)，如圖 2-3 所示，圖中的 R 為紅色色彩之像素值，G 為綠色色彩之像素值，B 為藍 色色彩之像素值，由圖中可以觀察到，Bayer pattern 的特色在於感測器上所 感測到的 G 頻譜成份之像素點數量是 R 頻譜成份或 B 頻譜成份的兩倍，G 頻譜成份的像素數量佔較多的比例，主要的原因是因為人眼對於綠光的波長 最為敏感。

圖 2-2 彩色濾波陣列(Color Filter Array)

R

G

R

G

R

G G

B

G

B

G

B R

G

R

G

R

G G

B

G

B

G

B R

G

R

G

R

G G

B

G

B

G

B

圖 2-3 Bayer pattern

因為輸入的 Raw data 原始影像為 Bayer pattern 的排列方式，每點像素只 有一個色彩資訊，但每點像素基本上應該同時要有 R、G、B 三顏色的像素 值，因此我們必須將感光元件所得到的結果進行插補的數學處理，藉以重建 每一個像素所遺失的色彩元素值。傳統的雙線性插補法(bilinear)利用影像中 相鄰點的顏色較為近似的特性，使用平均的公式來進行色彩插補，運算簡 單，是最常被使用的方法，但會讓影像模糊，並且產生色彩失真與假色的不 良現象。影像插補技術非常多，方法可分為兩類：第一類，固定式影像內插 法。當此類插補法在插補彩色陣列中遺落的色彩元素時，所取的鄰近點是固 定的，內插法本身並沒有偵測邊緣的能力，因此會造成邊緣模糊的現象，此

使用單色濾光片擷取

類的內插方法有最鄰近點(nearest)內插以及雙線性(bilinear)內插、視覺平緩 轉換(Smooth Hue Transition)內插法，所內插出來的影像邊緣部份會產生影像 模糊的現象。第二類為非固定式影像內插法，此類的插補方法在插補彩色陣 列中遺落的色彩元素時，所取的鄰近點是不固定的，內插法本身並具有偵測 邊緣的能力，因此可以降低邊緣模糊的現象，此類的內插方法有邊緣偵測 (Edge Sensing)內插法、Laplacian 二階色彩相關性(Linear Interpolation with Laplacian second-order correction) 線 性 內 插 法 、 可 變 式 斜 率 變 數 內 插 法 (variable number of gradients)、可辨識斜率(Pattern Recognition)內插法，所內 插出來的影像在水平以垂直兩方向邊緣部份能有效降低邊緣模糊的現象，但 是在 45 度角以及 135 度角兩個方向通過的邊緣仍會有影像邊緣的模糊現 象。舉常見的固定式內插法為例，演算法如公式 2-1 到公式 2-6 所示（見圖 2-4）：

( 1 ) 偶 數 列 L i n e 2 ： B 1 0 像 素 之 R G B 各 值

B10(R)=(R1+R3+R17+R19)/4 … (公式 2-1) B10(G)=( G2+G9+ G11+G18)/4 … (公式 2-2) B10(B)=B10 … (公式 2-3) Sensor 偶數 Line 各像素的 RGB 計算方法均以此類推

(2)奇數列 Line3：G18 像素之 RGB 各值

G18(R)=(R17+R19)/2 … (公式 2-4) G18(G)=(G9+G11+G18+G25+G27)/5 … (公式 2-5) G18(B)=(B10+B26)/2 … (公式 2-6) Sensor 奇數 Line 各像素的 RGB 計算方法均以此類推

R 1 G 2 R 3 G 4 R 5 G 6 R 7 G 8 G 9 B 1 0 G 11 B 1 2 G 1 3 B 1 4 G 1 5 B 1 6 R 1 7 G 1 8 R 1 9 G 2 0 R 2 1 G 2 2 R 2 3 G 2 4 G 2 5 B 2 6 G 2 7 B 2 8 G 2 9 B 3 0 G 3 1 B 3 2

圖 2-4 貝爾圖形

綜合上述理由可得知，許多常用的內插法之所以會造成邊緣模糊的現象 是因為內插法本身無法靈敏的偵測到邊緣的位置，無法對影像邊緣的部份做 有效的內插，因此，為了改善彩色插補方法會造成的影像模糊，色彩失真或 假色的不良品質現象，現有的演算法大多存在許多分支條件控制流程，根據 許多影像特徵，決定套用那一個公式或演算法進行色彩插補。

CCD 所擷取進來的像素值強度並不會符合人眼視覺所看見的影像範 圍，通常 RAW data 影像值範圍會偏低，所顯現的影像過暗，因此需要做自 動色階調整(auto level)的動作，以用來調整 RAW data 的動態範圍，將動態 範圍拉大，以可以清楚的看到所有的影像細節。

數位影像常常會受到光源的影響，在不同光源下所取得的影像往往會跟 現實中所看到的顏色有所差距，可能白色的物體拍出來的結果卻在不同的光 源下呈現偏黃色、偏紅色…等等，不符合預期的影像，而白平衡(white balance) 即是在調整所拍出來的色調，使其能夠符合人眼所看到的顏色而不會有所失 真。白平衡(white balance)運用色彩校正的方式找出相關的色溫曲線(color temperature curve)，計算環境光源的色溫值，並補償光源所造成的色差。

在反差大或複雜的光源下常造成測光表誤判，導致造成曝光不足或過 曝，如當數位照相機的自動曝光程式認為主體太亮時，它會自動經由減少曝 光時間來彌補，因而造成白色變成灰色的結果，及所拍攝的物體看起來會比 真實的物體更暗，在較暗的主題時，其過程則相反。如此一來影像中會有很 多細節變得難以辨別，色調調整(tone reproduction)即是用來調整影像的動態 範圍，使得影像不會有過曝或過暗的地方，將整張影像調整在適當的影像亮 度範圍，使得影像的細節可以清楚的看到，根據色彩學的理論，在 CIE L*a*b 色彩空間上，調整 L*成分的動態範圍，可以使影像看到更多的影像細部特 徵(detail)，而這就叫做 tone reproduction。

影像色彩若是飽和，人眼會覺得這張照片相當的鮮豔漂亮，一張漂亮的 影像，必定是具有某種程度的色彩飽和度，而色彩飽和度(color saturation) 調整則是為了這個需要而存在，它主要對於 CIE-Lab 當中的 a 色域以及 b 色 域進行計算，因為在 CIE-Lab 中，因為顏色與亮度分離的特性，L 所指為影 像的亮度，而 a 與 b 指的則是影像的色度，色彩的飽和度主要即是要增強影 像的色度以得到更加飽和鮮豔的影像品質。

Gamma Correction 原本是為補償 Video Monitor CRT 非線性問題面對攝 影機輸出訊號所作的校正法則，這是為了要在電腦螢幕上正確的顯示影像，

沒有被適當校正的影像看起來可能會有過量或過暗的情形。典型的 Gamma 值是 0.45，它會使 CRT 的影像亮度呈現線性。這裡是利用色彩校正將影像 感測器(image sensor)的頻譜反應轉換至標準 RGB 色彩空間。

這邊有使用到影像色彩空間互換的步驟，將影像色彩空間由 RGB 轉換 到 CIELAB，主要是因為在 CIELAB 色彩空間中具有亮度與色彩分離的特 性，這裡的 L 所指的即為影像的亮度，A 與 B 則是影像的色彩部分，因此 當我們只想要對影像做亮度的調整計算時(如：邊緣增強)，我們可以針對 L 頻域做計算，而當我們想要改變改變影像的顏色時(如：色彩飽和度(color saturation)調整)，則針對 A 和 B 的色域做計算。

在 8-bit 儲存的影像當中，RGB 的值域為 0~255，R 指的是影像中所含 的紅色成分，G 指的是影像中所含的綠色成分，B 指的是影像中所含的藍色 成分，而 CIELAB 的值域則為 0~100，L 為影像的亮度成分，A 與 B 則為影 像的色彩。不論是 CIELAB 轉 RGB 或是 RGB 轉 CIELAB，在轉換過程中都 需先轉換至 XYZ 色彩空間，RGB 轉 CIELAB 的轉換公式定義如公式 2-7 到 公式 2-12 所示[16]

⎥ ⎥

⎥

⎦

⎤

⎢ ⎢

⎢

⎣

⎡

⎥ ⎥

⎥

⎦

⎤

⎢ ⎢

⎢

⎣

⎡

=

⎥ ⎥

⎥

⎦

⎤

⎢ ⎢

⎢

⎣

⎡

sRGB sRGB sRGB

B G R

Z Y X

0.950227

0.119193

0.019334

0.072169

0.715160

0.212671

0.180423

0.357580

0.412453

… (公式 2-7)

0891 .

1 ,

00 . 1 ,

9505 .

0

_{0 0}

0

= Y = Z =

X

… (公式 2-8)

( ) ¹⁶

116

* = f Y Y

₀

−

L

… (公式 2-9)

( ) ( )

[

_{0 0}

]

500

* f X X f Y Y

a = −

…(公式 2-10)

( ) ( )

[

_{0 0}

]

200

* f Y Y f Z Z

b = −

…(公式 2-11)

( ) ⎩ ⎨ ⎧

≤ +

= >

0.008856 t

116 16

787 . 7

0.008856 t

3

t t t

f

…(公式 2-12)

以上的影像處理流程都有可能會造成影像雜訊增強，尤其是位於雜訊濾 除演算法之前的自動色階調整(auto level)、白平衡(white balance)與影像插補 處理(color interpolation)步驟，未經過雜訊濾除處理就進行計算的這些影像處 理步驟，都有可能在處理過程中，由於對雜訊點沒有特別的考量，而將在計 算過程中將雜訊放大，因此，我們盡量將雜訊濾除步驟放在影像處理流程的 較前端，盡量在已經濾除雜訊的情形下作後續的影像處理，以減少雜訊對影 像處理的影響。