第二章 研究方法
第一節 退化模型
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
5
圖 1 不同類型的數位影像 此圖展示三種不同類型的影像，其中: (a)是二元影像。(b) 為灰 階影像。(c)是 RGB 彩色影像。
貳、 傅立葉轉換
傅 立 葉 轉 換 (Fourier transform) 被 用 來 將 訊 號 (Signal) 在 空 間 域 (Spatial domain)或時域 (Time domain)和頻率域 (Frequency domain)之間做 轉換。我們通常觀察與研究一訊號其波形如何隨著時間(空間)的變化而變動，
此時該訊號在時域上被表示為時間(空間)的函數。經由傅立葉級數或著傅立 葉轉換，我們可獲得該訊號其頻率的特性，則此時該訊號為頻率的函數。
某些訊號的運算在時間(空間)域下牽涉複雜的計算，但當轉至頻率域下，則 計算將得以被簡化，例如旋積 (Convolution)運算。此為傅立葉轉換在影像 處理上受重用的原因之一。以下我們將提供傅立葉級數以及傅立葉轉換基 本介紹。
1. 傅立葉級數
首先我們說明傅立葉級數 (Fourier series)。傅立葉級數將周期性的函數 𝑓(𝑥)表示成不同頻率的正弦 (Sine)和餘弦 (Cosine)函數的線性組合。考慮一個 單維的週期性函數 𝑓(𝑥)，其中 x 表示時間變數。則此函數之傅立葉級數為
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
6
𝑓(𝑥) = 𝑎0+ ∑(𝑎𝑛𝑐𝑜𝑠 𝑛𝑥 + 𝑏𝑛𝑠𝑖𝑛 𝑛𝑥)
∞
𝑛=1
其中 𝑠𝑖𝑛 𝑛𝑥、 𝑐𝑜𝑠 𝑛𝑥是頻率為 (n/(2π))的正弦與餘弦函數，其相對應的係數 𝑎𝑛, 𝑏𝑛稱為振幅 (Amplitude)，其反映該正、餘弦函數在 𝑓(𝑥)中所佔的份量。
我們以圖2 做進一步說明: 考慮一段週期性訊號如圖 2 (a)中的紅色實線，
此時橫軸 x 表示時間，這是我們一般觀察所得在時域下的訊號。假設經由傅 立葉及數將此訊號分解成不同頻率的正弦和餘弦函數的組合，如圖2(b)以及圖 2(c)中的藍色訊號。最後圖 2(d)以頻率為橫軸、相對應的振幅為縱軸作圖，則 可得頻率域下的訊號，此稱為頻率譜。請參考:
https://en.wikipedia.org/wiki/Fourier_transform
2. 一維傅立葉轉換
如上所述，傅立葉級數是針對連續週期性函數分解。然而實際的訊號或 影像僅有少數是週期性函數，多數是非週期性的。我們可用傅立葉轉換 (1-D Fourier transform)來分解非週期性函數。假設一段訊號在時域下為 𝑓(𝑥)，x表 示時間。定義 𝐹(𝑢)是訊號 𝑓(𝑥)複數的傅立葉轉換，其中 u 為頻率。則
𝐹(𝑢) =√2𝜋1 ∫ 𝑓(𝑥)𝑒−∞∞ −𝑖𝑢𝑥𝑑𝑥。 (2.1)
則 F 之反傅立葉轉換(1-D Inverse Fourier transform) 則為:
𝑓(𝑥) = 1
√2𝜋∫ 𝐹(𝑢)𝑒−∞∞ 𝑖𝑢𝑥𝑑𝑥, (2.2)
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
7
透過(2.1)和(2.2)式，訊號得以在時域和頻率域之間任意變換。複數傅立葉轉換 的結果得表示為:
𝐹(𝑢) = 𝑅(𝑢) + 𝑖𝐼(𝑢) (2.3) 其中 𝑅(𝑢)為實部， 𝐼(𝑢)為虛部。 |𝐹(𝑢)|被稱為 𝑓(𝑥)的頻率譜 (Fourier spectrum)，
|𝐹(𝑢)| = [𝑅2(𝑢) + 𝐼2(𝑢)]1/2 (2.4)
圖 2 時域和頻域概念 (a)時域下的訊號(紅線)。(b)(c)訊號(紅色線)被分解成不同頻率的正餘弦 函數(藍色線)的線性組合。(d)頻率譜。
‧
Transformation，2D-DFT)，訊號得以在空間域與頻率域之間轉換。令 𝐹(𝑢, 𝑣)是 𝑓(𝑥, 𝑦)函數的傅立葉轉換，則 且二維離散反傅立葉轉換(Two Dimension-Discrete Inverse FourierTransformation，2D-IDFT) 為
𝑓(𝑥, 𝑦) = 1
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
9
像，圖3(b)為圖 3(a)之能量譜。通常影像之能量譜上，低頻部分的資訊比高頻 的部分多了千萬倍，或高頻的部分為低頻的千萬分之一，過大的差距使我們 難以在原始的能量譜上辨別資訊，如圖3(b)整張偏黑，低頻部分的資訊被高頻 部分所掩蓋住，同樣的高頻部分也難以看出差異。因此為了凸顯資訊，我們 將能量譜取對數，log〖 (F(u,v))〗 ，藉此壓縮能量譜的範圍。圖 3(c)為取對數 後的能量譜，其高低頻分布較為清楚。故以下所謂的能量譜指的是經過對數 轉換的能量譜。圖4 則顯示 4 種不同的影像與其對應的對數轉換後能量譜。
圖 3 能量譜與對數譜 (a)為 Lena 原圖，(b)為(a)之能量譜，(c)為(b)取對數後的能量譜。
圖 4 原圖與能量譜 ，顯示四種原始影像(上排)與其取對數後的能量譜(下排)。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
10
參、 退化模型與點擴散函數
影像模糊又稱為影像退化 (Image Degradation)。模糊的種類有很多種，例 如手晃造成的線性動態模糊 (Linear Motion Blurred)、失焦模糊 (Out Of Focus Blurred)、影像儲存過程受到干擾的雜訊 (Noise)模糊以及影像解析度由高轉低 後的解析度失真。
在空間域下，假設一原始影像為函數 𝑓(𝑥, 𝑦)，而其模糊影像為函數 𝑔(𝑥, 𝑦)，則原始影像與模糊退化影像之間的關係稱為退化模型，一般常見的 模型如下式：
𝑔(𝑥, 𝑦) = 𝑓(𝑥, 𝑦) ∗ ℎ(𝑥, 𝑦) + 𝑛(𝑥, 𝑦)， (2.8)
其中 ℎ(𝑥, 𝑦)稱為點擴散函數 (Point Spread Function, PSF)，而 𝑛(𝑥, 𝑦)則為加 成性雜訊(Additive noise)。上式中“*”符號表示旋積運算 (Convolution) ，其 定義如下：
𝑓(𝑥, 𝑦) ∗ ℎ(𝑥, 𝑦)= ∑ ∑ 𝑓(𝛼, 𝛽)ℎ(𝑥 − 𝛼, 𝑦 − 𝛽)𝛼 𝛽 , (2.9)
點擴散函數和原始影像的旋積為影像模糊的主要成因。點擴散函數又稱為退 化函數，是用來描述造成影像模糊的函數。由(2.9)可得知退化影像上各點的像 素值是由原始影像所有像素值的加權平均，其權重則取決於點擴散函數。若 能適當地估計出點擴散函數的參數，將有助於原始影像的還原。
此外，加成性雜訊也是造成影像模糊的原因，其通常來自於影像儲存過 程中所受到的干擾。相較於點擴散函數對整張影像造成的系統性影響，雜訊 的影響呈現隨機，如圖 5 中當原始影像(a)加入高斯白雜訊 (White Gaussian Noise)後，圖 5(b)中的含雜訊影像呈現隨機性的模糊效果。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
11
圖 5 原圖與加成性雜訊 圖(a)為原始影像 Adele，(b)為加入雜訊後的結果。
已知旋積定理 (Convolution Theorem)指出，若在空間域下兩函數進行旋 積運算，則其運算結果的傅立葉轉換將等於兩函數的傅立葉轉換的乘積。假 設 𝐺(𝑢, 𝑣)是模糊影像 𝑔(𝑥, 𝑦)在頻率域下的傅立葉轉換，則根據旋積定理可 得:
𝐺(𝑢, 𝑣) = 𝐹(𝑢, 𝑣)𝐻(𝑢, 𝑣) + 𝑁(𝑢, 𝑣) (2.10)
其中， 𝐹(𝑢, 𝑣)是 𝑓(𝑥, 𝑦)的傅立葉轉換， 𝐻(𝑢, 𝑣)是 ℎ(𝑥, 𝑦)的傅立葉轉換，另 外 𝑁(𝑢, 𝑣)是 𝑛(𝑥, 𝑦)的傅立葉轉換。由於乘積運算相對簡單，在頻率域下估 計函數 𝐻(𝑢, 𝑣)比起在空間域下直接估計 ℎ(𝑥, 𝑦)較為容易。
模 糊 模 型 的 種類 繁 多， 本 篇主 要 探討 線 性動 態 模糊 (Linear Motion Blurred)，模型中也將不考慮雜訊。線性動態模糊對應的點擴散函數 ℎ(𝑥, 𝑦)如 下，請參考Tiwari 等人(2013)：
ℎ(𝑥, 𝑦) = {
1
∆, 𝑖𝑓 √𝑥2+ 𝑦2 ≤∆2 𝑎𝑛𝑑 𝑥𝑦 = − tan(𝜃)
0, 𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒 (2.11)
其中長度 ∆ 和角度 𝜃 為此函數中主要的參數。此點擴散函數屬於二維度的 均勻分佈，當向量 （x, y）與原點距離不超過 ∆/2，且與橫軸夾角為 π/2 + 𝜃
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
12
時，其函數值為非零常數 1/Δ；其他點的函數值則為 0。線性動態模糊的點擴 散函數在頻率域下的傅立葉轉換 𝐻(𝑢, 𝑣)為:
𝐻(𝑢, 𝑣) =sin(𝜋∆(𝑢 cos 𝜃 + 𝑣 sin 𝜃)) 𝜋∆(𝑢 cos 𝜃 + 𝑣 sin 𝜃)
本研究的目的在線性動態模糊的估計。我們發現模糊影像的能量譜皆呈 現特殊趨勢，則透過這些趨勢的偵測將得以估計點擴散函數的參數。以圖6(a) 的Adale 原圖作為例子，其對應的能量譜為圖 6(f)。考慮將原圖施以四種不同 的線性動態模糊處理，見圖6(b)-(e)。所有的模糊影像中，模糊角度固定在𝜃=135 度，而(b)-(e)對應之模糊長度∆分別為 10、50、90 和 130 像素。觀察此四張圖 可發現其模糊方向皆與水平橫軸逆時鐘夾 135 度，隨著模糊長度增加，圖(b) 到(e)中的模糊效果越明顯。圖(g)-(j)分別為圖(b)-(e)對應的能量譜，在這些能 量譜出現的數條白色平行直線特徵與點擴散函數的參數密切相關。首先，能 量譜上的平行線方向與線性動態模糊的角度𝜃互相垂直。如圖(b)模糊方向為 135 度，其圖(g)上之平行線方向則為 45 度(即與三點鐘方向夾 45 度)，兩者相 差 90 度；第二，能量譜上的平行線之間的寬度與線性動態模糊長度成反比，
也就是隨著模糊長度越長，能量譜上之平行線之間的距離越窄，圖(b)-(e)顯示 模糊長度遞增的模糊影像，其對應的能量譜(g)-(j)上的平行線間的距離則越窄。
傳統的估計方法就是依據這兩點特性來估計未知的模糊角度和模糊長度。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
13
圖 6 模糊影像與其能量譜 (a)為原圖而其對應的能量譜(f)，(b)-(e)展示四種線性動態模糊(上排)與其對應的能量譜(下排)，其模糊角度𝜃為 135 度，模糊長度 (b)-(e)分別為 10、50、90、130 像素。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
14