為了提高多值化的效果,我們將以超度量輪廓圖(Ultrametric Contour Map,UCM) [21-23]為基礎,在這個章節講述如何對影像背景加入適當的雜訊做調 整,讓重要的資訊從背景中突顯,在下個章節說明如何透過以 UCM 建立的濾波評 估圖進行頻域濾波降低光影差異的影響。
3-1 超度量輪廓圖
輪廓通常與影像中的重要訊息有關,人類也是透過輪廓來記憶、分別對物 體的認知,如圖 3-1 為 BSDS [28]用來辨別輪廓偵測結果好壞用的 dataset 與
圖3-1 人類在意的輪廓
benchmark 中,人為勾勒出的輪廓,為人類看到影像會在意的部分,用來合成
13
groundtruth (圖 3-2)做輪廓好壞的評價,接下來會介紹本論文用來處理原影像 的基礎,超度量輪廓圖(Ultrametric Contour Map,UCM)如何得出。
圖3-2 groundtruth
建立多尺度輪廓強度圖是將影像分為亮度、色彩、紋理三種特徵各自分為多 0.2126 0.7151 0.0721 0.0193 0.1191 0.9502� �𝑅𝑅
𝑌𝑌𝑟𝑟 > 0.008856 903.3 ∗ 𝑌𝑌
14
𝑋𝑋𝑟𝑟 = 0.9515 𝑌𝑌𝑟𝑟 = 1.0000 𝑍𝑍𝑟𝑟 = 1.0886
𝑓𝑓(𝑎𝑎) = �𝑎𝑎13 , 𝑖𝑖𝑓𝑓 𝑎𝑎 > 0.008856 7.787 ∗ 𝑎𝑎 + 16
116 ,其它
轉換結果如圖 3-3,利用亮度 L、色彩 a、色彩 b 來計算亮度梯度與色彩梯度,
(a) (b) (c) (d)
圖3-3 由左到右依序為彩色圖、L、a、b
將 L、a、b 各分成為 25 種 level,在套用八種不同方向的遮罩(圖 3-4)來計算
八個角度的光影強弱變化,示意圖如圖 3-5,遮罩對圖 3-3(a)的作用如圖 3-6。
圖3-4 八種角度遮罩
圖3-5 遮罩示意
15
(a) (b) (c) (d)
(e) (f) (g) (h)
圖3-6 所有遮罩對圖 3-3(a)彩色圖作用的結果
計算影像的紋理梯度,透過如圖 2-13 的 16 種方向遮罩與一個中心遮罩來求出(圖 3-7),共有兩種遮罩大小 13x13 與 19x19,總共 34 種遮罩,相當於每一個影像點 有 34 種特徵,利用這 34 種特徵將影像點以 k-mean [15] 分作 64 類視為影像紋 理,同樣再套用圖 3-4 的八種角度遮罩作光影強弱計算,就會是紋理梯度,接著
圖3-7 計算影像紋理特徵用的遮罩
將亮度梯度、色彩梯度、紋理梯度透過不同的權重合併,每個影像點從八個角度 中取出最大值,再以如圖 3-8 的方式做 nonmax 細線化,就可以得到多尺度輪廓 強度圖,如圖 3-9。
16
圖3-8 nonmax 細線化
圖3-9 多尺度輪廓強度圖
利用多尺度輪廓強度來計算每一個影像點在以自身為中心 11x11 範圍與其他影 像點的相似度,點與點之間隔著越強烈的輪廓相似度就越低,如圖 3-10,由此
17
圖3-10 紅點與綠點有低相似度、與藍點有高相似度
來得到一個相似度稀疏矩陣𝑊𝑊,大小以寬跟高為 321、481 的影像為例,尺寸會 是 154401x154401,將相似度稀疏矩陣𝑊𝑊每一橫列加總得到一個對角矩陣𝐷𝐷,如
圖3-11 相似度稀疏矩陣 W 與對角矩陣 D 圖 3-11,利用這兩種矩陣解廣義特徵向量與特徵值:
(𝑫𝑫 − 𝑾𝑾)𝒗𝒗 = 𝝀𝝀𝑫𝑫𝒗𝒗 (3-3) 取前 17 組對應最小特徵值的特徵向量來產生光譜圖,如圖 3-12 與 3-13,每張
圖3-12 取出前 17 組
18
圖3-13 前六張特徵向量還原的光譜圖
光譜圖各套用八個角度遮罩(圖 3-14)後加總,做為光譜輪廓強度與亮度梯度、
色彩梯度、紋理梯度透過不同的權重合併,在每個影像點上取出八個方向中的最 大值,就是全域性輪廓強度圖,如圖 3-15。
圖3-14 八個角度遮罩
圖3-15 全域性輪廓強度圖
19
最後將全域性輪廓強度圖利用分水嶺[29]分出區塊,以區塊與區塊之間的輪廓強 度平均做為權重由小至大做形式上的合併,藉此將區塊與區塊之間的輪廓強度變 為一樣的值,如圖 3-16,就可以得到超度量輪廓圖(Ultrametric Contour Map,UCM),如圖 3-17,值越大越接近白色表示輪廓強度越強。
圖3-16 輪廓強度調整
圖3-17 超度量輪廓圖(Ultrametric Contour Map,UCM)
3-2 雜訊參數
超度量輪廓圖(Ultrametric Contour Map,UCM)上的值代表的該位置的輪廓 強度,值越大越接近白色的強度越強,經過調整一整段輪廓都會是同一個強度值,
我們將基於過濾合併後的超度量輪廓圖,利用這些被留下強烈輪廓與區塊大小計 算產生雜訊用的參數,對影像加入適當的雜訊做調整讓重要的資訊從背景中突 顯。
20
先將超度量輪廓圖上的輪廓由弱至強一條一條慢慢移除合併至 10 個區塊,
以 Two-Pass 算法[30]做連通區塊的判斷,以左到右、上到下的方式掃描影像點,
若該影像點不為輪廓,即輪廓強度為 0,則判斷自己的上下左右鄰居是否有被標 記過,沒有就給自己一個新的標記值,如果上下左右鄰居有被標記過的點,將其 中最小的標記賦予自己,並記錄各種標記的相等關係,最後將有相等關係的標記 視為同一個連通區塊標記為關係中最小的標記值,如圖 3-18 所示。
圖3-18 Two-Pass 連通算法
以上述這樣的方式判斷合併區塊的數量,合併前後的區塊與輪廓如圖 3-19,區 塊的標記依區塊大小標示,越大塊的區塊會加入越多的雜訊,如圖 3-20(a),接 著我們認為在輪廓周圍的區間應該以輪廓強度來判斷加入雜訊的程度,越強烈的 輪廓周圍加入的雜訊越少,如圖 3-20 (b),將兩者做結合,就可以得到用來產 生雜訊用的雜訊參數,範圍在 0~1 之間,如圖 3-20(c)。
21
(a) (b) (c)
(d) (e) (f)
圖3-19 (a)未過濾的 ucm (b)未過濾的 ucm 輪廓數 (c)未過濾 ucm 的區塊 (d)過濾後 ucm (e)過濾後 ucm 的輪廓數 (f)過濾後 ucm 區塊
(a) (b) (c)
圖3-20 (a)區塊參數 (b)輪廓參數 (c)兩者合併
22
3-3 以雜訊進行背景調整
為了提升多值化效果,我們利用超度量輪廓圖導出上一節得到雜訊參數來對 影像背景加入雜訊做調整避免影像非重要輪廓的部分突出影響多值化法的判斷,
雜訊參數的使用如公式 3-4:
雜訊標準差 = 5 + 10 � 1
1 + 𝑝𝑝
−10∗(雜訊參數−0.5) 2
� (3-4)
參數越大會反應越大的標準差,標準差範圍在 5~15 之間,利用雜訊標準差產生 常態分佈的隨機數當作雜訊(圖 3-21(b))加入原影像做影像調整,如圖 3-21(c)
。
(a) (b) (c)
圖3-21 (a)原影像 (b)雜訊 (c)雜訊影像