第二章 特徵抽取與醒目性偵測
2.3 偵測顯著物體
2.3.3 色彩空間分佈特徵
(a) (b)
圖 2.10 醒目性區域特徵偵測結果，(a)美國國旗原圖，(b)區域性的醒目特徵 結果
2.3.3 色彩空間分佈特徵 (Color spatial-distribution feature)
觀察含有醒目物體的圖片，我們發現當同一顏色集中於圖片部分區域時，人 眼會覺得此區域是顯著的，反之，當同一顏色分散圖片各個區域時，人眼會忽略 這些部分，因此色彩的空間分佈也影響圖片的顯著性，此即為我們的第三個特徵，
詳細計算方法如下。
為了描述圖片的色彩空間分佈，我們先利用高斯混合模型 (Gaussian Mixture Models, 簡稱 GMM) 來計算色彩的空間變異，令C為圖片色彩數目，I 為圖片中x
20
21
藉由以上三種特徵來描述出圖片局部的、區域的、全域的醒目區域，並輔以 條件隨機域及訓練資料庫，找出三種特徵的最佳權重來將特徵做線性結合即得到 圖片的醒目區域。在T. Liu 文章中所得到的局部性的特徵權重為 0.24、區域性的特 徵權重為 0.54、全域性的特徵權重為 0.22，代表區域性的特徵所觀察到的醒目性 最為正確，此也符合人類視覺上的判斷。
下一章節我們將描述本文如何利用此方法得到的醒目性來輔佐物件辨識，使 物件辨識基於人眼感知，並藉由醒目性的輔助降低外在背景的干擾，使辨識準確 率上升。
22
Chapter 3 辨識方法分析
由第二章的特徵抽取可發現，直接對整張圖做特徵抽取並直接分類的優點有 速度快、不受物體位置改變影響、適合即時分析，但直接採用整張圖片的特徵則 易受外界背景干擾，造成物件辨識失敗。因此我們將利用醒目性偵測來找出顯著 物體，藉由醒目性偵測結果做為特徵相似度比較的權重，降低外在背景的干擾情 形，特徵方面則選取LBP 特徵及色彩特徵，將兩種特徵的卡方距離得到新的卡方 距離，最後將新的距離置入K-最鄰近分類器做分類，判別物件辨識是否成功。
3.1 偵測醒目區域
為了測試偵測醒目區域演算法的效果，我們採用資料庫Caltech 256 來實驗是 否此演算法能正確找出圖片的醒目物體，此資料庫的圖片共分成 256 類，每個種 類的照片至少有82 張以上，每張圖片尺寸不固定且圖片皆為彩圖，由於每張圖片 有著明顯類別，因此常被視為物件辨識資料庫。
此小節我們想藉由背景複雜度探討偵測醒目區域演算法的效果，因此我們從 256 類中隨意選出 10 類，每類選取 10 張，5 張為單調背景，5 張為複雜背景，觀 察此演算法是否能正確偵測出醒目物體。
3.1.1 背景單調的物體
原圖包含 10 類物體，此 10 類為:輪胎、車子、卡特曼(卡通人物)、螃蟹、木 槿花、袋鼠、椰子樹、向日葵、蝴蝶、番茄、斑馬，每類 5 張，每張圖片的背景
23
單調，見圖3.1。圖片中的每個像素在經過醒目性偵測後會得到一個醒目分數(salient score)，分數範圍為
[ ]
0,1 ，醒目分數越高表示此位置的像素在圖片中的醒目性越大，我們將顯示醒目分數大於0.5 的像素，醒目分數小於 0.5 的像素則不被顯示，
圖3.2 則為 10 類圖片醒目性偵測結果。
由圖3.2 發現，在背景單調的情況下，醒目性的偵測結果相當正確，圖中物體 皆被視為醒目區域，背景也幾乎都被去除，僅有少數幾張圖片的部分背景未被完 全除去，我們推測當物體本身與相鄰背景顏色相似時，相鄰物體的背景容易被視 為醒目的物體，如圖 3.3(a)顯示圖庫內第 21 張的袋鼠和背景顏色相似，造成背景 的沙地也被視為顯著區域。形狀不規則的物體也會增加醒目性偵測的難度，使物 體難以與背景完全切割，如圖3.3(b)顯示圖庫內第 26 張到第 30 張的椰子樹，由於 葉子邊緣較不規則，無法和背景精確的分隔開來。
圖 3.1 背景單調的 10 類圖片
24
圖 3.2 背景單調的 10 類圖片醒目性偵測結果
(a) (b)
圖 3.3 偵測醒目性效果不佳的圖片，(a)第 21 張袋鼠，(b)26-30 張的椰子樹
3.1.2 複雜背景的物體
原圖同為 10 類，每類 5 張，每張圖片的背景複雜，見圖 3.4，同樣地，每個 像素在經過醒目性偵測後會得到一個醒目分數(salient score)，分數範圍為
[ ]
0,1，我們將顯示醒目分數大於 0.5 的像素，醒目分數小於 0.5 的像素則不被顯示，圖 3.5 則為10 類圖片醒目性偵測結果。
由圖3.5 發現，在背景複雜的狀態下，因為圖片背景的複雜度變大使得醒目性 偵測的難度上升許多，以此10 類別而言，物體偵測的位置大致正確，但受背景混 亂的影響，導致上圖許多物體邊界的細部較不完整，尤其是邊緣不規則的物體。
25
整體而言，醒目性偵測的正確率的確會受背景複雜度影響，複雜背景的圖片較背 景簡單的圖片偵測到的物體正確度稍差，但大致能找出物體正確區域，因此本文 認為加入醒目性偵測應能對物件辨識有所幫助，而在往後的實驗我們也會加以驗 證此項假設。
圖 3.4 背景複雜的 10 類圖片
圖 3.5 背景複雜的 10 類圖片醒目性偵測結果
26
K-最鄰近分類法 (K-Nearest Neighbor Classification, 簡稱 KNN)在 1951 年被提 出，是一種簡易的非參數化方法，常應用於物件辨識。假設訓練資料庫有N 筆資
27
圖 3.6 訓練資料點示意圖
3.2.2 加權式 K-最鄰近分類器
加權式 KNN 分類器 (Distance-weighted KNN, 簡稱 DW-KNN)的概念為給予 離測試資料前 K 筆訓練資料點所投的票賦予權重，離測試資料點越近，給的權重
28
29
方法以加權式KNN 做分類，K 取 3，圖 3.7 為實驗辨識準確率的結果。
由圖 3.7 可發現，當直方圖柱數太少，色彩範圍間距過大使直方圖的統計失 準，導致低辨識率，當柱數上升時，辨識度也急速上升，選取適當色彩直方圖柱 數可得到最佳的辨識度，若柱數過多，色彩範圍間距太小也會使得直方圖統計太 過瑣碎導致辨識度再度下降。圖3.8 為在不同直方圖柱數時，每張圖片完成辨識的 平均執行時間，由圖可觀察出當bin 數上升時，執行時間也急遽上升，且柱數過多 對辨識準確率並沒有幫助，因此選取適當的直方圖柱數能有效降低執行時間並且 達到最佳的辨識準確率。
圖 3.7 直方圖柱數對辨識準確率的影響
圖 3.8 直方圖柱數對時間的影響
30
31
確率(62%)，顯示醒目性的偵測在辨識物體上的確有其顯著效果，在此 10 類的測 試上，色彩特徵的準確率也尚可接受。
3.4 以局部二值模式特徵作辨識
此小節我們想以局部二值模式來做物件辨識，局部二值模式為目前常用的紋 理特徵抽取方式，它有計算量小、不受物體位置影響、容易比較相似度等優點，
但由於易受背景干擾，常被應用於圖片變異較小的人臉辨識而較少應用於物件辨 識。因此我們想引進顯著性的偵測來降低背景干擾增進辨識準確率，並利用局部 二值模式計算快速達到系統的即時效果。測試的資料為上一小節採用的Caltech256 資料庫，類別也與上述相同，共有 10 類，每類有十張圖片，5 張為簡單背景，5 張為複雜背景，藉以探討局部二值模式參數特性及加入顯著性偵測前偵測後的辨 識度。
3.4.1 局部二值模式參數特性探討
局部二值模式的參數有局部空間的半徑、周圍取點數和編碼一致性(uniform)，
當描述局部空間的半徑上升，周圍取點數也須跟著上升，對局部空間的描述才夠 精確，但周圍取點數的上升會使特徵長度變長，使得執行時間上升，因此適當的 空間半徑、取點數才能兼顧辨識度及時間複雜度。
由於醒目性的偵測對局部二值模式的參數並不造成影響，因此我們在這個小 節先不加入醒目性的偵測，直接以原圖來做局部二值模式的參數探討，我們取編 碼一致性(uniform)為 2，不同的 LBP 尺寸以LBPu2P R, 表示，u2代表一致性為2，P
32
33
34
35
像素的醒目性做加權用以統計直方圖當作材質特徵。
4. 求訓練資料及測試資料的色彩特徵與局部二值模式特徵兩兩圖片卡方距離，將 色彩距離及LBP 距離調整至範圍[0,1]。
5. 調整 LBP 距離D 權重 λ 與色彩距離LBP Dcolor權重(1− 得到新的卡方距離λ) D， 如式(3.2)，其中 λ 介於[0,1] 之間。
D = λDLBP+ −(1 λ)Dcolor (3.2) 6. 以距離 D 做 K 最鄰近分類法完成物體辨識。
圖 3.9 實驗流程圖
36
37
圖 3.10 不同 LBP 卡方距離權重對辨識準確率的影響
而在下一章我們將把圖片辨識資料庫類別放大，用以驗證在資料量不斷上升 的同時，本實驗演算法仍能準確的辨識物體。
38
Chapter 4 實驗結果
在上個章節我們以色彩特徵及 LBP 特徵來對 10 個類別的資料庫進行物件辨 識，並在3.5 節驗證本文提出的演算法更能使得辨識準確度有效上升。但由於物件 辨識的變異性相當大，若更改或置入不同類別的圖片也可能造成物件辨識準確度 大幅變動，因此我們擴大原有的資料庫類別，藉以觀察在物件類別數量上升的同 時，本文提出的方法是否仍有效使辨識準確率上升。
本章採用Caltech256 資料庫 1-70 類來做實驗，取每類的編號 1 至編號 20 的圖 片來做物件辨識，每張圖片大小不同且皆為彩圖，圖4.1 為 70 類物件代表圖片，
接下來的每小節我們將以此70 類物件做各種分析探討。
39
圖 4.1 物件 70 類代表圖片
4.1 結合不同特徵的卡方距離
在第三章我們提出結合LBP 特徵的卡方距離及色彩特徵的卡方距離可提高物 件辨識準確率，並以10 個物件類別的小實驗證實我們的假設。但物件辨識的組間 變異相當大，當物件類別數目上升或類別改變時都會改變辨識準確率，因此我們 在此節探討當物件類別數上升或類別改變時，結合此兩種特徵的卡方距離是否有 效提升辨識準確率。
我們從資料庫內70 類圖片隨機挑選出 20 類，每類圖片皆偵測醒目性區域，
並對原圖片抽取色彩特徵及LBP 特徵，色彩特徵直方圖柱數=8 ，LBP 特徵半徑3
=1、周圍點數=8、一致性=2，以偵測到的醒目性區域做權重進而統計出 LBP 直方 圖及色彩直方圖並計算LBP 特徵的卡方距離及色彩特徵的卡方距離，最後調整兩
=1、周圍點數=8、一致性=2，以偵測到的醒目性區域做權重進而統計出 LBP 直方 圖及色彩直方圖並計算LBP 特徵的卡方距離及色彩特徵的卡方距離，最後調整兩