第二章 相關文獻
第四節 分類器
本研究設計空間訊息之使用方式，結合頻譜與空間訊息進行分類器設計，然 而，在辨識領域中，較為基礎的分類器有
k k
-nearest neighborhood classifier(k k
NNC) [38]、support vector machine(SVM)[59]、maximum likelihood classifier (MLC)[50]，由於
k k
NNC、SVM、MLC 皆為單純使用頻譜訊息進行辨識的分類器設計，因此，本研究選定
k k
NNC、SVM、MLC 作為比較對象之分類器，與本研究提出之分類 器進行實驗，探討有無使用空間訊息之分類器，其辨識結果之比較；而 adaptive Bayesian contextual classifier(ABC)[48]為以 MLC 為原型，結合頻譜與空間訊息的 分類器設計，因此，本研究選定 ABC 作為比較對象之分類器，與本研究提出之 分類器進行實驗，探討不同空間訊息使用方式之分類器，其辨識結果之比較。因 此，本節將介紹本研究選定實驗比較對象之分類器：k k
NNC、SVM、MLC、ABC。壹、 kk -Nearest Neighborhood Classifier(kk NNC) k
k
NNC[38]是基於貝式法則(Bayes’ rule)設計的分類器，並且使用無參數的距 離計算，在所有分類器中，處理方式淺顯易懂也容易操作，至今仍被使用作分類14
V
V
是以x x
為中心畫出區域範圍的面積、體積或超體積，k k
是指區域V V
涵蓋的訓 練樣本點總數，k k
(i)(i)則是區域V V
中第ii
類訓練樣本點總數。結合公式(2.4) ~ (2.7)，可將公式(2.3)整理成公式(2.8)
! = arg max
i=1;:::;L
½ k
(i)k
¾
! = arg max
i=1;:::;L
½ k
(i)k
¾
(2.8)
由公式(2.8)可知，
k k
NNC 計算樣本之間的距離判斷其他樣本是否存在區域範 圍V V
內，並以區域範圍V V
內樣本總數k k
中，比較各類樣本數k k
(i)(i)所占比重，決定樣 本點類別。貳、 Support Vector Machine(SVM)
SVM[59]是目前眾所周知的分類器[61]，因為能夠以少量訓練樣本訓練辨識 器，獲得令人滿意的辨識正確率，而廣被應用於文字辨識、影像辨識領域[28], [55], [56], [64]。SVM 主要概念以存在類別邊界附近的訓練樣本作為支撐，找出類別 的最佳化邊界，在以最佳化邊界線作為分類的依據（圖 8）。
圖 8 SVM 解最佳化邊界概念示意圖
SVM 解最佳化邊界的方法種類繁多[12]，本研究採用的是
C C
- support vector classification(C C
-SVC)[15], [18]，給定訓練樣本x x
mm2 R 2 R
dd; m = 1; : : : ; N ; m = 1; : : : ; N
，在兩15 調整參數。然而 SVM 最初設計適用對象為線性可分割(linearly separable)的資料，
其
w w
表示如下：假若資料為非線性不可分割(non-linearly inseparable)時，SVM 則利用核函數 (kernel function)[34], [54]將資料投影至高維度空間，或理論上無限維度空間，增 強資料的分散程度，使得資料投影後成為線性可分割，以利於類別辨識，而其方
將公式(2.11)代入公式(2.9)後，利用 Lagrange Multi pliers 轉換，推導出
C C
-SVC 解 最佳化邊界的對偶型(dual form)公式如下：16 擴展至解決多類問題，則必須採用一對一(one-against-one, OAO)或一對多(one-against-all, OAA)的方式，以協助解決多類問題[3]。
參、 Maximum Likelihood Classifier(MLC)
MLC[50] 是 高 斯 最 大 概 似 分 類 器 (Gaussian maximum likelihood classifier, Gaussian MLC)亦稱為貝式分類器(Bayes classifier)[27]，其判斷樣本類別的非線性 分類器，其判斷方式如下： (Gaussian distribution)如下：
p(xj!(i)) = 1
17
由於形似二次方程式，因此可別稱為 quadratic discriminant classifier(QDC) [2], [19], [32], [38], [48], [50], [51], [57]，而其中
W
(i)= ¡§
(i)¡1W
(i)= ¡§
(i)¡1(2.16)
w
(i)= 2§
(i)¡1¹
(i)w
(i)= 2§
(i)¡1¹
(i)(2.17)
a
(i)= ¡ ln
¯ ¯
¯§
(i)¯ ¯
¯ + 2 ln p(!
(i)) ¡ ¹
(i)T§
(i)¡1¹(i)a
(i)= ¡ ln
¯ ¯
¯§
(i)¯ ¯
¯ + 2 ln p(!
(i)) ¡ ¹
(i)T§
(i)¡1¹(i)(2.18)
¹
(i)¹
(i)為第ii
類樣本平均數，§ §
(i)(i)為第ii
類共變異矩陣。而 MLC 的計算過程中，必須 注意當遇到樣本數不足時，也就是資料的樣本數小於維度數時，在計算第ii
類共 變異反矩陣§§(i) ¡1(i) ¡1，容易遇到奇異解(singular)的情況。肆、 Adaptive Bayesian Contextual Classifier(ABC)
ABC[48]是基於 Markov random fields(MRF)，並且使用 iterative conditional mode(ICM)將 MLC 修改而成的分類器，其分類器運作流程如圖 9 所示。
圖 9 ABC 運作流程圖 (節錄自[48])
以下依照圖 9 之順序說明 ABC 之運作流程，首先令
``
為紀錄 ABC 之重複執 行次數，則首次執行 ABC(` = 1 ` = 1
)時，先求出初始樣本平均¹¹(i)1(i)1 與變異矩陣§§(i)1(i)1 ， 亦即統計估計值ÁÁ(i)1(i)1 = f¹= f¹(i)1(i)1 ; §; §(i)1(i)1 gg，分別為公式(2.19)與公式(2.20)¹
(i)1=
P
N(i)n=1
x
(i)nN
(i)¹
(i)1=
P
N(i)n=1
x
(i)nN
(i)(2.19)
18 (semi-supervised information)，提供給 maximum a posteriori (MAP) classifier 進行 辨識，其公式如下： distribution 可表示成公式(2.23)
p(i(s)j^i(@s)) = 1
其中Z Z
為分配係數(partition coefficient)，且P
s02c(s)
f1 ¡ ±(i(s) ¡ i(s
0))g
19
結束重複執行時，則以最後一次的 MLC 之辨識結果，提供 post-processing (PP) classifier 進行辨識，其公式如下：
! = arg max
的是區辨分析特徵萃取(discriminant analysis feature extraction, DAFE)，或稱線性 區辨分析(linear discriminant analysis, LDA) [38], [49], [57]，其方法主要找出具有 資料最大分離量所對應之特徵向量構成投影矩陣W W
，再利用投影矩陣，將樣本 在頻譜域的樣本資訊投影至特徵子空間，以利於進行影像辨識Y = W
TX
Y = W
TX (2.27)
其中特徵萃取法大致上可分成三種類型[63]：(1)非監督式(unsupervised) 特徵萃 取法：使用所有樣本訊息的特徵萃取法設計；(2)監督式(supervised) 特徵萃取法：
僅使用類別已知樣本訊息的特徵萃取法設計；(3)半監督式(semi-supervised) 特徵 萃取法：同時使用類別已知樣本訊息與類別未知樣本訊息的特徵萃取法設計。
本研究以 LDA 為原型，進行演算法開發，因此，本研究選定同樣以 LDA 為 設 計 原 型 的 特 徵 萃 取 法 作 為 實 驗 比 較 對 象 ： nonparametric weighted feature