緒論

第一節 研究動機

高維度資料(high dimensional data)如高光譜影像資料、人臉辨識、手寫辨識 以及基因微陣列(microarray)等，使用逐漸廣泛。傳統分類技術在統計樣式辨認 中的假設大多都是基於有足夠的樣本可供使用，但是高維度資料所需要的訓練 樣本點數比傳統資料多，更容易出現資料不足的情況。高維度資料分類的主要 問 題 就 是 當 訓 練 樣 本 點 數 少 時 ， 以 統 計 為 基 礎 之 分 類 器 會 出 現 Hughes phenomena (Hughes, 1968)。當資料的維度數提高時，在不增加資料的數量時，

常會因為Hughes phenomena 而造成辨識正確率(classification accuracy)下降。本 研究所希望的就是能在有限的訓練樣本點數下減少Hughes phenomena 的影響。

在現實的情況中大量的資料通常都難以獲得，或者是需要花費相當多的成 本，因此在現實的情況中常常遭遇到小樣本問題(small sample size)。Hughes phenomena 是小樣本問題中最常遭遇的難題，傳統的特徵萃取(Feature Extraction) 或特徵選取(Feature Selection)技術被用於克服這個問題。在我們先前及其他相關 的特徵萃取研究 (Lee & Landgrebe, 1993; Kuo & Landgrebe, 2003; Kuo &

Landgrebe, 2004; Kuo, Chang, Chang & Hsieh, 2004; Thomaz, Gillies & Feitosa, 2004)證實組內分散矩陣和組間分散矩陣的定義和正規化(regularization)技巧是 用以設計一個小樣本特徵萃取的要點。在本研究中將討論到另一個可以用以改 善特徵萃取效能的關鍵，在研究中發現選擇三種要素的最佳組合方式將有助提 升特徵萃取在小樣本情況下的效能。

第二節 研究目的

本文主要的目的是另外引入特徵值分解這個要點，並且一同探討組內和組 間分散矩陣的定義、正規化技巧和特徵值分解這三個因素的效果。許多研究者 證明組內與組間分散矩陣的定義和正規化技巧是設計小樣本分類問題特徵萃取

的要點。傳統以統計為基礎之最大概似分類器，會因為訓練樣本點數處於不良 的狀況(ill-posed) 以及不足的狀況(poorly-posed)，而出現共變異數發生奇異的情 況。本研究也分別針對這兩種小樣本的狀況進行實驗。

傳統的特徵萃取或特徵選取被使用來解決小樣本分類問題。可是在進行特 徵萃取計算費氏準則(Fisher criterion) (Fisher, 1936)的時候，需要使用到分散矩陣 的反矩陣，由於樣本點數不足的問題，因而出現奇異(singular)或者是接近奇異 (nearly singular)的情況，造成辨識效果低落。正規化技巧因此被引入到計算反矩 陣之中。

在此，我們首先討論ill-posed 以及 poorly-posed 發生的條件以及所造成的影 響。所謂的ill-posed 是指訓練的樣本點數 小於訓練樣本的維度數n p，即n< p。 在計算共變異數矩陣時會因為矩陣不是滿秩的情況，共變異數矩陣的反矩陣會 出現奇異的狀況，因此無法計算出共變異數矩陣的反矩陣。面對這樣反矩陣不 存在的問題，最常被使用的方式是使用正規化來修正這個缺陷。在第二章中除 了常見的正規化方式外，還討論到一些新的正規化方式。

另外一個小樣本情況是 poorly-posed，這種情況是指訓練的樣本點數n大於 訓練樣本的維度數p，即n> p，可是用以訓練的樣本卻不足以穩定的估計辨識 所需要的參數。在這樣的情況下共變異數矩陣雖然是滿秩的情況，雖然可以計 算出反矩陣，可是因為所估計的參數不穩定，在求反矩陣時所得到的結果也同 樣相當的不穩定，又稱之為接近奇異。當所使用的參數不穩定時，分類器的效 果就容易變的低落。面對這樣的問題，正規化同樣可以有助於參數矩陣的穩定。

除了以不同的組內與組間分散矩陣的定義和正規化技巧來設計特徵萃取，

還探討特徵值分解法這個影響特徵萃取辨識結果的另一個因素。在特徵萃取的 過程中，增加特徵值分解法以幫助設計一個良好的小樣本特徵萃取。特徵萃取 經常被使用在傳統分類技術，如最大概似分類器(maximum likelihood classifier, ML)。在此我們另外加入了最近相鄰法分類器(K Nearest Neighbors Classifier, KNN) (Cover & Hart, 1967)以及支撐向量機(Support Vector Machine, SVM)

(Vapnik, 1995)兩種分類器。這兩種分類器與 ML 分類器不同，當在樣本不足的 情況下同樣可以進行分類。在本文中將比較特徵萃取在這三個分類器上所造成 的結果。

第三節 符號注釋

表示訓練樣本的原始維度數 p

p' 表示轉換後訓練樣本的維度數

ni 表示類別i訓練樣本的樣本點數 n

i

i

S

Φ Λ

表示所有訓練樣本的樣本點數

Pi 表示類別i的事前機率 L 表示所有類別的數目

m 表示類別i訓練樣本的平均數

m0 表示所有訓練樣本的混合平均數 S 表示類別i訓練樣本的共變異數矩陣

表示所有訓練樣本的共變異數矩陣

) (i

xk 表示類別i的第k個樣本點 表示特徵向量矩陣

表示特徵值矩陣