適性半監督局部區別分析法

全文

(1)國立臺中教育大學教育測驗統計研究所碩士論文. 指導教授：郭伯臣. 博士. 林巾凱. 博士. 適性半監督局部區別分析法 Adaptive Semisupervised Local Discriminant Analysis. 研究生：張志昇. 中. 華. 民. 國. 一. ○. 三. 撰. 年. 七. 月.

(2)

(3) 謝辭首先感謝指導教授郭伯臣老師與林巾凱老師這三年不論是在研究上還是生活上的指導與提攜，也感謝輔仁大學黃孝雲老師，特地抽空來擔任我的口試委員，並給我許多建議，使得我的論文更佳的豐富與完整。感謝李政軒老師的指導，讓我從一個因為英文不好被退稿，變成能去國外參加研討會的人，以及指導我如何撰寫程式與論文，使我這三年來獲益良多。這三年的求學生涯中，一同打拼的學長姐、同學與學弟妹，原諒我不一一點名，你們陪我度過人生中最難熬的一段時間。特別感謝余懷瑾老師，在我傷心難過時，總是很及時的給予我正面能量。最後感謝我的家人這些年的包容與疼愛，如果沒有你們，就沒有現在的龜龜，真的很謝謝你們。本論文使用的影像資料集「Indian Pine Site」由 Landgrebe 博士提供，影像資料集「Pavia University Scene」由 Paolo Gamba 教授與 Fabio Dell’Acqua 教授提供，教育測驗資料集由郭伯臣教授提供。另外感謝科技部(計劃編號 NSC 100-2628-E142-001-MY3 與 NSC 102-2218-E-142-001-) 的支持，使得本研究得以順利進行，特此鳴謝。. 張志昇中華民國一○三年七月.

(4)

(5) 摘要在許多研究中，高光譜影像分類會遭遇到所謂的 Hughes phenomenon，而特徵萃取法是一種解決 Hughes phenomenon 的方法。先前，一種名為半監督局部區別分析法的特徵萃取法被提出來，它是一種利用鄰域保持嵌入法將保持局部幾何特性的概念導入線性區別分析法的半監督式特徵萃取法，雖然此方法能有效地提升高光譜影像的分類效能，但是在該方法用來保持局部幾何性質的未標記樣本的數量是固定的，也就是說此方法並沒有討論到未標記樣本數量的多寡對於該方法的影響。本研究透過實驗發現，此樣本的數量對於高光譜影像的分類效能有很大的影響，於是本研究提出了一個適性的半監督式局部區別分析法，利用了權重參數來調整該方法中分散矩陣的組合係數，降低樣本數對於分類結果的影響。除此之外，本研究還將 Voronoi Diagram 的概念導入該方法中，用來保持訓練樣本周遭幾何的一致性，讓分類的效能得以提升。在實驗設計中，將本研究所提出的方法與半監督局部區別分析法作比較，其結果顯示，本研究所提出的方法相較於半監督局部區別分析法能獲得更好的分類效果。. 關鍵詞：特徵萃取、半監督式局部區別分析法、Voronoi Diagram。. I.

(6) II.

(7) Abstract Many references show that the hyper-dimensional data classification often suffer from the Hughes phenomenon. Feature extraction is an appropriate preprocessing for preventing the problem. Linear discriminant analysis (LDA) is a basic and often used supervised feature extraction method. However, the number of feature extraction by LDA depends on the number of classes. Recently, the semi-supervised local discriminant analysis (SELD) was proposed to overcome the drawback of LDA. SELD combines the scatter matrices of LDA and neighborhood preserving embedding (NPE) for taking into account the geometric property of neighbors. Hence, the between-class scatter matrix of SELD is non-singular, and more features can be extracted by SELD. However, the number of unlabeled samples is fixed in SELD. From the experiments on the Indian Pine data set, the number of unlabeled samples affects the classification performance a lot especially in the small sample size problem. That is the classification performance by applying SELD decreases from a specific number of unlabeled samples, when the number increases. In this paper, two parameters are considered to combine the scatter matrices of LDA and SELD, and an adaptive SELD is proposed to decrease the Influence about the number of unlabeled samples. In addition, the unlabeled sample were randomly selection by SELD and, hence, the local geometric property around the training samples cannot be preserved. So, the concept of the Voronoi diagram is applied to define the regions according to the training samples (labeled samples), and the unlabeled samples are chosen in the regions with respect to the training samples according to the nearestneighbor rule. Experimental results on the education data set and two hyperspectral image data sets show that the proposed methods outperform SELD.. Keywords: Feature Extraction, Semi-supervised Local Discriminant Analysis, Voronoi Diagram.. III.

(8) IV.

(9) 目錄摘要 ................................................................................................................................. I ABSTRACT ..................................................................................................................III 目錄 ................................................................................................................................ V 表目錄 ......................................................................................................................... VII 圖目錄 .......................................................................................................................... IX 第一章緒論 .................................................................................................................1 第一節研究動機 ......................................................................................................1 第二節研究目的 ......................................................................................................3 第二章文獻探討 .........................................................................................................7 第一節特徵萃取 ......................................................................................................7 壹、線性區別分析法 ..............................................................................................7 貳、鄰域保持嵌入法 ............................................................................................10 參、半監督式局部區別分析法 ............................................................................12 第二節 Voronoi Diagram ........................................................................................14 第三節分類器 ........................................................................................................15 壹、k 最近鄰分類器 .............................................................................................15 貳、支撐向量機 ....................................................................................................16 第三章研究方法 .......................................................................................................21 第一節適性半監督局部區別分析法 ....................................................................21 第二節基於 k 近鄰概念之半監督式局部區別分析法 ........................................23 第三節基於 k 近鄰概念之適性半監督局部區別分析法 ....................................25 第四章實驗設計 .......................................................................................................27 第一節資料描述 ....................................................................................................27 壹、教育測驗資料集 ............................................................................................27 貳、影像資料集 ....................................................................................................29 一、Indian Pine Site 影像資料 .........................................................................29 二、Pavia University Scene 影像資料 ..............................................................31 第二節實驗描述 ....................................................................................................32 壹、教育測驗資料集 ............................................................................................33 貳、影像資料集 ....................................................................................................33. V.

(10) 第五章實驗結果 ....................................................................................................... 37 第一節教育測驗資料集 ........................................................................................ 37 第二節影像資料集 ................................................................................................ 38 壹、Indian Pine Site 影像資料 ............................................................................. 38 貳、Pavia University Scene 影像資料 ................................................................. 46 第六章. 結論與未來發展 ........................................................................................... 53. 參考文獻 ....................................................................................................................... 55 中文部分 ................................................................................................................... 55 英文部分 ................................................................................................................... 56 附錄一教育測驗資料試題 .................................................................................... 62. VI.

(11) 表目錄表 1-2-1 表 2-1-1 表 4-1-1 表 4-1-2 表 4-1-3 表 4-2-1 表 5-1-1 表 5-2-1 表 5-2-2. 未標記樣本數量對於分散矩陣內值之影響 ...............................................4 常見核函數及其公式 .................................................................................18 微積分單元之錯誤概念分類表 .................................................................28 Indian Pine Site 影像各類別所含有之圖素（10 類） ..............................30 Pavia University Scene 影像各類別所含有之圖素 ...................................32 影像資料各種實驗方案之不同樣本的數量 .............................................35 教育測驗資料集之平均分類正確率 .........................................................37 Indian Pine Site 影像資料集之平均分類正確率 .......................................38 Pavia University Scene 影像資料集之平均分類正確率 ...........................46. VII.

(12) VIII.

(13) 圖目錄圖 1-1-1 Hughes Phenomenon .....................................................................................1 圖 1-1-2 特徵選取與特徵萃取之差異 .......................................................................3 圖 1-2-1 未標記樣本數量與分類正確率之關係圖 ...................................................3 圖 2-1-1 特徵萃取之過程 ...........................................................................................7 圖 2-1-2 鄰域保持慨念圖 .........................................................................................10 圖 2-2-1 Voronoi Diagram 示意圖.............................................................................15 圖 3-2-1 基於 K 近鄰概念之半監督式局部區別分析法流程圖 .............................24 圖 4-1-1 Indian Pine Site 影像 ...................................................................................30 圖 4-1-2 Indian Pine Site 影像之 ground truth（10 類） .........................................30 圖 4-1-3 Pavia University Scene 影像 .......................................................................31 圖 4-1-4 Pavia University Scene 影像之 ground truth ..............................................31 圖 4-2-1 資料集內樣本分配圖 .................................................................................35 圖 5-2-1 圖(A)-(D)為 Indian Pine Site 影像資料集在方案一中，分別使用不同的特徵萃取法搭配 1NN 分類器之分類結果圖。 .........................................................40 圖 5-2-2 圖(A)-(D)為 Indian Pine Site 影像資料集在方案二中，分別使用不同的特徵萃取法搭配 1NN 分類器之分類結果圖。 .........................................................41 圖 5-2-3 圖(A)-(D)為 Indian Pine Site 影像資料集在方案一中，分別使用不同的特徵萃取法搭配 SVM 分類器之分類結果圖。 ........................................................42 圖 5-2-4 圖(A)-(D)為 Indian Pine Site 影像資料集在方案二中，分別使用不同的特徵萃取法搭配 SVM 分類器之分類結果圖。 ........................................................43 圖 5-2-5 在搭配 1NN 分類器下，未標記樣本數量對 SELD、ASELD、 kSELD 與 kASELD 分類正確率的影響 .......................................................................................45 圖 5-2-6 在搭配 SVM 分類器下，未標記樣本數量對 SELD、ASELD、 kSELD 與 kASELD 分類正確率的影響 ..................................................................................45 圖 5-2-7 圖(A)-(D)為 Pavia University Scene 影像資料集在方案一中，分別使用不同的特徵萃取法搭配 1NN 分類器之分類結果圖。 .............................................48 圖 5-2-8 圖(A)-(D)為 Pavia University Scene 影像資料集在方案二中，分別使用不同的特徵萃取法搭配 1NN 分類器之分類結果圖。 .............................................49 圖 5-2-9 圖(A)-(D)為 Pavia University Scene 影像資料集在方案一中，分別使用不同的特徵萃取法搭配 SVM 分類器之分類結果圖。 ............................................50 圖 5-2-10 圖(A)-(D)為 Pavia University Scene 影像資料集在方案二中，分別使用不同的特徵萃取法搭配 SVM 分類器之分類結果圖。 ............................................51. IX.

(14) X.

(15) 第一章. 緒論. 第一節研究動機隨著科技的進步，高光譜影像(Hyperspectral Image)已經被廣泛的運用在各個地方，例如：農作物分類、目標偵測、異常偵測、土地利用、環境與資源的探索… 等。所謂的高光譜影像是指運用新一代的感測器，所擷取到包含可見光與不可見光的數百個近乎連續波段的光譜資訊(Benediktsson, Palmason & Sveinsson, 2005； Chang, 2007；Chang, Wu, Liu & Ouyang, 2006；Grahn & Geladi, 2007；Hanqiu, 2006； Landgrebe, 2003)。雖然高光譜影像比傳統的多光譜影像具有更豐富的資訊，但常常具有很多雜訊或者是多餘的光譜資訊，而且在有限的訓練樣本之下，高光譜影像分類會發生一種名為 Hughes phenomenon 的狀況，它是指在固定的訓練樣本之下，當使用的維度增加，分類的正確率會先上升到某個最大值之後，就逐漸下降，如圖 1-1-1 所示(Hughes, 1968)。. 圖 1-1-1. Hughes phenomenon(Hughes, 1968). 現今有兩種方法可以減緩 Hughes phenomenon 的發生，一種是設法增加樣本的數量，而另一種是降低維度的數量(Landgrebe, 2003；Liao, Pizurica, Scheunders,. 1.

(16) Philips & Pi, 2013；朱慧珊，2011；張光佑，2006)。而用來降低維度數量的方式，大致上可分為特徵選取 (Feature Selection) 與特徵萃取 (Feature Extraction) 兩種（Fukunaga, 1990）。特徵選取是將原本的光譜資訊，配合適當的準則，找出一個最適合分類的子集合，所以它不會改變原來的光譜資訊。然而特徵萃取是將原有的光譜值透過一個線性或非線性函數來重新組合製造出有利於分類的新特徵值，所以會導致它喪失原有的物理意義，但重新組合而來的特徵值卻對於分類有極大的幫助。從圖 1-1-2(Camps & Bruzzone, 2009)可以發現，不論選擇投影到哪個原有的維度中，兩類皆會有重疊之部份，若投影至經過線性組合所製造出的新投影方向，可能可以找到較適合分類的投影方向。由此可知特徵萃取用來分類的效果比特徵選取來得好，而在現今最常被使用的特徵萃取方法是線性區別分析法(Linear Discriminant Analysis, LDA) (Fisher, 1936；Fukunaga, 1990)，但該方法卻會在樣本數過少的情況下，使得分類的正確率下降，會發生此現象是因為樣本數過少，導致參數無法估計或是估計不精準(Landgrebe, 2003；Bandos, Bruzzone & Camps, 2009；Qian, 2007；朱慧珊，2011)。而在先前的研究顯示當演算法結合了空間資訊就可以大幅提升高光譜影像的分類效果(Jackson & Landgrebe, 2002；Kuo, Chuang, Huang & Hung, 2009；朱慧珊，2011)，所以當我們在執行高光譜影像分類時，不能單方面的只有顧慮到光譜資訊，同時也需要注意空間資訊的重要性(Li, Kuo, Lin & Huang, 2012；朱慧珊， 2011) 。半監督式局部區別分析法 (Semisupervised Local Discriminant Analysis, SELD)就是利用鄰域保持嵌入法(Neighborhood Preserving Embedding, NPE)(He, Cai, Yan & Zhang, 2005)將空間資訊帶入了線性區別分析法之中，並用以來增加樣本數的半監督式演算法，此方法會使用標記樣本(Labeled Sample)與未標記樣本 (Unlabeled Sample)，其中標記樣本只會用於線性區別分析法之中，未標記樣本則只使用在鄰域保持嵌入法(Liao, Pizurica, Scheunders, Philips & Pi, 2013)。而我們發現選取未標記樣本的方式以及選取的數量會影響到分類的正確率，故本研究的主. 2.

(17) 題是改善半監督式局部區別分析法所遇到的問題。. 圖 1-1-2. 特徵選取與特徵萃取之差異(Camps & Bruzzone, 2009). 第二節研究目的依據上述動機，本研究在探討半監督式局部區別分析法時，發現用來保持局部幾何性質的未標記樣本數量是固定的。於是我們嘗試去調整它的數量，結果發現其分類正確率會隨著樣本數量上升到某個最大值後，如果樣本數量再持續增加的話，分類正確率就會開始逐漸下降，如圖 1-2-1 所示。 0.7. 0.65. Accuracy. 0.6. 0.55. 0.5. 0.45. 0.4 400 800 1200 1600 2000 2400 2800 3200 3600 4000 4400 4800 5200 5600 6000 64000 Number of unlabeled sample. 圖 1-2-1. 未標記樣本數量與分類正確率之關係圖. 我們認為會導致這個現象是因為半監督式局部區別分析法在結合線性區別. 3.

(18) 分析法與鄰域保持嵌入法時，是採用將兩者的分散矩陣直接相加，並未考慮到兩者之間所使用到的樣本數目差異對於分散矩陣內值大小之影響，其影響如表 1-21 所示。表 1-2-1 未標記樣本數量對於分散矩陣內值之影響(數值為分散矩陣內值的平均數) 未標記樣本之數量. 1600. 3200. 6400. 1.30106. SbLDA 4.43107. SbNPE. 8.45107. 1.69108. 1.21106. SwLDA 6.04104. SwNPE. 8.28104. LDA. 1.77 105 NPE. 表中 Sb 代表的是線性區別分析法之組間分散矩陣，Sb 是鄰域保持嵌入法之 LDA. NPE. 組間分散矩陣，Sw 是線性區別分析法之組內分散矩陣，Sw 是鄰域保持嵌入法之組內分散矩陣。由於我們是要探討兩者樣本數目差異對於分散矩陣內值大小之影響，於是我們使用 10 個類別的影像資料集 Indian Pines Site 作為實驗樣本，並且固定使用在線性區別分析法內的標記樣本數量為每類 10 個，總共 100 個，調整使用在鄰域保持嵌入法內之未標記樣本之數量為 1600、3200、6400，並觀察其對於分散矩陣之影響。結果我們發現當兩者樣本數量差異越大，其分散矩陣內值的平均數之差異也越來越大。由此可知，如何平衡兩者之間的差距變成我們的主要問題。另外，在先前的研究中顯示運用權重參數可以平衡兩者的差距，並且使得分類的效果更好(Li, et al., in press)，故我們將權重參數的概念導入了半監督式局部區別分析法內，用以平衡兩者的分散矩陣內值大小之差異，而權重的大小則是使. 4.

(19) 用交叉驗證法(Cross-Validation) (Kohavi, 1995)來自動挑選。除此之外，在半監督式局部區別分析法中鄰域保持嵌入法之部分所使用到的未標記樣本是採取隨機選取的，在先前的研究中，有提到保持訓練樣本周遭的幾何一致性（即將高維度空間的資料，投影至低維度空間時，保持樣本點與周圍點在投影前後的位置），可以使得分類正確率得到提升(Zhang, Berg, Maire & Malik, 2006；Feris, Tian, Zhai & Hampapur, 2008；Xu & Yang, 2009；Zhu, Hu & Yang, 2010)，所以我們希望在挑選使用於鄰域保持嵌入法的未標記樣本時，能保持訓練樣本區域的一致性。依據 Voronoi diagram 的概念，可以將未標記樣本依照訓練樣本數量分割成多個區域，再從各個區域中挑選未標記樣本，這樣就能使得訓練樣本周遭具有幾何的一致性。總結以上，本研究利用兩種概念，提出了共三種的新特徵萃取法，如下所示： 1.. 適性半監督局部區別分析法 (Adaptive Semisupervised Local Discriminant Analysis, ASELD)是運用了權重參數的概念來改善半監督局部區別分析法對於不同數量的未標記樣本對於分類正確率之影響。. 2.. 基於 k 近鄰概念之半監督式局部區別分析法 (Semisupervised Local Discriminant Analysis with k-Nearest Neighbors, kSELD)是將 Voronoi diagram 的概念放入半監督局部區別分析法，來改變未標記樣本的選取方式，以提高分類正確率。. 3.. 基於 k 近鄰概念之適性半監督局部區別分析法(Adaptive Semisupervised Local Discriminant Analysis with k-Nearest Neighbors, kASELD)為同時使用權重參數的概念與 Voronoi diagram 的概念來改善半監督局部區別分析法，不只改善了半監督局部區別分析法所遭遇到的問題，還可以提高分類正確率。. 最後，將這些方法實驗在高光譜影像資料集以及教育測驗資料集上，搭配 k 最近鄰分類器(k-Nearest-Neighbor classifier, kNN)與支撐向量機(Support Vector Machine, SVM)來驗證其效能。. 5.

(20) 6.

(21) 第二章. 文獻探討. 第一節特徵萃取特徵萃取是用來解決在小樣本高維度的情況下，所遇到的 Hughes phenomenon，它之所以可以克服這樣的問題，是因為特徵萃取可以找到一個轉換矩陣(transformation matrix) A Rdr ，使得原始空間( Rd )的資料被轉換至一個維度較小的新特徵空間中( R r ) (Landgrebe, 2003)，如圖 2-1-1 所示(張光佑，2006)，此外特徵萃取又可分為監督式特徵萃取(Supervised Feature Extraction)、非監督式特徵萃取 (Unsupervised Feature Extraction) 與半監督式特徵萃取 (Semiupervised Feature Extraction)三大類。在監督式特徵萃取主要介紹線性區別分析法(Linear Discriminant Analysis)，非監督式特徵萃取則是介紹鄰域保持嵌入法(Neighborhood Preserving Embedding)，而半監督式特徵萃取會介紹的方法會是半監督式局部區別分析法(Semisupervised Local Discriminant Analysis)。. 圖 2-1-1. 特徵萃取之過程(張光佑，2006). 壹、線性區別分析法藉由訓練樣本(標記樣本)來進行學習或建立一個模式，再依據模式去推測新實例的機器學習，我們稱之為監督式學習(Theodoridis & Koutroumbas, 2006)，它經常應用於迴歸分析與分類上，而線性區別分析法就是一種監督式特徵萃取法。. 7.

(22) 線性區別分析法由於需使用到樣本的平均數與共變異數，故又被稱為是一種 LDA. 參數估計型的特徵萃取法。在此方法中是以組間分散矩陣( Sb )與組內分散矩陣 LDA. ( Sw )之比率作為估計類別分散程度的準則，可是由於組間分散矩陣的秩為類別數減一，故此方法所能萃取的特徵數目上限為類別數減一(Fukunaga, 1990；朱慧珊， 2011)。除此之外，在使用線性區別分析法時，訓練樣本點之數量必須要大於訓練樣本的維度數，如果訓練樣本無法滿足這樣的條件，也就是說訓練樣本點之數量小於訓練樣本的維度數，或是組間分散矩陣產生奇異或接近奇異的狀況時，就會使得線性區別分析法的辨識效果產生低落的情形(Fukunaga, 1990；張光佑，2006)。組間分散矩陣之計算公式如公式(1)所示(Fukunaga, 1990；朱慧珊，2011)： L. SbLDA   i 1. Ni mi  mmi  mT N. (1). 組內分散矩陣之計算公式如公式(2)所示(Fukunaga, 1990；朱慧珊，2011)： L. Ni. SwLDA   i 1 j 1. 1 i  T  x j  mi  xji   mi  N. (2). Ni 代表第 i 類的訓練樣本個數，L 是樣本的類別數，N 為訓練樣本個數，. N  N1   N L ，mi 代表第 i 類之平均數，m 為所有樣本的總平均數， xji  則是代表第 i 類的第 j 個樣本。由於線性區別分析法是要取得最大的分離量，故要求組間的分離量越大越好，同時組內的分離量則是越小越好，因此最佳的特徵可由公式(3)而得：. aT SbLDAa a LDA  argmax T LDA a a Sw a. aT XlabeledPnn Xlabeled a  arg max T a aT XlabeledInn  Pnn Xlabeled a T. (3). 在這裡 Inn 是個 n n 大小之單位矩陣， n 代表的是標記樣本數量，而矩陣 Pnn 的定義則如下：. 8.

(23) P1 0  0 P 2  Pnn       0 0.  0  0       P L  . Pk  是一個 nk  nk 的矩陣， n 代表的是在第 k 個類別之標記樣本數量，而矩陣 Pk  k. 裡面的數值，全部都是. 1 。 nk. 可以將此最佳化問題視為一個廣義的特徵值問題，而此廣義特徵值問題如公式(4)所示：. SbLDAai  i SwLDAai. (4). ai 是廣義特徵向量， i 則是廣義特徵值，轉換矩陣 ALDA . a , a ,, a 是由最 1. 2. r. 大的 r 個廣義特徵值所對應之廣義特徵向量堆疊而成，且 1  2    r 。而線性區別分析法幾項缺點如下(Fukunaga, 1990；Kuo & Landgrebe, 2004；張光佑，2006)： 1.. 線性區別分析法在資料的類別分布為常態時，其運作效果極佳，但是在實際的情況中，資料的類別分布通常是以非常態或者是多重混合分布的形式存在，這樣就會使得線性區別分析法的運作效果大打折扣。. 2.. 在實際的情況中，線性區別分析法所能萃取的特徵數目總是不足的，這是因 LDA. 為此方法之組間分散矩陣 Sb 的秩為類別數減一，導致它最多只能萃取出類別數減一的特徵。 3.. LDA. 當線性區別分析法在小樣本與組內分散矩陣 Sw 出現奇異的時候，會導致其辨識正確率低落。. 9.

(24) 貳、鄰域保持嵌入法非監督式學習是一種不需要人力來輸入標籤，單純依照資料的分布情形，將性質類似的資料分在同一類，再針對不同群集資料加以分析並定義各群集之意義的機器學習法(Acition, Corsini & Diani, 2003；Theodoridis & Koutroumbas, 2006；朱慧珊，2011)，而鄰於保持嵌入法就是一種非監督式特徵萃取法。鄰域保持嵌入法也是一種將線性轉換矩陣的概念放於局部線性嵌入法 (Locally Linear Embedding)的特徵萃取法，故它也擁有鄰域保持的特性，所謂的鄰域保持是指將高維度空間的資料，映射至較低維度的空間時，保留了區域的幾何結構，整個鄰域保持的概念就如圖 2-1-2 所示。. 圖 2-1-2. 鄰域保持慨念圖(Roweis & Saul, 2000). 鄰域保持嵌入法之做法，首先會將每個點和鄰近點之間的幾何結構關係以線性組合的參數來表示，且利用這些權重參數 Wij 來反映資料點鄰近的局部特性，而鄰近點的決定方式則是依照歐氏距離之遠近來選取，每個資料點會選取最靠近. 10.

(25) 自己的 e 個點，並透過最小化重建誤差來確定權重參數 Wij 的大小，其計算公式如(5)所示：. min  i xi   ej1Wij x j. s.t.  ej1Wij  1. 2. (5). 接下來在將資料點從高維度空間，映射至低維度的空間，並透過固定其權重參數. Wij 去找出原有的資料點 xi 在新空間上的位置 yi ，其計算的公式如(6)所示：. min  i yi   ej1Wij y j 最後的步驟是求出其轉換矩陣 ANPE . a NPE  arg max a. 2. s.t. yi yi  1 T. (6). a , a ,, a ，其最佳的特徵可由公式(7)而得： 1. 2. r. aT SbNPEa aT SwNPEa. (7). T. aT Xunlabeled Xunlabeled a  arg max T a aT Xunlabeled M Xunlabeled a 在這裡 M . I  W I  W，W T. 指的是鄰域保持嵌入法內的權重參數，而 I 則是. 指單位矩陣。雖然鄰域保持嵌入法沒有所謂的組內分散矩陣與組間分散矩陣，但我們將它的最佳化準則與線性區別分析法的最佳化準則做比較，發現兩者很相像，故我們 T. NPE. 在此定義 XunlabeledXunlabeled 為 Sb. T. NPE. ， Xunlabeled MXunlabeled 則為 Sw 。由於鄰域保持嵌入. 法是承襲局部線性嵌入法，故它可以擁有局部線性嵌入法保持鄰域的概念，但是非監督式的性質卻限制了它的辨識能力，這是因為局部線性嵌入法的概念是假設樣本點與附近的樣本點都是來自同一個類別，所以才要將樣本點與鄰近點在投影前後都須保持其鄰近之關係，然而卻因為非監督式的性質，我們無法得知樣本點的類別，故可能在投影前後將兩個不同類別的樣本點，也保持其鄰域的關係，這樣反而與分類的概念相互違背了(Han, Jin & Abas, 2009)。. 11.

(26) 參、半監督式局部區別分析法在現實生活裡，標記資料是非常有限的，因為標記資料需要相當多的人力與時間，相對起來，未標記資料卻是隨手可得(Liao, Pizurica, Scheunders, Philips & Pi, 2013；Sindhwani, Niyogi & Belkin, 2005；朱慧珊，2011)。因此，在機器學習的領域上，有一種方法就是運用大量未標記的資料結合少許標記過的資料來當作訓練的模型，來解決資料量過少或是分離的問題，我們稱之為半監督式學習法 (Sindhwani, Niyogi & Belkin, 2005；Theodoridis & Koutroumbas, 2006；朱慧珊， 2011)。現今有許多優秀的半監督式特徵萃取法可以透過調整參數的方式，使得分類的效果達到很好，同時也可以保存資料的局部特性，例如：半監督式區別分析法(Cai, He & Han, 2007)與半監督式局部費雪區別分析法(Sugiyama, Ide, Nakajima & Sese, 2010)，但是如何挑選參數就變得是個問題，為了避免這個問題許多無參數的半監督式特徵萃取法就被提出來了，而我們要介紹的半監督式局部區別分析法就是一種屬於無參數的半監督式特徵萃取法(Liao, Pizurica, Scheunders, Philips & Pi, 2013)。半監督式局部區別分析法是一種結合線性區別分析法與鄰域保持嵌入法兩者之優點的半監督式特徵萃取方法，以下將闡述該方法。在運作半監督式局部區別分析法時，首先會將樣本資料分成兩類，一類是標. . . 1 1 C  C  記樣本 Xlabeled  x1 ,, x N ,, x1 ,, x N ，另外一類則是未標記樣本 1. C. Xunlabeled  x1 ,, xU ，且 Xlabeled  Xunlabeled  ，而標記樣本只會使用在線性區別分析法上，鄰域保持嵌入法則只會使用到未標記樣本。半監督式局部區別分析法為了充分利用線性區別分析法與鄰域保持嵌入法兩者皆不使用參數的優點，故將兩者採用最自然的方法結合，其最佳的特徵可由公式(8)而得： a SELD  arg max a. aT SSELDa aT SSELDa. 12. (8).

(27) 其中 SSELD之計算方法如公式(9)所示：. SSELD  SbLDA  SbNPE.  XlabeledPnn Xlabeled  XunlabeledXunlabeled T. T. 0 P T  Xlabeled , Xunlabeled nn Xlabeled , Xunlabeled  0 I T  XP  IX. (9). 而 SSELD之計算方法如公式(10)所示：. SSELD  SwLDA  SwNPE.  XlabeledInn  Pnn Xlabeled  XunlabeledMXunlabeled T. T. I  P  0  Xlabeled, XunlabeledT  Xlabeled, Xunlabeled nn nn  0 M   X I  P  M XT. (10).   . 利用這種非線性的方式結合了監督式與非監督式特徵萃取法，可以使得在不同的資料樣本情況下，都有辦法充分發揮整個特徵萃取法的優點。簡單來說，如果所有的樣本點都是標記樣本，此方法簡化了線性區別分析法的運算過程，而假設當所有的樣本點都是未標記樣本時，它也可以簡化鄰域保持嵌入法的整個過程 (Liao, Pizurica, Scheunders, Philips & Pi, 2013)。而半監督式局部區別分析法最大的好處是可以使得局部的鄰域信息可以被完整的保存在新的投影方向上，同時可以萃取出最多的特徵數。雖然此方法有這麼大的好處，它還是有缺陷的，例如：當未標記樣本數量增加時，其分類效果並不會隨著數量的增加變得更好以及未標記樣本是採用隨機挑選的模式。會發生樣本數量增加但分類效果反而降低的原因是未標記樣本與標記樣本兩者數量差距會影響到鄰域保持嵌入法與線性區別分析法兩者的分散矩陣，如表 1-2-1 所示。為了降低此影響，我們運用了權重的概念去平衡兩者的差異，進而修正此問題。另外有研究顯示如果能保持訓練樣本周遭的幾何一致性(Feris, Tian, Zhai & Hampapur, 2008；Xu & Yang, 2009；Zhang, Berg, Maire & Malik, 2006；. 13.

(28) Zhu, Hu & Yang, 2010)，可以提升分類的效果，所以我們發展了一個利用標記樣本來選取未標記樣本的方法，並提升分類的效果，此方法是建構在 Voronoi diagram 的概念之下。. 第二節. Voronoi Diagram. 早在西元 1850 年時，Dirichlet 就曾提出 Voronoi diagram 的概念，但一直到了西元 1908 年，才由數學家 Georgy Fedoseevich Voronoi 將多維度的 Voronoi 區塊圖做了完整的數學定義(Okabe, Boots & Sugihara, 1992)，Voronoi diagram 是依據距離劃分區域的圖形，常用於解決多維度之最近鄰近點的區域配置問題上。它是將幾何空間中的所有點按照距離特定點之遠近關係做分隔，使得每個特定點能劃分得到一定區域，在此區域內的任意點與該特定點之距離皆比其它特定點來的近，將該區域以數學式表示如公式(11)所示：. Vo(p)  x  Rd distx, p  distx, q q S  p. (11). S 是代表任特定點之集合，p 代表一個特定點，q 則是代表特定點集合 S 內除了特定點 p 以外的任一特定點，dist x, p則是指區域內任一點 x 與特定點 p 之距離，區域 Vo(p) 是則指特定點 p 的 Voronoi cell，在 Vo(p) 區域內的任何一點都是最靠近特定點 p 的。而 Voronoi cell 的集合則稱為 Voronoi diagram，Voronoi diagram 的頂點則稱為 Voronoi vertex，不同 Voronoi cell 之間的邊界稱為 voronoi edge(Okabe, Boots & Sugihara, 1992；Voronoi, 1908；丁秀婷、黃俊平，2009；葉志雄，2001)，而完整的 Voronoi diagram，如圖 2-2-1 所示。. 14.

(29) 圖 2-2-1. Voronoi diagram 示意圖(丁秀婷、黃俊平，2009). 第三節分類器一般的分類器可以被分為參數型與非參數型這兩種，參數型分類器通常使用於樣本數足夠或者樣本是屬於常態分布的情形下，因為這些樣本可以使得參數被估計的很準確，使得此類別之分類器有較佳的分類效果，最常被使用的參數型分類器是高斯分類器。如果是樣本數量較少時，就應該使用非參數型的分類器，才能避免因無法準確估計參數，導致分類效果不佳的情形發生，常用的非參數型分類器有 k 最近鄰分類器(Cover & Hart, 1967)、支撐向量機(Cortes & Vapnik, 1995； Theodoridis & Koutroumbas, 2006；Wu, Yu & Yang, 2005)。本研究是使用 k 最近鄰分類器與支撐向量機分別來驗證高光譜影像資料集以及教育測驗資料集之分類效能。. 壹、k 最近鄰分類器 k 最近鄰分類器(k-Nearest-Neighbor classifier, kNN)在類別辨識中是一種年代久遠，且非常簡潔的分類器。而它是依照同種類別的物件應該會聚集在一起，也就是「物以類聚」的概念所發展出來的分類器。若是以數學語言來說，就是同類別之物件是以高維度空間中的點來表示，那麼同類別的點之距離應該會比較靠近. 15.

(30) (Fukunaga, 1990)。而在使用 k 最近鄰分類器來辨識未知類別的測試樣本點 x 時， kNN 分類器會把測試樣本點 x 根據其 k 個最相近之鄰點所出現的頻率來判斷，將 x 判別為出現頻率最高的訓練樣本點之類別。由此可知，對於一個未知類別的樣本點，只要從訓練樣本中找出和此樣本點最接近的幾個樣本點，就可以判定此樣本的類別應該是與最接近之訓練樣本點是同一類別的。但值得注意的是，如果使用 kNN 分類器來分類時，其分類效果與的 k 的數目不成正比，也就是說分類效果不一定在 k 的數目越大時越好。比較好的辨識正確率總是發生在 k 的數目較小的情況中(Hastie & Tibshirani, 1996)。k 最近鄰分類器是一種很直覺的分類器，所以常被當成是最基礎的分類器，它是屬於一種無參數形式之分類器。. 貳、支撐向量機支撐向量機(Support Vector Machine, SVM) (Boser, Guyon, & Vapnik, 1992)是一種建構在結構風險最小化(Structural Risk Minimization)概念上而發展出來的機器學習法，目的是用來處理可分離的資料。近年來許多研究顯示出支撐向量機有良好的分類效果，使得支撐向量機開始受到重視(Camps & Bruzzone, 2005；Fauvel, Chanussot & Benediktsson, 2006)。在許多應用中，支撐向量機理論比傳統學習機制有更高的效能表現，特別是在解決分類問題上已經屬於一個強而有力的工具。支撐向量機的原理是將原本的資料映射至高維度的特徵空間中，並在此空間中尋找出具有最大邊界的分離超平面(Separating Hyperplane)將資料區分成兩個類別的資料，使得特徵空間中兩類的距離最大以達成最佳的分類效果(Boser, Guyon, & Vapnik, 1992) ，而找尋最大邊界的分離超平面屬於二次規劃問題 (Quadratic Programming)。支撐向量機的公式如(12)所示： N 1 T min w  w  Cξi w ,ξ i 1 2. subject to. yi w xi   b  1 ξi , ξi  0, i  1,2,, N T. 16. (12).

(31) 在此 w 是分離超平面之法向量，b 是常數且 b / w 代表了從原點到超平面的距離，.  是一個非線性的映射函數， ξi 是分類錯誤的容許量，C 則是代表錯誤的調節參數，運用此參數能平衡邊界大小及允許分類錯誤量，且 C  R  ， x i 是指第 i 個樣本點，. yi 是指第 i 個樣本點所屬之類別，且 { yi {1,1}}iN1 。然而要解一個最佳. 化問題並不是這麼簡單的，幸虧可利用 Lagrangian 法來將原問題轉換成對偶形式如公式(13)所示： N. max i  α i 1. 1 N N i j yi y j xi T  x j   2 i1 j1 N.  y   0, 0    C i  1,2,, N. subject to. i 1. i. i. (13). i. 在這裡  i 為 Lagrange multipliers 且 α  [1 ,,N ] 。 T. 上述支撐向量機需先利用映射函數  將資料從原來的維度映射至高維度空間，但設計適合的映射函數  相當困難，在這種情形下可以利用核函數的技巧算出映射後資料的內積。由 Mercer’s 定理得知， . x, z  x z，所以可以將原 T. 問題改寫成下列形式(John & Nello, 2004)： N. max i  α i 1. 1 N N   y y  xi , x j  2 i1 j1 i j i j N. subject to.  y   0, 0    C i  1,2,, N i 1. i. i. (14). i. 在  i 的最佳值決定後，其決策函數則可以定義成以下形式：. f SVM x   yii xi , x   b N. i 1. (15). N 在這 x 是指未知類別的樣本點，而 b 的選擇是遵照 y j   yii x i , x j   b   1，對  i1 . 於任何的 x j 與 0   j.  C ，而未知樣本的類別預測則為 sgn f SVM x (Cortes &. Vapnik, 1995；Theodoridis & Koutroumbas, 2006；Wu, Yu & Yang, 2005；李政軒，. 17.

(32) 2012)。由於不同核函數對於不同的資料存在著不同程度之分類效果，故核函數的選擇成為 SVM 中的重要環節，而常見的核函數則如表 2-1-1 所示(Schölkopf & Smola, 2001；彭偉誠，2010)，其中 m 代表的是多項式之次數， 為控制半徑之正值參數，.  是斜率，  則是截距，這些都是可調參數。表 2-1-1 常見核函數及其公式名稱. 公式. 線性核函數.  xi , x j   xiT  x j. (Linear Kernel Function) 多項式核函數.  xi , x j   xi T  x j 1. m. m0. (Polynomials Kernel Function).  x x  xi , x j   exp  i 2 j  2 . 徑向基核函數 (Radial Basis Function, RBF) S 型核函數. 2.     R  0  .  xi , x j   tanh xiT  x j   . (Sigmoid Kernel Function). 在多類的分類問題上，可依據分類原則歸納成一對多(One Against All)與一對一(One Against One)兩種。所謂的一對多是指所需解決的 L 類別分類問題，分成 L 個兩類別的分類問題來處理，所以在訓練分類器的過程中，必須訓練 L 個分類器，且在訓練任一個分類器時，該類別之資料樣本點屬於+1 類，非該類別之資料樣本點則屬於 1類，以此方式來進行兩類別分類問題之訓練，最後利用測試資料分別進入訓練過後的 L 個分類器測試，選出最大輸出值的分類器，其所屬+1 類即為最後的分類結果(Bottou, et al., 1994；朱慧珊，2011；李政軒，2012)。而一對一. 18.

(33) 的方式則是從 L 個類別中隨意選取兩個類別成為一個組合，故會有 L /L 1/ 2 種組合，再依照這些組合去進行兩類別分類器之訓練，所以將有 L /L 1/ 2 個分類器，每個分類器都可分出兩個類別，而這些類別都是屬於 L 個類別之中，最後利用測試資料分別進入這些分類器測試，會得出 L /L 1/ 2 個分類結果，再將分類結果依照投票過程，將以獲得最多票數之類別當成是該測試資料之類別(Hsu & Lin, 2002； Knerr, Personnaz & Dreyfus, 1990；朱慧珊，2011；李政軒，2012)。. 19.

(34) 20.

(35) 第三章. 研究方法. 線性區別分析法是一種常用於解決高光譜遙測影像辨識過程中，因為樣本數太少而產生的 Hughes phenomenon 之特徵萃取法，特徵萃取法主要目的是在於找到一個新的特徵空間，在這個特徵空間中可以留下最多的資訊，同時減少雜訊與降低資料的維度數(Fukunaga, 1990；Landgrebe, 2003；朱慧珊，2011；張光佑， 2006)。近幾年，許多研究指出空間資訊是擁有關聯性的(Dell’ Acqua, Gamba, Ferrari, Palmason & Benediktsson, 2004；Fauvel, Benediktsson, Chanussot & Sveinsson, 2008；Jackson & Landgrebe, 2002；Li & Narayanan,2004；朱慧珊，2011)，因此，只要能在演算法中結合空間資訊就能大幅地提升高光譜影像的辨識效果，而半監督式局部區別分析法就是屬於將空間資訊融入於演算法的特徵萃取法之一。然而我們發現了改變未標記樣本的數量與挑選方式皆會對半監督式局部區別分析法的分類效果有所影響，於是我們利用加入權重的方法來降低未標記樣本的數量對於該方法的影響提出了一種名為適性半監督局部區別分析法的特徵萃取法。除此之外，我們還運用 Voronoi diagram 的概念來選擇未標記樣本，得以保持訓練樣本周遭的幾何一致性，使得分類效果得以提升，這種方法我們稱之為基於 k 近鄰概念之半監督式局部區別分析法。另外同時使用兩種概念的新方法，則稱為基於 k 近鄰概念之適性半監督局部區別分析法。. 第一節適性半監督局部區別分析法適性半監督局部區別分析法 (Adaptive Semisupervised Local Discriminant Analysis, ASELD)是將權重的概念加入到半監督式局部區別分析法的特徵萃取法，主要是利用權重參數  與  來平衡該方法中標記樣本與未標記樣本數量差異對於兩者的分散矩陣之影響。 ASELD 之最佳的特徵可由公式(16)而得：. 21.

(36) a ASELD  arg max a. a T SASELDa a T SASELDa. (16). 其中 SASELD之計算公式如(17)所示：. SASELD   SbLDA  1 -   SbNPE. . . .   XlabeledPnn Xlabeled  1    XunlabeledXunlabeled T. T. . (17). 而 SASELD的計算公式如(18)所示：. SASELD   SwLDA  1 -   SwNPE. . . .   XlabeledInn  Pnn Xlabeled  1    Xunlabeled MXunlabeled T. T. . (18). 權重參數  與  選取範圍是 0.1 到 0.9 之間，並以 0.1 為一個間隔單位，挑選的方式則是利用交叉驗證法(cross-validation)。而轉換矩陣則可利用解廣義特徵值問題 SASELD ai  i SASELD ai 之特徵向量組成。整個 ASELD 的流程則如下所示：步驟 1：將樣本分為兩類，一類為標記樣本，另一類則是未標記樣本。步驟 2：利用標記樣本來建構「標記權重矩陣」 I 與 P 。 nn. nn. 步驟 3：利用未標記樣本來建構「鄰域權重矩陣」I 與 M。步驟 4：利用交叉驗證法去求出權重參數  與  。步驟 5：利用解廣義特徵值問題 SASELD ai  i SASELD ai ，a 為廣義特徵向量，  為廣義特徵值，運用最大的 r 個廣義特徵值(        , r  d )所對應之廣義特徵向 1. 量( a , a ,, a )，組出轉換矩陣 A 1. 2. r. ASELD. 2.  a1 , a 2 ,, a r  。. 步驟 6：經過降維之後的樣本則可以定義為：. z  A ASELD x T. 22. r.

(37) 第二節基於 k 近鄰概念之半監督式局部區別分析法本研究將 Voronoi diagram 的概念導入至半監督式局部區別分析法，提出基於 k 近鄰概念之半監督式局部區別分析法(Semisupervised Local Discriminant Analysis with k-Nearest Neighbors, kSELD)。本研究將標記樣本當成是 Voronoi diagram 中的特定點集合，接著利用這些點劃分出 Voronoi cell，使得每個 Voronoi cell 區域內之未標記樣本點都只有一個距離最近的標記樣本點。再使用每個標記樣本點在各自的區域中挑選與其距離最近的 k 個未標記樣本點，並將各個區域內被選到的未標記樣本點收集起來計算 NPE 的分散矩陣。但由於在劃分區域時，不能確保每個區域的未標記樣本點最少都有 k 個，換句話說就是不一定每個標記樣本點都能選到 k 個距離自己最近的未標記樣本點，為了解決此情形，不足的部份，則是從剩下沒有被選中的未標記樣本點隨機挑選出。運用此方式得到的未標記樣本命名為 k-未標記樣本(k-unlabeled Sample)。最後將標記樣本與 k-未標記樣本運用在半監督式局部區別分析法中，整個流程就是基於 k 近鄰概念之半監督式局部區別分析法，而 kSELD 之最佳的特徵可由公式 (19)而得： a T SkSELDa a kSELD  arg max a a T SkSELDa. 其中 S. kSELD. (19). 之計算方法如公式(20)所示：. SkSELD  SbLDA  SbkNPE.  XlabeledPnn Xlabeled  Xk unlabeled Xk unlabeled T. T. P 0 T  Xlabeled , Xk unlabeled   nn  Xlabeled , Xk unlabeled   0 I T  Xk P  IXk. 23. (20).

(38) 而 SkSELD之計算方法如公式(21)所示：. SkSELD  SwLDA  SkNPE w.  XlabeledInn  Pnn Xlabeled  Xk unlabeledM Xk unlabeled T. T. I  P  0  Xlabeled, XkunlabeledT  Xlabeled, Xk unlabeled nn nn  0 M  T  Xk I  P  M Xk. (21).   . 同樣的其轉換矩陣可以從解廣義特徵值問題 SkSELD ai  i SkSELD ai 之特徵向量組成，而完整的 kSELD 流程如圖 3-2-1 所示。. 圖 3-2-1. 基於 k 近鄰概念之半監督式局部區別分析法流程圖. 24.

(39) 第三節基於 k 近鄰概念之適性半監督局部區別分析法基於 k 近鄰概念之適性半監督局部區別分析法(Adaptive Semisupervised Local Discriminant Analysis with k-Nearest Neighbors, kASELD)是同時結合第一節與第二節所提出的方法來改善半監督式局部區別分析法的缺點。利用了 Voronoi diagram 的概念讓訓練樣本周遭的幾何性質具有一致性使得分類正確率提升，再利用權重參數  和  來降低標記樣本與未標記樣本數量差異對於兩者分散矩陣之影響。 kASELD 是運用標記樣本配合 Voronoi diagram 的概念去找出 k-未標記樣本，再將標記樣本與 k-未標記樣本使用於適性半監督局部區別法之中，故 kASELD 之最佳的特徵可由公式(22)而得： a kASELD  arg max a. a T SkASELDa a T SkASELDa. (22). 其中 S kASELD之計算方法如公式(23)所示：. SASELD   SbLDA  1 -   SbkNPE. . . .   XlabeledPnn Xlabeled  1    Xk unlabeledXk unlabeled T. T. . (23). 而 SkASELD之計算方法如公式(24)所示：. SASELD   SwLDA  1 -   SkNPE w. . . .   XlabeledInn  Pnn Xlabeled  1    Xk unlabeledMXk unlabeled T. T. . (24). 在這裡權重參數  與  也是從 0.1 到 0.9 之間挑選，其間隔單位則為 0.1，參數的挑選方式則是運用交叉驗證法。轉換矩陣可以利用解廣義特徵值問題. SkASELD ai  i SkASELD ai 之特徵向量來組成。整個 kASELD 的流程如下：步驟 1：將資料利用標記樣本畫出 Voronoi diagram。步驟 2：使用標記樣本挑選出 k-未標記樣本。. 25.

(40) 步驟 3：運用標記樣本建構「標記權重矩陣」 I 與 P nn. nn. 步驟 4：運用 k-未標記樣本來建構「鄰域權重矩陣」I 與 M。步驟 5：使用交叉驗證法來求出權重參數  與  。步驟 6：利用解廣義特徵值問題 SkASELD ai  i SkASELD ai 之特徵向量組出轉換矩陣。步驟 7：經過降維後的資料可以定義為：. z  A kASELD x T. 26.

(41) 第四章. 實驗設計. 此章節的目的在於驗證本研究所提出之三種特徵萃取法，在高維度資料的分類效能是否能優於半監督式局部區別分析法。第一節先介紹的是本研究用來探討特徵萃取要素的兩種不同資料，一種是教育測驗資料，另一種則是影像資料。第二節則會說明整個實驗的詳細流程。. 第一節資料描述在實驗中，使用了微積分領域中的「微分四則運算」(張偉民，2012)這個單元的教育測驗資料，以及 Indian Pines Site (Landgrebe, 2003)和 Pavia University Scene(Benediktsson, Palmason & Sveinsson, 2005)兩種不同的高光譜遙測影像資料，對於資料集的完整描述如下。. 壹、教育測驗資料集在教育的研究領域中，常利用測驗來了解學生的學習迷思，進行針對其迷思點進行補救，將學生於單元學習中容易發生的學習迷思整理成錯誤類型，以往透過收集學生建構反應題的作答反應後，經由專家判讀學生之解題歷程來決定錯誤類型，過於耗費時間與人力，而電腦化自動分析系統的出現，恰好可以取代人工判讀方式。但學生的解題歷程五花八門，所以透過特徵萃取法找出較好之特徵，可增進錯誤類型分類之效果。在先前的研究中，便有人運用樣式辨識技術來建立測驗資料之辨識系統(朱慧珊，2011；張光佑，2006)，用來自動判斷學生的錯誤概念(張偉民，2012)，以達到因材施教及縮短補救教學之時間。故本研究也將所提出的特徵萃取法用於教育測驗資料集中，而本研究所採用的教育測驗資料是「行政院國家科學委員會輔助研究專題計畫-以貝氏網路為基礎之微積分適性診斷測驗暨學習系統研發」之測驗資料，測驗單元則是技專院校微積分領域中的「微分四則運算」，此份測驗共 23 題，其中四選一的選擇題有 18 題，建構反應題型的題目有 5 題，而本研究是以. 27.

(42) 施測題目中第 9 題當作此教育測驗資料集。完整的施測題目記錄於附錄中，依據施測所得資料，可以將學生之錯誤類型分為 13 種類型如表 4-1-1 所示。此份教育測驗資料集有 19 個維度，13 個類別共有 356 個樣本，但是有 4 個錯誤類型之犯錯人數為 0，故本研究將此 4 種錯誤類型刪除，只使用剩餘的 9 種錯誤類型進行分群實驗。表 4-1-1 微積分單元之錯誤概念分類表類別. 錯誤類型. 人數. 1. 錯用冪分配. 36. 2. 受加法律影響. 0. 3. 受乘法律影響. 33. 4. 形式錯覺. 0. 5. 缺乏正確的運算法則. 0. 6. 忽略對稱性或交錯性. 3. 7. 忽略必然性. 5. 8. 失序〈或流程不完全〉. 67. 9. 順序錯誤. 8. 10. 公式混搭. 0. 11. 無法歸納類別. 55. 12. 未作答. 58. 13. 正確答案. 91. 合計. 356. 28.

(43) 貳、影像資料集本研究所運用到的高光譜遙測影像是採用遙測領域研究中經常使用的影像，這些影像基本上都是可以免費取得，第一個資料集是屬於農業用地的影像「Indian Pine Site」資料集(Landgrebe, 2003)，第二個資料集則是屬於學校區域影像「Pavia University Scene」資料集(Benediktsson, Palmason & Sveinsson, 2005)。前者是經由 Airborne Visible/Infrared Imaging Spectrometer (AVIRIS) 感應器所測得的資料，後者則是利用 Reflective Optics System Imaging Spectrometer (ROSIS) 感應器所測得的資料，這兩個資料集的簡介如下。一、Indian Pine Site 影像資料 Indian Pine Site 影像(Landgrebe, 2003)是一份 1992 年 6 月蒐集完成的 AVIRIS 空載高光譜影像，它是從印第安那州西北部的農業用地中選取一百平方英里之範圍，此範圍為一混合森林與農業區域，如圖 4-1-1 所示。此影像具有 220 個有效頻譜，影像大小為 145  145，其中包含了 16 種不同的類別，分別是：Alfalfa、Cornnotill、Corn-mintill、Corn、Grass-Pasture、Grass-Trees、Grass-Pasture-mowed、Haywindrowed、Oats、Soybean-notill、Soybean-mintill、Soybean-clean、Wheat、Woods、 Buildings-Grass-Trees-Drives 和 Stone-Steel-Towers ，但因為有部分類別的個數過少無法滿足本研究之實驗設計，故本研究只用了其中的 10 個類別，分別是：Cornnotill、Corn-mintill、Grass-Pasture、Grass-Trees、Hay-windrowed、Soybean-notill、 Soybean-mintill、Soybean-clean、Woods 和 Buildings-Grass-Trees-Drives，所用到影像之 ground truth 則如圖 4-1-2 所示，而各類別所含有之圖素(pixels)如表 4-1-2 所示。. 29.

(44) 圖 4-1-2 圖 4-1-1. Indian Pine Site 影像之. Indian Pine Site 影像 ground truth（10 類）. 表 4-1-2 Indian Pine Site 影像各類別所含有之圖素（10 類）類別. 類別名稱. 圖素數. 1. Corn-notill. 1428. 2. Corn-mintill. 830. 3. Grass-Pasture. 483. 4. Grass-Trees. 730. 5. Hay-windrowed. 478. 6. Soybean-notill. 972. 7. Soybean-mintill. 2455. 8. Soybean-clean. 593. 9. Woods. 1265. 10. Buildings-Grass-Trees-Drives. 386. 全部. 9620. 30.

(45) 二、Pavia University Scene 影像資料 Pavia University Scene 影像(Benediktsson, Palmason & Sveinsson, 2005)屬於一份 ROSIS 空載高光譜影像，其範圍是義大利一所學校區域。它具有 103 個有效頻譜，影像大小則為 610  610，其中包含了 9 種不同的類別，分別為：Asphalt、 Meadows、Gravel、Trees、Painted metal sheets、Bare Soil、Bitumen、Self-Blocking Bricks 和 Shadows，其中一些沒有包含任何資訊的影像樣本被刪除，完整的影像如圖 4-1-3 所示，圖中各類別所含有之圖素如表 4-1-3 所示，而影像之 ground truth 則如圖 4-1-4 所示。. 圖 4-1-4 圖 4-1-3. Pavia University. Pavia University Scene 影像 Scene 影像之 ground truth. 31.

(46) 表 4-1-3 Pavia University Scene 影像各類別所含有之圖素類別. 類別名稱. 圖素數. 1. Asphalt. 6631. 2. Meadows. 18649. 3. Gravel. 2099. 4. Trees. 3064. 5. Painted metal sheets. 1345. 6. Bare Soil. 5029. 7. Bitumen. 1330. 8. Self-Blocking Bricks. 3682. 9. Shadows. 947. 全部. 42776. 第二節實驗描述本節將會完整介紹教育測驗資料集與影像資料集的實驗流程，實驗中所搭配的分類器為 k 最近鄰分類器中的 1NN (Kuo, Li & Yang, 2009；Kaya, Ersoy & Kamasak, 2011)，與使用核函數為 RBF 的支撐向量機(Baudat & Anouar, 2000； Camps & Bruzzone, 2005；Melgani & Bruzzone, 2004；Wu & Wang, 2009；紀明宏， 2007)。在使用核函數為 RBF 的支撐向量機時會有兩個參數 C 與  ，為了找出最佳的參數，本研究在參數 C 是使用了交互驗證法搭配網格法，其中網格是設定為 C  210 ,29 ,,20 ，而參數  則是運用了由 Li 等人所開發的一種對於支撐向量機之. 自動挑選參數法來自動選擇(Li, et al., 2012)。. 32.

(47) 壹、教育測驗資料集由於教育測驗資料集總樣本數太少，導至所有的未標記樣本都會使用到，使得未標記樣本與 k-未標記樣本是一樣的，故本實驗對教育測驗資料集只有比較使用 SELD 與 ASELD 這兩種特徵萃取法，搭配 1NN 與 SVM 兩種分類器的分類成果。在實驗中會將整份資料的百分之五十當成是測試樣本(Testing Sample)，也就是說分成測試樣本個數為 178，再將剩下樣本的百分之七十當成是標記樣本，百分之三十當成是未標記樣本，故標記樣本個數為 124，未標記樣本個數為 54。最後將標記樣本與未標記樣本運用 SELD 和 ASELD 去計算轉換矩陣。算出轉換矩陣後，將標記樣本經過轉換矩陣降維後放入分類器去作訓練；經過轉換矩陣降維後的測試樣本放入分類器作分類。為了降低隨機誤差，本實驗會將此種資料集做 10 次運算後取出平均值當成是最後的分類正確率。. 貳、影像資料集由於影像資料集總樣本數量夠多，所以會比較不同數量的未標記樣本對於分類正確率的影響，故本實驗對於影像資料集將會比較 SELD、ASELD、kSELD 與 kASELD 四種特徵萃取法，搭配 1NN 與 SVM 兩種分類器的分類成果。本實驗為了評估訓練樣本大小對於維度之影響，因此使用了二種不同的方案來分析探究： N 10  N  d (方案一)、 N  40  d  N (方案二)， N 代表第 i 類的 i. i. i. 標記樣本數量，N 代表的是標記樣本的總數，也是訓練樣本的總數。方案一與方案二分別代表不良的狀況(ill-posed)以及不足的狀況(poorly-posed)，這兩種情況皆會導至統計估計不準確，例如共變異數矩陣之反矩陣發生奇異。所謂的 ill-posed 是指訓練樣本總數 N 小於訓練樣本的維度 d，即 N  N  d 。由於樣本數目太少 i. 使其統計估計會不準確，例如此方案下的共變異數矩陣不是滿秩的情況，進而導致共變異數矩陣的反矩陣出現了奇異的情形，因而無法計算出共變異數矩陣之反. 33.

(48) 矩陣。而 poorly-posed 則是指訓練樣本數 N 大於訓練樣本維度 d，但每個類別的訓練樣本數 N 還是小於訓練樣本維度 d，即 N  d  N ，也就是說在此條件下之 i. i. 整體統計估計是準確地，但各類別的統計估計會不準確。例如共變異矩陣是屬於滿致的情形，也能計算出其反矩陣；而各類別的共變異矩陣則處於不是滿秩的情形況下，使得類別內之共變異矩陣的反矩陣會出現奇異。而測試樣本的總數則是佔整份影像資料集的百分之三十，至於所使用的四種特徵萃取法中，所需之未標記樣本或是 k-未標記樣本，則是從整份資料集中扣除測試樣本與標記樣本後去做隨機選取或是依照挑選 k-未標記樣本的方式來選取，整個資料集內樣本的分配如圖 4-2-1 所示。在影像資料集中，本實驗也是把標記樣本與未標記樣本或 k-未標記樣本運用 SELD、ASELD、kSELD、kASELD 去計算轉換矩陣。將標記樣本透過轉換矩陣降維後放入分類器去作訓練；經過轉換矩陣降維過的測試樣本放入分類器中作分類。為了降低隨機誤差，本實驗會將此種資料集作 10 次運算後取出平均值當成是最後的分類正確率。而本實驗亦會討論未標記樣本(k-未標記樣本)的數量對於特徵萃取的影響。Indian Pine Site 與 Pavia University Scene 影像資料的各種實驗方案之不同樣本數量如表 4-2-1 所示。. 34.

(49) 圖 4-2-1. 資料集內樣本分配圖. 表 4-2-1 影像資料各種實驗方案之不同樣本的數量標記樣本數影像資料. 實驗方案. 測試樣本數. 未標記樣本數. (N) Indian Pine. 方案一. 100. 2881. 400, 800 , … , 6400. Site. 方案二. 400. 2881. 400, 800 , … , 6000. Pavia. 方案一. 90. 12829. 360, 720 , … , 7200. University. 方案二. 360. 12829. 360, 720, … , 7200. 35.

(50) 36.

(51) 第五章. 實驗結果. 此章節為教育測驗資料集與兩個影像資料集的實驗結果，以下將針對不同資料集之實驗結果作詳細的介紹。. 第一節教育測驗資料集表 5-1-1 所呈現的實驗數據是將本研究所提出的 ASELD 與不同的特徵萃取法分別搭配 k 最近鄰分類器與支撐向量機兩種分類器，十筆教育測驗資料集中所得最高平均分類正確率，分類正確率後面括號內之數字則是表示所萃取的維度數。表 5-1-1 教育測驗資料集之平均分類正確率分類器. 特徵萃取法. 分類正確率（維度數）. SELD. 53.1%（12）. ASELD. 59.5%（11）. SELD. 79.7%（17）. ASELD. 79.8%（18）. 1NN. SVM 由表 5-1-1 可知：在教育測驗資料集上，以 k 最近鄰分類器搭配 SELD 與 ASELD 兩種不同的特徵萃取法時，其最高正確率分別為 53.1%與 59.5%；以支撐向量機搭配 SELD 與 ASELD 兩種不同的特徵萃取法時，其最高正確率則分別為 79.7%與 79.8%。由此可知在此教育測驗資料集中不論是使用 k 最近鄰分類器或是使用支撐向量機搭配 ASELD 的分類效果都比搭配 SELD 來的好。. 37.

(52) 第二節影像資料集壹、Indian Pine Site 影像資料表 5-2-1 所呈現的實驗數據是將本研究所提出之 ASELD、kSELD、kASELD 與不同的特徵萃取法分別搭配 k 最近鄰分類器與支撐向量機兩種分類器，對於不同數量的未標記樣本數(k-未標記樣本數)之十筆 Indian Pine Site 影像資料集在兩種實驗方案中所得最高平均分類正確率，其中括號內的數字分別為未標記樣本(k未標記樣本)之數量與所萃取的維度數。表 5-2-1 Indian Pine Site 影像資料集之平均分類正確率分類正確率分類器. 特徵萃取法. （未標記樣本數或 k-未標記樣本數，維度數）方案一. 方案二. SELD. 64.0%（1600，19）. 79.1%（2400，15）. kSELD. 67.0%（1200，20）. 79.3%（2400，17）. ASELD. 71.6%（5200，17）. 81.8%（5600，16）. kASELD. 71.6%（4400，13）. 82.0%（6000，16）. SELD. 63.1%（1200，20）. 79.8%（4000，20）. kSELD. 65.4%（1200，20）. 80.0%（2400，17）. ASELD. 69.3%（6000，19）. 80.7%（6000，15）. kASELD. 69.5%（4800，19）. 81.3%（5600，16）. 1NN. SVM. 由表 5-2-1 數據可知：在 Indian Pine Site 影像資料集上，使用 1NN 當作分類器時，SELD 在方案一與方案二的最高分類正確率與未標記樣本數分別為 64.0%、 1600 與 79.1%、2400；kSELD 在方案一與方案二的最高分類正確率與 k-未標記樣本數則分別為 67.0%、1200 與 79.3%、2400；ASELD 在方案一與方案二的最高分. 38.

(53) 類正確率與未標記樣本數分別為 71.6%、5200 與 81.8%、5600；kASELD 在方案一與方案二的最高分類正確率與 k-未標記樣本數則分別為 71.6%、4400 與 82.0%、 6000。由此可知在 1NN 分類器中對於有使用權重參數的兩種特徵萃取法 ASELD 與 kASELD 不論是在方案一或是方案二之中的分類正確率都比沒有使用到權重參數的兩種特徵萃取法 SELD 與 kSELD 來的好。而對於使用 k-未標記樣本與未標記樣本之不同特徵萃取法的比較，除了在方案一中 kASELD 與 ASELD 的分類正確率相同以外，使用 k-未標記樣本的兩種特徵萃取法 kSELD 與 kASELD 在其餘的實驗中分類正確率都比使用未標記樣本的兩種特徵萃取法 SELD 與 ASELD 來的好。雖然在方案一中 kASELD 與 ASELD 的分類正確率相同，可是 kASELD 所使用到的 k-未標記樣本數比 ASELD 所使用到的未標記樣本數來的少，這是因為 kASELD 考慮到訓練樣本周遭幾何的一致性，使得其只需運用較少的 k-未標記樣本數就可達到與 ASELD 相同正確率的效果，故可說 kASELD 的分類效果比 ASELD 來的好。而使用支撐向量機作為分類器時，SELD 在方案一與方案二的最高分類正確率與未標記樣本數分別為 63.1%、1200 與 79.8%、4000；kSELD 在方案一與方案二的最高分類正確率與 k-未標記樣本數則分別為 65.4%、1200 與 80.0%、2400； ASELD 在方案一與方案二的最高分類正確率與未標記樣本數分別為 69.3%、6000 與 80.7%、6000；kASELD 在方案一與方案二的最高分類正確率與 k-未標記樣本數則分別為 69.5%、4800 與 81.3%、5600。由此可知以支撐向量機為分類器時，有使用權重參數的特徵萃取法 ASELD 與 kASELD 的最高分類正確率比沒有使用權重參數之特徵萃取法 SELD 與 kSELD 來的高，同時運用 k-未標記樣本之特徵萃取法 kSELD 與 kASELD 的最高分類正確率也比使用未標記樣本之特徵萃取法 SELD 與 ASELD 來的高。依據實驗的結果，在 Indian Pine Site 影像資料集中，不論是使用 1NN 或 SVM 作為分類器時，對於有使用權重參數的特徵萃取法分類效果比沒有使用權重參數. 39.

(54) 的特徵萃取法來的好，以及使用 k-未標記樣本之特徵萃取法分類效果比使用未標記樣本之特徵萃取法來的好。. (a) SELD (方案一). (b) kSELD (方案一). (c) ASELD (方案一). (d) kASELD (方案一). 圖 5-2-1. 圖(a)-(d)為 Indian Pine Site 影像資料集在方案一中，分別使用不同的特徵萃取法搭配 1NN 分類器之分類結果圖。. 圖 5-2-1 所呈現的是 ASELD、kSELD、kASELD 與 SELD 搭配 1NN 分類器，用方案一之最高分類正確率所繪出的分類結果圖。比較圖 5-2-1(a)與(b)，可以看出 kSELD 在 Corn-notill、Soybean-mintill 與 Soybean-clean 的分類效果比 SELD 來的好；比較圖 5-2-1(a)與(c)，可以看出 ASELD 在 Corn-notill、Soybean-notill 與 Soybean-mintill 的分類效果比 SELD 來的好；比較圖 5-2-1(b)與(d)，可以看出 kASELD 在 Corn-notill、Grass-Trees 與 Soybean-notill 的分類效果比 kSELD 來的好；比較圖 5-2-1(c)與(d)，可以看出 kASELD 在 Corn-notill 與 Soybean-clean 中的. 40.

(55) 分類效果優於 ASELD。從這些可以看出搭配 1NN 分類器在方案一中，有使用權重參數的特徵萃取法在 Corn-notill、Grass-Trees、Soybean-notill 與 Soybean-mintill 的分類效果比沒有使用權重參數的特徵萃取法來的好；而使用 k-未標記樣本的特徵萃取法在 Corn-notill、Soybean-mintill 與 Soybean-clean 的分類結果優於使用未標記樣本的特徵萃取法。. (a) SELD (方案二). (b) kSELD (方案二). (c) ASELD (方案二). (d) kASELD (方案二). 圖 5-2-2. 圖(a)-(d)為 Indian Pine Site 影像資料集在方案二中，分別使用不同的特徵萃取法搭配 1NN 分類器之分類結果圖。. 圖 5-2-2 所呈現的是 ASELD、kSELD、kASELD 與 SELD 搭配 1NN 分類器，用方案二之最高分類正確率所繪出的分類結果圖。比較圖 5-2-2(a)與(b)，可以看出 kSELD 在 Soybean-clean 與 Woods 的分類效果比 SELD 來的好；比較圖 5-2-2(a) 與(c)，可以看出 ASELD 在 Soybean-clean 與 Buildings-Grass-Trees-Drives 的分類. 41.

(56) 效果比 SELD 來的好；比較圖 5-2-2(b)與(d)，可以看出 kASELD 在 Corn-mintill 與 Woods 的分類效果比 kSELD 來的好；比較圖 5-2-2(c)與(d)，可以看出 kASELD 在 Grass-Trees 與 Soybean-notill 中的分類效果優於 ASELD。從這些可以看出搭配 1NN 分類器在方案二中，有使用權重參數的特徵萃取法在 Corn-mintill、Soybeanclean、Woods 與 Buildings-Grass-Trees-Drives 的分類效果比沒有使用權重參數的特徵萃取法來的好；而使用 k-未標記樣本的特徵萃取法在 Grass-Trees、Soybeannotill、Soybean-clean 與 Woods 的分類結果優於使用未標記樣本的特徵萃取法。. (a) SELD (方案一). (b) kSELD (方案一). (c) ASELD (方案一). (d) kASELD (方案一). 圖 5-2-3. 圖(a)-(d)為 Indian Pine Site 影像資料集在方案一中，分別使用不同的特徵萃取法搭配 SVM 分類器之分類結果圖。. 42.

(57) (a) SELD (方案二). (b) kSELD (方案二). (c) ASELD (方案二). (d) kASELD (方案二). 圖 5-2-4. 圖(a)-(d)為 Indian Pine Site 影像資料集在方案二中，分別使用不同的特徵萃取法搭配 SVM 分類器之分類結果圖。. 圖 5-2-3 所呈現的是 ASELD、kSELD、kASELD 與 SELD 搭配 SVM 分類器，用方案一之最高分類正確率所繪出的分類結果圖。比較圖 5-2-3(a)與(b)，可以看出 kSELD 在 Corn-mintill 與 Soybean-mintill 的分類效果比 SELD 來的好；比較圖 5-2-3(a)與(c)，可以看出 ASELD 在 Corn-notill 與 Woods 的分類效果比 SELD 來的好；比較圖 5-2-3(b)與(d)，可以看出 kASELD 在 Corn-notill 與 Grass-Trees 的分類效果比 kSELD 來的好；比較圖 5-2-3(c)與(d)，可以看出 kASELD 在 Grass-Trees 與 Soybean-mintill 中的分類效果優於 ASELD。從這些可以看出搭配 SVM 在方案一中，有使用權重參數的特徵萃取法在 Corn-notill、Grass-Trees 與 Woods 的分類效果比沒有使用權重參數的特徵萃取法來的好；而使用 k-未標記樣本的特徵萃取法在 Corn-mintill、Grass-Trees 與 Soybean-mintill 的分類結果優於使用未標記樣本. 43.

(58) 的特徵萃取法。圖 5-2-4 所呈現的是 ASELD、kSELD、kASELD 與 SELD 搭配 SVM 分類器，用方案二之最高分類正確率所繪出的分類結果圖。比較圖 5-2-4(a)與(b)，可以看出 kSELD 在 Corn-notill 的分類效果比 SELD 來的好；比較圖 5-2-4(a)與(c)，可以看出 ASELD 在 Corn-notill 與 Soybean-clean 的分類效果比 SELD 來的好；比較圖 5-2-4(b)與(d)，可以看出 kASELD 在 Soybean-notill 與 Soybean-mintill 的分類效果比 kSELD 來的好；比較圖 5-2-4(c)與(d)，可以看出 kASELD 在 Corn-mintill 與 Soybean-mintill 中的分類效果優於 ASELD。從這些可以看出搭配 SVM 在方案二中，有使用權重參數的特徵萃取法在 Corn-notill、Soybean-notill、Soybean-mintill 與 Soybean-clean 的分類效果比沒有使用權重參數的特徵萃取法來的好；而使用 k-未標記樣本的特徵萃取法在 Corn-notill、Corn-mintill 與 Soybean-mintill 的分類結果優於使用未標記樣本的特徵萃取法。圖 5-2-5 與圖 5-2-6 是方案一中 ASELD、kSELD、kASELD 與 SELD 搭配 1NN 與 SVM 分類器，在不同數量之未標記樣本與分類正確率的關係圖。圖中黑色與藍色線分別為沒有使用權重參數的特徵萃取法 SELD 與 kSELD，而綠色與紅色線分別為有使用權重參數的特徵萃取法 ASELD 與 kASELD，從圖中能發現當未標記樣本數比較少的時候，SELD 與 kSELD 的正確率比 ASELD 與 kASELD 來的高，但是當未標記樣本數逐漸增加時，ASELD 與 kASELD 的正確率也會逐漸提升，可是 SELD 與 kSELD 的正確率卻會下降。由此可知使用權重參數能有效改善未標記樣本數量大小對於分類正確率的影響。除此之外，從圖中還能發現在相同的分類正確率下，使用 k-未標記樣本之特徵萃取法 kSELD 與 kASELD 所用到的未標記樣本數比使用未標記樣本之特徵萃取法 SELD 與 ASELD 來的少。這是因為使用 k-未標記樣本能提升訓練樣本周遭的幾何一致性，使得在相同的分類正確率之下，kSELD 與 kASELD 所用的樣本數量會比 SELD 與 ASELD 來的少。. 44.

(59) 0.75. 0.7. Accuracy. 0.65. 0.6. 0.55. SELD kSELD ASELD kASELD. 0.5. 0.45 400. 圖 5-2-5. 800 1200 1600 2000 2400 2800 3200 3600 4000 4400 4800 5200 5600 6000 6400 Number of unlabeled sample. 在搭配 1NN 分類器下，未標記樣本數量對 SELD、ASELD、 kSELD 與 kASELD 分類正確率的影響 0.75. 0.7. Accuracy. 0.65. 0.6. 0.55. SELD kSELD ASELD kASELD. 0.5. 0.45 400. 圖 5-2-6. 800 1200 1600 2000 2400 2800 3200 3600 4000 4400 4800 5200 5600 6000 6400 Number of unlabeled sample. 在搭配 SVM 分類器下，未標記樣本數量對 SELD、ASELD、 kSELD 與 kASELD 分類正確率的影響. 45.

(60) 貳、Pavia University Scene 影像資料表 5-2-2 所呈現的數據是將本研究所提出的三種特徵萃取法與 SELD 分別搭配 k 最近鄰分類器與支撐向量機兩種分類器，對於不同數量的未標記樣本數(k-未標記樣本數)之十筆 Pavia University Scene 影像資料集在兩種實驗方案中所得最高平均分類正確率，其中括號內的數字分別為未標記樣本(k-未標記樣本)之數量與所萃取的維度數。. 表 5-2-2 Pavia University Scene 影像資料集之平均分類正確率分類正確率分類器. 特徵萃取法. （未標記樣本數或 k-未標記樣本數，維度數）方案一. 方案二. SELD. 69.8%（1800，10）. 79.5%（1440，13）. kSELD. 71.8%（720，13）. 81.1%（1440，20）. ASELD. 74.8%（2160，12）. 82.5%（3600，11）. kASELD. 75.5%（1800，11）. 82.7%（3960，15）. SELD. 68.1%（4320，13）. 82.3%（2160，14）. kSELD. 70.1%（1080，14）. 83.4%（1800，14）. ASELD. 72.0%（5760，13）. 83.3%（2880，15）. kASELD. 72.4%（2880，14）. 84.1%（6120，18）. 1NN. SVM. 由表 5-2-2 數據可知：在 Pavia University Scene 影像資料集上，使用 1NN 當作分類器時，SELD 在方案一與方案二的最高分類正確率與未標記樣本數分別為 69.8%、1800 與 79.5%、1440；kSELD 在方案一與方案二的最高分類正確率與 k-. 46.