第三章 半監督式特徵萃取
第二節 演算法
加入樣本選取 之半監督式無 加 萃
在半監
法， 表 4-2 表示 分析 ，
。
半監督式線性區別分析 SLDA
A1 Q=10,K=10
A2 Q=20,K=20
A3 Q=40,K=40
B1 Q=10,K=5
B2 Q=20,K=10 半監督式
無參數加權特徵萃取法
B3 Q=40,K=20
第
、圖 5-1，該實驗的作法是利用
數加權特徵萃取法均分別嘗試萃取 5、10、15 及 20 個特徵，10 個資料
集的平均分類辨識率如表 5-1、表 3。
五章 實驗結果
第一節 Indian Pine site 資料集實驗結果
在作為比較基準的實驗中，相同 Indian Pine site 資料集的實驗結果被用來當 作本實驗的比較基準，該研究的實驗結果見表 2-1
全部 2521 個樣本進行線性區別分析，並將資料轉換到一個五維的特徵空間中，
再取出 1%的樣本作為訓練樣本。
為了探討所萃取的特徵數的影響，將本研究的半監督式線性區別分析與半監 督式無參
2、圖 2、圖
5-0.5 0.55 0.6 0.65 0
DAFE+ALOOC DAFE+ALOOC-EXACT
ABLOOC2 DAFE+ABLOOC-EXACT
0.7 .75
DAFE+
Initial Final
圖 5-1 adaptive classifier(Jackson & Langrebe, 2002)實驗結果
表 5-1 SLDA 下的平均辨識率
Number of features
與 A1~A3 演算法在不同特徵空間
Algorithm Initial5 10 15 20
SLDA 0.692 0.7320.736 0.740 0.744 A1 0.729 0.729 0.784 0.838 0.821
A2 0.729 0.729 0.782 0.833 0.810 A3 0.729 0.729 0.778 0.837 0.792
0.650 0.700 0.750 0.800 0.850
Initial 5 10 15 20
SLDA A1 A2 A3
圖 5-2 SLDA 與 A1~A3 演算法在不同特徵空間下的平均辨識率
在 SLDA 與 A1~A3 的比較上，SLDA 雖在迭代後辨識率有上升，但增加萃取 維度之後，SLDA 辨識率增加的相當有限；相對來說 A1~A3 三種方法，在只有萃
取 5 個維度 升的相當
明顯，其中又以維度為 15 時的辨識率最佳。
萃取維度數
時辨識率並不會上升，但只要增加萃取的維度數，辨識率上
表 5-2 SLDA 與 B1~B3 演算法在不同特徵空間下的平均辨識率
Number of features AlgorithmInitial 5 10 15 20
SLDA 0.692 0.732 0.736 0.7400.744 B1 0.729 0.729 0.790 0.8190.793 B2 0.729 0.729 0.782 0.8320.810 B3 0.729 0.729 0.782 0.8470.798
0.650 0.700 0.750 0.800 0.850
Initial 5 10 15 20
SLDA B1 B2 B3
萃取維度數
圖 5-3 SLDA 與 B1~B3 演算法在不同特徵空間下的平均辨識率
另外 A 特徵
在視覺上的表現方面，下面是地圖的原始資料如圖 5-6，地面實際狀況如圖 5-7，作為比較基準的是無參數加權特徵萃取法，相比較的是半監督式無參數加權 特徵萃取法。
圖 5-6 地圖原始資料
始的無參數加權特徵萃取法。甚至在部分錯誤率相當高的部 份，半監督式無參數加權特徵萃取法仍可以修正初始時的錯誤。
無參數加權特徵萃取法與半監督式無參數加權特徵萃取法辨識結果如圖 5-8、圖 5-9，可以發現半監督式無參數加權特徵萃取法的辨識結果在視覺上的效 果也是明顯優於原
圖 5-8 使用 NWFE 辨識結果
圖 5-9 使用 B3 演算法辨識結果
圖 5-10 corn-notill 類別分類結果局部放大比較圖
圖 5-12 Grass/Pasture 類別辨識結果局部放大比較圖
圖 5-10、圖 5-11、圖 5-12 則是局部放大比較圖，可以發現在 corn-notill、
Woods、Grass/Pasture 等類別上，右邊的半監督式無參數加權特徵萃取法的結果 與左邊的地面實際情況均較為相近。
在圖 5-12 中可以發現，半監督式無參數加權特徵萃取法甚至可以完全修正無 參數加權特徵萃取法在辨識時的錯誤，當然在左側中部可以發現 Grass/Pasture 仍 有部分錯誤，但與無參數加權特徵萃取法相比已經有所改進。
綜合以上實驗結果，可見加入半監督式樣本的半監督式無參數加權特徵萃取 可以增進無參數加權特徵萃取法之效果。
第二節 Washington D.C.資料集實驗結果
在實驗結果上，可能由於半監督式樣本的數量也不多，實驗結果不如實驗一，
但對於辨識率仍有改善作用，可見本研究所提出之半監督式特徵萃取之適用範圍 不僅限於有大量測試樣本，若僅加入少量測試樣本作半監督式訓練之用，仍可增 加辨識之辨識率，詳細實驗結果見表 5-3。
表 5-3 各演算法平均辨識率
演算法 維度數 初始辨識率 迭代後辨識率
半監督式線性區別分析
6 0.691 0.712
12 0.691 0.718
18 0.691 0.717
24 0.691
0.721半監督式無參數加權特徵萃取法
6 0.692 0.717
Q= 10 12 0.692 0.728
18 0.692
0.72924 0.692 0.728
半監督式無參數加權特徵萃取法
6 0.692 0.718
Q= 20 12 0.692 0.731
18 0.692
0.73224 0.692 0.728
半監督式無參數加權特徵萃取法
6 0.692 0.719
Q=40 12 0.692 0.734
18 0.692
0.73724 0.692 0.732
雖然在平均辨識率上，實驗二效果不如實驗一顯著，但在個別的辨識結果上，
圖 5-13 Washington D.C.影像資料
圖 5-14 線性區別分 辨識結析 果
圖 5-15 半監督式線性區別分析辨識結果
圖 5-16 無參數加權特徵萃取法辨識結果
第三節 教育測驗資料集實驗結果
6 0.5645 0.49349 12 0.5645 0.56095 18 0.5645 0.5716 半監督式無參數加權特徵萃取法
Q=10
24 0.5645 0.64497 6 0.5645 0.50178 12 0.5645 0.54645 18 0.5645 0.57278 半監督式無參數加權特徵萃取法
Q=
24 0.5645 0.63935 20
6 0.5645 0.47367 12 0.5645 0.54201 18 0.5645 0.57663 半監督式無參數加權特徵萃取法
Q=20,K=10
24 0.5645 0.64852
表 5-5 實驗 3-2 結果(訓練樣本點數 20)
演算法 維度數 起始正確率 經迭代後正確率
6 0.7541 0.6541 12 0.7541 0.72537 18 0.7541 0.75485 半監督式無參數加權特徵萃取法
Q=10
24 0.7541 0.77687 6 0.7541 0.65336 12 0.7541 0.71754 18 0.7541 0.76007 半監督式無參數加權特徵萃取法
Q=20
24 0.7541 0.78769 6 0.7541 0.63097 12 0.7541 0.72276 18 0.7541 0.75187 半監督式無
Q=20,K=10
24 0.7541 0.78881 參數加權特徵萃取法
第一節 結論
歸納實驗一、二、三之
1. Jackson & Langrebe ( 002)所提出的 e classifi 是 0.741，而本研究提出使用半監督式特徵 取其辨 高過此值 達
取步驟是有其必要性的。
2. 半監督式無參數加權特徵萃取法的表現 大部分 下要優於 線
以發現 參數加 萃取法在 況
下表現要優於線性區別分析，初始值較高也使半監督式無參數加權特徵萃取 法更容易達到較高的辨識率。
3. 參數加權特徵萃取法萃取的維度數
~ 。
. 由於本研究使用的樣本選取策略為加權叢集分析法，其初始點為隨機給定，
使實驗結果有不確
由以上的發現，我們或許可以歸納一個結論 出 萃
取法 著改進 識的效 半監督式 加
權特徵萃取法辨識 要比單純在迭代開始前進行 取的方法 &
Langrebe, 2002 )效能要來的好。
第六章 結論與未來研究方向
結果可以發現一些結論：
2 adaptiv er，效能最好的辨識率
萃 識率均 ，最高可
0.847，可見在半監督式學習過程中加入特徵萃
在 的狀況 半監督式
性區別分析，事實上由文獻中可 無 權特徵 小樣本狀
本實驗設計下最佳的半監督式無 為
) 1 (
3× L− 4× L( −1) 4
定性，為本研究所提出方法之缺憾。
：本研究提 的半監督式特徵
在樣本點數極小的狀況下能夠顯 辨 能；而 的無參數
辨識率 特徵萃 (Jackson
由本研究中可以發現，樣本選取對於 不僅僅是在 樣本點數影響時間方面，由於半監督式樣本所取得類別正確與否的不確定性，加
入樣本選取步驟對於半監督式 。可考慮方式包含對於加入
作為辨識訓練樣本設定閥值( threshold )，或是類似本研究之作法，以小區域樣本 平均數代替單一樣本，如此一來或可避免因錯誤的辨識結果不斷累積，使得迭代
第二節 未來研究方向
半監督式學習過程的影響，
學習過程而言相對重要
過程辨識率不減反增。
Arth
WI.
Crook, J. and Banasik, J. (2002). Sample selection bias in credit scoring models.
International Conference on Credit Risk Modeling and Decisioning, Philadelphia, PA.
Fukunaga, K. (1990). Introduction to Statistical Pattern Recognition, San Diego, CA:Academic.
Ghahramani, Z. and Jordan, M.I. (1994). Learning from incomplete data. Technical Report 108, MIT Center for Biological and Computational Learning.
Goldman, S. and Zhou, Y. (2000). Enhancing supervised learning with unlabeled data.
In Proceedings of the Seventeenth International Conference on Machine Learning, pp.327-334, San Francisco, CA.
Hughes, G. F. (1968). On the Mean Accuracy of Statistical Pattern Recognition. IEEE Trans. Information Theory, vol. IT-14, no. 1, pp 55-63.
Kuo, B-C. and Landgrebe, D.A. (2002). Hyperspectral Data Classification Using Nonparametric Weighted Feature Extraction, International Geoscience and Remote Sensing Symposium, Toronto.
Kuo, B-C. and Landgrebe, D.A. (2004). Nonparametric Weighted Feature Extraction
參考文獻
ur, D., Nan L., and Donald R. (1977) Maximum likelihood from incomplete data via the EM algorithm. Journal of the Royal Statistical Society, Series B, Vol 39, No. 1, pp. 1–38.
Blum, A. and Mitchell, T. (1998). Combining labeled and unlabeled data with
co-training. In Proceedings of the Workshop on Computational Learning Theory, pp. 92-100, Madison,
2004 Computer Vision & Grap g Conference, Hualien.
Landgrebe, D.A. (2003). Signal Theory Methods in Multispectral Remote Sensing,
Mille
nlabeled data, Advances in Neural Information Processing
Jack
alysis with a Limited Training Data Set, IEEE Trans.
Jack
riance Estimation and Classification, IEEE Trans. on Geoscience and hic Image Processin
John Wiley and Sons, Hoboken, NJ: Chichester.
r, D. and Uyar, S. (1997). A mixture of experts classifier with learning based on both labeled and u
Systems 9, pp. 571-578, MIT Press.
son, Q. and Landgrebe, D.A. (2001). An Adaptive Classifier Design for High-Dimensional Data An
on Geoscience and Remote Sensing, Vol. 39, No. 12, pp. 2664-2679.
son, Q.. and Landgrebe, D.A. (2002). An Adaptive Method for Combined Cova
Remote Sensing. Vol. 40, No. 5, pp 1082-1087.
附錄 A 實驗一迭代過程
程
5
表 A-1 SDAFE 迭代過
1 2 3 4 5 6 7 8 9 10
0.69226 0.7192 0.7238 0.7266 0.7298 0.7319 0.7319 0.7304 0.7287 0.727 0.69226 0.7193 0.7276 0.7297 0.
1 10 732 0.7347 0.7361 0.7338 0.7324 0.7304 15 0.69226 0.719 0.7303 0.7353 0.7372 0.7375 0.7401 0.7392 0.7391 0.7385 20 0.69226 0.7203 0.7305 0.7361 0.7401 0.7407 0.7428 0.7438 0.744 0.7431
0.66 0.68 0.7 0.72 0.74 0.76
1 2 3 4 5 6 7 8 9 10
5 10 15 20
圖 A-1 SDAFE 迭代結果
1 2 3 4 5 6 7 8 9 10
表 A-2 A1 迭代結果
5 0.729 0.647 0.628 0.613 0.601 0.583 0.567 0.558 0.549 0.547 10 0.729 0.745 0.779 0.783 0.784 0.784 0.781 0.784 0.780 0.779 15 0.729 0.782 0.812 0.824 0.830 0.836 0.837 0.838 0.837 0.838 20 0.729 0.776 0.801 0.804 0.818 0.805 0.819 0.801 0.821 0.791
0.500 0.550 0.600 0.650 0.700 0.750 0.800 0.850 0.900
1 2 3 4 5 6 7 8 9 10
5 10 15 20
圖 A-2 A1 迭代結果
表 A-3 A2 迭代結果
8 9 0
1 2 3 4 5 6 7 1
5 0.729 0.647 0.625 0.609 0.601 0.578 0.558 0.55 0.54 0.543 7 3 10 0.729 0.748 0.771 0.777 0.781 0.782 0.781 0.77 0.77 0.778 8 7 15 0.729 0.779 0.808 0.817 0.826 0.831 0.833 0.831 0.83 0.831 2 20 0.729 0.772 0.796 0.797 0.810 0.806 0.807 0.79 0.78 0.776 6 0
0.500 0.550 0.600 0.650 0.700 0.750 0.800 0.850
1 2 3 4 5 6 7 8 9 10
5 10 15 20
圖 A-3 A2 迭代結果
表 A-4 A3 迭代結果
1 2 3 4 5 6 7 8 9 10
5 0.729 0.649 0.628 0.610 0.589 0.567 0.550 0.548 0.535 0.537 10 0.729 0.753 0.769 0.773 0.778 0.777 0.776 0.775 0.774 0.774 15 0.729 0.768 0.803 0.807 0.822 0.827 0.832 0.834 0.836 0.837 20 0.729 0.766 0.792 0.772 0.780 0.770 0.760 0.729 0.747 0.702
0.500 0.550 0.600 0.650 0.700 0.750 0.800 0.850 0.900
1 2 3 4 5 6 7 8 9 10
5 10 15 20
圖 A-4 A3 迭代結果
表 A-5 B1 迭代結果
1 2 3 4 5 6 7 8 9 10
5 0.729 0.663 0.631 0.607 0.582 0.557 0.556 0.553 0.543 0.549 10 0.729 0.749 0.776 0.783 0.787 0.790 0.787 0.786 0.783 0.786 15 0.729 0.769 0.796 0.805 0.813 0.813 0.819 0.812 0.818 0.793 20 0.729 0.764 0.784 0.781 0.793 0.784 0.778 0.769 0.765 0.744
0.500 0.550 0.600 0.650 0.700 0.750 0.800 0.850
1 2 3 4 5 6 7 8 9 10
5 10 15 20
圖 A-5 B1 迭代過程
表 A-6 B2 迭代結果
1 2 3 4 5 6 7 8 9 10
5 0.729 0.647 0.625 0.609 0.601 0.578 0.558 0.553 0.547 0.542 10 0.729 0.748 0.771 0.777 0.781 0.782 0.781 0.778 0.778 0.777 15 0.729 0.779 0.808 0.817 0.826 0.831 0.832 0.831 0.831 0.832 20 0.729 0.772 0.796 0.797 0.810 0.806 0.808 0.796 0.786 0.770
0.500 0.550 0.600 0.650 0.700 0.750 0.800 0.850
1 2 3 4 5 6 7 8 9 10
5 10 15 20
圖 A-6 B5 迭代結果
表 A-7 B6 迭代結果
1 2 3 4 5 6 7 8 9 10
5 0.729 0.659 0.627 0.605 0.577 0.583 0.567 0.567 0.564 0.552 10 0.729 0.746 0.773 0.777 0.781 0.780 0.782 0.780 0.780 0.778 15 0.729 0.764 0.806 0.815 0.833 0.837 0.842 0.844 0.847 0.845 20 0.729 0.764 0.788 0.779 0.787 0.784 0.793 0.794 0.798 0.791
0.500 0.550 0.600 0.650 0.700 0.750 0.800 0.850 0.900
1 2 3 4 5 6 7 8 9 10
5 10 15 20