凸多邊形與支持向量機的等效性分析 簡偉哲、陳木松
E-mail: [email protected]
摘 要
支持向量機(Support Vector Machine)是以統計學習理論為主的一種機器學習法則。支持向量機的設計是以建立決策函數分 割資料的類別，並使得不同類別的資料有最大的間距。現階段支持向量機大多是以序列最小優化法(Sequential Minimal Optimization)將大型的二次規劃問題分成許多小型的問題依序求解相關的參數，然而支持向量機模式的建構需要複雜的數 學基礎與數值最佳化的程序，因此本文以幾何分析詮釋線性可分離資料分類的問題，並以凸多邊形的觀念將最佳決策函數 的求解轉換成最鄰近點的問題。根據實驗模擬數據顯示，幾何分析所得的決策函數與支持向量機的結果相同，然而本文的 方法簡單易懂而且容易實現。
關鍵詞 : 支持向量機、幾何分析、凸多邊形
目錄
封面內頁 簽名頁 授權書．．．．．．．．．．．．．．．．．．．．．．．．．iii 中文摘要．．．．．．．．．．．．
．．．．．．．．．．．．iv 英文摘要．．．．．．．．．．．．．．．．．．．．．．．．v 誌謝．．．．．．．．．
．．．．．．．．．．．．．．．．．vi 目錄．．．．．．．．．．．．．．．．．．．．．．．．．．vii 圖目錄．．．
．．．．．．．．．．．．．．．．．．．．．．ix 表目錄．．．．．．．．．．．．．．．．．．．．．．．．．xi 第 一章緒論 1.1前言．．．．．．．．．．．．．．．．．．．．．1 1.2研究動機及目的．．．．．．．．．．．．．．．
．1 1.3 本文的組織架構．．．．．．．．．．．．．．．．3 第二章 支持向量機 2.1前言．．．．．．．．．．．．．．
．．．．．．． 4 2.2線性可分離．．．．．．．．．．．．．．．．．． 4 2.3線性不可分離．．．．．．．．．．．．
．．．．． 8 2.4非線性可分離．．．．．．．．．．．．．．．．．10 2.5 多類別SVM分類器．．．．．．．．．．．．
．．12 第三章 凸多邊形之介紹 3.1前言．．．．．．．．．．．．．．．．．．．．．16 3.2凸多邊形之分析．．．．．
．．．．．．．．．．．16 3.3直覺幾何可分離．．．．．．．．．．．．．．．．17 3.4 直覺幾何不可分離．．．．．．
．．．．．．．．．21 3.5 吉伯特演算法．．．．．．．．．．．．．．．．．24 第四章 實驗模擬 4.1 前言．．．．．．
．．．．．．．．．．．．．．．33 4.2 線性可分離資料．．．．．．．．．．．．．．．．33 4.3 線性不可分離資料．
．．．．．．．．．．．．．．37 4.4 應用實際的訓練資料．．．．．．．．．．．．．．41 第五章 結論與未來研究方向 5.1 等效性分析．．．．．．．．．．．．．．．．．．47 5.2實際的訓練資料．．．．．．．．．．．．．．．．48 5.3 未來工作．．．．．．．．．．．．．．．．．．．48 參考文獻．．．．．．．．．．．．．．．．．．．．．．．．49 附錄A．．．．．．．．．．． ．．．．．．．．．． ．．．51 附錄B．．．．．．．．．．． ．．．．．．．．．．
．．．53 附錄C．．．．．．．．．．． ．．．．．．．．．． ．．．54 附錄D．．．．．．．．．．． ．．．．．．
．．．． ．．．55 參考文獻
[1]林冠中，“漸進式支持向量機於人臉辨識之應用”，國立成功大學資訊工程系碩士論文，中華民國九十四年七月。
[2]阮清俊，“線上直堆式支援向量機”，大葉大學電機所碩士論文，中華民國九十七年六月。
[3]J.C.Platt, “Fast Training of Support Vector Machines using Sequential Minimal Optimization,” Advances in Kernel Methods – Support Vector Learning, pp. 185-208, 1999.
[4]J.C.Platt, “Sequential Minimal Optimization: A Fast Algorithm for Training Support Vector Machines.” Technical Report MSR-TR-98-14, Microsoft Research, 1998.
[5]V. N. Vapnik, Statistical Learning Theory. New York: Wiley, 1998.
[6]D. Gorgevik and D. Cakmakov, ”Handwritten Digit Recognition by Combining SVM Classifiers”, The International Conference on Computer as a Tool, EUROCON 2005, pp. 1393 - 1396, 2005.
[7]Satish, D.S., Sekhar, C.C., “Kernel based clustering and vector quantization for speech recognition”, Proceedings of the 2004 14th IEEE Signal Processing Society Workshop, pp. 315 – 324, Sept. 29, 2004.
[8]D.R. Wilhelmsen, “A Nearest Point Algorithm for Convex Polyhedral Cones and Applications to Positive Linear Approximation.”
Mathematics of Computation 30, 48-57,1976.
[9]G. Guo, S.Z. Li, and K. L. Chan, "Support vector machines for face recognition, "Image and Vision Computing, volume 19, number 9-10, Aug 1, 2001, pp. 631-638.
[10]R. L. Graham, “An efficient algorithm for determining the convex hull of a finite planar set,” Information Processing Letters, vol. 1, no. 4, pp. 132–133, 1972.
[11]R. A. Jarvis, “On the identification of the convex hull of a finite set of points in the plane,” Information Processing Letters, vol. 2, no. 1, pp.
18–21, 1973.
[12]W. F. Eddy, “A new convex hull algorithm for planar sets,” ACM Transactions on Mathematical Software, vol. 3, no. 4, pp. 398–403, 1977.
[13]ZHANG Hong-da, WANG Xiao-dan, XU Hai-Long, LI Yan-lei, QUAN Wen, “Fast SVM Training Based on Thick Convex-hull,” Image and Signal Processing, Vol. 1, 2008.
[14]E. G. Gilbert. An iterative procedure for computing the minimum of a quadratic form on a convex set. SIAM Journal on Control, 4(1):61-80, 1966.
[15]S. R. Lay, Convex Sets and Their Applications, New York: Wiley, 1982.
