2.7 演化式支持向量機推論模式
2.7.1 支持向量機簡介
2.7.1.1 支持向量機分類
支持向量機分類（Support Vector Classification，SVC）是建立在機 器學習理論的結構風險最小化(Structural Risk Minimization SRM)原則 之上，其主要思想是針對低維度分類問題，在高維度空間中尋找一個 超平面(Hyper-plane)作為二類的分割，以保證最小的分類錯誤率。且支 持向量機一個重要的優點就是能處理線性不可分的情況。SVC 可利用 目前現有的資料作訓練，再利用這些分析出的資料(Training Data)選出 幾個支持向量(Support Vector)來代表整體的資料，並將少部份極端值事 先剔除，然後將所挑選的支持向量包裝成模型(Model)。假設若有測試 的資料(Testing Data)作推論預測時，SVC 就會將資料歸類，找出對應 之分類。
如圖2.3 所示，一群資料(Data set,R)，若在低維度中(Data Space,F)，
需以非線性函數做為分類依據，然而此非線性函數無法輕易求得。因 此藉由一核心函數(Kernel Fuction)將資料映射至高維度空間(Feature Space,H)，此過程將可使得資料點分散並符合線性函數可分類的特性。
圖 2.3 支持向量機資料分類示意圖
因此在高維度空間中，如圖2.4 所示，即可找出一超平面可將這群資 料切成兩群(ie:群組 A、群組 B)，而屬於群組 A 的資料均位於超平面的 一側，而群組B 的資料均位於超平面的另一側。此平面稱為最優分離超 平面（Optimal Separating Hyperplane），此超平面能儘可能將不同類型的 樣本點正確分開，同時使分開的樣本點距離該最優分離面的垂直距離最 大，即不同類型樣本點有最大的分離間隔（Maximum Margin）。
圖 2.4 最大分離間隔與最優分離超平面 (Yonas B. Dibike1.等，2000)
Data space, F Feature space, H
nonlinear map
-1 EQ duration (s)
EQ PGA (g) EQ duration (s)
EQ PGA (g) No
Data set, R
kernel function A群
B群 A群
B群
Hyper-Plane
為求解此原始最佳化問題（Primal Optimization Prbolem），假設此問 向量（Support Vectors）則間隔距離 Lm 可由式(2.6)求得：
, , , 1 1 2 規劃求解問題(Constrained Quadratic Programing)。2 此形成的凸優化問題（Convex Optimization Problem），能夠確保找到的 極值是全域最佳解（Global Solution）(鄧乃楊等，2004)。
由於原始最優分離超平面及最大間隔求解問題是一個帶有限制式的二 次凸優化求解問題，因此引入Lagrangian 函數求解時具有鞍點（Saddle Point），鞍點同時為不同方向之極大及極小值，因此可使用 KKT 條件
（KKT Condition）轉化原始二次凸優化問題為對偶問題並求解。
Lagrangian 函數 L, w, b,α : 將式(2.11)及(2.12)代入式(2.10)可得到對偶函數 W(α)如式(2.13)所 示。 Condition）可以解得樣本點偏心值 及支援向量機線性可分問題之決策 函數 如式(2.16)所示，式中 為分類問題中待預測之新點資料。
圖 2.5 支援向量（SV）示意圖
* 1 *, * 0 , 1,...,
n yn w xn b i m
... (2.15)
* *
* *1
sgn , sgn , 1,...,
m
new i i i new
i
f x w x b y x x b i m
.. (2.16) 對於線性可分問題，由前述方法可找到最優分離超平面可將不同 類別樣本點完全分開，但對於線性不可分問題，如資料來源:Yonas B.Dibike1 等，2000。圖 2.6 所示則無法找到一個超平面可將不同類別樣 本點完全分開。
圖 2.6 線性不可分與鬆弛變量示意圖
因此若想繼續使用超平面進行分類，則必需導入軟化間隔（Soft Margin）與鬆弛變量（Slack）i ，亦可稱容錯值的概念(鄧乃楊等，2004)，
即前述二次凸優化問題的限制式將修正如式(2.17)所示。
上式中C 是一個權衡常數（Tradeoff Constant）用來平衡目標函數 前後項之間隔最大化與訓練誤差最小化間的衝突。其中低維度空間映 射至高維度空間之核函數（kernel function），採用徑向基核函數（Radial Basis Function，RBF）如式(2.19)所示：
xi,xj
exp
xi xj 2
K ... (2.19) 綜合以上，可得知支持向量機分類之模式架構取決於核函數
（Kernels）與權衡常數（Tradeoff Constant）之設定。