控制中心
三、 支撐向量機 SVM 理論 [7,22]
支撐向量機是Vapnik[23]等人根據統計學理論提出的一種新的通 用學習方法，它是建立在統計學理論的VC維（Vapnik Chervonenks Dimension）理論和結構風險最小原理(Structural Risk Minimization Inductive Principle)基礎上的，能較好地解決小樣本、非線性、高 維數和局部極小點等實際問題[22,…,31]，已成為機器學習界的研究 熱門重點之一，並成功的應用於分類、函數逼近和時間序列預測等方 面[32,…,35]，而變壓器故障之油中氣體診斷問題也可以看作是一種 對油中氣體成分、濃度及其影響因子間的複雜的非線性函數關係的逼 近問題，基於上述考慮，本文將以支撐向量機理論引入變壓器故障診 斷之中。
支撐向量機 [7,22,36]是建立在機器學習理論的結構風險最小化 原則之上，其主要思想是針對二元分類問題，在高維度空間中尋找一 個超平面作為二類的分割，以保證最小的分類錯誤率，而且SVM 一個 重要的優點就是能處理線性不可分的情況。
從幾何上說，支撐向量機就是要在 n 維空間中尋找最佳決策面，
該決策面能最好的區分正例和反例，使正例和反例之間的分類間隔最 大，SVM的基本思想可用正例和反例線性可分的情況來說明，而對於非 線性問題，則可以經由非線性變換轉化為某個高維度空間的線性問 題，在變換空間中尋找最佳的分類面。
SVM方法具有非常堅實的理論基礎，SVM訓練的本質是在解決一個二次 規劃（QP）問題，得到全域最佳解，還使它有著其他統計學習技術難 以比擬的優越性。SVM分類器具有非常好的分類效果，是最好的分類器 之一。
SVM 利用目前現有的資料作訓練，再利用這些分析出的資料選出 幾個支撐向量來代表整體的資料，並將少部份極端值事先剔除，然後 將所挑選的支撐向量包裝成模型。
當支撐向量機被運用來估計迴歸方程時有三個比較獨特的特性：
第一：支撐向量機估計迴歸時，使用了定義在高維度空間中之線性方 程式的集合。
第二：支撐向量機藉著結構風險最小化的原則實現了迴歸估計的功 能，且此結構風險將使用Vapnik 的ε—不敏感損失函數來加以 估計。
第三：支撐向量機使用了由經驗誤差和結構風險最小化原則所導出的 懲罰項(regularization term)所組合而成的風險函數(Tay and Cao, 2001b)[37]。
3.1 支撐向量機的基本原理[7,22,37]
支撐向量機是從線性可分情況下的最佳分類面發展而來的，也是 統計學理論中最實用的部分，其基本思想可用圖3-1的兩維情況說明。
圖中，實心點和空心點各代表兩類樣本，H為分類超平面，H1，H2分別 為過各類中離分類超平面最近的樣本，且平行於分類超平面的平面，
它們之間的距離叫做分類間隔（margin），所謂最佳分類面就是要求 分類面不但能將兩類正確分開（訓練錯誤率為0），而且使分類間隔最 大。距離最佳分類超平面最近的向量稱為支撐向量。
H1 H H2
分類 間隔
圖3-1線性可分情況下的最佳分類面
假設若有測試的資料作預測時，SVM 就會將資料歸類，利用將資料分 成兩類，判斷式如下定義y值：
設存在訓練樣本有n維向量，某區域的
l
個樣本及其所屬的分類表示為( x
i, y
i), … , ( x
l, y
l), x ∈ R
n, y ∈ + − { 1, 1}
l
為樣本數，n
為輸入維度，x
i為訓練樣本，y
i為對於x
i輸入樣本之 分類結果（1或-1）。在線性可分情況下，存在一個超平面H能將二類樣本完全分隔該平面描 述為：
(
w
ix
) +b
= 0 （3-1）其中w為權重值，b為偏權值
分類方式如圖3-2～圖3-8，其中圖3-3、圖3-5為原始樣本點，在此共 有3組不同性質的樣本數據，構成三維空間，圖3-4及圖3-6則為前述樣 本點可能的分類超平面：
（3-2）
1 1
1 1
i i
i i
w x b y
w x b y
+ ≥ + = +
+ ≤ − = −
i i
若 若
圖3-2 分類超平面
圖3-3 原始樣本點
圖3-4 分類超平面
圖3-5 原始樣本點 圖3-6 分類超平面
圖3-7 分類超平面 圖3-8 線性分類
從上圖可簡述線性分類的概念，當有一群的資料可以利用直線將 資料區分成兩類，此直線的方程式為
( w x i ) + b = 0
，而Support Vector 在直線的左邊為一群，在右邊 類公式決定。由 這個例子可了解SVM 分類的原理。可將上述不等式的規範形式合併
的為一群，依分
為如下緊湊型式
( ) 1 1, 2, ,
i
w x i
i+ b ≥ i = … l
y
（3-3）（3-4）
的鬆弛變量（Slack variable）
，
式 差，C為正值懲罰常數（Regularized 懲罰