第 3 章 研究方法
3.2 類神經網路
3.2.5 倒傳遞類神經網路
倒傳遞類神經網路模式是目前類神經網路學習模式中最具代表性，最普遍的模 式，其為一種具有學習能力的前向式網路。此種網路為 Rumelhart and Mcclelland 在 1985 年所提出的，此網路之原理是利用最陡坡降法(The Gradient Steepest Descent Method)的觀念，將誤差函數予以最小化[30]。其與感知機網路相比較，倒傳遞類神 經網路作了下列改進：
1.增加隱藏層，使得網路可表現輸入處理單元間的交互影響。
2.改用平滑可微分的轉換函數，使得網路可應用最陡坡降法導出修正網路加權值的 公式。倒傳遞類神經網路為屬於監督式學習網路，適合診斷、預測等應用，其網 路架構如圖 3-5 所式，包括：
Y1 Yk
X1 Xi
隱藏層 輸出層
輸入層
圖 3-5 倒傳遞神經網路架構
(1)輸入層-用以表現網路的輸入變數，其處理單元的數目依問題而定。使用線性轉換
轉換函數(Transfer Function)之目的是將作用函數輸出值以轉換成處理單元的輸 出，而一般常用之轉換函數包括下列三種：
2. 雙彎曲函數(Sigmoid Function)，如圖 3-7 所示。
e
x3. 雙曲線正切函數(Hyperbolic Tangent Function)，如圖 3-8 所示。
x
圖 3-6 階梯函數(Step Function)
圖 3-7 雙彎曲函數(Sigmoid Function)
圖 3-8 雙曲線正切函數(Hyperbolic Tangent Function)
而雙彎曲函數(Sigmoid Function)為倒傳遞類神經網路最常用之非線性轉換函 數，此種函數當自變數趨於正負無限大時，函數值趨於常數，其函數值域在[0,1] 之 間。
f(x)
1
0 x* x
1
0 x* x
0 x 1
0 x 1
1
3.2.5.1倒傳遞類神經網路之重要參數
倒傳遞網路之幾個重要的參數，包括隱藏層處理單元數目、隱藏層層數及學習 速率。
1.隱藏層處理單元數目
通常隱藏層處理單元之數目愈多，收斂愈慢，但可達到更小的誤差值，特別是訓 練範例誤差。但超過一定數目後，再增加則對降低測試範例誤差幾乎沒幫助，只會增 加執行時間。這可解釋成隱藏層處理單元之數目太少，不足以反映輸入變數間的交互 作用，因而造成較大的誤差。而數目越多，雖可達到更小的誤差值，然因網路較複雜，
導致收斂較慢。為平均品質與成本，以取適當之數目為宜。一般隱藏層處理單元數目 的選取原則如下：
(1)隱藏層單元數目=(輸入層單元數+輸出層單元數)/2 (3-19)
(2)隱藏層單元數目=(輸入層單元數×輸出層單元數)1/2 (3-20) 2.隱藏層層數
通常隱藏層之數目在一到二層時有最好的收斂性質，太多層或是太少層其收斂效 果均較差，這可解釋成沒有隱藏層不能反應此問題輸入單元間的交互作用，因而有較 大的誤差，而有一、二層已足以反應此問題的輸入單元間的交互作用，更多的隱藏層 反而使網路過度複雜，造成更多局部最小值，使得在修正網路加權值時易陷入一個誤 差函數的局部最小值，而無法收斂。一般問題可取一層隱藏層，較複雜的問題則取二 層隱藏層。
3.學習速率
通常較大的學習速率，有較大的網路加權值修正量，可較快逼近函數最小值。但 過大的學習速率將導致網路加權值修正過量，易造成數值振盪而難以達到收斂的目 的。因此學習速率之大小對學習有很大的影響，一般經驗取 0.1 到 1.0 間的值作為學 習速率，大都可以得到良好的收斂值性。
4.慣性因子
ij
學習速率(Learning Rate)，控制每次以最陡坡降法最小化誤差函數的步幅。而
W
ijE
可用微積分學的連鎖律(Chain Rule)求得：
jk
1.
W
ij處於輸出層與隱藏層之間，將(3-27)、(3-28)、(3-29)式代入(3-26)式，以及 (3-27)、(3-32)式代入(3-25)式後，結果相比較後可得
j j
nj nj
T Y f net
(3-34)2.
W
ij非處於輸出層與隱藏層之間，將(3-27)、(3-28)、(3-33)式代入(3-26)式，以及 (3-27)、(3-32)式代入(3-25)式後，結果相比較後可得1 例，稱為一個學習循環(Learning Cycle)，ㄧ個網路可以將訓練範例反覆學習數個學習 循環，直至達到收斂。
為了檢驗學習的成果，通常在學習前的範例收集階段，將範例隨機分成二部份，
一部份作為訓練範例，另ㄧ部份作為測試範例。在網路學習階段，可每個學習幾個學 習循環，即將測試範例載入網路，測試網路的誤差程度是否收歛。網路的誤差程度除 了可用前述之誤差函數作為基準外，另有二種方式：
1.誤差均方根（Root Mean Square Error, RMSE），如下式
N
輸出層處理單元數目。2.總錯率
總錯率=誤分類範例總數/範例總數
在網路訓練過程中，誤差均方根與總錯率之收斂情形不一定相同，若每個範例與 有一個正確分類的問題，總錯率較有意義，反之則誤差均方根較有意義。