類神經網路

26

2.外部雜音(External Noise)

產品的使用環境以及使用者操作、處理方式的不同所造成的變異。以飛機降落所 需距離來說，跑道的乾溼狀況以及摩擦係數的不同均屬於環境雜音因子，承載的重量 則屬於處理方式的雜音因子。

3.產品之間的變異(Unit-to-Unit Variation)

在相同的製程和規格設定下，所生產的產品依然會有些許差異。如相同品牌、工 廠和製程所製造出來的兩支日光燈管，其亮度依然會有差異。

27

類神經網路因用途的不同而種類繁多。若依學習方式分類，則可分為監督型學習 (Supervised Learning)網路及非監督型學習(Unsupervised Learning)網路兩種：

(一)監督式學習網路

類神經網路在訓練的過程中，每一筆輸入之資料皆對應一個目標或期望輸出值，

藉由迭代方式不斷修正內部的權重值(Weight)，希望輸出值符合期待的結果。舉例來 說，我們給予神經網路一個輸入值和期望輸出值，這個期望輸出值便扮演老師的角 色，不斷監督神經網路去修正權值，將誤差縮小至容許的範圍之內才停止訓練，如圖 28所示。目前所應用的神經網路中，學習向量量化網路(Learning Vector Quantization, LVQ)以及倒傳遞神經網路等，均屬於監督式學習網路。

圖28 監督型學習網路示意圖

(二)非監督式學習網路

神經網路在訓練的過程中，僅需要提供輸入值而不需要期望輸出值作為參考依 據，也就是說它不需要誤差訊息去改善神經網路的輸出值，僅需要依照輸 入資料便 可以判斷其類別，此種方法常運用於找出輸入資料間的關連性，如圖29所示。一般常 應用的有自適應共振理論網路(Adaptive Resonance Theory)及自組織映射圖網路 (Self-Organizing Map, SOM)等。

28

圖29 非監督式學習網路示意圖

在眾多型態的類神經網路之中，倒傳遞類神經網路被運用的最廣泛，學習模式也 最具代表性。此外，本論文也使用此網路進行研究，在此略為介紹。倒傳遞類神經網 路是由多層的神經元結構所構成，其架構包含輸入層、隱藏層與輸出層，如圖30所示。

在輸入層的部份，神經元的數目即所欲輸入變數的個數，其輸入變數的個數視處理問 題的狀況而定；隱藏層的層數可以是一層或是多層，主要功能是增加類神經網路的複 雜性，使其能處理複雜的非線性關係，一般認為至多只要二層隱藏層即可處理大多數 問題，至於隱藏層中神經元的數目，截至日前仍無最佳方式可供使用；而輸出層則是 用來表示網路的輸出變數(預測結果)，其神經元的數目與變數個數相同。

圖30 倒傳遞類神經網路之架構

倒傳遞類神經網路的學習過程，可以分成正向傳遞與反向傳遞兩個部分。所謂的 正向傳遞是指輸入訊號從輸入層神經元進入到隱藏層，隱藏層內的神經元會將其乘上 相對應的權重值再加總，利用轉移函數轉換成激發值(Activation Value)然後傳遞至輸

29

出層，而反向傳遞則是當輸出值(預測結果)與期望結果有誤差時，在回傳這些訊息給 隱藏層去修正權重值，目的是將輸出值與目標值之均方誤差最小化(張斐章、張麗秋、

黃 浩 倫 ，2004) 。 倒 傳 遞 類 神 經 網 路 最 常 用 的 轉 移 函 數 為 雙 彎 曲 函 數 (Sigmoid function)，如圖31所示，主要學習流程如圖32所示，其學習步驟如下：

Step01. 設定學習率、容忍誤差與學習次數等網路參數。

Step02. 以亂數產生輸入層與隱藏層間的連結權重W 、隱藏層與輸出層間的連結權重_ih

W 以及隱藏層神經元偏權值hj _h、輸出層神經元偏權值_j。 Step03. 輸入訓練資料之輸入值(X 與目標輸出值) (T 。 )

Step04. 計算隱藏層神經元的輸出值。

h i

i ih

h W X

net 



neth

h

h f net

H

-exp 1 ) 1 (  

 (15)

Step05. 計算輸出層神經元的輸出值。

j h h

hj

j W H

net 



netj

j

j f net

Y

-exp 1 ) 1

(  

 (17)

Step06. 計算輸出層神經元之誤差項。

) (

) 1

( _{j j j}

j

j Y  Y  T Y

 ₍₁₈₎

Step07. 將此誤差項反饋至隱藏層，計算出隱藏層神經元誤差項。

j h

hj h

h

h H H W δ

δ ^{ (1 )}



Step08. 根據神經元誤差項，修正隱藏層與輸出層神經元的權重及偏權值，其中 t 為 網路訓練過程的訓練次數。

i h n ih n

ih W X

W ⁺¹= + (20)

h j n hj n

hj W H

W ^1   (21)

30

h n h n

h  

 ^1  (22)

j n j n

j θ ηδ

θ ^1   (23)

Step09. 重複步驟3~7，直到收斂誤差達至要求或一定數目之學習循環。

Step10. 計算所有樣本輸出值與實際值的差異，通常使用均方和誤差(Means Squared Error, MSE)或是均方和誤差根(Root Mean Squared Error, RMSE)來表示一個 學習循環的誤差程度。MSE與RMSE定義如下：





 ⁿ

j

j

j Y n

T MSE

1

2/ )

(　 (24)





 ⁿ

j

j

j Y n

T RMSE

1

2/ )

(　 (25)

圖31 雙彎曲函數圖形

31

圖32 倒傳遞類神經網路學習流程