類神經網路簡介

類神經網路(artificial neural networks)，或譯為人工神經網路、平行分散式處理 器(parallel distributed processors)等，是一種模仿生物神經網路的資訊處理系統，可 以看做一包含硬體與軟體的平行計算系統，它使用大量的相連人工神經元來模仿生 物的神經網路能力，用來處理各種資訊問題[21-22]。類神經網路的應用範圍極為廣 泛，諸如：工業與工程方面的故障診斷、製程監控，商業與金融方面的商業決策與 股市預測，以及科學與資訊方面的影像辨識、資料庫搜尋與醫學診斷等。

類神經網路最基本的單元為人工神經元，又稱處理單元(processing element)或節 點(node)。介於處理單元間的傳遞路徑為連結(connection)，每一個連結上都有一個 用以表示第i 神經元對第 j 神經元之影響程度的權重值W_ij。類神經網路是由許多人 工神經元與其連結所構成，並且可以組成各種網路模式(network model)，其中以倒 傳遞神經網路(back-propagation neural network, BPNN)應用最為普遍，示意圖如圖 3.1 所示，倒傳遞網路一般具有三層：輸入層、隱藏層、輸出層，每一層包含若干個處 理單元，而每一個處理單元都是以並行獨立地方式運作。輸入層處理單元用以輸入 外在環境的訊號，隱藏層處理單元用以提供類神經網路表現處理單元間的交互作用，

對訊號進行處理，一般隱藏層經常包含若干層，而輸出層處理單元則用以輸出訊號 給外在環境[23-24]。

圖 4-1 倒傳遞神經網路

4.2.1 類神經網路的基本架構

類神經網路的基本架構可分為人工神經元、層及網路三個層次：

1. 人工神經元或稱處理器

人工神經元（artificial neuron）又稱類神經元、處理單元，如圖 4-2 所示。人工 神經元為類神經網路組成的基本單位，是以人工的方式來模仿生物神經元的動 作模式，其輸出值與輸入值的關係式，一般可用輸入值的加權乘積和之函數來 表示[24]:

( )

j ij i j

y  f



其中:

第xj : 第 j 個神經元的輸入變數。

第Wij : 第 i 個神經元對第 j 個神經元之連結權重值(weight)，模仿生物神 經元模型的突觸強度。

第bj : 第 j 個神經元的偏權值，又稱門限值，模仿生物神經元模型的權 重值。

第nj : 第 j 個神經元之轉移函數的淨輸入。

第f : 轉移函數(Transfer function)，模仿生物神經元模型的非線性處理機 能，用已將從其他神經元輸入的輸入值之權重乘積和，轉換成神 經元的輸出。

y : 第 j 個神經元輸出值，模仿生物神經元的輸出訊號。

圖 4-2 人工神經元模型 在神經元模型中，常用的轉移函數有以下四種[22]：

(1) 硬限函數(hard-limit function)

如圖 4-3(a)與(4.2)式表示，當轉移函數的淨輸入 nj小於0 時，則神經元的輸

(2) 線性函數(linear function)

如圖 4-3(b)與(4.3)式所示，當轉移函數的淨數入 nj為多少時，則神經元的輸 出yj就為多少。

j j

y n (4.3)

(3) 雙彎曲函數(sigmoid function)

如圖 4-3(c)與(4.4)式所示，說明了轉移函數的淨輸入 nj可以是在正負無限區

(4) 雙曲線正切函數(hyperbolic tangent function)

如圖 4-3(d)與(4.5)式所示，主要將正負無限區間內的淨輸入 nj轉換成介於－1

(a) 硬限函數 (b) 線性函數

(c) 雙彎曲函數 (d) 雙曲線正切函數 圖 4-3 類神經常用之轉移函數

2. 層(layer)

層主要由若干個具相同作用的處理單元集合而成，一般分為輸入層、隱藏層、輸 出層，如圖 4-1 所示。其中輸入層與輸出層一般只有一層，而隱藏層可為沒有，

也可為若干層。

3. 網路(network)

由若干具有不同作用層所構成，如圖 4-1 所示，為一個具有三層的前饋式倒傳 遞網路。類神經網路總體運作主要分為兩個階段，第一階段為學習期(learning phase)，

第二階段為回憶期(retrieving phase)。在學習期，主要工作是利用訓練範例(training data)來決定系統的參數(例如決定權重值)；在類神經網路中，權重值的改變即為學 習(learning)，而調整權重值的方法稱為學習法則(learning rule)。而在回憶期，主要 工作是以在學習期決定後的系統參數依測試資料產生所對應的輸出，例如當類神經 網路被用來當作局部放電圖譜辨識時，若輸入某一個局部放電圖譜，則它會顯示出 辨識後的結果[24]。

4.2.2 類神經網路的分類

(2) 回饋式架構 (feedback) 監督式學習為前饋式架構，基本原理主要是利用最徒坡降法(gradient steepest descent method)的觀念，將誤差函數(或稱能量函數、均方誤差)予以最小化。輸入資料從輸

倒傳遞網路演算法又稱為廣義δ法則(generalized delta rule)，屬於監督式學習演 算法，圖 4-4 所示為其示意圖，主要將δ法則廣義化到多層具非線性可微分轉移函 數的網路中，主要目的是要將輸出神經元的目標輸出值與推論輸出值兩者間的誤差 降到最小。為了使網路誤差函數達到最小值，通常以最徒坡降法來實現，並以微積 分學中的鏈鎖率，將輸出層所產生的誤差，透過權重值逐層的回傳到輸入層，藉此 修正網路連結上的權重值[23-26]。