類神經網路 (Artificial Neural Network)

Artificial Neural Network 的原理與基本構造皆與神經生物學中的神經元構造相似。

一個類神經網路是由許多個人工神經元 (artificial neurons) 與其連結所組成^, 並且可以 組成各種網路模式 (network model), 或稱網路典範 (network paradigm)(葉怡成^,2000 )。 根據 Freeman and Skapura(1992) 的定義^,類神經網路是模仿生物神經網路的資訊處 理系統^, 它使用了大量簡單的相連人工神經元來模仿生物神經網路的能力。 而在一個網路 模型當中^, 一個人工神經元將從外界環境或其他人工神經元取得資訊^, 依據資訊的相對重 要程度給予不同的權重^(weight), 並予以加總後再經由人工神經元中的數學函數轉換^, 輸 出其結果到外界環境或其他人工神經元當中。 其運作概念可整理如圖^{3.2 :}

圖^3.2: 神經元的構造

在圖^3.2中^,X1, X₂, ...X_n 代表輸入值^,Wij代表連接鍊的權數^{, Z}j =∑

W ijX_i代表 加權和^{,f (Z}j)則是代表一轉換函數^, 最後^Yj則是神經元的輸出值。

目前著名的類神經網路模式有許多種^,葉怡成 ^{( 2000 )}將它分成下列四大類^: 1.監督式學習網路 (supervised learning network):

從問題領域中取得訓練範例 ⁽有輸入變數值^, 也有輸出變數^), 並從中學習輸入變數與 輸出變數的內在對映規則^, 以應用於新的案例 ⁽只有輸入變數值^, 而需推論輸出變數值的 應用⁾。

2.非監督式學習網路 (unsupervised learning network):

從問題領域中取得訓練範例 ⁽只有輸入變數值^), 並從中學習範例的內在聚類規則^, 以 應用於新的案例⁽有輸入變數值^,而需推論它與那些訓練範例屬同一聚類的應用⁾。

3.聯想式學習網路 (associate learning network):

從問題領域中取得訓練範例 ⁽狀態變數值^), 並從中學習範例的內在記憶規則^, 以應用 於新的案例⁽只有不完整的狀態變數值^, 而需推論其完整狀態變數值的應用⁾。

4.最適化應用網路 (optimization application network):

類神經網路除了 「學習」 應用外^, 還有一類特殊應用最適化應用^: 對一問題決定其設

Propagation Network, BPN) 來進行分析、 研判。 由於倒傳遞類神經網路具有學習準確 度高^,回想速度快等優點^, 故本研究中將以倒傳遞類神經網路模式作為分析工具之一。

一、 倒傳遞類神經網路 (Back Propagation Network,BPN):

在眾多的網路模式中^,屬於監督式學習的倒傳遞類神經網路(Back Propagation Net-work, BPN)最具代表性、 應用也最為廣泛^,適合運用於預測問題之研究。¹⁹⁷⁴年^P. Wer-bos 提出加入隱藏層設計之網路學習演算法啟始^, 但在當時並沒有被重視^, 到了 ¹⁹⁸⁵年 Parker 再次提出倒傳遞網路^, 同年 ^Rumelhart 和 ^Hinton 等人於 ¹⁹⁸⁶年提出通用差距 法則 (General Delta Rule), 並發表倒傳遞類神經網路理論後^, 其價值正式被肯定^, 發展 至今已是目前最常被使用的類神經網路之一^, 因為此網路具有學習度高、 回想速度快、 輸

出值可以為連續值等優點^, 能處理複雜的樣本識別與高度非線性的合成問題^, 因而廣泛應 用於各個領域。 倒傳遞類神經網路之構造如圖^3.3所示。

圖^3.3: 倒傳遞神經網路架構圖

倒傳遞類神經網路架構圖包括^: 輸入層、 隱藏層及輸出層。

1. 輸入層 (Input layer): 網路之輸入變數^, 即訓練範例之輸入向量^, 其處理單元數則 依研究目的之需要而訂定。

2. 隱藏層 (Hidden layer): 用以表現輸入處理單元間之交互影響^, 其處理單元數目並

無標準^, 須以試驗方式決定其最佳數目。

3. 輸出層 (Output layer): 用以表現網路之輸出變數^,其處理單元數目依問題而定。

每一層的輸入值為前一層的輸出結果^, 且每一層均由數個神經元所組成^, 層與層間有 連接鏈相互連接^, 同層間的神經元則沒有連接鏈。 每一條連接鏈均含有一個相對應之權數

(weight), 它代表輸入訊息的重要程度。 換言之^, 藉由加權值的強弱^,模式可控制前一層輸

出資料對後一層輸入的影響程度。

由於類神經網路是屬於無模式 (model free) 之分析方法^, 對於如何決定合適之網路 結構^, 隱藏層之層數及與各層內所應包含之神經元數目等^, 有較大的自由度。 但當模式設 定不佳時^,亦常會出現學習速度緩慢及陷入局部最佳值 (localoptimal) 等情況^(Freeman and Skapura, 1992)。 因此^, 當建立網路模式時^, 對於相關參數的設定常須進行多方面的 考量。

此外^, 類神經網路對於變數資料的選取有較大的自由度^, 沒有如傳統統計方法般的限 制^, 研究者常以文獻探討、 專家意見判斷或經由統計方法處理^, 來選取輸入層之輸入變數。

而在輸入層之變數決定後^, 隱藏層中所需設定的神經元數目^, 並無特定的方式或方法可供 運用^,使用者將須依系統的特性來進行判斷。Davies(1994) 認為沒有速成的法則可以用來 決定此一參數^, 唯有透過試誤法(trial and error) 才能達成。 由於隱藏層的神經元數目會 影響整個網路的學習能力^, 因此過多的神經元數目雖然可以達到較好的學習效果^, 但是在 訓練時卻需要花費較多的時間^;過少的神經元數目則使網路模式無法完整地描述輸入和輸 出變數間的關係。

倒傳遞類神經網路的基本運算原理是利用最陡坡降(gradient steepest descent method) 的觀念^, 將網路實際輸出與目標輸出之差異函數最小化^, 並透過加權值的不斷調整^, 來達 成網路的訓練。 亦即^, 最陡坡降法是用來調整權數變動的幅度 ^{(∆W ij):}

∆W_ij =−η(∂E/∂Wij) (1)

在方程式中^{, η}為學習率^;E為誤差函數^{; E = 1}₂^∑(Tj − Aj)²; T_j表實際值^{; A}j 表網路 輸出值。 其中^, 學習率的大小會影響誤差是否收斂或收斂速度的快慢^; 較大的學習速率會 使網路的震幅過大^, 造成數值震盪而難以收斂。 而較小的學習率^, 則會造成學習訓練時間 過長^,易使誤差函數落入區域最小值^, 亦即學習率太大或太小對網路收斂性質均不利。

整體而言^, 直至目前為止^, 在文獻上尚未有任何一種可通用於所有系統的網路架構方 法^,且大多數的文獻也都在探討如何改善倒傳遞類神經網路的學習精確度與學習速度 (Vel-lido et al., 1999)。 而在本研究中^, 嘗試採用 ^{Qnet 2000}套裝軟體之倒傳遞類神經網路針 對現金卡所有變數建構預測模型^,希望能獲得較佳的結果。