第四章 類神經網路 4.1 類神經網路概述
4.2 倒傳遞類神經網路
倒傳遞類神經網路常用於處理輸入變數與輸出變數間為非線性映射關係之問 題,其學習方式屬於監督式學習,學習演算法為誤差倒傳遞(error back propagation, EBP)演算法,簡稱為BP(back propagation)演算法。倒傳遞類神經網路架構為 多層前饋式架構如圖4.6所示,包含輸入層、隱藏層、輸出層等三層神經元,輸入 層與輸出層用以表現輸入變數與輸出變數,因此神經元個數依據使用者針對問題 所設計之型式而定,隱藏層神經元個數則通常需以試誤法(trial and error)決定。
圖4.6 倒傳遞類神經網路
倒傳遞類神經網路架構中,隱藏層神經元之活化函數多採用非線性函數,目 的在於避免資料處理過程中漏失輸入與輸出資料間之非線性關係,而影響類神經 網路計算輸出值的精確度,故隱藏層神經元之活化函數多採用 S 形函數與雙曲線 函數為主,輸出層神經元之活化函數一般則採用線性函數。
倒傳遞類神經網路採用監督式學習法,以網路輸出值與目標輸出值間之誤差 坡降法(steepest descent method)做為搜尋誤差函數 E 最佳解之演算法,而修正權 重的幅度與誤差函數對權重值的導函數大小成正比:
35
n
37
(4.22)式即為倒傳遞類神經網路之權重修正項,各連結權重之權重修正式如下:
( ) (
1)
ji ji ji
w p =w p− + Δw · (4.23) 式中
p 為第 p 組訓練樣本
因此,倒傳遞類神經網路訓練階段演算流程如下,流程圖如圖4.7 所示:
1. 將訓練樣本資料(包含輸入項與目標輸出值)予以正規化,並決定隱藏層層 數與神經元數。
2. 以隨機亂數產生隱藏層權重w 與輸出層權重ji w 。 kj 3. 計算隱藏層輸出值y 與輸出層輸出值j y 。 k
4. 計算誤差函數 12
(
k k)
2k
E=
∑
d −y 。5. 檢視是否達到停止訓練原則,停止訓練原則為誤差函數值小於容許誤差,或 訓練次數達到最大訓練迭代次數。
6. 分別計算隱藏層修正量Δ 與輸出層權重修正量wji Δ 。 wkj
7. 分別修正隱藏層權重與輸出層權重,回到步驟 3 重複計算至達到停止訓練原 則為止。
本研究即採用倒傳遞類神經網路方法,推估二維徑向收斂流場追蹤劑試驗之 縱向及側向延散度。
訓練樣本資料正規化 並決定隱藏層層數與神經元數
以隨機亂數產生隱藏層初始權 重與輸出層初始權重
計算隱藏層輸出值 與輸出層輸出值
計算誤差函數 計算隱藏層權重修正量
與輸出層權重修正量 調整隱藏層與輸出層之權重
停止訓練 是
誤差函數小於容許誤差 否 或到達最大訓練迭代次數
圖4.7 倒傳遞類神經網路演算流程圖
39