第三章 各期研究結果與討論
3.2 第二期研究計畫
本研究第一期計畫乃鑑於營造公司之財務狀況常為公共工程執 行成敗之重要關鍵因素之一,因此於第一期計畫中,已建立一個適用 於台灣營造公司之財務信用評等模式,藉此能有效地篩選出財務信用 狀況良好之投標廠商。第二期計畫係針對 BPNN 之輸出推論值正確 率進行改善,提出學習係數互動模式,以提昇信用評等模式之準確性。
有鑑於此,本研究擬發展互動式學習 BPNN 模式,結合線性與 非線性權重學習之個別權重推論式動態學習係數調整方法論,改善線 性搜尋學習方式,避免產生 FLM。並同時發展適用於推論式學習係
頻率關係結合批次學習與即時學習優點,組成 Batch-Online 權重更新 模式,除可適時更新學習績效權重組合,作為調整各維學習係數基準 外,兼具過濾訓練案例之雜訊(noise)與系統背景資料等優點,可以提 昇 BPNN 之處理效率及效能,使營造公司之財務信用評等模式更加 完備。
3.2.1 模式建構
本期計畫擬建立一個別權重推論式學習係數調整法,並結合訓練 資料分割特性之 Batch-online 權重更新頻率模式,作為學習係數之調 整基準,進而完成 BPNN 互動學習模式。藉由本模式將可根據學習 績效、權重個別差異性,進而調整學習係數,並適時調整學習初始權 重、學習係數,發展成一學習係數互動模式,以提升第一期所建立之 信用評等模式的訓練正確率。本期所建構之互動學習模式架構如圖 3-4 所示。
一、個別權重推論式學習係數調整法
本研究為改善 Etinne[24]推論式學習係數調整方法中,將各權重 間比例視為一致之問題;基於權重空間為多維不對等所組成之假設,
將推論式學習係數調整由調整單一學習係數,變更為個別權重均各自 擁有獨立之學習係數與調整基準;以此解決多維權重空間尺度不一致 問題。
此外,於權重調整機制中,重點在於結點數與聯結權重值組成之 隱藏層環境,於 BP 互動式權重調整過程中,其結點數不變而所有權 重同步調整,雖無法與階段最佳學習績效權重組合完全一致,但調整 後 BP 權重組合結構近似階段最佳學習績效權重組合。因此,各維權
重值同步一次調整之 BP 互動式學習並未大幅改變隱藏層環境,此調 整環境是可以達成趨向階段最佳學習績效權重組合目標。計算過程如 下:
1.選出階段性基準權重組合:
將一定數量訓練案例輸入 BPNN 模式,經學習過程訓練後得到 相對應之多組權重組合,其中訓練績效最佳之訓練案例(即 EMin)之結 點 i 與 j 結點間權重組合,當作爾後學習過程中調整學習係數之基準 Wij(opt),以此優勝劣敗演化精神迅速進行疊代,使其能以速度較快 的非線性方式跳躍搜尋最佳權重組合,且亦避免無充足能量跳脫陷入 局部最小化的情況。以數學式表示如下︰
EtMin=Min(En, Et-1Min) for n=1 to n , t=1 to t (3-1) IF En= EtMin for n=1 to n , t=1 to t
THEN Wij(opt)=Wnij
ELSE Et-1Min= EtMin for t=1 to t THEN Wij(opt)=Wt-1Minij
n:學習循環中權重更新次數 t:學習循環數
E:輸出推論值學習績效
wij(opt):至 t 次學習循環過程為止最佳學習績效權重值即基 準權重。
2. 學習循環學習係數調整
學習係數調整基本假設為現階段權重組合若與基準權重組合差 距越大,則權重調整幅度需要越大,學習係數亦隨之增加。準則方程
ηt+1ij=Wtij(opt) /wtij (3-2)
ηt+1ij :t+1 次學習循環連結結點 i 與 j 結點間權重權重學習
循環
3. 權重調整
將調整後學習係數投入原始 BPNN 權重調整機制相同如下所示:
wn+1ij→wnij-ηt+1ij*gs (w(p),y(p)) (3-3) gs:樣本之錯誤方程式斜率
將訓練資料輸入調整後之權重所組成之網路,計算新的學習循環 各案例區塊之學習績效。
4. 檢討是否結束學習循環
新的學習績效如低於門檻值,或學習循環數大於預設值即停止下 一學習循環,如否,則回步驟 1 傳遞調整後學習係數與最佳訓練績效 權重組合計算下一階段之學習係數循環至收斂為止。
IF EtMin<Etermin (3-4) Or t>ttermin
二 、 B a t c h - O n l i n e 學 習 模 式
為避免 BPNN 在訓練過程中陷入局部最小化,本期計畫提出 Batch-online 學習模式,以作為學習係數互動模式更新頻率之控制機 制。該學習模式係利用區塊資料批次學習模式以強調該樣本區塊背景 資料特性,並應用即時學習模式將各區塊資料整合為訓練資料,再由 整體訓練資料中獲得新的學習係數。藉此將區塊背景環境資訊之特性
差異,交叉投入於新學習過程中的適度擾動,以達到本計畫提昇 BPNN 推論值正確率之目的。
Batch-online 學習模式首先針對問題之訓練樣本資料特性,將訓 練案例分割成 n 個不同區塊(Block)條件,於同一區塊內,所有訓練案 例均以隨機方式投入 BPNN 模式,以批次學習模式調整權重,並配 合批次計算以推論式方法計算該群組之學習係數。然後,以隨機方式 排程各時間點訓練案例區塊之序列,投入 BPNN 中,而前一區塊批 次訓練所得之權重組合即為本區塊之訓練初始權重。因此,就整體學 習過程之資訊傳遞而言,本研究之學習過程中,訓練案例投入方式於 各區塊內為批次學習模式,而區塊間以即時學習模式連結,並同時計 算即時模式學習係數,以作為下一學習循環之初始值,過程詳圖 3-5。
以下為 Batch-online 學習模式之數學式:
y(p)=f [wt, ydn(1)….., ydt(p1),u n(1)….., u n(p1)] ( 3-5 )
wt(n+1)=[ w(n-1) - η t-1* Σ P1p1=1gn-1(w(n-1), yn-1(p1))] - η
n*gnw(n),yn(p1)) ( 3-6 ) wt+1ij(n)= wtij(opt) (3-7)
ηonline(t+1)=opt(wt(n))/ ave(wt(n)) (3-8)
ηBatch(n,t+1)=opt(wt(n))/wt(n) (3-9)
y(p):第 p 個訓練案例之輸出推論值
yn(p1):第 n 個區塊第 p1 個訓練案例之輸出推論值 u(p):第 p 個訓練案例之輸入推論值
un(p1):第 n 個區塊第 p1 個訓練案例之輸入推論值 t:學習循環數
n:資料區塊編號
p1:資料區塊內之訓練案例編號 opt:階段學習績效最佳資料區塊 ave:平均值
g:錯誤方程式斜率
Batch-online 案例輸入調整權重頻率模式介於即時(Online)調整 權重模式與批次(Batch)調整權重模式之間,本研究預期可改善以下數 點:
1.區塊批次學習權重更新頻率低於即時學習模式,可修正即時調整受 案例雜訊影響輸出結果。
2.避免批次權重調整之調整幅度過度僵化,造成無法反應訓練案例內 含多餘資訊之情形。
3.經由隨機將樣本區塊輸入,由區塊內批次學習過程之隨機輸入案 例,可避免過度學習(Over training)。
4.經區塊化將各訓練資料集中輸入 BPNN 之學習過程,可將樣本資訊 特性突顯於權重中映射至輸出推論值。
BPNN 互動式學習模式將使用 Batch-Online 模式之特性,訂定更 新學習係數與權重頻率,並以非線性模式調整迅速獲得訓練績效良好 權重組合。
3.2.2 結果分析與探討
本研究印證案例以 1994~1998 年中華民國地區甲級營造公司財 務資料,並根據第一期研究所篩選出主要的財務比率作為輸入因子,
因此每個數據組含 12 項影響主要財務比率。此外,將第一期所完成
之財務信用分類等級(A、B、C 級)作為分類基礎,建構營造公司 財務評等預測模式。
本研究以該案例進行模式訓練傳統 BPNN 之批次學習、即時學 習模式、Batch-Online(固定學習係數)、推論式學習係數調整(傳統 BPNN,非 Batch-Online)、互動式學習模式為比較基準,論證本研究 所發展之方法,對於預測非線性問題使用 BPNN 架構時有效提升其 訓練績效。
將即時學習、批次學習、Batch-Online(使用固定學習係數)、推 論式學習係數(使用批次案例輸入模式)、互動式學習五種模式各建 立預測之程式共五個程式,以相同案例數據為輸入資料得 2000 次學 習循環中起始學習循環及每 100 次學習循環訓練錯誤率,並將計算結 果彙整為表 3-6 到表 3-8。表 3-6 為五種學習模式之訓練錯誤率彙整,
表 3-7 為五種學習模式在不同學習循環數下之訓練錯誤率變動量。此 外,本研究以所提出之 Batch-online 學習模式和 Batch 學習模式、
Online 學習模式、模糊數學、類神經網路及演化式模糊類神經推論模 式等方法論進行比較,以驗證本研究所發展之方法論對於預測非線性 問題分析中,針對 MFNN 架構時可有效地提升訓練績效,結果詳表 3-8。
3.2.3 計畫成果自評
本研究第二期計畫旨在進行 BPNN 處理效能及效率之改善,用 來提升營造公司財務信用評等模式之運作效能,以期能達到模式之最 佳化。第二期計畫可獲致以下結論:
1 本研究中 Batch-Online 模式之錯誤率較傳統類神經網路減少約 72.8%,明顯地跳脫局部最小化。主要原因為 Batch-Online 模式中之 學習係數調整不同於傳統 BPNN 之固定學習係數方式,以階段最佳 學習績效為權重基準,進行學習係數及權重之疊代更換,減少學習 錯誤嚐試機會,並有跳脫局部最小化之能量;此外各結點間連結權 重均為各自獨立學習係數,因此本模式可以於極短學習循環數內(本 研究約為 30 次左右)找到最佳學習績效之權重組合。
2. 學 習 曲 線 之 穩 定 性 ( 即 曲 線 擺 盪 程 度 ) 方 面 , 批 次 學 習 優 於 Batch-Online 學習,Batch-Online 學習優於即時學習。因即時學習較 易 受 噪 音 之 影 響 造 成 錯 誤 率 變 動 , 而 批 次 學 習 較 不 受 影 響 。 Batch-Online 學習之結構係結合上述兩者,因此有介於兩者間之錯 誤率變動表現。
3.本研究為驗證 Batch-online 模式之訓練收斂速度績效,將學習曲線 中起始訓練錯誤率到穩定階段之訓練錯誤率變化量,除以所需學習 循環數,得到訓練錯誤率曲線斜率如表 3-8,由表 3-8 得知,
Batch-Online 學習法均較傳統 BPNN 學習法花費較少學習循環次 數,便能達到錯誤率穩定狀態。上述現象係起始權重為影響學習績 效之主因之一,而 Batch-Online 學習法中下一學習循環起始權重以 前一學習循環中學習績效最佳之權重組合為計算基準,其精神類似
Batch-Online 學習法均較傳統 BPNN 學習法花費較少學習循環次 數,便能達到錯誤率穩定狀態。上述現象係起始權重為影響學習績 效之主因之一,而 Batch-Online 學習法中下一學習循環起始權重以 前一學習循環中學習績效最佳之權重組合為計算基準,其精神類似