互動式學習倒傳遞類神經網路

第二期研究計畫是針對學習績效的改善為主要目的，冀以改善 BPNN 之輸入值推論值正確率。由於早期建立模擬現實複雜系統以線 性(Linear)方程式為主，近期則發展出多種複雜結構序列、平行以處 理非線性模式現實狀況。Qin[17]指出多層前饋式網路（MFNN） 網 路結構接受學習方法彈性高，因此現行非線性模式相關研究多使用 MFNN 為方法論。倒傳遞類神經網路(Back-Propagation)即為應用最廣 泛之 MFNN 網路結構。

BPNN 誤差平面(Error Surface)為多維曲面，學習機制乃 BPNN 網路依據推論值與案例期望值差距回饋遞迴得到最佳之權重組合。而 傳統 BPNN 權重調整幅度為定值，對於多維權重空間內各維間尺度 相對於輸出誤差比例的不一致，及權重調整方向等問題，若使用傳統 線性搜尋最佳解經常會因權重變化能量過小，導致推論正確率無法提 升；此現象相關文獻稱偽局部最小化(False Local Minima，FLM)。

一般 BPNN 相關研究對學習績效表現，均以收斂速度與推論正 確率兩項作為評估準則。但因 BPNN 對收斂速度與推論正確性需求 各有獨特學習方法論導至無法兼顧，而營建管理領域中使用 BPNN 大部分於分析複雜系統之預測、分類、最佳化等類型問題，此 FLM 分 析結果應用於營建管理實務將造成不確定性增加，進而影響決策品 質。故第二期計畫將提出全新 BPNN 推論正確率學習績效方法論，

以避免 FLM 現象發生，並增進第一期計畫所建立之信用評等模式之 準確性。

為提昇 BPNN 推論正確率及使推論整體誤差最小化（Error Gobal Minimum），相關研究多由誤差函數變化觸發權重調整機制及固定常 數調整幅度進行探討。首先以誤差函數一次微分作為權重調整幅度依 據， 如結合斜率法 (Conjugate Gradient)[18]、 最陡坡降法 (Steepest Descent ) [18]。進一步牛頓法(Newton’s Method) [18]增加在多維空間 中，將誤差方程式二次微分作為權重調整方向判斷機制。另有將權重 調整機制以退火理論[19]機率值取代確定值，模擬能量遞減狀態進而 控制權重調整。

前述各方法論中以 Newton’s Method 提昇推論正確率成效最佳 [20]，但其計算二階導數矩陣時較傳統 BPNN 所需之記憶空間呈現二 次級數增加[21]。因此實際應用上有其限制性，如高階計算器、大量 計算時間，故有必要發展較簡捷且具備訓練正確率之 BPNN 學習方 法論。

傳統上 BPNN 受學習係數、訓練案例品質及網路結構彈性差異 等因素影響，造成其推論值正確率有待提升，由前言中得知 Newton’s Method[20]能有效提昇訓練正確率，因此重點在於如何獲得適當學習 係數。此外由於 BPNN 權重調整機制中，其權重調整幅度決定於差 距斜率δ與學習係數η兩項變數，欲利用此二項變數於多維錯誤空間 中搜尋錯誤最小點，達成良好訓練正確率，仍有以下問題尚待改善：

(1) 調整權重之學習係數之設定為一常數，且以試誤求得。此常數於 不同之權重空間時其學習係數應進行調整。

(2) 調整權重僅考慮錯誤方程式斜率（即權重調整量）不考慮方向（即 權重維度差異），因此流於線性搜尋，不符多維度錯誤曲面需求。

(3) 學習係數因權重空間中各維尺度比例有所差異，未必適用所有結

點權重。

以上問題均使得 BPNN 之正確率無法有進一步提昇，因此無法 建立模式可信度。近年來有許多相關研究以調整學習係數提升訓練正 確率作為主要課題，如下所述。

傳統 BPNN 在各學習循環學習係數上之設定為相同常數，使得 誤 差 函 數 變 化 無 法 適 時 調 整 。 進 而 發 展 Delta-bar-delta 法 ， 由 Jacobs[22]提出：學習係數藉由前一學習循環階段與本學習循環階段 之能量方程式中，根據權重斜率值乘積之正負值決定增減係數。此外 Yamada 發展 STELA 法，將隱藏層單元飽和狀態定義為學習停頓狀 態，如發生飽和情況時則重複降低權重調整斜率過程，直至跳出學習 停頓狀態，然後進行調整權重且將權重調整斜率調回原值。綜合以上 所述，學習係數值訂定仍以人工試誤判斷，無法得到通解。Etinne 提 出推論式學習係數調整法，以線性搜尋法進行學習係數調整，學習係 數於不同之學習循環之數值應隨之調整，學習係數調整機制將學習績 效良好學習階段之權重組合轉化成特性長度基準 L，若後續學習循環 學習正確率低於基準學習循環正確率，則將目前特性長度定義為 l，

以決定線性方程式調整學習係數η=L/l。如後續學習循環學習績效更 佳，則將疊代特性長度基準定義為 L；重複此過程直到誤差值低於收 斂門檻值停止學習過程，此時基準學習循環權重組合所得推論輸出值 可得最佳訓練績效。

經由上述文獻探討可知，BPNN 最佳化方法論發展至誤差函數微 分方法論已臻成熟，但獲得正確權重調整幅度及方向過程中，必須大 量擴增記憶空間與計算過程，耗費計算成本過大，故本研究擬發展最 適權重搜尋法，建立線性與非線性方法論結合模式，獲得近似誤差函

數微分方法論，以訓練正確率。本研究基於上述原因，擬改變 BPNN 學習係數產生方式，發展全新推論式學習係數調整法，但經由文獻探 討得知，未來仍有以下問題尚待克服：

(1) Etinne 以各權重轉化成特性長度比，產生一種學習係數適用所有 權重，未考量各權重間差異性。

(2) 學習係數調整頻率應尋求一適合方式。Etinne 主張推論式學習係 數方法論不宜以 Batch（過於僵化）或 Online（過於頻繁）方式 作為輸入訓練案例之處理頻率。而初始權重亦被證明對訓練績效 具相當影響；訓練案例輸入與權重調整頻率需同時在過濾系統雜 訊與突顯背景系統資訊兩種需求間取得平衡。

基於以上學習係數調整頻率需求，本研究整理有關於權重調整頻 率與案例輸入量關聯影響訓練正確率之相關研究，首先 Gian[24]指出 初始之權重值即決定爾後於權重空間搜尋出發點，對於尋找最佳之權 重組合，以跳脫局部最小化有顯著之影響。而訓練案例輸入與權重更 新初始值跳脫調整之方式，對於訓練案例之系統雜訊或權重調整震盪 (Oscillation)中，將有助於最佳權重組合獲得。一般而言，訓練案例輸 入與權重更新頻率相關方法分為兩類[17]，第一類是在所有訓練案 例，當其錯誤方程式偏微分全部完成後，一次調整結點間之權重，稱 為批次學習(Batch Mode)。第二類是在每一訓練案例輸入後，隨即調 整結點連結之權重，此種權重調整模式稱為即時學習(Online Mode)，

此方法藉隨機選取訓練案例輸入調整造成微小波動有時可減低誤差 值。Zhao[25]提出在選用此兩種模式進行分析時，若問題本身具以下 特性，以批次學習模式能獲得較佳之權重調整值：

1.訓練案例資料包含雜訊較多。

2.錯誤平面結構較複雜。

3.較少分類樣式數目情形。

若問題特性相反則以即時學習模式較佳。

Rumelhart[23]指出：在學習係數值較小狀態時，即時學習模式近 似批次學習模式績效。批次學習之權重調整頻率低於即時學習頻率 時，對於隱藏於訓練案例輸入值之資訊之反映較即時學習差，過濾雜 訊表現較佳。基於前述之學習係數調整頻率與反映訓練案例背景資料 過濾雜訊資料需求，本研究擬結合 Batch 和 Online 兩者優點，發展新 訓練案例輸入模式。

鑑此，第二期計畫發展 BPNN 互動式學習模式，期能以合理計 算成本獲得推論正確率較高 BPNN 預測模式，並冀以改善第一期所 建立之信用評等模式之準確性。