第四章 實證分析
第二節 倒傳遞類神經網路預測模式
本研究的倒傳遞類神經網路模型是使用學者(Wu, 1995)以 Microsoft Visal C++程 式語言所研發撰寫構成,模型內採用修正權重方式為「最陡坡度法」,隱藏層設定為
1,分別設定隱藏層單元數、學習速率、學習動差、疊代循環次數等不同的參數值作為 不同之模式。
「預測總成績」及「預測各科成績」相關參數設定分別如下表 4.2、4.3 所示:
表 4.2 「預測總成績」之參數設定彙整表 輸入層 四次模擬考總成績,共 4 項輸入單元 輸出層 統測總成績,共 1 項輸入單元
隱藏層 共 1 個隱藏層,分別是 5、10、15 個隱藏層神經元 學習速率 分別是 0.1、0.5、0.9
學習動差 分別是 0.1、0.5、0.9 疊代循環次數 300000 次
資料來源:本研究整理
表 4.3 「預測各科成績」之參數設定彙整表 輸入層 四次模擬考五科成績,共 20 項輸入單元 輸出層 統測五科成績,共 5 項輸入單元
隱藏層 共 1 個隱藏層,分別是 5、10、15 個隱藏層神經元 學習速率 分別是 0.1、0.5、0.9
學習動差 分別是 0.1、0.5、0.9 疊代循環次數 300000 次
資料來源:本研究整理
根據以上的參數設定,以 103 學年度畢業學生相關成績數據資料作為訓練範例進行網
300000 15 0.5 0.1 0.00205 6.93% 4.21%
300000 15 0.5 0.5 0.00201 6.71% 4.14%
300000 15 0.5 0.9 0.00287 4.78% 4.64%
300000 15 0.9 0.1 0.00201 6.71% 4.15%
300000 15 0.9 0.5 0.00201 7.32% 3.95%
300000 15 0.9 0.9 0.00201 4.91% 4.77%
資料來源:本研究整理
由表 4.4 發現,當類神經網路訓練模式之疊代循環次數 300000 次,隱藏層處理單 元數為 15,學習速率 0.5、學習動差 0.9 時,測試誤差值最小(4.78%),該參數設定即 為總成績預測最佳之類神經網路模型。其中設定參數為 ANN 15-5-9(隱藏層處理單元 數為 15,學習速率 0.5、學習動差 0.9)時,訓練範例預測結果之成績測試值與實際值 比較如圖 4.1、圖 4.2、圖 4.3 ;測試範例預測結果之成績測試值與實際值比較如圖 4.4、
圖 4.5、圖 4.6 。
圖 4.1 ANN 15-5-9 「總成績預測」訓練範例原始成績 VS 預測成績 1-120 筆 資料來源:本研究整理
100 150 200 250 300 350 400 450 500
1 6 11 16 21 26 31 36 41 46 51 56 61 66 71 76 81 86 91 96 101106111116
ANN 15-5-9 「總成績預測」訓練範例原 始成績VS預測成績 1-120筆
desired output
圖 4.2ANN 15-5-9 「總成績預測」訓練範例原始成績 VS 預測成績 121-240 筆 資料來源:本研究整理
圖 4.3 ANN 15-5-9 「總成績預測」訓練範例原始成績 VS 預測成績 241-355 筆 資料來源:本研究整理
100 150 200 250 300 350 400 450 500
121126131136141146151156161166171176181186191196201206211216221226231236
ANN 15-5-9 「總成績預測」訓練範例原 始成績VS預測成績 121-240筆
desired output
100 150 200 250 300 350 400 450 500
241 246 251 256 261 266 271 276 281 286 291 296 301 306 311 316 321 326 331 336 341 346 351
ANN 15-5-9 「總成績預測」訓練範例原始 成績VS預測成績 241-355筆
desired output
圖 4.4 ANN 15-5-9 「總成績預測」測試範例原始成績 VS 預測成績 1-120 筆 資料來源:本研究整理
圖 4.5 ANN 15-5-9 「總成績預測」測試範例原始成績 VS 預測成績 121-240 筆 資料來源:本研究整理
100 150 200 250 300 350 400 450 500
1 6 11 16 21 26 31 36 41 46 51 56 61 66 71 76 81 86 91 96 101106111116
ANN 15-5-9 總成績測試範例原始VS預測 1-120筆
desired output
100 150 200 250 300 350 400 450 500
121126131136141146151156161166171176181186191196201206211216221226231236
ANN 15-5-9 總成績測試範例原始VS預測 121-240筆
desired output
圖 4.6 ANN 15-5-9 「總成績預測」測試範例原始成績 VS 預測成績 241-355 筆
241 246 251 256 261 266 271 276 281 286 291 296 301 306 311 316 321 326 331 336 341 346 351
ANN 15-5-9 總成績測試範例原始VS預測 241-355筆
desired output
300000 30 0.1 0.9 0.00211 37.06% 4.58%
300000 30 0.5 0.1 0.00222 28.86% 4.08%
300000 30 0.5 0.5 0.00226 42.71% 4.23%
300000 30 0.5 0.9 0.00289 32.73% 6.05%
300000 30 0.9 0.1 0.00226 39.39% 4.46%
300000 30 0.9 0.5 0.00241 31.90% 5.98%
300000 30 0.9 0.9 0.00327 35.58% 9.44%
300000 40 0.1 0.1 0.00227 38.24% 3.47%
300000 40 0.1 0.5 0.00225 39.17% 3.30%
300000 40 0.1 0.9 0.00205 41.50% 2.96%
300000 40 0.5 0.1 0.00205 40.68%
2.71%
300000 40 0.5 0.5 0.00201 36.26% 3.36%
300000 40 0.5 0.9 0.00287 26.64% 5.43%
300000 40 0.9 0.1 0.00201 40.78% 3.76%
300000 40 0.9 0.5 0.00201 33.44% 3.60%
300000 40 0.9 0.9 0.00201 33.02% 7.17%
資料來源:本研究整理
由表 4.5 可知,當類神經網路訓練模式之疊代循環次數 300000 次,隱藏層處理單 元數為 20,學習速率 0.1、學習動差 0.5 時,測試誤差值最小(21.08%)。該參數設定即 為各科成績預測最佳之類神經網路模型。其中設定參數為 ANN 20-1-5(隱藏層處理單 元數為 15,學習速率 0.5、學習動差 0.9)時,訓練範例預測結果之各科成績測試值與 實際值比較如圖 4.7- 圖 4.11;測試範例預測結果之成績測試值與實際值比較如圖 4.12-圖 4.16,僅摘錄國文、英文、數學、自然、社會各科成績 1-150 筆資料。
圖 4.7 ANN 20-1-5 「各科成績預測」訓練範例國文原始成績 VS 預測成績 1-120 筆 資料來源:本研究整理
圖 4.8 ANN 20-1-5 「各科成績預測」訓練範例英文原始成績 VS 預測成績 1-120 筆 資料來源:本研究整理
ANN 20-1-5 訓練範例國文原始成績VS預測成績1-120筆
0 10 20 30 40 50 60 70 80 90 100
1 6 11 16 21 26 31 36 41 46 51 56 61 66 71 76 81 86 91 96 101 106 111 116
desired output
ANN 20-1-5 訓練範例英文原始成績VS預測成績1-120筆
0 20 40 60 80 100 120
1 6 11 16 21 26 31 36 41 46 51 56 61 66 71 76 81 86 91 96 101 106 111 116
desired output
圖 4.9 ANN 20-1-5 「各科成績預測」訓練範例數學原始成績 VS 預測成績 1-120 筆 資料來源:本研究整理
圖 4.10 ANN 20-1-5 「各科成績預測」訓練範例專業科目(一)原始成績 VS 預測成績 1-120 筆
資料來源:本研究整理
ANN 20-1-5 訓練範例數學原始成績VS預測成績1-120筆
0
desired output
ANN 20-1-5 訓練範例專業科目一原始成績VS預測成績1-120筆
0
desired output
圖 4.11 ANN 20-1-5 「各科成績預測」訓練範例專業科目(二)原始成績 VS 預測成績 1-120 筆
資料來源:本研究整理
圖 4.12 - 圖 4.16 為測試範例中 ANN20-1-5(疊代循環次數 300000 次、隱藏層處理單元 數為 20、學習速率 0.1、學習動差 0.5)時,「各科成績預測」之測試值與實際值之比 較,僅摘錄國文、英文、數學、自然、社會各科成績 1-150 筆資料:
ANN 20-1-5 訓練範例專業科目二原始成績VS預測成績1-120筆
0 20 40 60 80 100 120
1 6 11 16 21 26 31 36 41 46 51 56 61 66 71 76 81 86 91 96 101 106 111 116
desired output
圖 4.12 ANN 20-1-5 「各科成績預測」測試範例國文原始成績 VS 預測成績 1-120 筆 資料來源:本研究整理
圖 4.13 ANN20-1-5 「各科成績預測」測試範例英文原始成績 VS 預測成績 1-120 筆 資料來源:本研究整理
ANN 20-1-5 測試範例國文原始成績VS預測成績1-120筆
0 20 40 60 80 100 120
1 6 11 16 21 26 31 36 41 46 51 56 61 66 71 76 81 86 91 96 101 106 111 116
desired output
ANN 20-1-5 測試範例英文原始成績VS預測成績1-120筆
0 20 40 60 80 100 120
1 6 11 16 21 26 31 36 41 46 51 56 61 66 71 76 81 86 91 96 101 106 111 116
desired output
圖 4.14 ANN20-1-5 「各科成績預測」測試範例數學原始成績 VS 預測成績 1-120 筆 資料來源:本研究整理
圖 4.15 ANN20-1-5 「各科成績預測」測試範例專業科目(一)原始成績 VS 預測成績 1-120 筆
資料來源:本研究整理
ANN 20-1-5 測試範例數學原始成績VS預測成績1-120筆
0 20 40 60 80 100 120
1 6 11 16 21 26 31 36 41 46 51 56 61 66 71 76 81 86 91 96 101 106 111 116
desired output
ANN 20-1-5 測試範例專業科目一原始成績VS預測成績1-120筆
0 10 20 30 40 50 60 70 80 90 100
1 6 11 16 21 26 31 36 41 46 51 56 61 66 71 76 81 86 91 96 101 106 111 116
desired output
圖 4.16 ANN20-1-5 「各科成績預測」測試範例專業科目(二)原始成績 VS 預測成績 1-120 筆
資料來源:本研究整理
綜上所述,本研究在統測總成績的預測上倒傳遞類神經網路預測模型最佳參數 ANN 15-5-9 (即疊代循環次數 300000 次,隱藏層處理單元數為 15,學習速率 0.5、學 習 動 差 0.9) 可 以 得 到 最 佳 預 測 效 果 , 利 用 絕 對 平 均 百 分 比 誤 差 (Mean Absolute Percentage Error,MAPE)檢驗此模型精準度,測試範例 MAPE 平均值為 5.9%,依表 4.1 的定義,MAPE<10%表示預測能力極佳,故本研究之倒傳遞類神經網路預測模型 在總成績的預測上是極為準確的。在各科成績的預測上,訓練範例 MAPE 平均值為 5.36%,但在測試範例 MAPE 平均值為 32.73%,依表 4.1 的定義,MAPE 值在 20%~
50%,表示預測能力合理,但效果較不理想。
ANN 20-1-5 測試範例專業科目二原始成績VS預測成績1-120筆
0 20 40 60 80 100 120
1 6 11 16 21 26 31 36 41 46 51 56 61 66 71 76 81 86 91 96 101 106 111 116
desired output