實驗與結果分析
4.5 實驗 C - 研究方法參數實驗與分析
實 驗 C 將 針 對 本 論 文 提 出 的 透 過 卷 積 和 池 化 計 算 減 少 ELM 輸 入 層 資 料 維 度 的 方 法。其 在 卷 積 和 池 化 計 算 當 中，ReLU 為 訓 練 成 效 較 佳 的 Activation function[53]，因此我們將以 ReLU 作為卷基層的 Activation function 並且基於 2×2 大小下的 Pooling mask。我們將先以 3× 3 的 Convolution mask 大小作為實驗的 固定之參數，並以單層卷基層來決定 LTP 的 threshold t、Pooling 方法、ELM 的 Activation function 和隱藏層神經元個數進行參數組合實驗，且再來重新決定卷基 層層數，最後再基於以上所有實驗參數結果再重新決定 convolution mask 大小。
Na tio
na
l U
niversity of Kao hsiung
表 4.3: 實驗 B - ELM 參數實驗結果 (測試辨識率) 神經元個數 Actfunc LTP threshold (t)
t=2 t=4 t=6 t=8 t=10 t=12 t=14 t=16
30
Bent 85.36 85.29 81.79 82.93 78.00 81.00 81.57 77.07 Linear 88.29 82.93 82.43 84.79 88.14 85.07 77.79 81.93 Sigmoid 61.71 49.07 52.79 50.57 53.14 48.71 42.36 42.36
40
Bent 86.5 86.29 85.93 84.86 85.64 86.29 81.57 85.07 Linear 90.07 90.21 87.57 86.57 85.86 86.36 86.79 82.93 Sigmoid 65.79 54.86 55.00 53.07 49.00 52.29 52.50 52.57
50
Bent 92.93 89.86 88.86 90.57 88.79 85.14 83.79 80.79 Linear 92.43 91.50 91.07 88.00 89.57 89.21 87.29 85.71 Sigmoid 69.21 63.43 64.29 56.93 59.07 66.79 58.43 55.79
60
Bent 90.79 93.64 90.14 92.43 91.79 89.43 88.29 82.79 Linear 88.79 92.36 89.79 91.00 89.86 87.71 90.29 87.36 Sigmoid 64.07 70.29 65.93 68.64 66.00 64.57 57.00 58.79
70
Bent 94.14 91.07 90.86 92.64 89.93 93.00 85.93 86.14 Linear 93.57 92.86 93.21 92.64 92.79 86.43 87.79 85.36 Sigmoid 64.21 68.00 60.21 75.86 59.86 60.29 59.07 52.79
80
Bent 93.64 91.14 91.71 90.43 90.14 87.14 87.79 87.64 Linear 91.93 90.50 95.14 88.79 89.29 88.00 90.71 88.29 Sigmoid 76.57 71.07 71.71 70.50 68.86 61.57 66.14 66.50
90
Bent 93.00 95.21 91.21 90.86 88.07 88.79 87.43 87.07 Linear 93.43 89.86 91.57 90.93 89.21 89.14 86.21 87.14 Sigmoid 73.86 73.64 69.21 69.36 67.57 64.07 63.93 66.5
100
Bent 89.14 93.50 89.00 86.29 89.07 86.29 85.71 86.71 Linear 90.21 90.64 90.64 89.36 89.93 87.29 88.93 81.14 Sigmoid 73.50 77.50 69.93 65.57 64.64 57.79 62.43 69.64
先 以 3× 3 的 Convolution mask 大小作為實驗的固定之參數，以單層卷基 層來決定 LTP 的 threshold t、Pooling 方法、ELM 的 Activation function(與實驗 B 相同) 和隱藏層神經元個哪種參數組合訓練成效較佳，實驗結果如表4.5、4.6、
4.7、4.8、4.9、4.10、4.11和4.12。其實驗結果可以得到當 t 等於 6；Pooling 方法 為 Max；Activation function 為 Linear；隱藏層神經元個數為 100 個時，其訓練成
Na tio
na
l U
niversity of Kao hsiung
表 4.4: 實驗 B - ELM 參數實驗結果 (訓練時間) 神經元個數 Actfunc LTP threshold (t)
t=2 t=4 t=6 t=8 t=10 t=12 t=14 t=16
30
Bent 0.6 0.66 0.62 0.58 0.57 0.58 0.57 0.57 Linear 0.59 0.61 0.59 0.58 0.58 0.57 0.58 0.57 Sigmoid 0.59 0.59 0.59 0.58 0.58 0.58 0.57 0.57
40
Bent 0.67 0.68 0.68 0.67 0.67 0.66 0.66 0.65 Linear 0.68 0.68 0.68 0.67 0.66 0.66 0.66 0.65 Sigmoid 0.68 0.68 0.67 0.67 0.67 0.66 0.65 0.66
50
Bent 0.77 0.77 0.77 0.76 0.76 0.76 0.76 0.81 Linear 0.81 0.79 0.79 0.76 0.76 0.75 0.75 0.75 Sigmoid 0.98 1.17 0.80 1.95 1.18 0.75 0.75 0.75
60
Bent 0.86 0.86 0.86 0.85 0.85 0.84 0.84 0.84 Linear 0.86 0.86 0.86 1.51 0.92 0.85 0.84 0.83 Sigmoid 0.86 0.86 0.86 0.85 0.85 0.84 0.84 0.83
70
Bent 0.94 0.95 0.94 0.93 0.93 0.93 0.92 0.92 Linear 0.94 1.00 0.98 0.98 0.97 0.94 0.92 0.92 Sigmoid 0.98 0.99 0.95 0.93 0.92 0.95 0.92 0.91
80
Bent 1.08 1.1 1.07 1.07 1.06 1.06 1.01 1.01 Linear 1.03 1.03 1.03 2.24 1.24 2.28 2.36 1.01 Sigmoid 1.11 1.03 1.02 1.02 1.01 1.01 1.00 1.01
90
Bent 1.12 1.14 1.13 1.11 1.11 1.11 1.11 1.71 Linear 1.12 1.12 1.12 1.11 1.11 1.10 1.10 1.10 Sigmoid 1.12 1.12 1.11 1.11 1.10 1.11 1.09 1.09
100
Bent 1.22 1.22 1.22 1.22 1.21 1.20 1.20 2.25 Linear 2.37 1.22 1.21 1.20 1.20 1.19 1.19 1.19 Sigmoid 1.21 2.20 1.81 1.20 1.20 1.19 1.19 1.19
效為此部分實驗參數組合當中最佳 (測試正確率：96.62 %)。
透過單層卷積層實驗分析得到參數組合當中，當 t 等於 6；Pooling 方法為 Max；Activation function 為 Linear；隱藏層神經元個數為 60 個時為最佳參數，因 此在本實驗當中我們將以此組實驗參數來分析卷基層層數分別為 1、2 和 3 層 下，來找出卷基層幾層效果最佳。在表4.13當中，可以得到當卷基層層數為 2 層
Na tio
na
l U
niversity of Kao hsiung
表 4.5: 實驗 C - 單層卷積層實驗參數組合 1-1(Max Pooling；測試辨識率) Max Pooling
神經元個數 Actfunc LTP threshold (t)
t=2 t=4 t=6 t=8 t=10 t=12 t=14 t=16
30
Bent 86.83 82.90 84.83 88.00 84.83 81.86 88.48 82.35 Linear 84.41 85.31 85.72 89.10 89.10 85.59 83.52 86.97 Sigmoid 63.52 65.38 66.35 61.79 63.86 64.14 61.66 65.17
40
Bent 86.76 89.86 89.79 90.55 89.24 90.90 92.62 91.86 Linear 90.90 91.31 89.93 89.66 87.45 89.10 87.79 89.03 Sigmoid 69.17 77.10 71.38 75.93 75.24 69.86 74.62 66.90
50
Bent 90.41 90.76 91.79 91.59 92.62 89.59 92.76 92.00 Linear 92.21 92.48 91.66 95.10 92.83 92.14 89.38 91.52 Sigmoid 76.08 79.79 81.93 74.90 78.83 77.52 78.35 71.52
60
Bent 92.90 91.79 93.79 91.66 92.35 92.07 91.17 90.48 Linear 94.48 94.76 94.41 94.00 91.93 93.45 92.90 92.48 Sigmoid 80.55 74.83 79.66 82.76 77.38 80.07 78.55 76.55
70
Bent 93.03 93.31 91.59 92.48 91.52 95.59 91.17 94.83 Linear 94.97 94.14 93.86 93.79 94.48 94.41 95.38 93.91 Sigmoid 80.97 79.38 83.17 81.10 75.45 73.86 80.41 76.21
80
Bent 92.35 91.03 93.17 92.21 90.69 93.10 94.08 93.10 Linear 95.03 95.31 95.52 93.17 94.97 94.97 93.72 94.00 Sigmoid 81.10 74.48 79.31 76.14 78.48 80.48 76.21 81.17
90
Bent 93.45 91.66 93.59 91.79 91.79 94.48 90.97 91.52 Linear 92.08 91.93 92.97 92.48 93.79 92.97 93.24 92.83 Sigmoid 75.66 79.31 79.24 79.66 71.03 79.38 75.38 77.72
100
Bent 92.83 87.66 91.93 90.90 93.03 95.24 88.83 91.72 Linear 91.66 90.48 96.62 93.45 95.72 93.03 94.21 91.17 Sigmoid 77.03 72.62 76.62 74.41 76.90 66.28 80.14 73.52
時，其訓練成效相較於其它 2 種不同層數為當中最佳 (測試正確率：97.72%)。基 於 Convolution mask 等於 3× 3、單層卷積層實驗和卷基層層數實驗分析所得到 的結果，在此部分的實驗，我們將以 3× 3、5× 5 和 7× 7 共 3 種不同的 mask 大 小來重新決定 Convolution mask。因此在表4.14可以得到當 Convolution mask 等於
Na tio
na
l U
niversity of Kao hsiung
表 4.6: 實驗 C - 單層卷積層實驗參數組合 1-2(Max Pooling；訓練時間 (秒)) Max Pooling
神經元個數 Actfunc LTP threshold (t)
t=2 t=4 t=6 t=8 t=10 t=12 t=14 t=16
30
Bent 0.92 0.91 0.92 0.92 0.92 0.92 0.92 0.92 Linear 0.92 0.92 0.92 0.91 0.91 0.92 0.91 0.92 Sigmoid 0.92 0.92 0.91 0.91 0.92 0.93 1.18 0.92
40
Bent 1.00 1.00 1.00 1.01 1.00 1.00 1.00 1.00 Linear 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 Sigmoid 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00
50
Bent 1.09 1.09 1.09 1.09 1.09 1.09 1.08 1.08 Linear 1.11 1.32 1.09 1.09 1.12 1.08 1.08 1.08 Sigmoid 1.10 1.09 1.10 1.09 1.09 1.09 1.08 1.09
60
Bent 1.17 1.18 1.18 1.18 1.19 1.17 1.17 1.18 Linear 1.18 1.18 1.18 1.17 1.17 1.17 1.17 1.19 Sigmoid 1.18 1.18 1.18 1.18 1.20 1.65 1.18 1.18
70
Bent 1.27 1.28 1.28 1.27 1.27 1.28 1.27 1.27 Linear 1.28 1.27 1.27 1.27 1.27 1.27 1.27 1.27 Sigmoid 1.28 1.27 1.49 1.27 1.27 1.27 1.28 1.28
80
Bent 1.36 1.37 1.37 1.36 1.36 1.37 1.36 1.36 Linear 1.36 1.36 1.36 1.36 1.36 1.36 1.36 1.36 Sigmoid 1.36 1.36 1.38 1.36 1.37 1.38 1.58 1.37
90
Bent 1.45 1.57 1.45 1.46 1.46 1.49 1.45 1.46 Linear 1.45 1.45 1.45 1.45 1.45 1.45 1.46 1.46 Sigmoid 1.46 1.47 1.47 1.46 1.74 1.48 1.47 1.47
100
Bent 1.56 1.58 1.65 1.57 1.57 1.57 1.56 1.56 Linear 1.56 1.56 1.58 1.58 1.56 1.57 1.57 1.56 Sigmoid 1.56 1.56 1.57 1.56 1.56 1.56 1.56 1.57
5× 5 時，其訓練成效為最佳 (測試正確率：98.62%)。綜合以上依序 3 種不同實驗 分析之結果，我們可以得到當 t 等於 6；卷基層層數為 2 層；Convolution mask 等 於 5× 5；Pooling 方法為 Max；Activation function 為 Linear；隱藏層神經元個數為 100 個時，其為參數組合中的最佳參數組合。
Na tio
na
l U
niversity of Kao hsiung
表 4.7: 實驗 C - 單層卷積層實驗參數組合 2-1(Min Pooling；測試辨識率) Min Pooling
神經元個數 Actfunc LTP threshold (t)
t=2 t=4 t=6 t=8 t=10 t=12 t=14 t=16
30
Bent 64.62 60.41 56.97 61.93 59.17 61.10 64.35 62.14 Linear 65.93 64.14 65.86 59.72 65.31 69.24 62.55 65.31 Sigmoid 54.14 58.14 59.17 54.21 52.69 55.52 47.31 55.03
40
Bent 66.55 71.66 67.10 67.72 63.38 66.41 68.14 68.21 Linear 72.90 75.31 73.66 70.00 70.76 71.79 70.83 77.31 Sigmoid 61.17 59.03 61.17 64.00 60.76 62.76 61.52 59.59
50
Bent 72.28 67.59 74.90 77.52 72.14 71.72 77.59 70.90 Linear 75.79 75.42 77.59 77.17 76.07 73.38 73.03 72.07 Sigmoid 68.48 65.24 62.48 68.41 69.59 68.90 66.62 58.41
60
Bent 76.62 77.38 71.52 76.48 76.21 72.97 79.72 77.59 Linear 78.41 76.48 77.17 80.48 78.14 78.76 75.03 79.10 Sigmoid 70.35 68.14 69.03 66.28 67.72 71.31 67.79 69.17
70
Bent 74.90 77.93 72.48 73.72 76.35 77.38 78.69 74.21 Linear 81.17 74.76 75.17 80.83 81.38 80.83 73.03 85.45 Sigmoid 70.07 67.31 74.00 67.45 67.66 68.97 62.41 67.52
80
Bent 76.55 77.17 72.83 75.86 74.76 72.00 71.52 74.55 Linear 77.66 79.38 76.28 78.07 78.90 75.66 80.07 78.07 Sigmoid 72.14 68.48 70.41 67.66 63.45 67.66 66.76 69.17
90
Bent 72.62 75.24 74.21 75.79 73.86 73.66 75.38 73.86 Linear 75.66 72.14 76.41 75.59 78.28 74.48 74.97 72.76 Sigmoid 63.72 66.00 66.07 66.62 67.31 66.69 66.62 68.97
100
Bent 66.35 74.07 70.48 68.48 66.69 73.03 69.52 73.93 Linear 70.55 72.07 76.00 70.55 75.66 72.07 72.90 73.86 Sigmoid 66.07 63.03 56.76 65.86 65.10 64.07 61.86 58.00