為了驗證最小風險神經網路是否可以找到最小風險的分界線，本節設計數個 特殊的分類問題。在這些問題中，分類之間具有寬闊的區域沒有訓練樣本，而所 有的測試樣本都取自此區域。因此分類邊界如果能依照最小風險原理產生，其測 試樣本的誤判率應該可達到最低；相反地，如果未能依照最小風險原理，而只是 企圖產生一個可以把訓練樣本正確分類的邊界，其測試樣本的誤判率可能很高。
3-1. 例題一：一維分類問題
圖3-1 為一維分類問題，自變數右端(X>0.5)為 Class A，其分類函數值為 Y=1；自變數左端(X<0.5)為 Class B，其分類函數值為 Y=0。但分類之間具有寬 闊的區域(X=0.4~0.6)沒有訓練樣本，所有的測試樣本都取自此區域。
0 0.2 0.4 0.6 0.8 1
0 0.2 0.4 0.6 0.8 1
X
Y Train Data
Test Data
圖 3 - 1 例題一的問題描述
為了探討MRNN 在有雜訊的情況下是否仍能有很好的效果，在此例題分別 加入5%、10%、20%的雜訊，即訓練樣本中，有該比例的樣本的分類故意改為 錯誤的類別。對MRNN 而言，最重要的參數為 ，在此取 0.01、0.1、1、3、5、
10、100 等七種值，其結果如圖 3-2。為了與傳統的 BPN 比較，在此將 MRNN 中的 參數設為0，MRNN 即退化為傳統的 BPN。由於圖 3-2 為對數尺度， 參 數設為0 時無法標在圖上，因此將 參數設為 0 的情形，以 參數設為 0.0001 來 表示。此外，為了避免網路的初始設定的影響，圖3-2 中的每一個點都是執行十 次的平均值成果。由圖可知MRNN 在 參數設為 0.1 時有極佳的表現，在 0%、
5%、10%、20%的雜訊下，其誤判率為 0%、0%、3%、0%，而傳統的 BPN 高達 3%、3%、16%、40%。
0 0.1 0.2 0.3 0.4 0.5 0.6
0.0001 0.001 0.01 0.1 1 10 100
Gamma
Error Rate
0%雜訊 5%雜訊 10%雜訊 20%雜訊
圖 3 - 2 例題一的雜訊與 參數與誤判率的關係
為了確認，將在0%的雜訊下 MRNN 與 BPN 的分類函數繪於圖 3-3，由圖可 知，MRNN 的分類邊界(Y=0.5)的位置十分接近正確的位置(X=0.5)，而 BPN 的分 類邊界的位置較偏離正確的位置。可見MRNN 的分類邊界確實有最小風險的效 果，其邊界十分靠近訓練樣本中的二類樣本中間地帶的中心線。
BPN
-0.1 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1.1
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
X
Y BPN
M RNN
圖 3 - 3 例題一的模型分類邊界
3-2. 例題二：二維線性邊界分類問題
圖3-4 為二維線性分類問題，右上方為 Class A，其分類函數值為 Y=1；左 下方為Class B，其分類函數值為 Y=0。分類邊界為
2 1
1
x
x
(3-1)但分類之間具有寬闊的區域(
x
1x
2 0.8~1.2)沒有訓練樣本，所有的測試樣 本都取自此區域。0 0.2 0.4 0.6 0.8 1
0 0.2 0.4 0.6 0.8 1
X1
X2
Train Data - A Train Data - B Test Data - A Test Data - B
正確分類邊界
為了探討MRNN 在有雜訊的情況下是否仍能有很好的效果，在此例題分別 加入5%、10%、20%的雜訊。對 MRNN 而言，最重要的參數為 ，在此取 0.01、
0.1、1、3、5、10、100 等七種值，其結果如圖 3-5。為了與傳統的 BPN 比較，
在此將MRNN 中的 參數設為 0，MRNN 即退化為傳統的 BPN。由於圖 3-5 為 對數尺度， 參數設為0 時無法標在圖上，因此將 參數設為 0 的情形，以 參 數設為0.0001 來表示。此外，為了避免網路的初始設定的影響，圖 3-5 中的每一 個點都是執行十次的平均值成果。由圖可知，MRNN 在 參數設定太小時( 參 數=0.01)，其效果等同 BPN；在 參數設定太大時( 參數>1)，其效果比 BPN 還 差；但在適當的 參數時，其效果可能比BPN 還要佳。在 0%、5%、10%、20%
的雜訊下，MRNN 在適當的 參數下，誤判率為 1%( =0.1)、6%( =0.1)、
8%( =1)、4%( =0.01)，而傳統的 BPN 高達 12%、13%、12%、19%。可知無論 雜訊高低，只要 參數選取得當，MRNN 誤判率都可以低於傳統的 BPN。
0 0.1 0.2 0.3 0.4 0.5 0.6
0.0001 0.001 0.01 0.1 1 10 100
Gamma
Error Rate
0%雜訊 5%雜訊 10%雜訊 20%雜訊
圖 3 - 5 例題二的雜訊與 參數與誤判率的關係
為了確認，將在0%的雜訊下 MRNN 與 BPN 的分類函數繪於圖 3-6，由圖可 知，MRNN 的分類邊界(Y=0.5)的位置較接近正確的位置，即座標(0,1)至(1,0)的 對角線，而BPN 的分類邊界的位置較偏離正確的位置。可見 MRNN 的分類邊界
BPN
確實有最小風險的效果，其邊界十分靠近訓練樣本中的二類樣本中間地帶的中心 線。
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.00.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
X1
X2
0.500 -1.000 0.000 -0.500
(a) BPN 的分類邊界
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.00.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
X1
X2
0.500 -1.000 0.000 -0.500
(b) MRNN 的分類邊界 圖 3 - 6 例題二的模型分類邊界
正確分類邊界 正確分類邊界
3-3. 例題三：二維非線性邊界分類問題
圖3-7 為二維非線性分類問題，右上方為 Class A，其分類函數值為 Y=1；
左下方為Class B，其分類函數值為 Y=0。分類邊界為 8
.
2 0
2 2
1
x
x
(3-2)但分類之間具有寬闊的區域(
x
12x
22 =0.7~0.9)沒有訓練樣本，所有的測試 樣本都取自此區域。0 0.2 0.4 0.6 0.8 1
0 0.2 0.4 0.6 0.8 1 X1
X2
Train Data - A Train Data - B Test Data - A Test Data - B
圖 3 - 7 例題三的問題描述
本題作法於與前題相似，在此不再贅述，參數 取0.001、0.01、0.03、0.1、
1、10、100 等七種值，其結果如圖 3-8。由圖可知，在低雜訊下(0~10%)，MRNN 誤判率可以低於傳統的BPN，但在高雜訊下(20%)，則無法優於 BPN。在適當 的 參數時( 參數=0.01)，在 0%、5%、10%、20%的雜訊下，其誤判率為 5%、
4%、9%、16%，而傳統的 BPN 高達 4%、15%、35%、16%。
正確分類邊界
0 0.1 0.2 0.3 0.4 0.5
0.0001 0.001 0.01 0.1 1 10 100
Gamma
Error Rate
0%雜訊 5%雜訊 10%雜訊 20%雜訊
圖 3 - 8 例題三的雜訊與 參數與誤判率的關係
為了確認，將在5%的雜訊下 MRNN 與 BPN 的分類函數繪於圖 3-9，由圖可 知，MRNN 的分類邊界(Y=0.5)的位置較接近正確的位置，即以(0,0)為中心，半 徑0.8 的 1/4 圓；而 BPN 的分類邊界的位置較偏離正確的位置。可見 MRNN 的 分類邊界確實有最小風險的效果，其邊界十分靠近訓練樣本中的二類樣本中間地 帶的中心線。
BPN
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.00.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
X1
X2
0.500 -1.000 0.000 -0.500
(a) BPN 的分類邊界
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.00.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
X1
X2
0.500 -1.000 0.000 -0.500
(b) MRNN 的分類邊界
圖 3 - 9 例題三的模型分類邊界 正確分類邊界
正確分類邊界
正確分類邊界
3-4. 例題四：二維封閉邊界分類問題
圖3-10 為二維非線性分類問題，圓球內為 Class A，其分類函數值為 Y=1；
圓球外為Class B，其分類函數值為 Y=0。分類邊界為 31
. 0 ) 5 . 0 ( ) 5 . 0
(
x
1 2x
2 2 (3-3)但分類之間具有寬闊的區域( (
x
1 0.5)2 (x
2 0.5)2 =0.25~0.4)沒有訓練樣 本，所有的測試樣本都取自此區域。0 0.2 0.4 0.6 0.8 1
0 0.2 0.4 0.6 0.8 1
X1
X2
Train Data - A Train Data - B Test Data - A Test Data - B
圖 3 - 10 例題四的問題描述
本題作法於與前題相似，在此不再贅述，參數 取0.001、0.003、0.01、0.03、
0.05、0.1、0.15、0.3、1、10、100 等十一種值，其結果如圖 3-11。由圖可知，
在不同雜訊下(0~20%)，MRNN 誤判率都可以低於傳統的 BPN。在適當的 參數 時，在0%、5%、10%、20%的雜訊下，其誤判率為 12%( =0.03)、17%( =0.15)、
19%( =0.1)、23%( =0.1)，而傳統的 BPN 高達 20%、22%、25%、26%。基本 上，雜訊越大，適當的 參數會越大，因為在高度雜訊下，更需要在能量函數中
正確分類邊界
0.1 0.15 0.2 0.25 0.3 0.35 0.4
0.0001 0.001 0.01 0.1 1 10 100
Gamma
Error Rate
0%雜訊 5%雜訊 10%雜訊 20%雜訊
圖 3 - 11 例題四的雜訊與 參數與誤判率的關係
為了確認，將在0%的雜訊下 MRNN 與 BPN 的分類函數繪於圖 3-12，由圖 可知，MRNN 的分類邊界(Y=0.5)的位置較接近正確的位置，即以(0.5,0.5)為中 心，半徑0.31 的圓；而 BPN 的分類邊界的位置較偏離正確的位置。可見 MRNN 的分類邊界確實有最小風險的效果，其邊界十分靠近訓練樣本中的二類樣本中間 地帶的中心線。
BPN
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.00.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
X1
X2
0.500 -1.000 0.000 -0.500
(a) BPN 的分類邊界
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.00.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
X1
X2
0.500 -1.000 0.000 -0.500
(b) MRNN 的分類邊界
圖 3 - 12 例題四的模型分類邊界
正確分類邊界
正確分類邊界
3-5. 例題五：具空白區邊界的十維非線性邊界分類問題
設一個十維的分類問題，其分類函數為
] ) 5 . 0 (
8 ) 5 . 0 (
4 ) 5 . 0 (
2
) 5 . 0 (
1 ) 5 . 0 (
0 [ 4 8
4 2
1 0
2 10
2 9
2 8
2 7
2 6
5 4
3 2
1
X X
X
X X
X X
X X
X
Y
(3-4)分類邊界為 06 . 0
Y
(3-5)但分類之間具有寬闊的區域(Y =-0.12~0.00)沒有訓練樣本，所有的測試樣本 都取自此區域。
本題作法於與前題相似，在此不再贅述，參數 取0.001、0.01、0.1、1、10、
100 等六種值，其結果如圖 3-13。由圖可知，在不同雜訊下(0~20%)，MRNN 誤 判率都可以低於傳統的BPN。在適當的 參數時，在 0%、5%、10%、20%的雜 訊下，其誤判率為30%( =0.1)、31%( =0.1)、29%( =0.01)、39%( =1)，而傳 統的BPN 略高一些，達 39%、38%、31%、45%。
0.25 0.35 0.45 0.55 0.65
0.0001 0.001 0.01 0.1 1 10 100
Gamma
Error Rate
0%雜訊 5%雜訊 10%雜訊 20%雜訊
圖 3 - 13 例題五的雜訊與 參數與誤判率的關係
BPN
3-6. 少量樣本之影響
另外延續例題一到例題五，但使用不同的訓練樣本數量。其目的是為了證明 訓練樣本數量對於MRNN 之影響而設計。例題一到例題四分別再使用原始訓練 樣本的1/2、1/4 做為訓練樣本數，詳細數量如表 3-1，參數 分別取 0.001、0.01、
0.1、1、10、100 等六種值。例題五則分別再使用 50、100、200、400、800 筆 之訓練樣本做比較。參數 分別取0.001、0.01、0.1、1 等四種值。
表 3 - 1 例題 1-4 訓練樣本數
例題 原始樣本數1/2 訓練樣本數 1/4 訓練樣本數
例題一：一維分類問題 165 83 42
例題二：二維線性邊界分類問題 198 99 50
例題三：二維非線性邊界分類問題 107 54 27
例題四：二維封閉邊界分類問題 274 137 69
例題一：一維分類問題
一維分類問題在少量訓練樣本之結果如圖3-14，由圖得知 MRNN 在少量訓 練樣本下其表現依然比 BPN 好。詳細誤判率如下：
(1) 1/2 訓練樣本數：在適當的 參數時，其誤判率為 2.9%( =0.1)、2.3%( =1)，
而傳統的BPN 略高一些，達 8.6%。
(2) 1/4 訓練樣本數：在適當的 參數時，其誤判率為 1.7%( =0.01)、0%( =0.1)、
0%( =1)，而傳統的 BPN 略高一些，達 2.9%。
0 0.1 0.2 0.3 0.4 0.5
0.0001 0.001 0.01 0.1 1 10 100
Gamma
Error Rate
所有樣本 1/4樣本 1/2樣本
圖 3 - 14 例題一的雜訊與 參數與誤判率的關係
例題二：二維線性邊界分類問題
二維分類問題在少量訓練樣本之結果如圖3-15，由圖得知 MRNN 在少量訓 練樣本下其表現依然比 BPN 好。詳細誤判率如下：
(1) 1/2 訓練樣本數：在適當的 參數時，其誤判率為 10.2%( =0.01)、
4.0%( =0.1)、7.8%( =1)，而傳統的 BPN 略高一些，達 11.1%。
(2) 1/4 訓練樣本數：在適當的 參數時，其誤判率為 14.7%( =0.1)、
14.9%( =1)，而傳統的 BPN 略高一些，達 16.7%。
0 0.1 0.2 0.3 0.4 0.5 0.6
0.0001 0.001 0.01 0.1 1 10 100
Gamma
Error Rate
所有樣本 1/4樣本 1/2樣本
圖 3 - 15 例題二的雜訊與 參數與誤判率的關係
BPN
BPN
例題三：二維非線性邊界分類問題
二維非線性邊界分類問題在少量訓練樣本之結果如圖3-16，由圖得知 MRNN 在 1/2 訓練樣本下其誤判率略低於 BPN，但在 1/4 訓練樣本下其誤判率略高於 BPN。詳細誤判率如下：
(1) 1/2 訓練樣本數：在適當的 參數時，其誤判率為 39.0%( =10)，而傳統的 BPN 略高一些，達 44.1%。
(2) 1/4 訓練樣本數：在適當的 參數時，其誤判率為 41.5%( =0.001)，而傳統 的BPN 略低一些，達 30.6%。
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7
0.0001 0.001 0.01 0.1 1 10 100
Gamma
Error Rate
所有樣本 1/4樣本 1/2樣本
圖 3 - 16 例題三的雜訊與 參數與誤判率的關係
例題四：二維封閉邊界分類問題
二維封閉邊界分類問題在少量訓練樣本之結果如圖3-17，由圖得知 MRNN 在少量訓練樣本下其表現依然比 BPN 好。詳細誤判率如下：
(1) 1/2 訓練樣本數：在適當的 參數時，其誤判率為16.7%( =0.01)、
16.5%( =0.1)，而傳統的 BPN 略高一些，達 17.2%。
(2) 1/4 訓練樣本數：在適當的 參數時，其誤判率為19.7%( =0.01)、
18.8%( =1)，而傳統的 BPN 略高一些，達 21.3%。
BPN
0.1 0.15 0.2 0.25 0.3 0.35 0.4
0.0001 0.001 0.01 0.1 1 10 100
Gamma
Error Rate
所有樣本 1/4樣本 1/2樣本
圖 3 - 17 例題四的雜訊與 參數與誤判率的關係
例題五：具空白區邊界的十維非線性邊界分類問題
具空白區邊界的十維非線性邊界分類問題在少量訓練樣本之結果如圖 3-18，在 200~800 筆訓練樣本的情況下，MRNN 在參數 取適當值下，其誤判率 明顯低於BPN；而在 50~100 筆訓練樣本的情況下，MRNN 未比 BPN 誤判率低。
詳細誤判率如表 3-2。
0.28 0.3 0.32 0.34 0.36 0.38 0.4 0.42 0.44
0.0001 0.001 0.01 0.1 1
Gamma
Error Rate
全部 50筆 100筆 200筆 400筆 800筆
圖 3 - 18 例題五之訓練樣本數與 參數與誤判率的關係
BPN BPN
表 3 - 2 具空白區邊界的十維非線性邊界分類問題在少量訓練樣本結果 MRNN Gamma Value
BPN
0.001 0.01 0.1 1 全部樣本 39.0 39.8 37.6
29.8
39.7 50 筆樣本 36.0 36.1 36.435.8
37.6 100 筆樣本 37.0 37.037.0
37.8 37.4 200 筆樣本 40.8 41.2 41.3 36.334.6
400 筆樣本 40.8 39.8 39.733.6
39.7 800 筆樣本 37.2 38.132.3
32.6 42.43-7. 討論
由上面五個例題歸納得下列結論：
(1) 分類邊界：由例題一至四的分類邊界圖可知，MRNN 的分類邊界確實有最 小風險的效果，其邊界十分靠近訓練樣本中的二類樣本中間地帶的中心線。
(2) 參數的影響：由例題一至五的結果可知，MRNN 在 參數設定太小時，其 效果等同BPN；在 參數設定太大時( 參數>1)，其效果比 BPN 還差；但在 適當的 參數時，其效果比BPN 還要佳。
(3) 雜訊的影響：由例題一至五的結果可知，無論雜訊高低，MRNN 在適當的 參數時，其效果都比BPN 還要佳。
(4) 樣本數量的影響：整理上述結果如表 3-3 與圖 3-19。由例題一至五在改變樣 本數量下的結果可知，除例題三以外，當訓練樣本數降低時，MRNN 在適 當的 參數下，其誤差仍比BPN 還要低，但差距縮小。
表 3-3 樣本數目之影響比較表
大量樣本下誤判率% 少量樣本下誤判率%
(1/4 樣本數) 數值例題
BPN MRNN BPN MRNN
例題一：一維分類問題 3 0 2.9 1.7
例題二：二維線性邊界分類問題 12 1 16.7 14.7
例題三：二維非線性邊界分類問題 4 4 41.5 41.5
例題四：二維封閉邊界分類問題 20 12 21.3 19.7
例題五：十維非線性邊界分類問題 39 30 40.8 34.6
0 5 10 15 20 25 30 35 40 45
例題一 例題二 例題三 例題四 例題五
數值例題
誤判率%
大量樣本下BPN 大量樣本下MRNN 小量樣本下BPN 小量樣本下MRNN
圖3-19 樣本數目之影響比較