第三章 數值例題
第五節 二維 SIN 函數迴歸問題
接下來以一開放迴歸的例題作比較。二維SIN 函數迴歸問題(Chen and Chang, 1996)是一個封閉型的預測問題，其公式如下：
1 2
sin sin
5 x
12x
2y
(106)其函數曲面如圖 19。在值域
0 . 8 x
10 . 7
，0 . 8 x
20 . 7
的範圍內，以隨機 取點方式取得300 筆訓練資料，200 筆測試資料。-0.6-0.8 -0.2-0.4 0.2 0 0.6 0.4 -0.8-0.6
-0.4-0.2 0 0.2
0.40.6 -4
-2 0 2 4 6 8
x2 x1
圖 19 二維 SIN 函數迴歸問題
本例題的隱藏層的處理單元數目都採用20 個。單層隱藏層的誤判率的收斂 狀況如圖 20。可知 BPN 初期收斂最慢，但是最終可以得到與 HTFN 一樣好的結 果。RBFN 初期收斂很快，但隨之停滯不前，所得到的準確度最差。HTFN 初期 收斂速度與RBFN 一樣，都遠快於 BPN，且最終可以得到與 BPN 一樣好的結果。
可見HTFN 整合了 RBFN 的收斂快速與 BPN 模型準確的優點，表現最佳。
二層隱藏層的誤判率的收斂狀況如圖 21。與單層隱藏層的情形十分相似，
只是BPN 的最終結果略優於 HTFN。可見 HTFN 整合了 RBFN 的收斂快速與 BPN 模型準確的優點。
0 0.02 0.04 0.06 0.08 0.1 0.12 0.14 0.16 0.18 0.2 0.22
0 10000 20000 30000 40000 50000 60000 70000 80000 90000 100000
誤差均方根
學習循環
BPN HTFN RBFN
圖 20 二維 SIN 函數迴歸問題實驗於單層隱藏層的誤差均方根收斂圖
0 0.02 0.04 0.06 0.08 0.1 0.12 0.14 0.16 0.18 0.2 0.22
0 10000 20000 30000 40000 50000 60000 70000 80000 90000 100000
誤差均方根
學習循環
BPN HTFN RBFN
圖 21 二維 SIN 函數迴歸問題實驗於二層隱藏層的誤差均方根收斂圖
表 4 顯示本例題在整個收斂過程的最佳結果。可知三者之中，RBFN 最差，
BPN 與 HTFN 相差不大。
表 4 二維 SIN 函數迴歸問題最佳實驗結果
單層隱藏層 兩層隱藏層
演算法
比較方式 BPN HTFN RBFN BPN HTFN RBFN 驗證誤差均方根 0.012 0.011 0.079 0.004 0.007 0.042
第六節 六維混合型迴歸問題
接下來以一個包含封閉與開放曲面的函數例題作比較。本研究設計了一個函 數如下：
25 . 0
5 . exp 0
1
1 25
. 0
5 . exp 0
5 . 0 2 ) 5 . 0 ( 4
6 5
4 2 3
2 2
1
x x x x
x x
y
(107) 在值域0 xi 1，i=1,2,...,6，i=1,2,...,6 的範圍內，以隨機取點方式取得 300 筆訓 練資料，200 筆測試資料。由上述公式可知，前三項屬於封閉型函數；後三項則 為開放型函數。
本例題的隱藏層的處理單元數目都採用6 個。單層隱藏層的誤判率的收斂狀 況如圖 22。可知 HTFN 與 RBFN 的收斂速度遠比 BPN 快，且 HTFN 的最終誤 差均方根低於BPN，可見 HTFN 整合了 RBFN 的收斂快速與 BPN 模型準確的優 點，表現最佳。
二層隱藏層的誤判率的收斂狀況如圖 23。可知 BPN 遠比 HTFN 佳，而 HTFN 又遠比RBFN 佳。
表 5 顯示本例題在整個收斂過程的最佳結果。可知在單層時 HTFN 遠優於 另外二種網路，在二層時BPN 遠優於另外二種網路。二層 BPN 略優於單層 HTFN。
表 5 六維混合型迴歸問題最佳實驗結果
單層隱藏層 兩層隱藏層
演算法
比較方式 BPN HTFN RBFN BPN HTFN RBFN 驗證誤差均方根 0.018 0.013 0.022 0.011 0.060 0.107
0 0.02 0.04 0.06 0.08 0.1 0.12 0.14
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000
誤差均方根
學習循環
BPN HTFN RBFN
圖 22 六維混合型迴歸問題實驗於單層隱藏層的誤差均方根收斂圖
0 0.02 0.04 0.06 0.08 0.1 0.12
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000
誤差均方根
學習循環
BPN HTFN RBFN
圖 23 六維混合型迴歸問題實驗於二層隱藏層的誤差均方根收斂圖