第二章 文獻探討
2.2 一般迴歸神經網路
GRNN 是監督式學習網路中之一種，是由 Specht[37]於 1991 年從機率神經 網路(Probabilistic Neural Network，PNN)發展而來。GRNN 解決了 PNN 只能處 理分類方面的問題，進而增加了處理連續變數方面的能力。GRNN 可以處理任何 不管是線性或非線性的迴歸問題。GRNN 的特性是網路學習速度快，但所需的電 腦記憶體較大，且回想速度較慢。
2.2.1 GRNN 網路基本原理
本節 GRNN 網路基本原理之介紹摘錄自 Specht[37]、葉怡成的應用類神經網 路[19]、劉亭宜[25]、邱穎聖[11]。
在迴歸分析中，因變數(dependent variable)Y代表系統之輸出值，自變數
（independent variable）X代表系統之輸入值。而 GRNN 不需像傳統的迴歸分 析一樣，必須先假設一個明確的函數式，GRNN 只需用機率密度函數的方式來表 示。
假設 f(x,y)為一已知向量隨機變數X和隨機變數Y之聯合機率密度函數，
令x為隨機變數X中一個特殊的觀測值，則Y在X=x上的條件期望值（也可稱為 Y在x上的迴歸）可以式 2-1 表示如下：
∫
其中 σ 為平滑參數(smoothing parameter)，為大於 0 之常數。GRNN 唯一需要 用學習的方式決定的參數就是 σ。式 2-3 可再進一步簡化如式 2-4： 測量值分配給第二層的型態單元（pattern unit），每一個型態單元代表一個訓 練範例，當有一個新的 x 向量進入網路後，此向量減去訓練範例的向量，兩者差的平方值會被加總並輸入到非線性的作用函數，作用函數所出來的值，就是型態 單元的輸出值。而型態單元的輸出值會被傳送到總和單元（summation unit）。 作用函數之公式如式 2-5：
⎥⎦
⎢ ⎤
⎣
⎡− 22 exp 2
σ Di
（2-5）
其中Di2為式 2-4 所示。
總和單元分別完成加權向量的加總以及Y的所有觀測值乘以加權向量值的 加總。總和單元的兩個輸出分別如式 2-6 與 2-7 所示：
圖 2-1 GRNN 之網路架構（取自 Specht, D.F.，＂A general Regression Neural Network＂, IEEE Transactions on Neural Networks, v.2, n6, pp.568-576, Nov
1991）
圖 2-2 GRNN 網路執行步驟圖
2.2.3 GRNN 與其他監督式學習網路的差異
一、除了 GRNN，其他的監督式網路學習過程為：
（1） 以隨機變數設定初始網路連結加權值。
（2） 將訓練範例之輸入向量載入到網路的輸出層，經過回想過程計算推論輸出
向量。
（3） 將計算推論的輸出向量和訓練樣本的目標輸出向量之差異修正網路連結 加權值。
（4） 重複回想過程計算推論輸出向量、修正網路連結加權值，直到收斂。
二、GRNN 和其他監督式類神經網路 BPN、PNN 的不同如下：
（1） GRNN 網路連結加權值由訓練樣本的輸入向量和輸出向量決定。
（2） GRNN 回想過程和學習過程分開。
（3） GRNN 學 習 沒 有 迭 代 過 程 ， GRNN 學 習 過 程 為 一 次 學 習 （ one-pass learning）。
2.2.4 GRNN 之優點
以下是 GRNN 之優點介紹
（1）由於 GRNN 隱藏層節點數同輸入單元節點數，也就是運算單元較 BPN 多，因 此網路學習速度快。
（2）模式之參數只需設定隱藏層的平滑參數，不需考慮隱藏層節點數及隱藏層 數，設定時間簡短，也減少影響模式之設定參數數目，也就是模式之影響 因子變少，大大減少了類神經網路所為人詬病的參數設定影響。
（3）因為 GRNN 不是使用最陡坡降法，所以減少了像 BPN 可能只尋找到區域最佳 解(local optimal)的機會。
（4）GRNN 學習過程為一次學習，所以 GRNN 不需擔心過度訓練（over training）
或訓練不足（under training）的問題。