題目：橢圓空間機率神經網路

中 華 大 學 碩 士 論 文

題目：橢圓空間機率神經網路

Ellipse-Space Probabilistic Neural Networks, EPNN

系 所 別：資訊管理系

學號姓名：M09410024 林冠呈 指導教授：葉怡成

中華民國 九十六 年 六 月

摘要

本研究提出橢圓空間機率神經網路 (Ellipse-Space Probabilistic Neural Networks, EPNN)，它擁有三種可透過訓練來修正的網路參數：代表輸入變數重 要性的變數權值、代表樣本有效範圍的核寬倒數、及代表樣本可靠程度的資料權 值。藉由學習過程可優化這些參數，這些網路參數可以提升模型的準確度，並計 算出重要性指標，以提供評估輸入變數重要性的能力。為證明此網路的性能，本 研究以三個人為的迴歸問題、三個人為的分類問題、以及十個實際的分類問題來 做測試，並與倒傳遞網路及機率神經網路做比較。結果證明：(1) 在人為的分類 問題EPNN 的模型準確度只略低於 BPN，而遠高於 PNN；在實際的分類問題 EPNN 的模型準確度明顯高於 BPN 與 PNN。(2) 重要性指標確實可以顯示輸入 變數對輸出變數的重要程度，使模型具有解釋能力。

關鍵字：類神經網路、機率神經網路、變數重要性、迴歸、分類。

Abstract

This study proposed the ellipse-space probabilistic neural network (EPNN), which includes three kinds of network parameters that can be adjusted through training: the variable weight representing the importance of each input variable of each pattern, the core-width-reciprocal representing the effective range of each pattern, and the data weight representing the reliability of each pattern. Being optimized by the learning process, these network parameters can be used to improve the accuracy of model, and to calculate the variable importance index to offer the ability to appraise importance of each input variable. To prove the performance of EPNN, three artificial regression problems, three artificial classification problems as well as ten actual ones were employed to test it and compare it with back-propagation network (BPN) and probabilistic neural network (PNN). The results proved that (1) the accuracy of EPNN is slightly lower than BPN, while strongly higher to PNN in the artificial problems;

the accuracy of EPNN is obviously higher than BPN and PNN in the actual classification problems, and (2) the variable importance index really expressed the importance of each input variable to the output variable, which makes model have the explanation ability.

Keywords: artificial neural network, probabilistic neural network, variable

importance, regression, classification.

目錄

摘要...i

Abstract...ii

目錄... iii

圖目錄...iv

表目錄...vii

第一章 導論...1

1-1 研究動機 ...1

1-2 文獻回顧 ...3

1-3 研究內容 ...10

第二章 單橢圓空間機率神經網路...11

2-1 前言 ...11

2-2 理論推導 ...11

2-3 數值例題 ...16

2-4 應用實例 ...23

2-5 討論 ...26

2-6 總結 ...29

第三章 多橢圓空間機率神經網路...30

3-1 前言 ...30

3-2 理論 ...30

3-3 數值例題 ...36

3-4 應用實例 ...44

3-5 討論 ...46

3-6 總結 ...49

第四章 分析比較...50

4-1 前言 ...50

4-2 應用實例介紹 ...50

4-3 預測能力之比較 ...58

4-4 解釋能力之改善 ...61

4-5 解釋能力之比較 ...68

4-6 討論 ...83

第五章 結論與建議...85

5-1 研究結論 ...85

5-2 後續研究之建議 ...86

參考文獻...88

附錄一 單橢圓空間機率神經網路...90

附錄二 多橢圓空間機率神經網路...118

圖目錄

圖1-1 三個不同的高斯函數與其疊加(Parzen 1962)[6] ...5

圖1-2 三個不同的二維高斯函數，當σ =0.5(Parzen 1962)[6] ...5

圖1-3 機率神經網路 (a)系統架構；(b)特徵單元(Pattern Unit)；(c)輸出單元(Specht 1990)[9]...7

圖2-1 單橢圓空間機率神經網路架構 (單輸出單元) ...16

圖2-2 單橢圓空間機率神經網路架構 (多輸出單元) ...16

圖2-3 三個數值例題的判定係數之比較 ...18

圖2-4 例題一SEPNN的變數權值...19

圖2-5 例題二SEPNN的變數權值...19

圖2-6 例題三SEPNN的變數權值...20

圖2-7 固定與調整變數權值的演算法的測試範例判定係數之比較 ...20

圖2-8 不同訓練範例數目下的核寬倒數平均值 ...21

圖2-9 固定調整核寬倒數SEPNN與BPN及PNN的測試範例判定係數比較...21

圖2-10 有雜訊下訓練範例的資料權值 ...22

圖2-11 森林地表覆蓋類型分類實例的誤判率之比較 ...24

圖2-12 森林地表覆蓋類型實例的SEPNN變數權值...25

圖2-13 以五個輸入變數所建立的SEPNN分類模型的測試範例誤判率直方圖...25

圖3-1 多橢圓空間機率神經網路架構 ...34

圖3-2 例題一的重要性指標 ...37

圖3-3 例題二的重要性指標 ...38

圖3-4 例題三的重要性指標 ...39

圖3-5 三個數值例題的誤判率之比較 ...39

圖3-6 例題一的重要性指標 (改變學習速率下) ...41

圖3-7 例題二的重要性指標 (改變學習速率下) ...41

圖3-8 例題三的重要性指標 (改變學習速率下) ...41

圖3-9 三個數值例題的誤判率之比較 (改變學習速率下) ...42

圖3-10 Y = X₁⋅X₂函數的等高線圖...43

圖3-11

W

_1p /

W

_2p的泡泡圖...43

圖3-12

W

_2p/

W

_1p的泡泡圖...44

圖3-13 森林地表覆蓋類型實例的重要性指標(改變學習速率下) ...45

圖3-14 以五個輸入變數所建立的MEPNN分類模型的測試範例誤判率直方圖 .45 圖4-1 光譜反射值 ...54

圖4-2 BPN的判定係數(迴歸例題)...59

圖4-3 MEPNN的判定係數(迴歸例題) ...59

圖4-4 BPN的誤判率(分類例題)...60

圖4-5 MEPNN的誤判率(分類例題) ...60

圖4-6 BPN的誤判率(應用實例)...60

圖4-7 MEPNN的誤判率(應用實例) ...61

圖4-8 例題一的重要性指標(簡化法) ...62

圖4-9 例題一的重要性指標(精密法) ...62

圖4-10 例題二的重要性指標(簡化法) ...63

圖4-11 例題二的重要性指標(精密法)...63

圖4-12 例題三的重要性指標(簡化法) ...64

圖4-13 例題三的重要性指標(精密法) ...64

圖4-14 例題四的重要性指標(簡化法) ...65

圖4-15 例題四的重要性指標(精密法) ...65

圖4-16 例題五的重要性指標(簡化法) ...66

圖4-17 例題五的重要性指標(精密法) ...66

圖4-18 例題六的重要性指標(簡化法) ...67

圖4-19 例題六的重要性指標(精密法) ...67

圖4-20 例題一之BPN的重要性指標(微分統計法)...68

圖4-21 例題一之BPN的重要性指標(微分統計法)...69

圖4-22 例題 2 之BPN的重要性指標(微分統計法)...69

圖4-23 例題 2 之BPN的重要性指標(微分統計法)...70

圖4-24 例題 3 之BPN的重要性指標(微分統計法)...70

圖4-25 例題 3 之BPN的重要性指標(微分統計法)...71

圖4-26 森林地表覆蓋之BPN的重要性指標圖 ...73

圖4-27 森林地表覆蓋之MEPNN的重要性指標圖 ...73

圖4-28 BPN與MEPNN之相關性比較 ...73

圖4-29 健身中心會員開發之BPN的重要性指標圖 ...74

圖4-30 健身中心會員開發之MEPNN的重要性指標圖 ...74

圖4-31 BPN與MEPNN之相關性比較 ...74

圖4-32 休旅車潛在顧客開發之BPN的重要性指標圖 ...75

圖4-33 休旅車潛在顧客開發之MEPNN的重要性指標圖 ...75

圖4-34 BPN與MEPNN之相關性比較 ...75

圖4-35 汽車保險潛在顧客開發之BPN的重要性指標圖 ...76

圖4-36 汽車保險潛在顧客開發之MEPNN的重要性指標圖 ...76

圖4-37 BPN與MEPNN之相關性比較 ...76

圖4-38 集集大地震引致山崩之BPN的重要性指標圖 ...77

圖4-39 集集大地震引致山崩之MEPNN的重要性指標圖 ...77

圖4-40 BPN與MEPNN之相關性比較 ...77

圖4-41 遙測影像分類之BPN的重要性指標圖 ...78

圖4-42 遙測影像分類之MEPNN的重要性指標圖 ...78

圖4-43 BPN與MEPNN之相關性比較 ...78

圖4-44 垃圾郵件分類之BPN的重要性指標圖 ...79

圖4-45 垃圾郵件分類之MEPNN的重要性指標圖 ...79

圖4-46 BPN與MEPNN之相關性比較 ...79

圖4-47 風險房貸顧客評估之BPN的重要性指標圖 ...80

圖4-48 風險房貸顧客評估之MEPNN的重要性指標圖 ...80

圖4-49 BPN與MEPNN之相關性比較 ...80

圖4-50 面板瑕疵判斷之BPN的重要性指標圖 ...81

圖4-51 面板瑕疵判斷之MEPNN的重要性指標圖 ...81

圖4-52 BPN與MEPNN之相關性比較 ...81

圖4-53 潛在貸款客戶發掘之BPN的重要性指標圖 ...82

圖4-54 潛在貸款客戶發掘之MEPNN的重要性指標圖 ...82

圖4-55 BPN與MEPNN 之相關性比較 ...82

表目錄

表2-1 森林地表覆蓋類型實例的輸入變數 ...23

表2-2 各覆蓋類型的資料數目 ...24

表2-3 去除不同網路參數各別結果 ...26

表2-4 BPN在不同學習速率及隱藏單元下的結果 ...27

表2-5 PNN在不同平滑參數下的結果 ...28

表2-6 SEPNN在不同學習速率及初始核寬倒數下的結果...28

表3-1 不同神經網路的交叉測試比較結果 ...47

表3-2 BPN在不同學習速率及隱藏單元下的結果 ...48

表3-3 PNN在不同平滑參數下的結果 ...48

表3-4 MEPNN在不同學習速率及核寬倒數下的結果 ...49

表4-1 十個實際分類例題 ...50

表4-2 健身中心會員開發之輸入變數 ...51

表4-3 休旅車潛在顧客開發之輸入變數 ...52

表4-4 篩選後的變數 ...53

表4-5 輸入變數表 ...54

表4-6 區域覆蓋物 ...54

表4-7 SPAMBASE的欄位說明 ...55

表4-8 風險房貸顧客評估變數表 ...56

表4-9 潛在貸款客戶發掘變數表 ...57

表4-10 BPN與MEPNN的預測能力之比較 ...58

表4-11 BPN與MEPNN這兩種方法的重要變數排序之比較 ...72

表4-12 BPN與MEPNN 之重要性指標的正相關性檢定 ...83

第一章 導論

1-1 研究動機

分類問題是指根據已知類別的樣本建構某種分類架構來判別未知類別的樣 本之類別。傳統上常用統計學上的方法作為分類的依據，例如邏輯迴歸、判別分 析。這些方法頗具成效，然而在面對許多複雜的問題時，像是對變數具有非線性、

及變數之間具有交互作用的問題時，效果常不理想。類神經網路是非常有效的非 線性模型建構工具，它使用大量簡單的相連人工神經元來模仿生物神經網路的能 力，能夠對於由外界所輸入的資訊進行學習、回想等一系列動作，因此常被用來 處理分類問題[18]。

機 率 神 經 網 路(Probabilistic Neural Networks, PNN)(Specht 1988, 1990, Burrascano 1991, Patra, et al. 2002)是一種常見的類神經網路模式，其理論基礎是 貝氏分類(Bayes classifier)和機率密度函數。假設一分類問題具有 k 個類別：

C

k

C

C

₁, ₂,..., (1-1)

此一分類問題的分類規則是由m 維的特徵向量 )

,..., ,

(

X

₁

X

₂

X

_m

X

= (1-2)

所決定，即在此m 維樣本空間中，各分類的機率密度函數為特徵向量的函數：

) ( ),..., ( ), ( ₂

1

X f X f X

f

_k (1-3)

而貝氏分類器的決策公式：

) ( )

(

X h c f X f

c

h

_{i i i} > _{j j j} 對所有的

j

≠ (1-4)

i

其中

f 為第 k 類的機率密度函數；

_k

c 則代表應為第 k 類，但被誤判的成本；

_k

h 是

_k 第k 類的事前機率（prior probability）。

上述機率密度函數一般採用常態機率密度函數(Parzen 1962)：

∑

=

−

− −

= ^na

p

ap ap

m a m a

X X X X X n

f

1 2

'

2 )

2

) (

) exp( (

1 ) ( ) 2 ( ) 1

(

σ

σ π

(1-5)

其中

f

_a(X)=當分類 A 在 X 點位置的機率密度函數值； p =訓練向量的編號；m= 輸入變數的數目；σ =平滑參數；

n =在 A 分類中的訓練向量個數； X =測試分

_a

類向量；

X

_ap在分類A 中第 p 個訓練資料。

因為

= 1 ) ( ) 2 (

1

2 m a

m

n

σ π

常數=h (1-6)

2 1

'( ) ( )

)

( ^m _{i i}^ap

i ap

ap

X X x x

X

X

− − =

∑

−

=

(1-7)

故機率密度函數可簡化為

∑

=

= ^na

p ap

a

X h f

f

1

)

( (1-8)

2 ) ) (

exp( ¹ ₂

2

σ

∑

=

−

−

=

m

i

ap i i ap

x x

f (1-9)

其中

x

_i =樣本的第 i 個輸入變數的值；

x

_i^ap =樣本庫的A 分類的第 p 個樣本的第 i 個輸入變數的值。

雖然機率神經網路可以處理分類問題，但無法處理函數映射問題，因此有學 者(Specht 1991)以加權平均法將網路的輸出改為

∑

∑

=

=

⋅

= _n

p p n

p

p p

f t f y

1

1 (1-10)

其中

t

_p =樣本庫第 p 個樣本的輸出變數已知值；

f

_p =樣本庫第 p 個樣本權值；

n=樣本庫的樣本數目。

機率神經網路只有一個平滑參數需要決定，平滑參數相當於機率密度函數的 寬度。藉由調整平滑參數的大小可以改變常態分配的散佈程度，來建構最佳的分 類模型。由於它只有一個平滑參數需要決定，不需迭代過程，因此具有快速學習 的能力，並且具有一定水準的準確度。但它有二項缺點：(1)在資料量不是很大 的情況下，準確度比較差；(2)所建模型缺乏評估輸入變數重要性及解釋能力。

本 文 旨 在 提 出 橢 圓 空 間 機 率 神 經 網 路(Ellipse-Space Probabilistic Neural Networks, EPNN)，以改善機率神經網路的前述兩項缺點。它包含三種參數：代 表變數重要性的變數權值、代表樣本有效範圍的核寬倒數、及代表樣本可靠程度 的資料權值。其中，核寬倒數相當於傳統機率神經網路的平滑參數的倒數，即機 率密度函數的寬度之倒數，而核寬越大(核寬倒數越小)，代表樣本有效範圍越 大；資料權值相當於機率密度函數的高度，高度愈大，代表樣本的可信度越大；

變數權值控制機率密度函數的形狀，使得機率密度函數的等高線不再受限為圓 形，而可以是橢圓形，而變數權值越大的變數，代表其重要性越大，該方向的橢 圓形半徑越小。EPNN 可藉由學習過程自適應調整這三種參數的值，以改善機率 神經網路的缺點。

1-2 文獻回顧

機率神經網路（Probabilistic Neural Network）是由 D. F. Specht (1988) [8]提 出，是一個四層神經元結構的網路模型，屬於前向式的神經網路架構的一種，機 率神經網路主要的理論基礎建立在於貝氏決策上。

運用機率神經網路的四層網路架構在於任意維度輸出的分類應用問題上，可 以快速且有效地解決，在於輸入向量大小上的問題，由於網路結構上的優點，並 沒有限定一定是連續值或必須是二進位值，對於面對不同型式的問題上多了許多 的方便性。而且機率神經網路在面臨因為系統外界環境因素改變，而需要加入新 的分類資料時，僅需對新進之資料定義新分類資料的權值而無需像其他類型的網 路架構改變全部的網路權值。

由於這一種網路學習速度十分的快速（嚴格來說學習所需的時間為零，因為 其網路連結權值採一次設定，只是直接從訓練範例中載入所需數據，無迭代過 程），對於錯誤的資訊具有相當的容忍性，面臨稀疏的樣本空間時也可根據問題 直接調整參數，因此頗受重視。

1-2-1 貝氏分類器(Bayes Classifier)

機率神經網路的主要架構建立在以貝氏分類法則(Bayes’ Methed)為基礎的 分類器上[3]。

假設一分類問題具有k 個類別：

C

k

C

C

₁, ₂,..., (1-11)

此一分類問題的分類規則是由m 維的特徵向量 )

,..., ,

(

X

₁

X

₂

X

_m

X

= (1-12)

所決定，即在此m 維樣本空間中，各分類的機率密度函數為特徵向量的函數：

) ( ),..., ( ), ( ₂

1

X f X f X

f

_k (1-13)

而貝氏分類器的決策公式：

) ( )

(

X h c f X f

c

h

_{i i i} > _{j j j} 對所有的

j

≠ (1-14)

i

其中

f 為第 k 類的機率密度函數；

_k

c 則代表應為第 k 類，但被誤判的成本；

_k

h 是

_k 第k 類的事前機率（prior probability）。

在理論上利用上面貝氏決策公式可解決分類的問題，但是實際應用中會有一 個問題。因為在於一般情況下，我們並無法事先了解要訓練的資料真實的機率密 度函數，但是為了要利用貝氏分類器解決問題，所以在使用貝氏分類器時，對於 每一個類別的訓練資料，必須假設一個機率密度函數，在一般的情況下，為了使 用上的方便假設該機率密度函數具有固定的形式，例如常態分佈。如此一來，便 能夠利用已知的訓練資料來估計出機率密度函數的參數，方便在應用貝氏分類器 上。

1-2-2 Parzen 視窗法

因為貝氏分類器對於每個類別需要建立個別的機率密度函數，在實務應用 上，通常很難事先決定機率密度函數，而且在一般的情況中，訓練資料多少都會 存在有資料太少或是資料不足以建立完整的機率密度函數的現象，尚且有可能出 現有部分資料不正確的問題，所以決定機率密度函數並不是十分容易的事情。

針對貝氏分類器的缺點，Parzen (1962) [6]年提出 Parzen 視窗法可以解決貝 氏分類器的問題。圖1-1 表示著如何利用 Parzen 法則來使用一個特徵估測一個類 別，圖中的橫軸標示特徵值的座標，對於在訓練資料中的每一筆樣本建立一個以 樣本的特徵值為中心的高斯曲線，最後把所有建立的曲線疊加成一個屬於該類別 的機率密度函數。

圖1-1 三個不同的高斯函數與其疊加(Parzen 1962)[6]

Parzen 的方法中表示隨著樣本數目的增加，根據樣本建立的曲線會愈接近真 實的機率密度函數，可是這個理論存在一個缺點，由於這一項理論並無法精確的 預估出真正需要多少個樣本數目，才能建立滿足要求的機率密度函數精確度，所 以為了要建立一個好的分類器，最好可以隨時更新最佳的樣本參數。

實際問題中，訓練資料的向量空間通常都是大於一維。對於一個二維的特徵 向量空間，二維的高斯函數可以表示成圖1-2，將每一點的數值加總起來，便可 以成為一個利用訓練資料估測出來的機率密度函數。同理，我們可將維度擴展到 N 維，如此一來這一個方法便可用到任意維度的特徵向量問題上。

圖1-2 三個不同的二維高斯函數，當σ =0.5(Parzen 1962)[6]

而將整個N 維的機率密度函數利用數學形式表示則：

∑

=

−

− −

= ^na

p

ap ap

m a m a

X X X X X n

f

1 2

'

2 )

2

) (

) exp( (

1 ) ( ) 2 ( ) 1

(

σ

σ π

(1-15)

其中

f

_a(X)=當分類 A 在 X 點位置的機率密度函數值； p =訓練向量的編號；m= 輸入變數的數目；σ =平滑參數；

n =在 A 分類中的訓練向量個數； X =測試分

_a 類向量；

X

_ap在分類A 中第 p 個訓練資料； t 代表向量轉置。

1-2-3 機率神經網路

機率神經網路的設計將貝氏分類器的觀念引進到類神經網路的模型中，讓這 一個新的神經網路模型不僅具有貝氏分類器的許多優點，並且改進貝氏分類器的 機率密度函數不易建立的缺點。這是因為機率神經網路針對機率密度函數作了三 個假設：

(1) 各分類的機率密度函數型態相同。

(2) 此共同的機率密度函數為高斯分佈，即常態分佈。

(3) 各分類的高斯分佈機率密度函數的變異矩陣為對角矩陣，且各對角元素的值 相同，值為

σ

²。圖1-3 是一個機率神經網路的架構。

因為有了以上三個簡單的限制，而使得機率神經網路在應用上減少了貝氏分類器 建構上的問題，增加了許多的便利性。

特徵單元的作用是為了得到輸入向量與各別權重向量W 的乘積

z

_i =

X

⋅

w

_i 然後對

z 作非線性的轉換，但不同於其他倒傳遞型類神經網路架構中常用的

_i sigmoid 轉換函數，在機率神經網路架構中是採用exp[(

z

_i −1)/

σ

²]函數。

若 X 和

w 都已正規化到單位長度則函數可以簡化為

_i

( ) ( )

[

^{/2 2}

]

exp− w_i −X ^t w_i −X

σ

(1-16)

總和單元把各個從特徵單元得到的值加總起來；輸出單元為二輸入的神經 元，目的在作結果的輸出決策圖中的

C 是為了調整訓練資料中各分類的原始訓

_i 練個數不均的問題。

( a )

輸入單元 特徵單元

總和單元

輸出單元 X1

X2

X3

X4

( c )

+ 1

-1 C

Σ

X1

X p

( b )

X2

X3 1)

exp(

)

( ₂

σ

= ⁱ−

i

Z Z g

i

i X W

Z = ⋅ 1

-1 1

圖1-3 機率神經網路 (a)系統架構；(b)特徵單元(Pattern Unit)；(c)輸出單元(Specht 1990)[9]

1-2-4 通用迴歸神經網路(A general regression neural network)

D.F. Specht (1991) [10]提出一般通用迴歸神經網路模式(A general regression neural network), 是由機率神經網路模式利用條件期望式(conditional expectation)

產生的迴歸曲線，稱做Y 對x的迴歸曲線(regression)的觀念，推導出的類神經網 路模式，推導公式如下：

[ ]

∫

∫

∞

∞

−

∞

∞

= −

=

dy y x f

dy y x yf x

X Y E

) , (

) , (

(1-17)

=

X

輸入向量，獨立變數(independent variable)

=

Y

輸出向量，相依變數(dependent variable)

Specht 利用無母數的方式來估計

f

( y

x

, )，亦即採用Parzen 所提出的一致性 估計式，使機率密度函數滿足連續可微的性質，藉由樣本資料來估計

f

( y

x

, )， 表達如下：

⎥⎦

⎢ ⎤

⎣

⎡ −

−

⎥⋅

⎦

⎢ ⎤

⎣

⎡ − −

−

⋅

=

∑

+ = +

∧

2 2 1 2

) 1 ( 2 / ) 1

( 2

) exp (

2

) (

) exp (

1 )

2 ( ) 1 ,

(

π σ σ

ⁱ

σ

ⁱ

T i n

i p p

Y Y X

X X X Y n

X

f

(1-18)

=

X

待分類觀測值之特徵向量；

X

_i =已知樣本之輸入向量；

Y

_i =已知樣本之輸 出向量；n=已知樣本之資料總數；

p

=輸入向量X 的維度；σ 平滑參數。 =

結合上面二式並且交換加總和積分的順序，即衍生出我們所要的公式

Y

(X)

∧

如下：

∑ ∫

∑ ∫

=

∞

∞

−

∞

∞

= −

∧

⎥⎦

⎢ ⎤

⎣

⎡ −

⎥ −

⎦

⎢ ⎤

⎣

⎡ − −

−

⎥⎦

⎢ ⎤

⎣

⎡ −

⎥ −

⎦

⎢ ⎤

⎣

⎡ − −

−

= n i

i i

T i

i i

T i n

i

Y dy y X

X X X

Y dy y y

X X X X X

Y

1 2

2 2

2 2 1 2

2 ) exp (

2

) (

) exp (

2 ) exp (

2

) (

) exp (

) (

σ σ

σ

σ

(1-19)

經簡化後結果如下：

∑

∑

=

∧ =

⎟⎟⎠

⎜⎜ ⎞

⎝

⎛

⎟⎟⎠

⎜⎜ ⎞

⎝

⎛−

= n i

i n

i

i i

D Y D

X Y

1 2

2

1 2

2

exp 2 exp 2 )

(

σ

σ

(1-20)

定義純量函數：

D

_i =(

X

−

X

_i)^T(

X

−

X

_i) (1-21) )

(X

Y

∧ 即為簡化過後的一般通用迴歸神經網路模式，此模式仍然建立在機率神經

網路的假設和利用平滑參數的修改來找到最佳的分割線。

1-2-5 學習向量量化神經網路(Learning vector quantization neural network)

Pietro Burrascano (1991) [2]提出學習向量量化機率神經網路(Learning vector quantization for the probabilistic neural network)，此網路的基本原理相當簡單，由 於一群具有M 維輸入向量的訓練範例可視為一個 M 維空間的一群樣本點，而且 每一個分類的樣本點可能散佈成數群，各有各的重心。學習向量量化網路便藉著 樣本點來估計各分類各群的重心座標，用來取代機率神經網路隱藏層的節點數 目，減少了機率神經網路隱藏層的節點數目，此時再結合機率神經路的模式，以 高斯分配估計樣本所屬分類的相對機率，以公式表示如下：

k N

j

kj

k

N

d

X f

k

⎥⎥

⎦

⎤

⎢⎢

⎣

⎡

⎟⎟

⎠

⎞

⎜⎜

⎝

⎛

⎟⎟⎠

⎜⎜ ⎞

⎝

− ⎛

=

∑

=1

2

2 exp 1 )

(

σ

(1-22) 其中

f

_k(X)為 X 樣本屬於k類的相對機率；

N

_k =每類配屬的隱藏單元數目；

kj =

d

樣本與第k類的第 j 個隱藏單元間的距離；

σ

=平滑參數。

此模式可以減少資料處理量，但仍然建立在機率神經網路的假設和利用 平滑參數的改變來找到最佳的分割線。

1-2-6 修正機率神經網路(Modified Probabilistic Neural Network)

機率神經網路可以有效地處理分類的問題，但面臨函數逼近的問題時，由於 先天架構上的限制而無法有效地解決。Zaknick (1995) [15]提出了改良式機率神 經網路架構(Modified Probabilistic Neural Network, MPNN)，以便將機率神經網路 應用在函數逼近問題。

基本上，改良式機率神經網路和機率神經網路在神經網路的基本架構是相同 的，兩者主要的差異在於輸出的方式的不同，機率神經網路的輸出方式是採取「勝 者全拿」的競爭式的輸出方式，最終的輸出結果必然是所有學習輸出類別中的一 種，因此，機率神經網路模型比較適合於處理分類的問題上，但是為求改進機率 神經網路無法解決函數逼近問題的缺點，而改良式機率神經網路的輸出方式則不 同於機率神經網路競爭化的輸出方式，改良式機率神經網路架構為了解決傳統式

機率神經網路網路架構在處理函數逼近問題上的限制，改良式機率神經網路利用

「重心法」則取代了原本機率神經網路「勝者全拿」的輸出法則。

採用了此種方法，使得改良式機率神經網路能夠有效地應用在函數逼近的問 題上，而且改良式機率神經網路的主要網路結構與機率神經網路完全相同，因此 改良式機率神經網路保有了原本機率神經網路所具有的優點，不管是快速地學習 過程，還是可以進行增長式的學習而不會改變已完成的網路架構。

1-3 研究內容

PNN 有二項缺點：(1)在資料量不是很大的情況下，準確度比較差；(2)所建 模型缺乏評估輸入變數重要性及解釋能力。本文旨在提出橢圓空間機率神經網路 (Ellipse-Space Probabilistic Neural Networks, EPNN)，以改善機率神經網路的這兩 項缺點。在EPNN 中加入了變數權值(W)、核寬倒數(V)及資料權值(H)等三種參 數，這些參數可藉由學習過程自適應調整其值，使分類模型更為精準，並具有部 份解釋能力。

本研究提出的橢圓空間機率神經網路有兩個版本：

z 單橢圓空間機率神經網路(Single-Ellipse-Space Probabilistic Neural Networks, SEPNN)：所有樣本的輸入變數使用相同的變數權值。

z 多橢圓空間機率神經網路(Multi-Ellipse-Space Probabilistic Neural Networks, MEPNN)：所有樣本的輸入變數使用不同的變數權值。

SEPNN 的優點是計算較快，所需記憶空間較小，但缺點是不能依樣本所在空間，

給予不同的變數權重；MEPNN 的優缺點則與 SEPNN 相反。

本文第二章將推導SEPNN 的網路學習規則，並用三個人為的迴歸問題以及 一個實際的分類問題來驗證此網路。最後分析變數權值(W)、核寬倒數(V)及資料 權值(H)等三種變數何者的影響較大，使得 SEPNN 優於 PNN。第三章將推導 MEPNN 的網路學習規則，並用三個人為的分類問題以及一個實際的分類問題來 驗證此網路。最後以三個人為的迴歸問題、三個人為的分類問題以及七個實際的 分類問題來比較SEPNN、MEPNN、PNN、BPN，以證明用多個變數權值是有意 義的。第四章將比較BPN、PNN、EPNN 的預測能力與解釋能力。第五章對整體 的研究與測試結果做一總結。

第二章 單橢圓空間機率神經網路

2-1 前言

此章旨在提出單橢圓空間機率神經網路(Single-Ellipse-Space Probabilistic Neural Networks, SEPNN)，它包含三種參數：代表樣本有效範圍的核寬倒數、代 表樣本可靠程度的資料權值、及代表變數重要性的變數權值。其中，核寬倒數相 當於傳統機率神經網路的平滑參數的倒數，即機率密度函數的寬度之倒數，而核 寬越大(核寬倒數越小)，代表樣本有效範圍越大；資料權值相當於機率密度函數 的高度，高度愈大，代表樣本的可信度越大；變數權值控制機率密度函數的形狀，

使得機率密度函數的等高線不再受限為圓形，而可以是橢圓形，而變數權值越大 的變數，代表其重要性越大，該方向的橢圓形半徑越小。

本章第2 節將推導其網路學習規則。第 3、4 節分別以三個人為的函數映射 問題及一個實際的分類問題來驗證此網路，並與倒傳遞網路及機率神經網路做比 較。第5 節將討論「變數權值」、「核寬倒數」、「資料權值」等網路參數，何 者使SEPNN 優於 BPN。第 6 節為結論。

2-2 理論推導

本研究將機率神經網路作如下修正：

2 )

) (

exp( ¹ ₂

2 2

2

p m

i

p i i i p

p

x x W h

f

σ

∑

=

−

−

= (2-1)

其中

i =

x

未知樣本的第 i 個輸入變數的值。

=

p

x

i 樣本庫第p 個樣本的第 i 個輸入變數的值。

i =

W

第 i 個輸入變數權值，它控制機率密度函數的形狀，使得機率密度函數的等 高線不再受限為圓形，而可以是橢圓形，而變數權值越大的變數，代表其 重要性越大，該方向的橢圓形半徑越小。

p =

h

樣本庫第p 個樣本的資料權值，它相當於機率密度函數的高度，高度愈大，

代表樣本的可信度越大。

p =

σ

樣本庫第p 個樣本的平滑參數，它相當於機率密度函數的寬度，寬度愈大，

代表樣本的有效範圍越大。

為了避免在自適應調整過成中平滑參數可能逼近0，造成上式出現分母為 0 的問題，故採用核寬倒數代替平滑參數：

令

p

V

p

σ

2

= 1 (2-2)

其中

V

_p =樣本庫第p 個樣本的核寬倒數，它相當於機率密度函數的寬度之倒數，

其值愈大，代表樣本的有效範圍越小。

故

) ) (

exp(

1

2 2

2

2

∑

=

−

−

= ^m

i

p i i i p p

p

h V W x x

f

(2-3)

令

∑

=

−

≡ ^m

i

p i i i p

p

V W x x

D

1

2 2

2 ( ) (2-4)

則

)

2exp(

p p

p h D

f = − (2-5)

為了導出自適應調整上述參數的公式，令誤差函數 )2

2( 1

t y

E

= − (2-6) 其中

t

=訓練範例的因變數的已知值；

y

=訓練範例的因變數的推論值：

∑

∑

=

=

⋅

= _n

p p n

p

p p

f t f y

1

1 (2-7)

自適應調整參數的目標在於最小化誤差函數，故可依最陡坡降法推導各參數

的修正量如下：

z 變數權值

i

i

W

W E

∂

− ∂

=

Δ

η

(2-8)

其中

η

=學習速率。

由偏微分的連鎖律得

∑

_∂^∂ _∂^∂ _∂^∂

∂

= ∂

∂

∂

∂

= ∂

∂

∂

p k

p p p p k

k

W

D D

f f

y y E W

y y E W

E

(2-9)

由(2-6)式微分得 ) (

t y y

E

=− −

∂

∂ (2-10)

由(2-7)式微分得

∑

∑ ∑ ∑ ∑ ∑ ∑

∑ ∑

∑

= −

= −

−

= ⋅

⋅

−

= ⋅

∂

∂

p p p

p p

p p

p

p p p

p p

p p p

p p

f y t f

f t

f t

f

t f t

f f

t f t

f f

y

) / (

) (

) (

) ( )

(

1 ) (

) (

2 2

(2-11)

由(2-5)式微分得 )

2exp(

p p

p

p

h D

D

f

=− −

∂

∂ (2-12)

由(2-4)式微分得

) ) (

2

( ²

2 p

i i i p i

p

V W x x

W

D

= −

∂

∂ (2-13)

將(2-10)(2-11)(2-12)(2-13)式帶入(2-9)，再帶入(2-8)式得

∑ ∑

^{− − − ⋅ −}

−

−

−

∂ =

− ∂

= Δ

p

p i i i p p p

p p i

i

h D V W x x

f y y t

W t

W η E η

( ( )) ( ²exp( )) ²(2 ( )²) (2-14)

令

δ

_P為第p 個預測輸出值與實際輸出值的誤差量 )

exp(

) )(

( _{p p p}

p ≡ t− y t −y h −D

δ (2-15)

將(2-14)式簡化為

∑ ∑

^{⋅ −}

−

= Δ

p

p i i i p p p p

i h V W x x

W 1f ² ( )²

2

η δ

(2-16)

z 資料權值

p

p h

h E

∂

− ∂

=

Δ

η

(2-17)

由偏微分的連鎖律得

p p p

p

h

f f

y y E h

E

∂

∂

∂

∂

∂

= ∂

∂

∂ (2-18)

由(2-5)式微分得 ) exp(

2 _{p p}

p

p

h D

h

f

= ⋅ −

∂

∂ (2-19)

將(2-10)(2-11)(2-19)式帶入(2-18)，再帶入(2-17)式得 ) exp(

2 ))

(

( _{p p}

p p p

p

h D

f y y t

h t

h E

− −

−

−

−

∂ =

− ∂

=

Δ

^{η η} ∑

(2-20)

由(2-15)可將上式簡化為

p p

p f

h

η δ

=

∑

Δ 1

2 (2-21)

z 核寬倒數

p

p V

V E

∂

− ∂

=

Δ η (2-22)

由偏微分的連鎖律得

p p p p p

p

V

D D

f f

y y E V

E

∂

∂

∂

∂

∂

∂

∂

= ∂

∂

∂ (2-23)

由(2-4)式微分得

2( )2

2

∑

⁻

∂ =

∂ _p

i i i p p

p

V W x x

V

D

(2-24)

將(2-10)(2-11)(2-12)(2-24)式帶入(2-23)，再帶入(2-22)式得

2 2

2exp( )) 2 ( )

( ))

(

(

∑

^{− − ⋅}

∑

⁻

− −

−

−

∂ =

− ∂

=

Δ _{p p p i i i}^p

p p p

p

h D V W x x

f y y t

V t

V η E η

(2-25)

由(2-15)可將上式簡化為

2( )2

2

∑

1 ^⋅

∑

⁻

−

=

Δ _{p p p i i i}^p

p

p h V W x x

V η f δ (2-26)

上述演算法可以使機率密度函數的核之形狀、高度、以及半徑等三種參數在 學習過程中被優化，使模型的誤差函數最小化，改善機率神經網路的缺點。圖 2-1 為單輸出的單橢圓空間機率神經網路架構。

由於上述網路架構只能有一個輸出值，如果要能處理多分類問題，可採用圖 2-2 的多輸出單橢圓空間機率神經網路架構。其網路學習規則推導過程與前述過 程相似，在此不再贅述。其最後結果只有二個公式有差異：

∑

∑

=

=

⋅

= _n

p p n

p

pq p

q

f t f y

1

1 (2-27)

其中

y

_q =樣本的第 q 個因變數推論值；

t

_pq =樣本庫第 p 個樣本的第 q 個因變數 已知值。

∑

=

−

−

−

= ^M

q

p p

q pq q q

p t y t y h D

1

) exp(

) )(

δ ( (2-28) 其中

t

_q =樣本的第 q 個因變數已知值；M=因變數的數目。

圖2-1 單橢圓空間機率神經網路架構 (單輸出單元)

圖2-2 單橢圓空間機率神經網路架構 (多輸出單元)

2-3 數值例題

2-3-1 SEPNN 的準確性評估

本研究設計了三個不同類型的函數來測試與探討SEPNN 的性能與特性。這 三種例題分別有十個輸入變數(自變數)X₁~

X ，及一個輸出變數(因變數)Y，每

₁₀

一個例題的輸入變數皆在 0~1 的範圍內隨機取點，產生 1000 個訓練範例與 100 個測試範例。這三組資料將用來比較倒傳遞網路(BPN)、機率神經網路(PNN)與 單橢圓空間機率神經網路(SEPNN)的準確度。為得到最佳結果，在此採用不同的 網路架構、學習參數，以建立最適模型：

z BPN：嘗試不同的隱藏層單元數目(4, 8, 16, 32)與學習速率(0.1, 0.3, 1.0, 3.0)。

z PNN：嘗試不同的平滑參數(0.01, 0.02, 0.05, 0.1, 0.2, 0.5, 1.0, 2.0, 5.0, 10.0)。

z SEPNN：嘗試不同的學習速率(0.1, 0.3, 1.0, 3.0)與初始核寬倒數(0.1, 0.3, 1.0, 3.0)。

例題一：線性與二次函數 假設有如下函數

] ) 5 . 0 (

8 ) 5 . 0 ( 4 ) 5 . 0 ( 2

) 5 . 0 ( 1 ) 5 . 0 ( 0 [ 4 8 4 2 1 0

2 10

2 9

2 8

2 7

2 6

5 4 3 2 1

− +

−

−

− +

−

−

− +

− +

− +

=

X X

X

X X

X X X X X

Y (2-29)

在上式中，可明顯看出X₁~

X 和因變數的關係為線性且變數重要性逐漸上

₅ 升，

X ~

₆

X 和因變數的關係為二次且變數重要性逐漸上升。結果顯示，在不同

₁₀ 的網路架構、學習參數下，BPN、PNN、SEPNN 所建立的最適模型的測試範例 判定係數分別為0.9989、0.7424、0.9707，顯示 SEPNN 的準確度只略低於 BPN，

而遠優於PNN。

例題二：交互與二次函數 假設有如下函數

2 5

10 4

8

1 0.5)( 0.5) 1.5( 0.5)( 0.5) ( 0.5) (

5 .

1 − − + − − + −

=

X X X X X

Y

(2-30)

在此函數中，

X、

₁

X

₈與

X 、

₄

X

₁₀為二組交互作用變數，

X 為曲率作用變數，

₅ 其餘

X

₂、

X

₃、

X

、₆

X

₇、

X

₉為無關變數。結果顯示，在不同的網路架構、學習參數 下，BPN、PNN、SEPNN 所建立的最適模型的測試範例判定係數分別為 0.9953、

0.8551、0.9786，顯示 SEPNN 的準確度只略低於 BPN，而遠優於 PNN。

例題三：混合函數 假設有如下函數

) 75 . 0 (

) 25 . 0 ( )

75 . 0 ( ) 25 . 0

( ₁ − ² − ₃ − ² + ₅ − ₇ + ₉ − ∗ ₁₀ −

=

X X X X X X

Y

(2-31)

上式函數中，

X 、

₅

X

₇為線性作用變數，

X、

₁

X

₃為曲率作用變數，

X 、

₉

X

₁₀為 一組交互作用變數，X、₂ X、₄

X 、

₆

X

₈為無關變數。結果顯示，在不同的網路架構、

學習參數下，BPN、PNN、SEPNN 所建立的最適模型的測試範例判定係數分別 為0.9993、0.9466、0.9917，顯示 SEPNN 的準確度只略低於 BPN，而遠優於 PNN。

將三個數值例題的判定係數，繪圖比較如圖2-3，可見 SEPNN 的誤差雖然 略高於BPN，但遠低於 PNN。

0.7 0.75 0.8 0.85 0.9 0.95 1

例題一 例題二 例題三

數值例題

判定系數

BPN PNN SEPNN

圖2-3 三個數值例題的判定係數之比較

2-3-2 變數權值之作用

由於BPN 與 PNN 都不能呈現輸入變數的重要性，因此其模型屬黑箱模型。

而SEPNN 的「變數權值」可以呈現輸入變數的重要性，此一特性也是 SEPNN 優於BPN 與 PNN 的重要優點之一。在此以前節的三個例題來驗證此一特性是否 成立。

圖 2-4 顯示例題一的變數權值結果。因為變數權值越大，變數的重要性越高，

故圖2-4 的結果顯示X₁~

X 及

₅

X ~

₆

X 對因變數的重要性逐漸上升，這與前述例

₁₀ 題一的應有結果一致，證實了SEPNN 的變數權值確實可以衡量線性函數及二次 函數的輸入變數之重要程度。

0 1 2 3 4 5 6

X1 X2 X3 X4 X5 X6 X7 X8 X9 X10

輸入變數

變數權值

圖2-4 例題一 SEPNN 的變數權值

圖 2-5 顯示例題二的變數權值結果。由圖可知，

X

、₁

X

₄、

X

₅、

X

₈、

X

₁₀具有較 大的權值，代表它們是較重要的變數，而

X

₂、

X

₃、

X

、₆

X

₇、

X

₉具有較小的權值，

代表它們是較不重要的變數。此結論與前述例題二的應有結果一致，證實SEPNN 的變數權值確實可以衡量混合交互作用變數、曲率作用變數的函數之輸入變數的 重要程度。

0 1 2 3 4 5 6

X1 X2 X3 X4 X5 X6 X7 X8 X9 X10

輸入變數

變數權值

圖2-5 例題二 SEPNN 的變數權值

圖 2-6 顯示例題三的變數權值結果。由圖可知，

X

、₁

X

、₃

X

、₅

X

、₇

X

、₉

X 具

₁₀ 有較大的權值，代表它們是較重要的變數，而X、₂ X、₄

X 、

₆

X

₈具有較小的權值，

代表它們是較不重要的變數。此結論與前述例題三的應有結果一致，證實SEPNN 的變數權值確實可以衡量混合線性作用變數、交互作用變數、曲率作用變數等函

數的輸入變數之重要程度。

0 0.5 1 1.5 2

X1 X2 X3 X4 X5 X6 X7 X8 X9 X10

輸入變數

變數權值

圖2-6 例題三 SEPNN 的變數權值

為了確認變數權值的作用，將上述題目用固定變數權值為1.0 的演算法來建 模。結果顯示，在不同的網路架構、學習參數下，固定與調整變數權值的演算法 所建立的最適模型的測試範例判定係數如圖2-7 所示。可知固定變數權值的判定 係數遠比能調整者低，可見本演算法中的變數權值學習規則確實能夠適應問題特 性，提高模型的準確度。

0.7 0.75 0.8 0.85 0.9 0.95 1

例題一 例題二 例題三

數值例題

判定系數

BPN PNN

固定變數權值SEPNN 調整變數權值SEPNN

圖2-7 固定與調整變數權值的演算法的測試範例判定係數之比較

2-3-3 核寬倒數之作用

為了證明本演算法中的核寬倒數學習規則確實能夠達到修正核寬倒數來適

應問題特性，以提高模型的準確度的目的，在此將前述的「例題一」分別以100, 200,…, 1000 筆訓練範例來建構模型，得到的核寬倒數平均值如圖 2-8 所示。可 以看出，隨著問題特性不同(訓練範例數目增加)，核寬倒數平均值也隨之改變。

為了確認核寬倒數的作用，將上述題目用固定核寬倒數為圖2-8 中核寬倒數 的總平均值0.475 的演算法來建模。結果顯示，在不同的網路架構、學習參數下，

固定與調整核寬倒數的演算法所建立的最適模型的測試範例判定係數如圖2-9 所 示。可知固定核寬倒數的判定係數遠比能調整者低，可見本演算法中的核寬倒數 學習規則確實能夠適應問題特性，提高模型的準確度。

0.4 0.42 0.44 0.46 0.48 0.5 0.52 0.54 0.56

0 200 400 600 800 1000 1200

訓練範例數

核寬倒數平均值

圖2-8 不同訓練範例數目下的核寬倒數平均值

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

100 200 300 400 500 600 700 800 900 1000

訓練範例數目

BPN PNN

固定核寬倒數SEPNN 調整核寬倒數SEPNN

測試範例判定系數

圖2-9 固定調整核寬倒數 SEPNN 與 BPN 及 PNN 的測試範例判定係數比較

2-3-4 資料權值之作用

為了證明本演算法中的資料權值學習規則確實能夠達到修正資料權值，使資 料中的雜訊有較低的資料權值，以減低雜訊的不良影響，提高模型的準確度為目 的，在此將前述的「例題一」中的序號第150, 385, 550, 710 等四筆資料分別加入 因變數的標準差(4.0)五倍的雜訊+20,-20,+20,-20，然後再以 SEPNN 建模。結果 顯示，在不同的網路架構、學習參數下，BPN、PNN、SEPNN 所建立的最適模 型的測試範例判定係數分別為0.992、0.726、0.944，顯示 SEPNN 的準確度只略 低於BPN，而遠優於 PNN。其中 SEPNN 對 1000 筆訓練範例產生的資料權值如 圖2-10 所示，其中資料權值最低的五筆是序號第 385、558、550、710、150，除 了序號第558 以外的四筆正是當初被加入雜訊的訓練範例。可見本演算法中的資 料權值學習規則確實能夠使資料中的雜訊有較低的資料權值。

為了確認資料權值的作用，將上述題目用固定資料權值為1.0 的演算法來建 模。結果顯示，在不同的網路架構、學習參數下，固定資料權值的SEPNN 所建 立的最適模型的測試範例判定係數為0.883，遠比能調整者低，可見本演算法中 的資料權值學習規則確實能夠減低雜訊的不良影響，提高模型的準確度。

0 0.5 1 1.5 2 2.5 3

0 100 200 300 400 500 600 700 800 900 1000 訓練範例序號

資料權值

圖2-10 有雜訊下訓練範例的資料權值

No.150↑

No.550→

No.385→ ←No.558

←No.710

2-4 應用實例

為了證明 SEPNN 可以應用在實際分類應用上，本研究選擇常被用來做為分 類演算法測試基準的森林地表覆蓋類型(樹種)分類問題(Blackard 1998)來進行測 試，並與BPN 與 PNN 做比較。在此資料集中，森林被分割30×30公尺的格子，

其實際森林覆蓋類型是由美國森林服務署(USFS) Region 2 資源資訊系統(RIS)資 料決定。獨立變數是從美國地質調查署(USGS)與美國森林服務署(USFS)原始資 料導出。總共有54 個欄位資料，獨立變數包括 10 個定量連續變數，及 44 個定 性二元變數(4 個自然保護區和 40 種土壤類型)。其中 40 個用來表示土壤分類類 型的二元變數，因其數量龐大，但對分類的影響很小，本研究將其捨去，只取其 餘14 個變數，如表 2-1 所示。原始資料共有 58 萬(581012)筆資料，有七種覆蓋 類型(樹種)。由於各覆蓋類型的資料數目差距極大，本研究採用分層取樣法使各 類的資料數目接近，故實際上只用4000 筆，各覆蓋類型的資料數目如表 2-2。其 中3000 筆做為訓練範例，1000 筆做為測試範例。

表2-1 森林地表覆蓋類型實例的輸入變數

變數名稱 資料型態 單位

X1=高程 連續變數 公尺

X2=方位 連續變數 度

X3=坡度 連續變數 度

X4=對水體水平距離 連續變數 公尺 X5=對水體垂直距離 連續變數 公尺 X6=對道路水平距離 連續變數 公尺 X7=上午九點陰影 連續變數 0 to 255 X8=中午陰影 連續變數 0 to 255 X9=下午三點陰影 連續變數 0 to 255 X10=對火點距離 連續變數 公尺 X11= Rawah Wilderness 荒野區 二元變數 0/1 X12= Neota Wilderness 荒野區 二元變數 0/1 X13= Comanche Peak 荒野區 二元變數 0/1 X14= Cache la Poudre 荒野區 二元變數 0/1

表2-2 各覆蓋類型的資料數目

編號 覆蓋類型 原始數目 採用數目

1 雲杉木 (Spruce-Fir) 211840 580 2 海灘松樹 ( Lodgepole Pine) 283301 557 3 美國黃松木 (Ponderosa Pine) 35754 551 4 楊樹/柳樹 (Cottonwood/Willow) 2747 560

5 白楊樹 (Aspen) 9493 607

6 花旗松 (Douglas-fir) 17367 556 7 矮盤灌叢 (Krummholz) 20510 589

合計 581012 4000

在建模前各自變數均被正規化到平均值為0，標準差為 1.0。分類採 N-code 編碼，例如第一類被編為{1,0,0,0,0,0,0}，第二類被編為{0,1,0,0,0,0,0}…等向量。

為得到最佳結果，在此同前節「例題一」一樣採用不同的網路架構、學習參數，

以建立最適模型。結果顯示，在不同的網路架構、學習參數下，BPN、PNN、SEPNN 所建立的最適模型的測試範例誤判率分別為0.194、0.241、0.156 (見圖 2-11)，顯 示SEPNN 的準確度明顯優於 BPN，並且遠優於 PNN。

0 0.05 0.1 0.15 0.2 0.25 0.3

BPN PNN SEPNN 分類方法

誤判率

圖2-11 森林地表覆蓋類型分類實例的誤判率之比較

圖2-12 顯示 SEPNN 的變數權值結果。由圖可知，前五個最重要的輸入變數 分別是高程(X₁)、對火點距離(

X )、對道路水平距離(

₁₀

X )、對水體垂直距離

₆