• 沒有找到結果。

碩 士 論 文 中 華 大 學

N/A
N/A
Protected

Academic year: 2022

Share "碩 士 論 文 中 華 大 學"

Copied!
102
0
0

加載中.... (立即查看全文)

全文

(1)

中 華 大 學 碩 士 論 文

題目:生態演替神經網路

Ecological Succession Neural Networks

系 所 別:資訊管理系

學號姓名:E09410015 林育仕 指導教授:葉怡成

中華民國 九十六 年 七 月

(2)

摘要

雖然倒傳遞網路可以建構準確的分類模型,但無法發掘隱藏在分類中的「次 分類」。為了改善倒傳遞網路不能產生次分類的缺點,在此模仿生物學的生態演 替 的 概 念 , 提 出 生 態 演 替 神 經 網 路 (Ecological Succession Neural Network, ESNN)。為證明此一 架構優於傳統的倒傳 遞類神經網路(Back- Propagation Network, BPN)。本文以三個人為的分類例題及十個真實的分類例題進行比較。

由實驗結果歸納出下列結論:(1) ESNN 的準確度與 BPN 相近。(2) ESNN 可以將 部份分類的「次分類」發掘出來。

關鍵字:倒傳遞神經網路、生態演替、分類、次分類。

(3)

Abstract

Although the back-propagation algorithm can build accurate classification models, it can not discover the sub-categories in the data set. To solve this problem, this study proposed a novel neural network model, Ecological Succession Neural Network (ESNN), which is inspired by the concept of ecological succession in

biology. To prove the performance of ESNN, three artificial classification problems as well as ten actual classification problem were employed to test it and compare it with back-propagation network (BPN). The results proved that the accuracy of ESNN is about the same as BPN, while it can discover the sub-categories in the data set.

Keywords: back-propagation network, ecological succession, classification,

sub-category.

(4)

目錄

第一章 前言 ...9

1-1 研究動機 ...9

1-2 研究方法 ...10

1-3 研究內容 ... 11

第二章 理論推導 ...12

2-1 神經網路的基本原理 ...12

2-2 生態演替 ...13

2-3 生態演替神經網路的演算法推導 ...14

第三章 數值例題 ...19

3-1 前言 ...19

3-2 例題一 : 二維四球分類例題...19

3-3 例題二 : 二維四塊分類例題...22

3-4 例題三 : 二維九塊分類例題...24

3-5 討論 ...28

第四章 應用實例 ...29

4-1 簡介 ...29

4-2 例題介紹 ...30

4-3 結果 ...39

4-4 結論 ...55

第五章 結論與建議 ...57

5-1 結論 ...57

5-2 建議 ...57

參考文獻... 59

附錄 A 生態演進神經網路...61

A-1 使用手冊 ...61

A-2 使用範例 ...65

A-3 流程圖 ...72

A-4 原始碼簡介(生態演進神經網路演算法)...77

A-5 原始碼列出 ...81

(5)

圖 目 錄

圖 1 - 1 二維四球分類問題 ...10

圖 1 - 2 分類函數曲面圖 ...10

圖 1 - 3 次分類函數曲面圖 ...10

圖 3 – 1 ESNN 二維四球例題之各輸出單元所屬範例其分類統計(訓練 範例) ...20

圖 3 – 2 ESNN 二維四球例題之各輸出單元所屬範例其分類統計(測試 範例) ...20

圖 3 - 3ESNN 二維四球例題之混亂矩陣(訓練範例) ...21

圖 3 - 4 ESNN 二維四球例題之混亂矩陣(測試範例) ...21

圖 3 - 5 ESNN 二維四球立體曲面圖...21

圖 3 - 6 BPN 二維四球例題之混亂矩陣(測試範例)...22

圖 3 - 7 二維四塊分類問題 ...22

圖 3 - 8 ESNN 二維四塊例題之各輸出單元所屬範例其分類統計(訓練範 例) ...23

圖 3 - 9 ESNN 二維四塊例題之各輸出單元所屬範例其分類統計(測試範 例) ...23

圖 3 - 10 ESNN 二維四塊例題之混亂矩陣(訓練範例) ...23

圖 3 - 11 ESNN 二維四塊例題之混亂矩陣(測試範例) ...23

圖 3 - 12 ESNN 二維四塊立體曲面圖...24

圖 3 - 13 BPN 二維四塊例題之混亂矩陣(測試範例)...24

圖 3 - 14 二維九塊分類問題...25

圖 3 - 15 ESNN 二維九塊例題之各輸出單元所屬範例其分類統計(訓練 範例) ...26

圖 3 - 16 ESNN 二維九塊例題之各輸出單元所屬範例其分類統計(測試 範例) ...26

圖 3 - 17 ESNN 二維九塊例題之混亂矩陣(訓練範例) ...26

圖 3 - 18 ESNN 二維九塊例題之混亂矩陣(測試範例) ...26

圖 3 - 19 ESNN 二維九塊立體曲面圖...27

圖 3 - 20 BPN 二維九塊例題之混亂矩陣(測試範例)...27

圖 4 - 1 光譜反射值 ...35

圖 4 - 2 ESNN 應用實例之各輸出單元所屬範例其分類統計(訓練範例) ...39

圖 4 - 3 ESNN 應用實例之各輸出單元所屬範例其分類統計(測試範例) ...40

(6)

圖 4 - 5 ESNN 應用實例之混亂矩陣(測試範例) ...41

圖 4 - 6 BPN 應用實例之混亂矩陣(測試範例)...41

圖 4 - 7 ESNN 健身中心會員開發之各輸出單元所屬範例其分類統計(訓 練範例) ...42

圖 4 - 8 ESNN 健身中心會員開發之各輸出單元所屬範例其分類統計(測 試範例) ...42

圖 4 - 9 ESNN 健身中心會員開發之混亂矩陣(訓練範例) ...42

圖 4 - 10 ESNN 健身中心會員開發之混亂矩陣(測試範例) ...42

圖 4 - 11 BPN 健身中心會員開發之混亂矩陣(測試範例)...42

圖 4 - 12 ESNN 休旅車潛在顧客開發之各輸出單元所屬範例其分類統計 (訓練範例)...43

圖 4 - 13 ESNN 休旅車潛在顧客開發之各輸出單元所屬範例其分類統計 (測試範例)...43

圖 4 - 14 ESNN 休旅車潛在顧客開發之混亂矩陣(訓練範例) ...43

圖 4 - 15 ESNN 休旅車潛在顧客開發之混亂矩陣(測試範例) ...43

圖 4 - 16 BPN 休旅車潛在顧客開發之混亂矩陣(測試範例)...44

圖 4 - 17 ESNN 汽車保險潛顧客之各輸出單元所屬範例其分類統計(訓 練範例) ...44

圖 4 - 18 ESNN 汽車保險潛顧客之各輸出單元所屬範例其分類統計(測 試範例) ...44

圖 4 - 19 ESNN 汽車保險潛顧客之混亂矩陣(訓練範例) ...45

圖 4 - 20 ESNN 汽車保險潛顧客之混亂矩陣(測試範例) ...45

圖 4 - 21 BPN 汽車保險潛顧客之混亂矩陣(測試範例)...45

圖 4 - 22 ESNN 集集大地震引致山崩之各輸出單元所屬範例其分類統計 (訓練範例)...46

圖 4 - 23 ESNN 集集大地震引致山崩之各輸出單元所屬範例其分類統計 (測試範例)...46

圖 4 - 24 ESNN 集集大地震引致山崩之混亂矩陣(訓練範例) ...46

圖 4 - 25 ESNN 集集大地震引致山崩之混亂矩陣(測試範例) ...46

圖 4 - 26 BPN 集集大地震引致山崩之混亂矩陣(測試範例)...46

圖 4 - 27 ESNN 遙測影像分類之各輸出單元所屬範例其分類統計(訓練 範例) ...47

(7)

範例) ...50

圖 4 - 33 ESNN 垃圾郵件分類之各輸出單元所屬範例其分類統計(測試 範例) ...50

圖 4 - 34 ESNN 垃圾郵件分類之混亂矩陣(訓練範例) ...50

圖 4 - 35 ESNN 垃圾郵件分類之混亂矩陣(測試範例) ...50

圖 4 - 36 BPN 垃圾郵件分類之混亂矩陣(測試範例)...50

圖 4 - 37 ESNN 風險房貸顧客評估之各輸出單元所屬範例其分類統計 (訓練範例)...51

圖 4 - 38 ESNN 風險房貸顧客評估之各輸出單元所屬範例其分類統計 (測試範例)...51

圖 4 - 39 ESNN 風險房貸顧客評估之混亂矩陣(訓練範例) ...51

圖 4 - 40 ESNN 風險房貸顧客評估之混亂矩陣(測試範例) ...51

圖 4 - 41 BPN 風險房貸顧客評估之混亂矩陣(測試範例)...52

圖 4 - 42 ESNN 面板瑕疵判斷之各輸出單元所屬範例其分類統計(訓練 範例) ...52

圖 4 - 43 ESNN 面板瑕疵判斷之各輸出單元所屬範例其分類統計(測試 範例) ...52

圖 4 - 44 ESNN 面板瑕疵判斷之混亂矩陣(訓練範例) ...53

圖 4 - 45 ESNN 面板瑕疵判斷之混亂矩陣(測試範例) ...53

圖 4 - 46 BPN 面板瑕疵判斷之混亂矩陣(測試範例)...53

圖 4 - 47 ESNN 潛在貸款客戶發掘之各輸出單元所屬範例其分類統計 (訓練範例)...54

圖 4 - 48 ESNN 潛在貸款客戶發掘之各輸出單元所屬範例其分類統計 (測試範例)...54

圖 4 - 49 ESNN 潛在貸款客戶發掘之混亂矩陣(訓練範例) ...54

圖 4 - 50 ESNN 潛在貸款客戶發掘之混亂矩陣(測試範例) ...54

圖 4 - 51 BPN 潛在貸款客戶發掘之混亂矩陣(測試範例)...54

(8)

表目錄

表 3 - 1 BPN 與 ESNN 測試範例誤判率 ...28

表 3 - 2 BPN 與 ESNN 測試範例分類數目 ...28

表 4 - 1 十個實際分類例題 ...29

表 4 - 2 森林地表覆蓋類型實例的輸入變數 ...31

表 4 - 3 各覆蓋類型的資料數目 ...31

表 4 - 4 健身中心會員開發之輸入變數 ...32

表 4 - 5 休旅車潛在顧客開發之輸入變數 ...33

表 4 - 6 篩選後的變數 ...34

表 4 - 7 輸入變數表 ...35

表 4 - 8 區域覆蓋物 ...35

表 4 - 9 SPAMBASE 的欄位說明...36

表 4 - 10 風險房貸顧客評估變數表...37

表 4 - 11 潛在貸款客戶發掘變數表...38

表 4 - 12 BPN 與 ESNN 測試範例誤判率(依 BPN 誤判率遞增排序)...55

表 4 - 13 BPN 與 ESNN 測試範例分類數目 ...56

(9)

第一章 前言

1-1 研究動機

近年來神經網路(Artificial Neural Network, ANN)已被視為非常有效的分類 模型及非線性模型建構工具[1,2]。類神經網路使用大量簡單的相連人工神經元來 模仿生物神經網路的能力,能夠對於由外界所輸入的資訊進行儲存、學習、回想 等一系列動作,因此常被用來處理分類與迴歸這二類問題。其中以倒傳遞網路

(Back- Propagation Network, BPN)應用最普遍[1-7]。一個 BPN 包含許多層,

每一層包含若干個處理單元。輸入層處理單元用以輸入外在的環境訊息,輸出層 處理單元用以輸出訊息給外在環境。此外,另包含一重要之處理層,稱為隱藏層

(hidden layer),隱藏層提供神經網路各神經元交互作用,與問題的內在結構處 理能力。

倒傳遞類網路建構分類模型時,二分類問題可用一個輸出單元來表達。但是 當一個分類具有多個不同「次分類」時,倒傳遞類網路並無法區別出「次分類」。

例如圖 1-1 的二維四球分類問題,其中第一類的範例為四個完全封閉的圓形,屬 於第二類的範例則是分佈於四個圓形以外的地方。使用倒傳遞類網路建立此問題 的分類模型時,它必須產生一個如圖 1-2 複雜的分類函數。如果將第一類的範例 視為由四個次分類組成,而用四個輸出單元來表達使用倒傳遞類網路建立此問題 的分類模型時,它只要產生四個如圖 1-3 的較簡單的分類函數。顯然要倒傳遞類 網路調整網路權值來產生四個較簡單的分類函數要比產生一個複雜的分類函數 要容易多了。但問題是次分類的資訊是隱藏在範例之中,而非像「分類」是明示 在範例上。因此本研究嘗試利用生物學上的「生態演替」(Ecological

Succession)[8-10]觀念設計出新的演算法。

(10)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

y

x

圖 1 - 1 二維四球分類問題

圖 1 - 2 分類函數曲面圖 圖 1 - 3 次分類函數曲面圖

1-2 研究方法

生物群聚會隨著環境及時間的變遷而發生變化,由一類群聚的逐漸消失為另

(11)

演替神經網路(Ecological Succession Neural Network, ESNN)。在此網路中:

「輸出單元」類比為「生存空間」;

「樣本」類比為「生物個體」;

「分類」類比為「物種」;

因此它的網路輸出層單元不再代表特定的分類,其分類是在「演替」的過程 中,由「屬於」該單元的所有樣本之最多數分類決定,而「屬於」該單元是指樣 本的該輸出層單元「推論輸出值」是所有輸出單元中最大者。「推論輸出值」是 指由樣 的輸入變數與網路權值計算產生的輸出層單元輸出值。因此,如果一個 分類真得有「次分類」存在,它的樣本將會分別「屬於」一個以上的輸出層單元。

也由於經常「屬於」特定單元,因此這類樣本會在所有屬於該單元的各類樣本中 佔最多數,因而「佔據」該單元。故一個分類的「次分類」不會像 BPN 一樣被 迫擠在一個預設的輸出單元,而能分離開來,出現在多個輸出單元中。當然,如 果一個分類沒有「次分類」存在,它的樣本將只會「屬於」一個輸出單元。

為證明此一架構優於傳統的倒傳遞類神經網路,本文以三個人為的分類例題 及十個真實的分類例題進行比較。

1-3 研究內容

本文第二章將推導生態演替神經網路的理論及演算法,第三章則以三個人為 的分類例題進行比較,第四章則以十個實際的分類例題進行誤判率及分類數目的 實驗數據比較,第五章為本文結論及建議。

(12)

第二章 理論推導

2-1 神經網路的基本原理

在推導 ESNN 神經網路學習規則之前,先簡介 BPN 神經網路的基本原理如 下[7]:

1. 前向傳播 (回想階段)

應用訓練範例的輸入變數值計算隱藏層處理單元的輸出值:

) exp(

1 ) 1 (

k k

k

f net net

H

(2-1)

k i

i ik

k

W X

net

(2-2)

其中

H 為隱藏層第 k 個單元的輸出值;

k

net 為隱藏層第 k 個單元的淨值; f 為

k 轉換函數;

X 為第 i 個輸入單元的值;

i

W 為第 i 個輸入單元與第 k 個隱藏層單

ik 元間的連結強度; k為隱藏層的第 k 個單元的門限值。

應用隱藏層處理單元的輸出值計算輸出層處理單元的輸出值:

) exp(

1 ) 1 (

j j

j

f net net

Y

(2-3)

j k

k kj

j

W H

net

(2-4)

其中

Y 為輸出層第 j 個單元的輸出值;

j

net 為輸出層第 j 個輸出單元的淨值; f 為

j 轉換函數;

W 為第 k 個隱藏層單元與第 j 個輸出層單元間的連結強度;

kj j為輸 出層第 j 個單元的門限值。

2. 後向傳播 (學習階段)

比較網路所推得的「推論輸出值」與訓練範例原有的「目標輸出值」可得網

(13)

2

2 1

j

j

Y

T

E

(2-5)

其中

T 為訓練範例輸出層第 j 個輸出單元的目標輸出值;

j

Y 為訓練範例輸出層第

j

j 個輸出單元的推論輸出值。

神經網路學習的目的為修正網路上的加權值,使網路誤差函數達到最小值。

當每輸入一個訓練範例,網路即小幅調整連結加權值的大小。調整的幅度和誤差 函數對該加權值的敏感程度成正比,即與誤差函數對加權值的偏微分值大小成正 比:

W

W E

(2-6)

其中 稱為學習速率(learning rate),控制每次加權值修改的幅度。

2-2 生態演替

生態演替﹝ecological succession﹞ 是指生物群聚隨環境及時間的變遷而發 生變化,是自然界自發性的、回覆穩定森林的過程。演替就是在一個地段上,一 個群落依次被另一個群落給取代,演替可以屬於是一種長時間的動態,可有大有 小,大的是一個群落被另一類給取代,小的是一個種類的生物,敗壞或死去失去 地位,形成隙孔,在被其他生物種類給取代,例如耐陰性植物的取代[8-10]。

譬如不毛的沙漠、或被焚為寸草皆毀的林地、草原,此時禾本科植物常最先 移入,構先鋒性﹝或稱先驅性﹞植物群落,此時間稱為生態演替的「先鋒期」; 待惡劣的環境因為先驅植物的改善而漸有較高等的木本植物如灌木類移入及種 子喜歡陽光直曬的裸子植物如松、杉樹等,成為群聚結構的主體,此時為「過渡 期」;至於終極期的來臨是當地的植物群聚以種子可以在濃庇蔭天的林地下萌發 的闊葉硬木如樟樹、櫟樹、山毛櫸、橡樹等為主。這樣一地的群聚特性由「先鋒 期」到「過渡期」以至「終極期」,即是行「生態演替」的循序過程[8-10]。

生態系統的根本原因,在於森林群落內部矛盾的發展,也就是原本的的物 種,不適合現有的環境條件,被另一種的物種取代;或是一地的物種,被另一種 強勢物種給佔去了生存地位。

(14)

2-3 生態演替神經網路的演算法推導

為了改善 BPN 不能產生次分類的缺點,在此模仿生態演替的概念提出生態 演替神經網路(Ecological Succession Neural Network, ESNN)。在此網路中:

「輸出單元」類比為「生存空間」;

「樣本」類比為「生物個體」;

「分類」類比為「物種」;

因此它的網路輸出層單元不再代表特定的分類,其分類是在「演替」的過程中,

由「屬於」該單元的所有樣本之最多數分類決定,而「屬於」該單元是指樣本的 該輸出層單元「推論輸出值」是所有輸出單元中最大者。「推論輸出值」是指由 樣 的輸入變數與網路權值計算產生的輸出層單元輸出值。因此,如果一個分類 真得有「次分類」存在,它的樣本將會分別「屬於」一個以上的輸出層單元。也 由於經常「屬於」特定單元,因此這類樣本會在所有屬於該單元的各類樣本中佔 最多數,因而「佔據」該單元。故一個分類的「次分類」不會像 BPN 一樣被迫 擠在一個預設的輸出單元,而能分離開來,出現在多個輸出單元中。當然,如果 一個分類沒有「次分類」存在,它的樣本將只會「屬於」一個輸出單元。

ESNN 的基本原理是將 BPN 慣用的誤差函數(2-5)式修改為

2

*) 1 2( 1

Y

j

E

當推論分類同目標分類時 (2-7)

2

*) 0 2( 1

Y

j 當推論分類不同於目標分類時 (2-8)

其中 j

j

j

Max

all

Y

Y

* (2-9)

上述修改的原理是當推論分類同目標分類時,應該使「推論輸出值」是所有輸 出單元中最大者受到「獎勵」,故令其目標輸出值為 1.0,鼓勵它更逼近 1.0;其

(15)

隱藏層與輸出層之間的處理

網路輸出層與隱藏層間之連結加權值之修正量可用偏微分的連鎖率(chain rule)得到:

kj j j

kj

kj

W

net net

E W

W E

(2-10)

其中

kj kj

j

W W

net

k j k

k

kj

H H

W

)

( (2-11)

' j j j j j j

Y f E net

Y Y

E net

E

(2-12)

當推論分類同目標分類時,由(2-7)式知 當

j j

* (1 j)

j

Y Y

E

(2-13)

j j

* 0

Y

j

E

(2-14)

當推論分類不同於目標分類時,由(2-8)式知 當

j j

*

Y

j

E

(0

Y

j) (2-15)

j j

* 0

Y

j

E

(2-16)

定義

j

j

net

E

(2-17)

由(2-12)式知

' j j

j

f

Y

E

(2-18)

當推論分類同目標分類時,由(2-13)與(2-14)式知

j j

*j (1

Y

j)

f

j' (2-19)

j j

*j 0 (2-20)

(16)

j j

*j (0

Y

j)

f

j' (2-21)

j j

*j 0 (2-22)

將(2-11) (2-17)代入(2-10)得

k j k

j

kj

H H

W

( ) (2-23)

輸入層與隱藏層之間的處理

生態演替神經網路的輸入層與隱藏層之間的處理與 BPN 相同,在此不再贅 述。

演算法流程

生態演替神經網路的演算法(以單層隱藏層為例)整理如下:

1. 設定網路參數 , ,

N

rule等。

class

N

為分類數。(二分類時

N

class=2)

N

rule為每一分類的預設規則數。(建議

N

rule=3)

rule class

output

N N

N

為網路輸出單元數。

2. 以均佈隨機亂數設定加權值矩陣W 、門限值向量初始值 。

3. 輸入一個訓練範例的輸入向量{

x

1,

x

2,

x

3,...}與目標輸出向量{

t

1,

t

2,

t

3,...}

4. 計算推論輸出向量{

y

1,

y

2,

y

3,...}

(a) 計算隱藏層輸出向量{

h

1,

h

2,

h

3,...}

k i

i ik

k

W x

net

(2-24)

) exp(

1 1

k

k

net

h

(2-25)

(b) 計算推論輸出向量{

y

1,

y

2,

y

3,...}

(17)

(e) 累計各輸出單元的各分類的範例數

5. 重複步驟3~4直到所有的訓練範例結束(一個學習循環的前半段)

6. 輸入一個訓練範例的輸入向量{

x

1,

x

2,

x

3,...}與目標輸出向量{

t

1,

t

2,

t

3,...}

7. 計算差距量δ

(a) 計算範例推論分類 C (範例的推論輸出最大的單元為

j )

* (b) 計算輸出層差距量δ j

如果

C l

*(即推論分類同目標分類)

則如果

j j

*則δj =(1-yj)

y

j (1-yj),否則δj =0 如果

C l

*(即推論分類不同於目標分類)

則如果

j j

*則δj =(0-yj)

y

j (1-yj),否則δj =0 (c) 計算隱藏層差距量 k

= W k (1-hk)

j kj j

k

h

(2-28)

8. 計算加權值矩陣修正量,及門限值向量修正量

(a) 計算輸出層加權值矩陣修正量,及門限值向量修正量 )

1 ( )

(

n h W n

W

kj j k kj (2-29)

j(

n

) j j(

n

1) (2-30) (b) 計算隱藏層加權值矩陣修正量,及門限值向量修正量

) 1 ( )

(

n x W n

W

ik k i ik (2-31)

) 1 ( )

(

n

k k

n

k (2-32) 9. 更新加權值矩陣,及門限值向量

(a) 更新輸出層加權值矩陣,及門限值向量

kj kj

kj

W W

W

(2-33)

j j

j (2-34)

(b) 更新隱藏層加權值矩陣,及門限值向量

ik ik

ik

W W

W

(2-35)

k k

k (2-36)

(18)

11. 重覆步驟 3 至步驟 10,直到預設的學習循環數目。

(19)

第三章 數值例題

3-1 前言

本研究設計了三個數值例題進行實驗,以測試及探討 ESNN 的性能與特性。

由此實驗可以得到三個數值例題的誤判率評估、混亂矩陣及訓練範例優勝次數的 分類矩陣,藉此證明有分類會出現在不同「次分類」,即 ESNN 具有發掘「次分 類」的特性。

在使用神經網路建模時,最重要的參數為學習速率、網路結構與學習循環。

網路架構是指隱藏單元的數目(一般為二個到數十個),網路結構太小可能無法建 立足夠複雜的模型來配適資料,但太大也可能產生過度配適現象。學習循環是指 將資料集反覆學習的次數,其值太小可能無法建立足夠複雜的模型來配適資料,

但太大也可能產生過度配適現象。

本研究的網路的參數設定原則如下:

(1) 隱藏單元數目:嘗試 4、8、16 個,以決定每個網路的最佳隱藏層單元數目。

(2) 輸出單元數目:嘗試 4、8、16 個,以決定每個網路的最佳輸出層單元數目。

(3) 學習速率:採用在每一個訓練循環完畢即將學習速率乘以一個小於 1.0 的係 數的方式,逐漸縮小學習速率,但不小於預設的學習速率下限值。本研究學 習速率初始值=1,折減係數=0.95,下限值=0.1。

(4) 學習循環設為 30000 次,然後取誤差均方根最小的學習循環做為採用的學習 循環。

3-2 例題一 : 二維四球分類例題

本研究設計了一個「二維四球分類例題」,其分類公式如下:

x 0 . 25

2

y 0 . 25

2

0 . 2

x 0 . 75

2

y 0 . 25

2

0 . 2

2

. 0 75 . 0 25

.

0

2

y

2

x

x 0 . 75

2

y 0 . 75

2

0 . 2

則屬第一類,否則為第二類。

在值域0

x

1與0

y

1的範圍內,以隨機取點方式取得 1200 筆範例資 料,其中 1000 筆做為訓練範例,200 筆做為測試範例。此問題的範例分佈狀況

(20)

則是分佈於四個圓球以外的地方。

本研究 ESNN 網路的參數設定值如下 (a) 輸入單元數目:2 個。(b) 隱藏單 元數目:8 個。(c) 輸出單元數目:8 個。(d) 學習循環設為 21130 次。結果訓練 範例與測試範例在各輸出單元優勝次數所構成的二維矩陣如圖 3-1、圖 3-2,此 種圖可用於檢視是否有分類具有次分類。由圖可知,這兩類分類中第一類只在一 個輸出單元優佔優勢,但第二類在二個輸出單元優佔優勢,可見發現明顯的次分 類。訓練範例與測試範例的混亂矩陣如圖 3-3、圖 3-4。將網路的訓練範例改為 尺度化間距為 0.05 且在 0 到 1 之間的 441 筆資料,再依上述的網路參數設定值 執行 ESNN,並且將所得結果繪製成曲面圖,如圖 3-5。由圖可知,輸出單元 Y6 與 Y7 分別成功地學習分類二(黑點)在圖 1-1 的兩個次分類。

本研究 BPN 網路的參數設定值如下 (a) 輸入單元數目:2 個。(b) 隱藏單元 數目:8 個。(c) 輸出單元數目:2 個。(d) 學習循環設為 3810 次。結果測試範 例的混亂矩陣如圖 3-6,誤判率為 0.01,高於 ESNN 誤判率,可知本例題的 ESNN 的分類模型優於 BPN 的分類系統。

分類 輸出 單元

C1 C2 Y1 0 0

Y2 0 0

Y3 533 10

Y4 0 0

Y5 0 0

Y6 2 205 Y7 2 248 Y8 0 0

圖 3 – 1 ESNN 二維四球例題之各輸出

分類 輸出 單元

C1 C2 Y1 0 0

Y2 0 0

Y3 103 0

Y4 0 0

Y5 0 0

Y6 0 45 Y7 0 52 Y8 0 0

圖 3 – 2 ESNN 二維四球例題之各輸出

(21)

實際

預測 C1 C2 合計 C1 533 4 537 C2 10 453 463 合計 543 457 1000 誤判率 0.014

圖 3 - 3ESNN 二維四球例題之混亂矩陣 (訓練範例)

實際

預測 C1 C2 合計

C1 103 0 103

C2 0 97 97

合計 103 97 200 誤判率 0.00

圖 3 - 4 ESNN 二維四球例題之混亂矩陣 (測試範例)

輸出單元 Y1 輸出單元 Y2 輸出單元 Y3

輸出單元 Y4 輸出單元 Y5 輸出單元 Y6

輸出單元 Y7 輸出單元 Y8

圖 3 - 5 ESNN 二維四球立體曲面圖

(22)

實際

預測 C1 C2 合計

C1 103 2 105

C2 0 95 95

合計 103 97 誤判率 0.010

圖 3 - 6 BPN 二維四球例題之混亂矩陣(測試範例)

3-3 例題二 : 二維四塊分類例題

本研究設計了一個「二維四塊分類例題」,其分類公式如下:

x 0 . 5 且 y 0 . 5

x 0 . 5 且 y 0 . 5

則屬第一類,否則為第二類。

在值域0

x

1與0

y

1的範圍內,以隨機取點方式取得 1000 筆範例資 料,其中 800 筆做為訓練範例,200 筆做為測試範例。此問題的範例分佈狀況如 圖 3-9 所示,其中屬第一類的範例形成兩個分離方塊。屬於第二類的範例也是一 樣。

(23)

結果訓練範例與測試範例在各輸出單元優勝次數所構成的二維矩陣如圖 3-8、圖 3-9。由圖可知,這兩類分類中第二類只在一個輸出單元優佔優勢,但第 一類在二個輸出單元優佔優勢,可見發現明顯的次分類。訓練範例與測試範例的 混亂矩陣如圖 3-10、圖 3-11。並且將所建模型同例題一的方法繪製成曲面圖,

如圖 3-12。由圖可知,輸出單元 Y3 與 Y4 分別成功地學習分類一(白點)在圖 3-7 左下方與右上方的次分類。

本研究 BPN 網路的參數設定值如下 (a) 輸入單元數目:2 個。(b) 隱藏單元 數目:8 個。(c) 輸出單元數目:2 個。(d) 學習循環設為 29100 次。結果測試範 例的混亂矩陣如圖 3-13,誤判率為 0.00,低於 ESNN 誤判率,可知本例題的 ESNN 的分類模型遜於 BPN 的分類系統。

分類 輸出 單元

C1 C2 Y1 2 396

Y2 0 0

Y3 218 0 Y4 182 2 圖 3 - 8 ESNN 二維四塊例題之各輸出 單元所屬範例其分類統計(訓練範例)

分類 輸出 單元

C1 C2 Y1 2 115 Y2 0 0 Y3 38 0 Y4 45 0 圖 3 - 9 ESNN 二維四塊例題之各輸出 單元所屬範例其分類統計(測試範例) 實際

預測 C1 C2 合計

C1 400 2 402 C2 2 396 398 合計 402 398 800 誤判率 0.005

圖 3 - 10 ESNN 二維四塊例題之混亂矩 陣(訓練範例)

實際

預測 C1 C2 合計

C1 83 0 83

C2 2 115 117 合計 85 115 200 誤判率 0.01

圖 3 - 11 ESNN 二維四塊例題之混亂矩 陣(測試範例)

(24)

輸出單元 Y1 輸出單元 Y2 輸出單元 Y3

輸出單元 Y4

圖 3 - 12 ESNN 二維四塊立體曲面圖

實際

預測 C1 C2 合計

C1 85 0 85

C2 0 115 115 合計 85 115

誤判率 0

圖 3 - 13 BPN 二維四塊例題之混亂矩陣(測試範例)

3-4 例題三 : 二維九塊分類例題

本研究設計了一個「二維九塊分類例題」,其分類公式如下:

0 . 3 x 0 . 7 且 y 0 . 3

x 0 . 3 且 0 . 3 y 0 . 7 0 . 3 x 0 . 7 且 y 0 . 7

(25)

四個分離方塊。

圖 3 - 14 二維九塊分類問題

本研究 ESNN 網路的參數設定值如下(a) 輸入單元數目:2 個。(b) 隱藏單 元數目:8 個。(c) 輸出單元數目:9 個。(d) 學習循環設為 21290 次。結果訓練 範例與測試範例在各輸出單元優勝次數所構成的二維矩陣如圖 3-15、圖 3-16。

由圖可知,這兩類分類中第二類只在一個輸出單元優佔優勢,但第一類在二個輸 出單元優佔優勢,可見發現明顯的次分類。訓練範例與測試範例的混亂矩陣如圖 3-17、圖 3-18。並且將所建模型同例題一的方法繪製成曲面圖,如圖 3-19。由圖 可知,輸出單元 Y1 與 Y5 分別成功地學習分類一(白點)在圖 3-14「上方」與在

「左、右、下方」的次分類。

本研究 BPN 網路的參數設定值如下 (a) 輸入單元數目:2 個。(b) 隱藏單元 數目:8 個。(c) 輸出單元數目:2 個。(d) 學習循環設為 25570 次。結果測試範 例的混亂矩陣如圖 3-20,誤判率為 0.01,低於 ESNN 誤判率,可知本例題的 ESNN 的分類模型遜於 BPN 的分類系統。

(26)

分類 輸出 單元

C1 C2 Y1 107 5

Y2 0 0

Y3 0 0 Y4 0 0 Y5 291 7

Y6 0 0

Y7 4 486

Y8 0 0

Y9 0 0

圖 3 - 15 ESNN 二維九塊例題之各輸出 單元所屬範例其分類統計(訓練範例)

分類 輸出 單元

C1 C2 Y1 44 5

Y2 0 0

Y3 0 0 Y4 0 0 Y5 104 0

Y6 0 0

Y7 0 147

Y8 0 0

Y9 0 0

圖 3 - 16 ESNN 二維九塊例題之各輸出 單元所屬範例其分類統計(測試範例) 實際

預測 C1 C2 合計

C1 398 12 410 C2 4 486 490 合計 402 498 900 誤判率 0.018

圖 3 - 17 ESNN 二維九塊例題之混亂矩 陣(訓練範例)

實際

預測 C1 C2 合計

C1 148 5 153 C2 0 147 147 合計 148 152 200 誤判率 0.025

圖 3 - 18 ESNN 二維九塊例題之混亂矩 陣(測試範例)

(27)

輸出單元 Y1 輸出單元 Y2 輸出單元 Y3

輸出單元 Y4 輸出單元 Y5 輸出單元 Y6

輸出單元 Y7 輸出單元 Y8 輸出單元 Y9 圖 3 - 19 ESNN 二維九塊立體曲面圖

實際

預測 C1 C2 合計

C1 147 2 149 C2 1 150 151 合計 148 152 誤判率 0.01

圖 3 - 20 BPN 二維九塊例題之混亂矩陣(測試範例)

(28)

3-5 討論

由表 3 -1 觀察可得知 BPN 與 ESNN 在三個分類例題中測試範例誤判率的實 驗結果,ESNN 二維四球的測試範例誤判率優於 BPN 約為 1%,雖然在二維四塊、

二維九塊的分類例題中測試範例誤判率皆略高於 BPN,但兩者的測試範例誤判 率的差異只有 1%及 1.5%。由這三個分類例題取得的實驗結果可知,ESNN 與傳 統 BPN 的分類準確率不相上下,ESNN 具有與傳統 BPN 一樣的分類能力。

表 3-2 為 BPN 與 ESNN 測試範例分類數目的統計表,二維四球、二維四塊 及二維九塊這三個分類例題在傳統 BPN 中的分類數目皆為 2 分類,但是這三個 分類例題在 ESNN 中所得到的次分類數目皆為 3 分類。由上述的實驗結果可以 得知 ESNN 分類系統可以取得的次分類數目大於傳統 BPN 的分類數目,因此可 以說 ESNN 具有發現明顯次分類的能力。

表 3 - 1 BPN 與 ESNN 測試範例誤判率

分類例題

BPN 誤判率

ESNN 誤判率

誤判率 差異

二維四球 1% 0% -1%

二維四塊 0% 1% 1%

二維九塊 1% 2.5% 1.5%

表 3 - 2 BPN 與 ESNN 測試範例分類數目

分類例題

BPN 分類數目

ESNN 次分類數目

分類數目 差異

二維四球 2 3 1

二維四塊 2 3 1

二維九塊 2 3 1

(29)

第四章 應用實例

4-1 簡介

此章旨在比較 BPN 與 ESNN 的分類能力。用來比較的例題包括十個實際分 類例題(參考表 4-1)。由於這些例題的特性不同,資料量的多寡不一,其比較結 果應具有不錯的參考價值。

表 4 - 1 十個實際分類例題

應用實例 自變數

數目 分類 數目

範例 數目

訓練範例 數目

測試範例 數目

森林地表覆蓋類型(實例一) 14 7 4000 3000 1000 健身中心會員開發(實例二) 15 2 1200 960 240 休旅車潛在顧客開發(實例三) 30 2 400 320 80 汽車保險潛在顧開發(實例四) 7 2 700 560 140 集集大地震引致山崩實驗(實例五) 15 2 4000 3200 800 遙測影像分類(實例六) 36 6 6000 4800 1200 垃圾郵件分類(實例七) 57 2 4500 3600 900 風險房貸顧客評估(實例八) 16 2 3000 1500 1500 面板瑕疵判斷(實例九) 13 2 2954 2000 954 潛在貸款客戶發掘(實例十) 22 2 1500 1000 500

本章第二節將簡略介紹十個實際分類例題的特性。第三節比較 BPN 與 ESNN 的分類能力,第四節為結論。

(30)

4-2 例題介紹

ㄧ、森林地表覆蓋類型

為了證明 ESNN 可以應用在實際分類應用上,本研究選擇常被用來做為分 類演算法測試基準的森林地表覆蓋類型(樹種)分類問題[11]來進行測試,並與 BPN 與 ESNN 做比較。在此資料集中,森林被分割30 30公尺的格子,其實際 森林覆蓋類型是由美國森林服務署(USFS) Region 2 資源資訊系統(RIS)資料決 定。獨立變數是從美國地質調查署(USGS)與美國森林服務署(USFS)原始資料導 出。總共有 54 個欄位資料,獨立變數包括 10 個定量連續變數,及 44 個定性二 元變數(4 個自然保護區和 40 種土壤類型)。其中 40 個用來表示土壤分類類型的 二元變數,因其數量龐大,但對分類的影響很小,本研究將其捨去,只取其餘 14 個變數,如表 4-2 所示。原始資料共有 58 萬(581012)筆資料,有七種覆蓋類 型(樹種)。由於各覆蓋類型的資料數目差距極大,本研究採用分層取樣法使各類 的資料數目接近,故實際上只用 4000 筆,各覆蓋類型的資料數目如表 4-3。其中 3000 筆做為訓練範例,1000 筆做為測試範例。

分類採 N-code 編碼,例如第一類被編為{1,0,0,0,0,0,0},第二類被編為 {0,1,0,0,0,0,0}…等向量。為得到最佳結果,在此同前節一樣採用不同的網路架 構、學習參數,以建立最適模型。

(31)

表 4 - 2 森林地表覆蓋類型實例的輸入變數

變數名稱 資料型態 單位

X1=高程 連續變數 公尺

X2=方位 連續變數 度

X3=坡度 連續變數 度

X4=對水體水平距離 連續變數 公尺 X5=對水體垂直距離 連續變數 公尺 X6=對道路水平距離 連續變數 公尺 X7=上午九點陰影 連續變數 0 to 255 X8=中午陰影 連續變數 0 to 255 X9=下午三點陰影 連續變數 0 to 255 X10=對火點距離 連續變數 公尺 X11= Rawah Wilderness 荒野區 二元變數 0/1 X12= Neota Wilderness 荒野區 二元變數 0/1 X13= Comanche Peak 荒野區 二元變數 0/1 X14= Cache la Poudre 荒野區 二元變數 0/1

表 4 - 3 各覆蓋類型的資料數目

編號 覆蓋類型 原始數目 採用數目

1 雲杉木 (Spruce-Fir) 211840 580

2 海灘松樹 ( Lodgepole Pine) 283301 557

3 美國黃松木 (Ponderosa Pine) 35754 551

4 楊樹/柳樹 (Cottonwood/Willow) 2747 560

5 白楊樹 (Aspen) 9493 607

6 花旗松 (Douglas-fir) 17367 556

7 矮盤灌叢 (Krummholz) 20510 589

合計 581012 4000

(32)

二、健身中心會員開發

一家健身中心為發掘潛在顧客[12],作了一個問卷調查,調查項目包括15 項,問卷內容如下表4-4。本案例得到1228筆有效問卷,其中「會員」數量為672 筆,占總數約54.7%,「非會員」數量為556筆,占總數約45.3%。

表 4 - 4 健身中心會員開發之輸入變數

輸入變數 意義 值域

X1 瑜珈 常從事瑜珈運動 0=非;1=是 X2 重量訓練 常從事重量訓練運動 0=非;1=是 X3 有氧舞蹈 常從事有氧舞蹈運動 0=非;1=是 X4 有固定 有固定從事運動的習慣 0=非;1=是 X5 無固定 無固定從事運動的習慣 0=非;1=是

X6 運動次數 平均每週從事運動次數

1=一次以下;2=一次;3=兩 次; 4=三次;5=四次;6=五 次;7=六次;8=七次;9=八次 (含八次)以上

X7 運動時間 平均每次從事運動時間

1=一小時(含)以下;2=一小時

~兩小時(含);3=兩小時~三 小時(含) ;4=三小時(含)以上 X8 運動時段 通常從事運動的時段 1=清晨;2=上午;3=中午;4=

下午;5=夜間 X9 到達時間 通常到達從事運動的地

點約須用時間

1=10 分鐘(含)以下;2=11~30 分鐘;3=31~60 分鐘;4=60 分鐘以上

X10 訊息地點 通常由何處獲得運動相 關的活動訊息

1=電視 2=報章雜誌 3=網路 4=廣播 5=親朋好友 6=其他 X11 訊息內容 希望獲得運動之相關訊

1=體適能;2=國內外賽事;3=

運動指導;4=運動與健康;5=

其他

X12 學年 學年 填入實際數值

X13 學院 學院 1=工學院;2=建築學院;3=管 理學院;4=人文社會學院

X14 性別 性別 1=男性;2=女性

年齡 填入實際數值

(33)

三、休旅車潛在顧客開發

一家休旅車廠商為發掘潛在顧客[13],作了一個問卷調查,調查項目包括 31 項,問卷內容如下表 4-5。前 30 個問卷項目在了解顧客的態度,以 1 表完全不同 意,9 表完全同意。最後一題則詢問顧客的購車意願。

表 4 - 5 休旅車潛在顧客開發之輸入變數

輸入變數 值域

X1= 我是在非常好的生理情況 1~9

X2= 當我必須選擇在二者之間, 我穿戴為時尚, 不為舒適 1~9 X3= 我比大多數我的朋友有更加時髦的衣裳 1~9 X4= 我想要看起來有一點與其他人不同 1~9 X5= 生命太短以至於不能不採取一些賭博 1~9

X6= 我不關注臭氧層 1~9

X7= 我認為政府做太多對於控制汙染 1~9

X8= 基本上,現今社會是好的 1~9

X9= 我沒有時間為慈善做義工 1~9

X10=我們的家庭現今在債務不是太沉重 1~9

X11=我喜歡付現金對一切我買的 1~9

X12=我喜歡在今天花費而讓明天隨它去 1~9 X13=我使用信用卡因為我可以慢慢地支付票據 1~9

X14=當我購物時我很少使用優惠券 1~9

X15=利率是低到足以讓我買我想要的 1~9

X16=我比大多數我的朋友有更多自信 1~9

X17=我喜歡被認為是領導者 1~9

X18=其他人經常要求我幫助他們弄出果醬 1~9

X19=孩子是在婚姻中最重要的東西 1~9

X20=我寧可在家度過一個安靜的晚上比起出去宴會 1~9 X21=外國製造的汽車無法和美國製造的汽車相比 1~9 X22=政府應該限制來自日本的產品的進口 1~9

X23=美國人應該總是設法買美國產品 1~9

X24=我希望去全世界旅行 1~9

X25=我願我能離開現今的生活並做完全不同的事 1~9 X26=我通常是嘗試一項新產品的最早的人之一 1~9

X27=我喜歡努力工作和努力玩樂 1~9

X28=多疑的預言通常是錯誤的 1~9

X29=我能做任何我決心做的事 1~9

X30=從現在起五年我的收入比現在多很多 1~9 Y=我會考慮買 Land Rover 製造的「發現者」 0=非

1=是

(34)

四、汽車保險潛顧客開發

本例題來自 COIL2000 競賽題目[14],其中共有 5822 筆顧客紀錄,每筆紀錄 包含 86 個變數,變數 1~43 為人口統計資料,包含教育程度、收入、工作類型等;

44~85 為保險產品資料,包含顧客所購買的其他保險以及是否有出險紀錄等;變 數 86 為是否購買汽車保險,為輸出變數。

經過簡單的分析發現有 7 個自變數的影響較大,如表 4-6,故本研究只取這 7 個為輸入變數。此外,原數據中輸出變數的部分,紀錄為 1 者(會購買汽車保險) 僅有 348 筆,而紀錄為 0 者(不會購買汽車保險)則有 5474 筆,因數量差異過大,

故保留所有紀錄為 1 者,再從紀錄為 0 者中隨機挑選出 352 筆,最後將兩者合併。

因此,本例題所用之數據為 700 筆。

表 4 - 6 篩選後的變數

變數 變數內容 變數型態

X1(第 18 項) 低教育水準 連續值:0~9 X2(第 22 項) 中階管理人 連續值:0~9 X3(第 47 項) 汽車保險金額 連續值:0~9 X4(第 64 項) 社會安全保險金額 連續值:0~9 X5(第 65 項) 第三責任險保單數目 連續值:1~12 X6(第 68 項) 汽車保險保單 連續值:0~2 X7(第 82 項) 船艇保險保單 連續值:0~2 輸出變數 是否購買汽車保險 離散值:{0,1}

五、集集大地震引致山崩

台灣由於受地理與氣候響,水土災害一直是主要的天然災害。再加上多處山 坡地過度開發,往往在地震發生時帶來嚴重的山崩及土石鬆動,造成嚴重的土石 崩塌災害發生。1999 年 9 月 21 日於台灣中部發生芮氏規模 7.3 的地震,而此次 地震亦獲得大量的坡地破壞資料及地震紀錄,可供學者們進行地震對山崩影響的 研究。

(35)

表 4 - 7 輸入變數表

編號 變數名稱 編號 變數名稱

1 高程 9 垂直地表加速度

2 坡向 10 東西向地表加速度 3 坡度 11 南北向地表加速度 4 距離車籠埔斷層距離 12 九格點之平均坡度

5 距離斷層破碎帶距離 13 九格點之最大最小坡度差 6 距離道路距離 14 九格點之平均坡向

7 距水系距離 15 九格點之最大最小坡度差 8 距震央距離

六、遙測影像分類

在此資料集中,LANDSAT 衛星多光譜影像被用來進行地表覆蓋判釋[16]。

其中二個光譜在可見光(綠光段及紅光段),二個光譜在近紅外光段。每個像素採 8-bit,即 0 相對於黑;255 相對於白。每筆數據相對於一個像素的 3 3=9 鄰近像 素(參考下圖 4-1),因此每筆數據包含 9(像素) 4(光譜)=36 個光譜反射值。其中 X1~X4:左上角綠光、紅光、近紅光 1、近紅光 2 反射率;…;X33~X36:右下 角綠光、紅光、近紅光 1、近紅光 2 反射率。此區域主要有六種覆蓋物,共計 6435 筆數據,其統計如表 4-8。

1 5 9 2 6 10 13 17 21 14 18 22 25 29 33 26 30 34

綠光區 紅光區 3 7 11 4 8 12 15 19 23 16 20 24 27 31 35 28 32 36 近紅光 1 區 近紅光 2 區

圖 4 - 1 光譜反射值

表 4 - 8 區域覆蓋物 分類 全部範例 1 紅土 1533 (23.82%) 2 棉田 703 (10.92%) 3 灰土 1358(21.10%) 4 濕灰土 626 (9.73%) 5 矮植生地 707 (10.99%) 6 很濕灰土 1508 (23.43%)

七、垃圾郵件分類

本例題資料來自文獻[17]所提供的 SPAMBASE 資料集。在此資料集中,57 個文字特徵用來做為區分垃圾郵件與否的輸入變數,如表 4-9。資料筆數共 4500

(36)

表 4 - 9 SPAMBASE 的欄位說明

編號 意義 屬性 編號 意義 屬性

1 word_freq_make 連續 31 word_freq_telnet 連續 2 word_freq_address 連續 32 word_freq_857 連續 3 word_freq_all 連續 33 word_freq_data 連續 4 word_freq_3d 連續 34 word_freq_415 連續 5 word_freq_our 連續 35 word_freq_85 連續 6 word_freq_over 連續 36 word_freq_technology 連續 7 word_freq_remove 連續 37 word_freq_1999 連續 8 word_freq_internet 連續 38 word_freq_parts 連續 9 word_freq_order 連續 39 word_freq_pm 連續 10 word_freq_mail 連續 40 word_freq_direct 連續 11 word_freq_receive 連續 41 word_freq_cs 連續 12 word_freq_will 連續 42 word_freq_meeting 連續 13 word_freq_people 連續 43 word_freq_original 連續 14 word_freq_report 連續 44 word_freq_project 連續 15 word_freq_addresses 連續 45 word_freq_re 連續 16 word_freq_free 連續 46 word_freq_edu 連續 17 word_freq_business 連續 47 word_freq_table 連續 18 word_freq_email 連續 48 word_freq_conference 連續 19 word_freq_you 連續 49 char_freq_; 連續 20 word_freq_credit 連續 50 char_freq_( 連續 21 word_freq_your 連續 51 char_freq_[ 連續 22 word_freq_font 連續 52 char_freq_! 連續 23 word_freq_000 連續 53 char_freq_$ 連續 24 word_freq_money 連續 54 char_freq_# 連續 25 word_freq_hp 連續 55 capital_run_length_average 連續 26 word_freq_hpl 連續 56 capital_run_length_longest 連續

(37)

八、風險房貸顧客評估

銀行傳統上主要的應收源自於存放款間的利差。近年來,由於金融的自由 化,產品的設計逐漸趨向多元化,因此銀行的獲利來源愈來愈多。但對銀行而言,

與客戶往來之任何交易皆面臨許多風險危機之本質不變;如信用風險、市場風 險、作業風險、利率風險等。

本例題資料來自文獻[18]。在此資料集中,16 個客戶屬性用來做為預測指數 型房貸申請人是否會違約的輸入變數,如表 4-10。資料筆數共 3000 筆,其中違 約件數佔 9.7%。訓練範例 1500 筆、驗證範例 1500 筆。

表 4 - 10 風險房貸顧客評估變數表

No 變數名稱 型態 變數說明 用途

1 年齡 連續 年齡 自變數

2 目前工作年資 連續 目前工作年資 自變數

3 教育程度 等級 教育程度 自變數

4 性別 二元 1=男 2=女 自變數

5 婚姻狀況 離散 婚姻狀況 自變數

6 子女數目 連續 子女數目 自變數

7 負債整合或房屋修繕 離散 1=負債整合 2=房屋修繕 自變數

8 申請金額 連續 申請金額 自變數

9 現存抵押貸款之到期金額/月 連續 現存抵押貸款 之到期金額/月

自變數 10 財產價值(車子、房子…) 連續 財產價值(車子、房子…) 自變數

11 負債/所得比 連續 負債/所得比 自變數

12 授信(放款)筆數 連續 授信(放款)筆數 自變數 13 最長授信期間/月 連續 最長授信期間/月 自變數

14 延遲筆數 連續 延遲筆數 自變數

15 退票次數 連續 退票次數 自變數

16 被信用查詢次數 連續 被信用查詢次數 自變數

九、面板瑕疵判斷

在 TFT-LCD 製造過程中,基板或面板製造廠使用自動光學檢查設備(AOI) 來確保生產的產品品質,主要是使用 CCD 判別面板上的斑點是否為瑕疵。一家 工廠希望根據人工檢測資料來建立一個模型,以偵測那些面板上的斑點是瑕疵 [19]。在其資料集中,包含 13 個斑點的特徵。資料總筆數 2954 筆,瑕疵者佔 16.9%。其中 2000 筆做為訓練範例,954 筆做為驗證範例。

(38)

十、潛在貸款客戶發掘

一家銀行提供貸款產品供中小企業公司戶客戶借貸。這家銀行希望根據歷史 資料來建立一個模型,以預測那些客戶會想借貸。實驗資料來自文獻[20]的 SME(Small Medium Enterprise)客戶研究資料庫。SME 資料庫包含 22 個客戶屬性 (21 個數值屬性、1 個類別屬性),變數說明如表 4-11。資料總筆數 32681 筆,其 中「SME 客戶」有 738 筆,「非 SME 客戶」有 31943 筆。「SME 客戶」只佔全 部資料的 2.3%。因為二類資料極不平衡,在此將 738 筆「SME 客戶」全部取出,

再從 31943 筆「非 SME 客戶」中,以亂數取資料組成 1500 筆資料,形成一個二 個分類的比例大約各 50%的分類問題,其中訓練資料 1000 筆,測試資料 500 筆。

表 4 - 11 潛在貸款客戶發掘變數表

變數名稱 變數說明 用途

1 ck 是否有支存 自變數

2 ck-saveall 支存存入總金額(一年) 自變數 3 ck-drawall 支存提領總金額(一年) 自變數 4 ck-savetime 支存存入總次數(一年) 自變數 5 ck-drawtime 支存提領總次數(一年) 自變數 6 ck-saveavg 支存平均每次存入金額(一年) 自變數 7 ck-drawavg 支存平均每次提領金額(一年) 自變數

8 ck-avg 支存平均餘額(半年) 自變數

9 dep-saveall 活期存入總金額(一年) 自變數 10 dep-drawall 活期提領總金額(一年) 自變數 11 dep-savetime 活期存入總次數(一年) 自變數 12 dep-drawtime 活期提領總次數(一年) 自變數 13 dep-saveavg 活期平均每次存入金額(一年) 自變數 14 dep-drawavg 活期平均每次提領金額(一年) 自變數 15 dep-avg 活期平均餘額(半年) 自變數 16 dep-9201 92 年一月存入活期金額 自變數 17 fed-9201 92 年一月外幣月底餘額 自變數 18 fed-avg 外幣平均餘額(一年) 自變數 19 ck-changame 支存交換票總金額(一年)(實際兌現的) 自變數

(39)

4-3 結果

ㄧ、森林地表覆蓋類型

本研究 ESNN 網路的參數設定值如下 (a) 輸入單元數目:14 個。(b) 隱藏

單元數目:14 個。(c) 輸出單元數目:14 個。(d) 學習循環設為 2220 次。結果 訓練範例與測試範例在各輸出單元優勝次數所構成的二維矩陣如圖 4-2、圖 4-3。

由圖可知,七個分類分別在 11 個輸出單元優佔優勢,可見發現明顯的次分類。

訓練範例與測試範例的混亂矩陣如圖 4-4、圖 4-5。

本研究 BPN 網路的參數設定值如下(a) 輸入單元數目:14 個。(b) 隱藏單元 數目:14 個。(c) 輸出單元數目:7 個。(d) 學習循環設為 8950 次。結果測試範 例的混亂矩陣如圖 4-6,誤判率為 0.20,低於 ESNN 誤判率,可知本例題的 ESNN 的分類模型優於 BPN 的分類系統。

分類 輸出 單元

C1 C2 C3 C4 C5 C6 C7 Y1 56

334

0 0 3 0 0 Y2 0 0 0 0 0 0 0 Y3 0 1

265

5 7 23 1 Y4

336

55 0 0 6 0 13 Y5 0 0 0 0 0 0 0 Y6 0 0 26

372

0 15 0 Y7 5 2 1 0

31

0 0 Y8 0 12 0 0

44

0 0 Y9 1 0 9

22

0 6 0 Y10 5 8 11 1

351

13 0 Y11 31 2 0 0 0 0 428 Y12 1 4 80 14 13

318

0 Y13 0 0 0 0 0 0 0 Y14 0 0 21 6 0

42

0

圖 4 - 2 ESNN 應用實例之各輸出單元所屬範例其分類統計(訓練範例)

(40)

分類 輸出 單元

C1 C2 C3 C4 C5 C6 C7 Y1 21

108

1 0 1 0 0 Y2 0 0 0 0 0 0 0 Y3 1 2

79

4 5 14 0 Y4

99

20 0 0 1 0 9 Y5 0 0 0 0 0 0 0 Y6 0 0 6

133

0 2 0

Y7 0 2 0 0

9

0 0

Y8 0 4 0 0

16

0 0 Y9 0 0 3

6

0 1 0 Y10 1 4 3 0

121

7 0 Y11 11 0 0 0 0 0 122 Y12 0 1 40 4 8

106

0 Y13 0 0 0 0 0 0 0 Y14 0 0 11 4 0

10

0

圖 4 - 3 ESNN 應用實例之各輸出單元所屬範例其分類統計(測試範例)

實際

預測 C1 C2 C3 C4 C5 C6 C7 合計 C1 336 55 0 0 6 0 13 410 C2 56 334 0 0 3 0 0 393 C3 0 1 265 5 7 23 1 302 C4 1 0 35 394 0 21 0 451 C5 10 22 12 1 426 13 0 484 C6 1 4 101 20 13 360 0 499 C7 31 2 0 0 0 0 428 461 合計 435 418 413 420 455 417 442

(41)

實際

預測 C1 C2 C3 C4 C5 C6 C7 合計

C1 99 20 0 0 1 0 9 129

C2 21 108 1 0 1 0 0 131 C3 1 2 79 4 5 14 0 105

C4 0 0 9 139 0 3 0 151

C5 1 10 3 0 146 7 0 167 C6 0 1 51 8 8 116 0 184 C7 11 0 0 0 0 0 122 133 合計 133 141 143 151 161 140 131 誤判率 0.191 = 191 / 1000

圖 4 - 5 ESNN 應用實例之混亂矩陣(測試範例)

實際

預測 C1 C2 C3 C4 C5 C6 C7 合計

C1 100 26 0 0 0 0 3 129

C2 18 103 0 0 1 0 0 122 C3 0 1 83 7 3 26 0 120 C4 0 0 10 140 0 9 0 159

C5 2 9 3 0 148 7 0 169

C6 0 1 47 4 9 98 0 159 C7 13 1 0 0 0 0 128 142 合計 133 141 143 151 161 140 131

誤判率 0.20000

圖 4 - 6 BPN 應用實例之混亂矩陣(測試範例)

二、健身中心會員開發

本例題 ESNN 網路的參數設定值如下 (a) 輸入單元數目:15 個。(b) 隱藏 單元數目:10 個。(c) 輸出單元數目:6 個。(d) 學習循環設為 110 次。結果訓 練範例與測試範例在各輸出單元優勝次數所構成的二維矩陣如圖 4-7、圖 4-8。

由圖可知,二個分類分別在 3 個輸出單元優佔優勢,可見發現明顯的次分類。訓 練範例與測試範例的混亂矩陣如圖 4-9、圖 4-10。

本例題 BPN 網路的參數設定值如下(a) 輸入單元數目:15 個。(b) 隱藏單元

(42)

例的混亂矩陣如圖 4-11 ,誤判率為 0.354,略高於 ESNN 誤判率,可知本例題 的 ESNN 的分類模型優於 BPN 的分類系統。

分類 輸出 單元

C1 C2

Y1 0 0

Y2 120

305

Y3

301

63

Y4 0 0

Y5

96

75

Y6 0 0

圖 4 - 7 ESNN 健身中心會員開發之各輸 出單元所屬範例其分類統計(訓練範例)

分類 輸出 單元

C1 C2 Y1 0 0 Y2 44

66

Y3

65 20

Y4 0 0

Y5

31 14

Y6 0 0 圖 4 - 8 ESNN 健身中心會員開發之各輸 出單元所屬範例其分類統計(測試範例)

實際

預測 C1 C2 合計

C1 397 138 535 C2 120 305 425 合計 517 443

誤判率 0.268= 258 / 960 圖 4 - 9 ESNN 健身中心會員開發之混 亂矩陣(訓練範例)

實際

預測 C1 C2 合計

C1 96 34 130 C2 44 66 110 合計 140 100 誤判率 0.325 = 78 / 240 圖 4 - 10 ESNN 健身中心會員開發之混 亂矩陣(測試範例)

實際

預測 C1 C2 合計

C1 89 34 123 C2 51 66 117

(43)

三、休旅車潛在顧客開發

本例題 ESNN 網路的參數設定值如下 (a) 輸入單元數目:30 個。(b) 隱藏 單元數目:15 個。(c) 輸出單元數目:6 個。(d) 學習循環設為 60 次。結果訓練 範例與測試範例在各輸出單元優勝次數所構成的二維矩陣如圖 4-12、圖 4-13。

由圖可知,二個分類分別在 2 個輸出單元優佔優勢,並無發現明顯的次分類。訓 練範例與測試範例的混亂矩陣如圖 4-14、圖 4-15。

本例題 BPN 網路的參數設定值如下(a) 輸入單元數目:30 個。(b) 隱藏單元 數目:15 個。(c) 輸出單元數目:2 個。(d) 學習循環設為 10 次。結果測試範例 的混亂矩陣如圖 4-16,誤判率為 0.213,略高於 ESNN 誤判率,可知本例題的 ESNN 的分類模型優於 BPN 的分類系統。

分類 輸出 單元

C1 C2 Y1 8

140

Y2 0 0

Y3

151

4 Y4

13

4

Y5 0 0

Y6 0 0

圖 4 - 12 ESNN 休旅車潛在顧客開發之 各輸出單元所屬範例其分類統計(訓練 範例)

分類 輸出 單元

C1 C2 Y1 9

21

Y2 0 0 Y3

43

5 Y4

2

0 Y5 0 0 Y6 0 0 圖 4 - 13 ESNN 休旅車潛在顧客開發之 各輸出單元所屬範例其分類統計(測試 範例)

實際

預測 C1 C2 合計

C1 164 8 172 C2 8 140 148 合計 172 148 320 誤判率 0.05 = 16 / 320 圖 4 - 14 ESNN 休旅車潛在顧客開發之

實際

預測 C1 C2 合計

C1 45 5 50

C2 9 21 30

合計 54 26

誤判率 0.175 = 14 / 80 圖 4 - 15 ESNN 休旅車潛在顧客開發之

(44)

實際

預測 C1 C2 合計

C1 47 10 57

C2 7 16 23

合計 54 26

誤判率 0.213

圖 4 - 16 BPN 休旅車潛在顧客開發之混亂矩陣(測試範例)

四、汽車保險潛顧客開發

本例題 ESNN 網路的參數設定值如下 (a) 輸入單元數目:7 個。(b) 隱藏單 元數目:7 個。(c) 輸出單元數目:6 個。(d) 學習循環設為 13470 次。結果訓練 範例與測試範例在各輸出單元優勝次數所構成的二維矩陣如圖 4-17、圖 4-18。

由圖可知,二個分類分別在 3 個輸出單元優佔優勢,可見發現明顯的次分類。訓 練範例與測試範例的混亂矩陣如圖 4-19、圖 4-20。

本例題 BPN 網路的參數設定值如下(a) 輸入單元數目:7 個。(b) 隱藏單元 數目:7 個。(c) 輸出單元數目:2 個。(d) 學習循環設為 20 次。結果測試範例 的混亂矩陣如圖 4-21 ,誤判率為 0.379,略高於 ESNN 誤判率,可知本例題的 ESNN 的分類模型優於 BPN 的分類系統。

分類 輸出 單元

C1 C2 Y1 42

150

Y2

58

46 Y3

22

5

分類 輸出 單元

C1 C2 Y1 16

35

Y2

13 11

Y3

5

5

(45)

實際

預測 C1 C2 合計

C1 199 78 277 C2 81 202 283 合計 280 280

誤判率 0.284 =159 / 560 圖 4 - 19 ESNN 汽車保險潛顧客之混亂 矩陣(訓練範例)

實際

預測 C1 C2 合計

C1 45 27 72

C2 23 45 68

合計 68 72

誤判率 0.357= 50 / 140 圖 4 - 20 ESNN 汽車保險潛顧客之混亂 矩陣(測試範例)

實際

預測 C1 C2 合計

C1 33 18 51

C2 35 54 89

合計 68 72

誤判率 0.379

圖 4 - 21 BPN 汽車保險潛顧客之混亂矩陣(測試範例)

五、集集大地震引致山崩

本例題 ESNN 網路的參數設定值如下 (a) 輸入單元數目:15 個。(b) 隱藏 單元數目:15 個。(c) 輸出單元數目:6 個。(d) 學習循環設為 1000 次。結果訓 練範例與測試範例在各輸出單元優勝次數所構成的二維矩陣如圖 4-22、圖 4-23。

由圖可知,二個分類分別在 3 個輸出單元優佔優勢,可見發現明顯的次分類。訓 練範例與測試範例的混亂矩陣如圖 4-24、圖 4-25。

本例題 BPN 網路的參數設定值如下(a) 輸入單元數目:15 個。(b) 隱藏單元 數目:15 個。(c) 輸出單元數目:2 個。(d) 學習循環設為 430 次。結果測試範 例的混亂矩陣如圖 4-26 ,誤判率為 0.195,略低於 ESNN 誤判率,可知本例題 的 BPN 的分類模型優於 ESNN 的分類系統,但是兩者誤判率的差異極小。

(46)

分類 輸出 單元

C1 C2 Y1 110

147

Y2

1218

191 Y3

80

54

Y4 0 0

Y5 0 0

Y6 195

1205

圖 4 - 22 ESNN 集集大地震引致山崩之 各輸出單元所屬範例其分類統計(訓練 範例)

分類 輸出 單元

C1 C2 Y1 28

28

Y2

285 59

Y3

17

16

Y4 0 0

Y5 0 0

Y6 67

300

圖 4 - 23 ESNN 集集大地震引致山崩之 各輸出單元所屬範例其分類統計(測試 範例)

實際

預測 C1 C2 合計

C1 1298 245 1543 C2 305 1352 1657 合計 1603 1597

誤判率 0.172 = 550 / 3200 圖 4 - 24 ESNN 集集大地震引致山崩之 混亂矩陣(訓練範例)

實際

預測 C1 C2 合計

C1 302 75 377 C2 95 328 423 合計 397 403 誤判率 0.213 = 170 / 800 圖 4 - 25 ESNN 集集大地震引致山崩之 混亂矩陣(測試範例)

實際

預測 C1 C2 合計

C1 324 83 407 C2 73 320 393 合計 397 403

(47)

六、遙測影像分類

本例題 ESNN 網路的參數設定值如下 (a) 輸入單元數目:36 個。(b) 隱藏 單元數目:10 個。(c) 輸出單元數目:12 個。(d) 學習循環設為 220 次。結果訓 練範例與測試範例在各輸出單元優勝次數所構成的二維矩陣如圖 4-27、圖 4-28。

由圖可知,六個分類分別在 9 個輸出單元優佔優勢,可見發現明顯的次分類。訓 練範例與測試範例的混亂矩陣如圖 4-29、圖 4-30。

本例題 BPN 網路的參數設定值如下(a) 輸入單元數目:36 個。(b) 隱藏單元 數目:10 個。(c) 輸出單元數目:6 個。(d) 學習循環設為 320 次。結果測試範 例的混亂矩陣如圖 4-31,誤判率為 0.102,略優於 ESNN 誤判率,可知本例題的 BPN 的分類模型優於 ESNN 分類系統,但是兩者誤判率差異極小。

分類 輸出 單元

C1 C2 C3 C4 C5 C6 Y1 2 1 3

13

4 8

Y2

1120

0 0 0 9 2

Y3 0

509

2 6 7 2 Y4 0 0 0 0 0 0 Y5 0 0 0 0 0 0 Y6 1 0 31

291

1 50 Y7 7 8 3 7

465

25 Y8

16

0 0 1 1 0 Y9 11 0

952 70

0 17 Y10 0 0 10 69 21

1026

Y11 0 0 0 0 0 0 Y12 0 0

25

1 1 2

圖 4 - 27 ESNN 遙測影像分類之各輸出單元所屬範例其分類統計(訓練範例)

參考文獻

相關文件

Random Forest: Theory and Practice Neural Network Motivation.. Neural Network Hypothesis Neural Network Training Deep

To tackle these problems, this study develops a novel approach integrated with some graph-based heuristic working rules, robust back-propagation neural network (BPNN) engines

This study proposed the Minimum Risk Neural Network (MRNN), which is based on back-propagation network (BPN) and combined with the concept of maximization of classification margin

In this study, variable weights are added into the probabilistic density function of Elliptical Probabilistic Neural Network (EPNN), so that the kernel function can be adjusted

This study proposed the ellipse-space probabilistic neural network (EPNN), which includes three kinds of network parameters that can be adjusted through training: the variable

This study reviewed ecological economics, general system theory and adopted the concept of emergy of ecosystem proposed by Odum, then built a ecological energetic system model of

The purpose of this paper is to achieve the recognition of guide routes by the neural network, which integrates the approaches of color space conversion, image binary,

This study collected consumer expectations and perception of medical tourism industry, with Neural Network Analysis and Mahalanobis Distance Analysis found the key to the