行政院國家科學委員會專題研究計畫 成果報告
應用模糊亂度量測法及模糊資訊增益量測法以處理分類問 題之新方法研究(第 2 年)
研究成果報告(完整版)
計 畫 類 別 ： 個別型
計 畫 編 號 ： NSC 95-2221-E-011-116-MY2
執 行 期 間 ： 96 年 08 月 01 日至 97 年 07 月 31 日 執 行 單 位 ： 國立臺灣科技大學資訊工程系
計 畫 主 持 人 ： 陳錫明
計畫參與人員： 碩士級-專任助理人員：王乃毅
碩士班研究生-兼任助理人員：柯元凱 博士班研究生-兼任助理人員：張昱銓
報 告 附 件 ： 出席國際會議研究心得報告及發表論文
處 理 方 式 ： 本計畫可公開查詢
中 華 民 國 97 年 09 月 05 日
應用模糊亂度量測法及模糊資訊增益量測法以處理分類問題 之新方法研究(2/2)
Handling Classification Problems Based on Fuzzy Entropy Measures and Fuzzy Information Gain Measures (2/2)
計畫編號：NSC 95-2221-E-011-116-MY2 執行期限：96 年 8 月 1 日至 97 年 7 月 31 日 主持人：陳錫明 國立台灣科技大學資訊工程系 教授
一、 中文摘要
本研究計畫為一個兩年期研究計畫 之第二年計畫，在本研究計畫的第二年計 畫中，我們提出一個新的模糊資訊增益量 測法，並和Quinlan所提之資訊增益量測 法作比較。我們並舉一個例子以說明本研 究計畫之第二年計畫中所提之模糊資訊 增益量測法比Quinlan所提之資訊增益量 測法佳。我們並提出一個根據我們所提之 模糊資訊增益量測法來處理分類問題的 新方法。首先，我們提出一個特徵與一組 訓練資料相關的模糊資訊增益量測法。然 後，根據我們所提出的模糊資訊增益量測 法，我們提出一個演算法來建構各個特徵 的各個模糊集合的歸屬函數、計算各個訓 練資料子集合屬於各個類別的類別歸屬 度及計算各個訓練資料子集合的模糊亂 度，其中各個訓練資料子集合包含某個特 定特徵的值位於某個特定的模糊集合的 定義域之內的部分訓練資料。最後，根據 所建構的各個特徵的各個模糊集合的歸 屬函數、所得到的各個訓練資料子集合屬 於各個類別的類別歸屬度及所得到的各 個訓練資料子集合的模糊亂度，我們提出 一個評估函數來分類測試資料。在本研究 計畫的第二年計畫中所提的方法可以處 理數值型及名詞型的資料，其比目前已存 在的方法有更高的平均分類正確率。
關鍵詞：模糊資訊增益、模糊亂度、分類 問題、歸屬函數、特徵子集合挑選、模糊 邏輯。
Abstract
This project is the second year’s project of the 2-year project. In the second year of this project, we propose a new fuzzy information gain Measure, and then
we use an example to compare the proposed fuzzy information gain measure with Quinlan’s information gain measure.
The proposed fuzzy information gain measure is better than Quinlan’s information gain measure. We also propose a new method for handling classification problems based on the proposed fuzzy information gain measure. First, based on the fuzzy information gain measure proposed in the second year, we present an algorithm for constructing membership functions, calculating the class degree of each subset of training instances with respect to each class and calculating the fuzzy entropy of each subset of training instances, where each subset of training instances contains a part of the training instances whose values of a specific feature fall in the support of a specific fuzzy set of this feature. Finally, based on the constructed membership function of each fuzzy set of each feature, the obtained class degree of each subset of training instances with respect to each class and the obtained fuzzy entropy of each subset of training instances, we propose an evaluating function for classifying testing instances.
The proposed method can deal with both numeric and nominal features. It gets higher average classification accuracy rates than the existing methods.
Keywords: Fuzzy Information Gain, Fuzzy Entropy, Classification Problems, Membership Functions, Feature Subset Selection, Fuzzy Logic.
二 、計畫緣由與目的
本研究計畫旨在根據模糊亂度量測 法及模糊資訊增益量測法提出一些處理
分類問題的新方法。在本研究計畫的第二 年計畫中，我們提出一個新的模糊資訊增 益量測法。我們所提之模糊資訊增益量測 法比Quinlan所提之資訊增益量測法佳。
我們並提出一個根據我們所提之模糊資 訊 增 益 量 測 法 來 處 理 分 類 問 題 的 新 方 法。首先，我們提出一個特徵與一組訓練 資料相關的模糊資訊增益量測法。然後，
根 據 我 們 所 提 出 的 模 糊 資 訊 增 益 量 測 法，我們提出一個演算法來建構各個特徵 的各個模糊集合的歸屬函數、計算各個訓 練資料子集合屬於各個類別的類別歸屬 度及計算各個訓練資料子集合的模糊亂 度，其中各個訓練資料子集合包含某個特 定特徵的值位於某個特定的模糊集合的 定義域之內的部分訓練資料。最後，根據 所建構的各個特徵的各個模糊集合的歸 屬函數、所得到的各個訓練資料子集合屬 於各個類別的類別歸屬度及所得到的各 個訓練資料子集合的模糊亂度，我們提出 一個評估函數來分類測試資料。在本研究 計畫的第二年計畫中所提的方法可以處 理數值型及名詞型的資料，其比目前已存 在的方法有更高的平均分類正確率。
三、研究方法及成果
在本研究計畫的第二年計畫中，我們 提 出 一 個 根 據 模 糊 資 訊 增 益 量 測 法 (Fuzzy Information Gain Measure)來處 理分類問題的新方法。首先，我們提出一 個特徵與一組訓練資料相關的模糊資訊 增益量測法。然後，根據我們所提出的模 糊資訊增益量測法，我們提出一個演算法 來建構各個特徵的各個模糊集合的歸屬 函數、計算各個訓練資料子集合屬於各個 類別的類別歸屬度（Class Degree）及計 算 各 個 訓 練 資 料 子 集 合 的 模 糊 亂 度
（Fuzzy Entropy），其中各個訓練資料子 集合包含某個特定特徵的值位於某個特 定的模糊集合的定義域之內的部分訓練 資料。最後，根據所建構的各個特徵的各 個模糊集合的歸屬函數、所得到的各個訓 練資料子集合屬於各個類別的類別歸屬 度及所得到的各個訓練資料子集合的模
糊亂度，我們提出一個評估函數來分類測 試資料。我們所提出的這個方法可以處理 數值型及名詞型的資料。這個方法比在參 考文獻[35]，[48]及[49]中被提出的方法有 更高的平均分類正確率。
在本研究計畫的第二年計畫中，我們 應用k-means 分群演算法[31]來產生 k 個 群心，然後以群心為模糊集合的中心來建 構數值型特徵的歸屬函數。假設R 為一組 訓練資料，f 一個特徵。首先，我們應用 k-means 分群演算法[31]將一組訓練資料 R 的特徵 f 的值分成 k 個分群 (亦即：[x11, x12]、[x21, x22]、…及[xk1, xk2])以產生 k 個 群心m1、m2、…及 mk。然後，我們以群 心m1、m2、…及 mk為模糊集合的中心來
建構特徵f 的模糊集合歸屬函數如下：
for i = 1 to k do {
if i =1 then {
/* 建構對應到第一個群心 m1 的 歸屬函數μv1，其中 Umin為特徵 f 的論述宇集的最小值， m1為第 1 個群心及 m2為第2 個群心。*/
let
⎪⎪
⎩
⎪⎪
⎨
⎧
≤
− <
− −
≤
≤
− ×
− −
=
otherwise m x m m if
mx m
m x U m if
Ux m
x 1 2
1 2
1
1 1
1
v
, 0
, 1
, 5 . 0 1
) (
min min
μ1
} else {
if i = k then {
/* 建構對應到第 k 個群心 mk
的歸屬函數
vk
μ ，其中Umax為特 徵f 的論述宇集的最大值，mk為 第 k 個群心及 mk-1為 mk左邊的 群心。*/
let
⎪⎪
⎩
⎪⎪
⎨
⎧
≤
<
− ×
− −
≤
− ≤
− −
=
− −
otherwise U x m m if
Ux m
m x m m if
mx m
x k
k k
k k k
k k
vk
, 0
, 5 . 0 1
, 1
)
( max
max 1 1
μ
} else {
/* 建構對應到第 i 個群心 mi
的歸屬函數
vi
μ ，其中1 < i<
k， mi為第i 個群心， mi-1
為 mi左邊的群心及 mi+1為 mi右邊的群心。*/
let
⎪⎪
⎪
⎩
⎪⎪
⎪
⎨
⎧
≤
− <
− −
≤
− ≤
− −
= +
+
− −
otherwise m x m m if mx mj
m x m m if mx m
x i i
i i
i i i
i i
vi
, 0
, 1
, 1
)
( 1
1 1 1
μ ;
} } }.
下面我們簡單的介紹目前已存在的 亂度量測法(Entropy Measure)方法及提出 一個特徵與一組訓練資料相關的模糊資 訊增益量測法(Fuzzy Information Gain Measure)。以下我們精簡的回顧已存在的 亂度量測法(Entropy Measure)方法，亦 即：以精確邏輯(Crisp Logic)為基礎的亂 度量測法[50]，[53]及模糊亂度量測法 [36]，[38]，[42]，[61]。在大部分以精確 邏輯為基礎的方法中，Shannon 的亂度量 測 法[53] 是 最 常 被 引 用 的 一 個 方 法 。 Shannon 的亂度量測法[53]是用來計算訊 號的平均最小編碼長度與某個已知事件e 的資訊總量I(e)定義如下：
) ( log )
(e 2 p e
I =− , (1) 其中e∈E，E 為一組已知事件，而 p(e)為
某個已知事件e 發生的機率。一組已知事 件E 的亂度量測法 H(E)定義如下：
) ( 0 ( )log )
( 2 p e i p e
E
H ∑n
−=
= , (2) 其中e∈E，E 為一組已知事件，n 為 E 所 含的事件數量，而p(e)為某個已知事件 e 發生的機率。
在 參 考 文 獻[50] 中 ， Quinlan 根 據 Shannon 的 亂 度 量 測 法 (Entropy Measure)[53]定義了一個資訊增益量測法 (Information Gain Measure)來計算以某個 特徵來切割一組訓練資料而得到的亂度 降低期望值。假設R 為一組訓練資料，C 為一組類別及f 為一個特徵。一組訓練資 料R 的亂度 H(R)定義如下：
) ) , ( ( log ) , ( )
( =−∑ 2
∈C
c p R c p R c
R
H , (3) 其中C 為一組類別及 p(R, c)為資料 R 屬
於某個類別c 的比率。用來計算某個特徵 f 與一組訓練資料 R 相關的資訊增益量測 法(Information Gain Measure) [46]，[50]
Gain(R, f)，定義如下：
) ,
( ( ( ))
) ( ) ,
( ∑
∈ ×
−
= uValuesf R u
Ru
R Info R
Info f R
Gain (4)
其中 Info(R)為資料 R 中的資料的類別歸 屬的不確定性，Values(f)為一組特徵 f 的 所有可能值，Ru為特徵f 的值為 u 的這組 訓練資料R 的子集合(亦即：Ru = { r∈R | f(r) = u})，|R|為包含於 R 中的資料數量及
|Ru|為包含於 Ru中的資料數量。為了簡化 問題，用來計算某個特徵f 與一組訓練資 料R 相關的資訊增益量測法 Gain(R, f) 可 以表達如下：
) ),
( 2
2
log (
log )
, (
∑ ∑
∈
∈∑
∈ ×−
−
−
=
f Values
u n
nuc n
nuc n
nu
n nc n
nc
u
C u
c C
f c
R Gain
(5)
其中C 為一組類別，n 為這組訓練資料 R 所包含的資料數量，nc為這組訓練資料R 所包含的資料中屬於某個類別 c 的資料 數量，Values(f)為一組特徵 f 的所有可能 值，Ru為特徵f 的值為 u 的這組訓練資料 R 的子集合(亦即：Ru = { r∈R | f(r) = u})，
nu為訓練資料子集合 Ru所包含的資料數 量及nic為訓練資料子集合Ru所包含的資 料中屬於某個類別c 的資料數量。
根據Shannon 的亂度量測法(Entropy Measure)[53]，有很多的模糊亂度量測法
[36]， [38]，[42]，[61]被提出。在參考 文獻[61]中，Zadeh 定義了一個模糊集合 v 的 模 糊 亂 度 量 測 法 (Fuzzy Entropy Measure)，其中有一個模糊集合 v 定義於 論述宇集U 之內及 U = {u1, u2, …, un}，
分別對應於機率分配 P = {p1, p2, …, pn}，列示如下：
−∑
= = n
i v ui pi pi v
H( ) 1μ ( ) log , (6) 其中 μv為模糊集合 v 的歸屬函數，μv(ui)
為數值ui 歸屬於模糊集合 v 的程度，μv(ui)
∈ [0, 1]，pi為ui的機率，1≤ i ≤ n 及 n 為 在論述宇集U 中所包含的元素的數量。
在參考文獻[36]中，Kosko 根據超立 方體的幾合學(Geometry of A Hypercube) 定義了一個模糊集合 v 的模糊亂度量測 法(Fuzzy Entropy Measure)，列示如下：
∑ ∨
∑ ∧
=
=
=n i
n i
i C v i v
i C v i v
u u
u u
v H
1 1
)) ( )
( (
)) ( )
( ( )
( μ μ
μ μ
, (7)
其中 v 為一個定義於論述宇集 U 之內的 模糊集合，ui∈U，1 ≤ i ≤ n，n 為在論述 宇集 U 中所包含的元素的數量，μv為模 糊集合 v 的歸屬函數，μv(ui)為數值 ui歸 屬於模糊集合v 的程度，μv(ui) ∈ [0, 1]，
μvc(ui)為 μv(ui)的補數，μvc(ui) ∈ [0, 1]，∧
為最小值運算元及∨為最大值運算元。
在參考文獻[42]中，Luca 等人根據 Shannon 的 亂 度 量 測 法 (Entropy Measure)[53]定義了一個模糊亂度量測法 (Fuzzy Entropy Measure)。他們提出了四 個 模 糊 亂 度 量 測 法 (Fuzzy Entropy Measure)的原則。假設有一個定義在論述 宇集U 中的模糊集合 v，ui∈U，1 ≤ i ≤ n，
n 為論述宇集 U 中數值的數量，μv為模糊 集合 v 的歸屬函數及 μv(ui)為數值 ui歸屬 於模糊集合v 的程度。這些用於模糊集合 v 的模糊亂度量測法 H(v)的原則從參考文 獻[42]回顧如下。
原則1：H(v) = 0，若且唯若 v 為一個精確 集合(Crisp Set)，∀ ui ∈ v。
原則2：H(v)為最大值，iff μv(ui) = 1/2，∀
ui ∈ v。
原則 3：若模糊集合(Fuzzy Set)v1 比模 糊集合v2更為不模糊，則H(v1) ≤ H(v2)。
原則4：H(v) = H(v c)，其中 v c為v 的補 數，v c = 1 - v。
由 Luca 等人所提出的模糊集合 v 的 模糊亂度量測法(Fuzzy Entropy Measure) [42]，定義如下：
∑=
−
= n
i v ui v ui
v n
H 1 1[( ( )log ( ))
)
( μ μ
))]
( 1 log(
)) ( 1
( −μv ui −μv ui
+ (8)
其中 v 為一個定義於論述宇集 U 之內的 模糊集合，n 為在論述宇集 U 中所包含的 元素的數量，ui∈U，1 ≤ i ≤ n，μv為模糊 集合 v 的歸屬函數，μv(ui)為數值 ui歸屬 於模糊集合v 的程度及 μv(ui) ∈ [0, 1]。
在 參 考 文 獻[38] 中 ， Lee 等 人 根 據 Shannon 的 亂 度 量 測 法 (Entropy Measure)[53]及Luca的原則[42]提出一個 區 間 的 模 糊 亂 度 量 測 法(Fuzzy Entropy Measure)，列示如下。假設有一組元素R 被分成一組類別C，及假設一個特徵維度 被分成n個區間。在第i個區間中某個類別 C的元素歸屬於某個模糊集合v的符合程 度(Matching Degree) MDc，其中c∈C，定 義如下[38]：
∑
∑
=
∈
∈
Ri
r v
Ric
r v
c r
r v
MD ( )
) ( )
( μ
μ
, (9) 其中v為定義於特徵維度上的一個模糊集
合，μv為模糊集合v的歸屬函數，μv(r)為r 歸屬於模糊集合v的程度，μv(ui) ∈ [0, 1]，
Ri為分佈於R的第i個區間的子集合及Ric
為Ri中屬於某個類別c的子集合及c∈C。在 第i個區間中某個類別c的元素歸屬於某 個模糊集合v的模糊亂度(Fuzzy Entropy) IFEc(v)，其中c∈C，定義如下：
) ( log
) ( )
(v MD v 2 MD v
IFEc =− c c . (10) 在第i個區間中的元素歸屬於某個模糊集
合v的模糊亂度(Fuzzy Entropy) IFE(v)定 義如下：
= ∑
∈C
c IFEc v
v
IFE( ) ( ). (11) 在 特 徵 維 度 的 第i 個 區 間 的 模 糊 亂 度
(Fuzzy Entropy)TFEi定義如下：
= ∑
∈ iV
i v IFE v
TFE ( , (12) ) 其中Vi為在特徵維度的第i個區間的一組
模糊集合。
下面我們提出一個特徵與一組訓練 資料相關的模糊資訊增益量測法(Fuzzy Information Gain Measure)的定義。一個特 徵可以用多個語意值[62]來描述，而每個 語意值可以用一個定義於歸屬函數的模 糊集合[60]來表示。假設有一組訓練資料 R，共分成一組類別 C，特徵 f 上定義了 一組模糊集合V，μv為模糊集合v 的歸屬 函數，μv(x)為數值 x 歸屬於模糊集合 v 的 程度，模糊集合v 的定義域 Uv為在這個 特徵的論述宇集U 中的一個子集合及 Uv
= {u | u ∈ U 及 μv(u ) > 0 }。首先，我們 回顧一個用來評估某個特定特徵的值位 於這個特徵的某個特定的模糊集合的定 義域之內的訓練資料子集合屬於某個特 定 類 別 的 可 能 性 的 類 別 歸 屬 度 量 測 法 (Class Degree Measure) [16]，說明如下：
定義 1 [16]：某個特徵 f 的值位於這 個特徵 f 的某個模糊集合 v 的定義域 Uv
之內的訓練資料子集合 Rv屬於某個類別 c 的類別歸屬度 CDc(v)，定義如下：
∑
∑
=
∈
∈ X x
X x
x x v
CD
v c
v
c ( )
) ( )
( μ
μ
， (13) 其中 X 為訓練資料子集合 Rv的特徵 f 的
一組值，X ⊂ Uv，Xc 為訓練資料子集合 Rv 之內屬於類別 c 的訓練資料的特徵 f 的一組值，c∈C，μv為模糊集合v 的歸屬 函數，μv(x)為某個數值 x 歸屬於模糊集合 v 的程度及 μv(x) ∈ [0, 1]。
然後，根據我們這個列示於公式(13) 的 類 別 歸 屬 度 量 測 法 (Class Degree Measure) [16]，我們回顧一個用來評估某 個特定特徵的值位於這個特徵的某個特 定的模糊集合的定義域之內的訓練資料 子集合的類別不確定性的模糊亂度量測 法(Fuzzy Entropy Measure) [16]，說明如 下：
定義 2 [16]：某個特徵 f 的的值位於 這個特徵 f 的某個模糊集合 v 的定義域
Uv之內的訓練資料子集合 Rv的模糊亂度 FE(v)，定義如下：
= ∑ −
c∈C CD v CD v
v
FE( ) c( )log2 c( ), (14) 其中C 為一組類別及 CDc(v) 為特徵 f 的
的值位於這個特徵 f 的模糊集合 v 的定義 域Uv之內的訓練資料子集合屬於某個類 別c 的類別歸屬度。
然後，根據我們這個列示於公式(14) 模糊亂度量測法[16]，我們提出一個特徵 與一組訓練資料相關的模糊資訊增益量 測法(Fuzzy Information Gain Measure) 來計算以某個特徵來切割一組訓練資料 而得到的亂度降低期望值，說明如下：
定義 3：某個特徵f 與一組訓練資料 R 相關的模糊資訊增益 FIG(R, f)，定義如 下：
, ) ( log
) ,
( = ∑ − 2 − ∑
∈
∈C v V
c ss FE v
nn nn
f R
FIG c c v
(15) 其中n 為這組訓練資料 R 所包含的資料數 量，nc為這組訓練資料R 所包含的資料中 屬於某個類c 的資料數量，V 為特徵 f 的 模糊集合，S 為這組訓練資料 R 的特徵 f 的值歸屬於這個特徵f 的各個模糊集合的 歸屬度總和，Sv為這組訓練資料R 的特徵 f 的值歸屬於這個特徵 f 的某個模糊集合 v 的歸屬度總和及FE(v)為特徵 f 的的值位 於這個特徵 f 的某個模糊集合 v 的定義域 Uv 之內的某個訓練資料子集合的模糊亂 度。
以下我們一個範例來說明我們所提 出 的 模 糊 資 訊 增 益 量 測 法 (Fuzzy Information Gain Measure) ，(亦即：公式 (13)-(15))。假設有一組訓練資料 R 如圖 1 及特徵所對應的模糊集合如圖2，其中符 號"+"及符號"-"分別為正值的訓練資料及 負值的訓練資料。表 1 列示特徵 f 的值 及對應的類別。表 2 列示特徵 f 的模糊 集合的定義域。
圖1. 有一個特徵的訓練資料分佈
0 1 2 3
Feature f
4 5 6
+ － + + －
圖2. 對應於特徵f的模糊集合 表 1. 特徵 f 的值及對應的類別
特徵f的值 類別
1 + 2 - 3 + 4 + 5 - 表 2. 特徵f的模糊集合的定義域
模糊集合 模糊集合的定義 域
v1 [0, 3]
v2 [1, 5]
v3 [3, 6]
根據我們所提出的模糊資訊增益量 測 法 (Fuzzy Information Gain Measure)，(亦即：公式(13)-(15))，我們可 以計算特徵f 與這組訓練資料 R 相關的模 糊資訊增益FIG(R, f)如下：
(1) 計算特徵 f 的值位於特徵 f 的模糊集 合v1的定義域之內的訓練資料子集合 R1的模糊亂度(Fuzzy Entropy)：
(i) 分別依正值類別(+)及負值類別(-) 計算特徵f 的值位於特徵 f 的模糊集 合 v1 的定義域之內的訓練資料子集 合 R1的歸屬度總和。令 X+ 為訓練 資料子集合 R1之內屬於正值類別(+) 的訓練資料的特徵 f 的一組值。令 X- 為訓練資料子集合 R1之內屬於負 值類別(-)的訓練資料的特徵 f 的一 組值。由圖 1，我們可以看出 X+ = {1}
及 X- = {2}。然後，我們可以得到
. 5 . 0 ) (
, 1 ) (
1 1
∑ =
∑ =
− +
∈
∈ X
x v
X
x v
x x μ μ
(ii) 根據公式(13)，分別依正值類別(+) 及負值類別(-)計算特徵 f 的值位於 特徵f 的模糊集合 v1的定義域之內 的訓練資料子集合R1的類別歸屬 度(Class Degree)：
. 3333 . 0 )
(
, 6667 . 0 )
(
5 . 1
5 . 0 5 . 0 1
5 . 0
5 . 1
1 5 . 0 1
1
1 1
≅
=
=
≅
=
=
+ +
− +
v CD
v CD
(iii) 根據公式(14)，計算特徵 f 的值位 於特徵f 的模糊集合 v1的定義域之 內的訓練資料子集合 R1的模糊亂 度FE(v1)如下：
) ( log
) ( ( )
(v1 CD v1 2CD v1
FE =− + +
)) ( log )
(v1 2CD v1
CD− −
+
0.9182.
) 3333 . 0 log 3333 . 0
6667 . 0 log 6667 . 0 (
2 2
≅
× +
×
−
=
(2) 計算特徵 f 的值位於特徵 f 的模糊集 合v2的定義域之內的訓練資料子集合 R2的模糊亂度(Fuzzy Entropy)：
(i) 分別依正值類別(+)及負值類別(-) 計算特徵f 的值位於特徵 f 的模糊 集合 v2 的定義域之內的訓練資料 子集合 R2 的歸屬度總和。令 X+
為訓練資料子集合 R2之內屬於正 值類別(+)的訓練資料的特徵 f 的 一組值。令 X- 為訓練資料子集合 R2 之內屬於負值類別(-)的訓練資 料的特徵 f 的一組值。由圖 1，我 們可以看出 X+ = {3, 4}及 X- = {2}。然後，我們可以得到
. 5 . 0 ) (
, 5 . 1 5 . 0 1 ) (
2 2
∑ =
= +
∑ =
− +
∈
∈ X
x v
X
x v
x x μ μ
(ii) 根據公式(13)，分別依正值類別(+) 及負值類別(-)計算特徵 f 的值位於 特徵f 的模糊集合 v2的定義域之內 的訓練資料子集合 R2的類別歸屬 度(Class Degree)：
Membership
0 1 2 3
Feature f 1
0.5
4 5 6
v1 v2 v3
. 25 . 0 )
(
, 75 . 0 )
(
2 5 . 0 5 . 0 5 . 1
5 . 0
2 5 . 1 5 . 0 5 . 1
5 . 1
2 2
=
=
=
=
=
=
+ +
− +
v CD
v CD
(iii) 根據公式(14)，計算特徵 f 的值位 於特徵f 的模糊集合 v2的定義域之 內的訓練資料子集合 R2的模糊亂 度FE(v2)如下：
)) ( log
) (
) ( log
) ( ( ) (
2 2
2
2 2
2 2
v CD v
CD
v CD v
CD v
FE
−
−
+ +
+
−
=
0.8113.
) 25 . 0 log 25 . 0
75 . 0 log 75 . 0 (
2 2
≅
× +
×
−
=
(3) 計算特徵 f 的值位於特徵 f 的模糊集 合v3的定義域之內的訓練資料子集合 的模糊亂度(Fuzzy Entropy)：
(i) 分別依正值 (+)類別及負值類別(-) 計算特徵f 的值位於特徵 f 的模糊 集合 v3 的定義域之內的訓練資料 子集合 R3 的歸屬度總和。令 X+
為訓練資料子集合 R3之內屬於正 值類別(+)的訓練資料的特徵 f 的 一組值。令 X- 為訓練資料子集合 R3 之內屬於負值類別(-)的訓練資 料的特徵 f 的一組值。由圖 1，我 們可以看出X+ = {4}及 X- = {5}。
然後，我們可以得到
. 1 ) (
, 5 . 0 ) (
3 3
∑ =
∑ =
− +
∈
∈ X
x v
X
x v
x x μ μ
(ii) 根據公式(13)，分別依正值類別(+) 及負值類別(-)計算特徵 f 的值位於 特徵f 的模糊集合 v3的定義域之內 的訓練資料子集合的類別歸屬度 (Class Degree)：
. 6667 . 0 )
(
, 3333 . 0 )
(
5 . 1
1 1 5 . 0
1
5 . 1
5 . 0 1 5 . 0
5 . 0
3 3
≅
=
=
≅
=
=
+ +
− +
v CD
v CD
(iii) 根據公式(14)，計算特徵 f 的值位 於特徵f 的模糊集合 v3的定義域之 內的訓練資料子集合的模糊亂度
FE(v3)如下：
)) ( log
) (
) ( log
) ( ( ) (
3 2
3
3 2
3 3
v CD v
CD
v CD v
CD v
FE
−
−
+ +
+
−
=
0.9182.
) 6667 . 0 log 6667 . 0
3333 . 0 log 3333 . 0 (
2 2
≅
× +
×
−
=
(4) 根據公式(15)，我們可以計算特徵 f 與這組訓練資料R 相關的模糊資訊增 益FIG(R, f)如下：
0.0577.
0.9812]
1.5) 2 1.5/(1.5
0.8113 1.5) 2 2/(1.5
0.9812 1.5) 2 [1.5/(1.5 -
] 22/5) log (-2/5 23/5) log [(-3/5 ) , (
≅
× + + +
× + + +
× + +
+
= f R FIG
Quinlan 的 資 訊 增 益 量 測 法 (Information Gain Measure)[50]及我們所 提 出 的 模 糊 資 訊 增 益 量 測 法(Fuzzy Information Gain Measure)之間的差異討 論如下。假設有一組訓練資料R 及特徵所 對應的歸屬函數如圖 3，其中符號"+"及 符號"-"分別為正值的訓練資料及負值的 訓練資料。數值型的特徵 f1 被分成區間 I11、I12 及 I13。分別對應到模糊集合v11、 v12 及 v13。數值型的特徵 f2 被分成區間 I21、I22 及 I23。分別對應到模糊集合v21、 v22及 v23。表 3 列示特徵 f1及 f2的值及 它們對應的類別。表 4 列示特徵 f1及 f2
的模糊集合的定義域。
圖 3. 有兩個特徵的訓練資料分佈及對 應於特徵的歸屬函數
1 1
v22
v23
v21
0.5 0 1 2 3 4 5 6 f1
0.5
－ 6
5 4 3 2
1 + － + － +
－
+ +
v12
v11 v13
I11 I12 I13
I21
I22
I23
Membership grade of f1
Membership grade of f2
f2
