灰色預測模型及階層式小腦模型類神經網路在網際網路資訊挖掘上的應用研究(II)

行政院國家科學委員會專題研究計畫 期中進度報告

灰色預測模型及階層式小腦模型類神經網路在網際網路資 訊挖掘上的應用研究 (2/3)

計畫類別： 個別型計畫

計畫編號： NSC91-2213-E-011-026-

執行期間： 91 年 08 月 01 日至 92 年 07 月 31 日 執行單位： 國立臺灣科技大學資訊工程系

計畫主持人： 李漢銘

計畫參與人員： 黃淇竣 王柏翔 張豪崴 陳芃暐

報告類型： 精簡報告

報告附件： 出席國際會議研究心得報告及發表論文 處理方式： 本計畫可公開查詢

中 華 民 國 92 年 5 月 22 日

行政院國家科學委員會專題研究計劃成果報告

灰色預測及階層式小腦模型類神經網路在網際網路資訊挖掘上的應用研 究(II)

Grey Prediction Model and Hierarchical CMAC Neural Networks and Their Applications on Web Mining (II)

計劃編號：NSC-91-2213-E-011-026 執行期限：91 年 8 月 1 日至 92 年 7 月 31 日 主持人：李漢銘 國立台灣科技大學資訊工程系 研究生：黃淇竣 國立台灣科技大學電子工程研究所 王柏翔 國立台灣科技大學電子工程研究所 張豪崴 國立台灣科技大學資訊工程研究所 陳芃暐 國立台灣科技大學電子工程研究所

一、中文摘要(關鍵詞: 網際網路資訊探勘、小腦模型類神經網路、階層式小腦模型類 神經網路、分類器)

隨著網際網路的蓬勃發展以及電腦使用的快速普及，使得越來越多的資訊藉由網路 來進行傳遞，面對這樣龐大的網際網路資訊空間，使用者要能夠從網際網路上搜尋及擷 取想要的資訊，無異是一件相當耗時與困難的事，因此如何利用網際網路資訊探勘技術 (Web mining techniques)來幫助人類更有效率的進行資訊的搜尋(search)、擷取(extraction) 與過濾(filter)，是一件迫切需要研究的課題。本研究第二年計劃的主要成果在於提出一 個適合解高維度分類問題的自組織階層式小腦模型類神經網路(self-organizing HCMAC

neural network)分類器，可以依據學習樣本分佈自組織分類器架構，並以此分類器所具

有的優越特性來探勘網際網路上的有用資訊。

小腦模型類神經網路(Cerebellar Model Arithmetic Computer)可以被視為是一種基礎 函數(basis function network)為基礎的網路，具有快速的學習能力，並且對於非線性函數 的學習具有不錯的一般化能力。但是傳統小腦模型架構的缺點在於解決高維度分類問題 需要大量的記憶體空間，並且學習效果與其輸入空間切割的方式有很大的關連，為了解 決這些問題，本計劃提出一個新的具自組織能力之階層式小腦模型類神經網路模組，本 計劃所提出之自組織階層式小腦模型類神經網路分類器，包含一個階層式小腦模型類神 經網路架構，以及一個可以自動判別學習樣本分佈的輸入樣本空間分割及分析模組，可 以自動依據學習樣本的分佈自動決定分類器記憶體配置的架構，因此此一類神經網路比 起傳統小腦模型而言，具有極低的記憶體需求，可以適用於解高維度的分類問題。實驗 結果顯示本計劃所提出的分類器架構具有快速的學習能力、低的記憶體需求、適合解決 高維度分類問題，且具有相當優越的分類能力。

英文摘要 (Keyword: Web Mining, Cerebellar Model Arithmetic Computer, Hierarchical CMAC Neural Network, Classifier)

World Wide Web (WWW) grows up very rapidly in recent years, and it contains an enormous amount of data and information that can be extracted via computer assisted tools, intelligent agents, search engines, and Web mining techniques. Consequently, how to explore useful information and knowledge from WWW is gradually becoming urgent need.

issues.

Therefore, in the second year, we propose a self-organizing HCMAC (Hierarchical Cerebellar Model Arithmetic Computer) neural network classifier which contains a self-organizing input space module and a hierarchical CMAC neural network. The conventional CMAC can be viewed as a basis function network (BFN) and performs well in terms of its fast learning speed, local generalization capability for approximating nonlinear functions. However, the conventional CMAC has an enormous memory requirement, and its performance heavily depends on the approach of input space quantization. To solve these problems, this project presents a novel hierarchical CMAC neural network module capable of resolving both the enormous memory requirement in the conventional CMAC and high dimensional problems. Also proposed herein is a self-organizing input space module that uses Shannon’s entropy measure and the golden section search method to appropriately determine the input space quantization according to the distribution of training data sets. Experimental results indicate that the self-organizing HCMAC indeed has a fast learning ability and low memory requirement. Moreover, the self-organizing HCMAC classifier has a better classification ability than other classifiers.

二、計劃緣由與目的

由於網際網路散佈著大量異質的資訊，因此利用人工的方式去挖掘使用者所需的資 訊是一件困難且沒有效率的事[1]。基於這個理由，一些資料探勘的方法諸如分類的方 法、聚類的方法、預測的方法等[2]，被發展用來幫助使用者挖掘有興趣的訊息。在分類 方法中，Albus 在 1975 提出 CMAC(Cerebellar Model Arithmetic Computer)類神經網路模 型[3][4]，由於其具有快速的學習能力、良好的一般化能力，以及硬體建置容易等優點，

因此 CMAC 在許多應用中被廣泛採用，包括機械手臂控制，訊號處理及圖形辨識等[5]。

然而，Albus 提出的 CMAC 模型有兩個主要缺點[6]：其一是對於高維度問題需要大量的 記憶體，並且缺乏一個選擇記憶體參數的系統方法。此外，CMAC 採用平均的方式來對 於輸入學習樣本空間進行切割，以達到記憶體配置的目的，沒有考慮學習樣本的分佈問 題。

為了解決 CMAC 在高維度分類問題需要大量記憶體的問題，Lin and Li [7]提出由 小的二維 CMAC 所組成的單一學習結構來解決高維度問題。然而該研究所提出的結構 有其限制，舉例來說，該架構中需要適當的決定二維 CMAC 區塊的數量、解析度，並 且需有足夠數量的次模組(submodule)，才可以在非線性函數的逼近上得到良好的學習能 力，並且輸入變數的各種排列必須在建構二維 CMAC 次模組之前就先被考慮。換言之，

若不詳加考慮次模組的架構，該研究所提出的模型將無法運作，因此對於一些具有高特 徵維度的分類問題(例如 Lung data set 有 56 個特徵)，Lin and Li 的方法將會在輸入變數 的排列上產生組合排列爆炸性增長的問題，因此他們的方法無法處理特徵維度過高的分 類問題。

在本計劃中所提出的具自組織能力之階層式小腦模型類神經網路，包含一個可以自 動分析輸入樣本空間的輸入空間切割與分析模組，以及一個階層式小腦模型類神經網路 架構。自組織空間切割與分析模組採用 Shannon 的 entropy measure [8]及 golden section search method [9]，藉由資料分佈來決定輸入空間量化切割的方式。此外，本計劃所提出 的階層式小腦模型類神經網路可以將高維度分類問題切成許多可處理的二維子問題，可 以有效克服原來傳統 CMAC 模型對於解決高維度問題需要大量記憶體的問題。同時本 計劃亦提出一個 gradient-descent learning rule 來訓練自組織 HCMAC 分類器，結果證明 我們提出的自組織 HCMAC 分類器對於高維分類問題具有良好的分類能力，非常適合應 用於網際網路的資訊探勘。

三、研究方法及成果 (一) 可微分 GCMAC

為了建構階層式小腦模型類神經網路架構，首先必須引入可微分 CMAC 的觀念。

由於傳統 CMAC 採用 constant base 基礎函數來建構 hypercube 架構，因此在每個量化狀 態均為常數，因此輸入輸出的導數無法得到，也就是傳統 CMAC 無法得到輸入與輸出 變數之間的微分特性，這導致 CMAC 其在實際應用上的限制很大，也無法利用傳統 CMAC 建構階層式小腦模型架構。Chiang 及 Lin [10]首先提出可微分 CMAC 的觀念，

他們的研究利用高斯函數來建構 hypercube，其一維高斯函式數學式φ為

)2

(

)

( ^σ

φ

m s

e s

− −

= (1) 其中m為平均值(即 hypercube 中心)，σ 是 hypercube 的半徑(radius)，s 為輸入狀態。

若考慮一個N_v維問題，N_v維的高斯函數可以表示如下：

∑= =











− −

































= ^Nh

j

Nv

i

m s

j j

ji ji i

e w s a s

y

1 1

2

. ).

( )

( C ^σ (2)

其中a_j(s)是在 s 輸入狀態下，第j個記憶體選擇向量值，w_j表示第j個實際記憶體值，

si是記憶體向量在 s 輸入狀態下的第i個輸入維度的值，m_ji是 hypercube 的平均值，σ_ji 是半徑值。

在本研究中，我們稱以高斯函數為基礎函數所建構之 CMAC 架構為 GCMAC。

(二) HCMAC 架構

一個階層 CMAC(HCMAC)類神經網路是由二維的可微分 GCMAC 所組成，圖(一) 表示一個 HCMAC 類神經網路的最小架構圖，每個 GCMAC 包含兩個輸入值，第一層 GCMAC 的輸出值被當作第二層 GCMAC 的輸入值。而 HCMAC 架構也可被任意以完滿 二元樹 (full binary tree) 架構擴展，我們同時以可微分 GCMAC 觀念，藉由梯度下降學 習規則（gradient descent）推導學習法則。圖(一)中包含四個標示為s_i輸入值，s_i(i=1,2,...,4) 代表 HCMAC 類神經網路的第i個輸入值，y_j（ j=1,2,...,4）是隱藏層的第j個輸出值，

而y(s)為 HCMAC 根據輸入狀態 s 的輸出值，為了簡單化，最小的 HCMAC 架構被使用 來推導其學習法則。

GCMAC_a

GCMAC_c GCMAC_b

L-1 ^th (hidden)layer

y1 y₂

L ^th (output)layer

s1 s₂ s3 s₄

) (s y

圖(一) HCMAC 類神經網路架構

所推論出來的。可微分 GCMAC 的概念以及梯度下降的學習規則（gradient descent）被 使用來推倒學習法則，因為 GCMAC 的第 L^th層是一個輸出的 node，傳統的 CMAC 學 習規則被用來當作學習法則即可，為了推導學習法則，我們定義了一個 Cost Function 如下：

))2

( ) ˆ( 2(

1 y s y s

E = − (3) 其中yˆ(s)為期望輸出值，而y(s)為實際上的輸出值。

根據 HCMAC 類神經網路是由二維的 GCMAC 組成的架構分析，它有三個參數必須 調整，即權重（weight）、高斯函數的半徑(radius)和平均值(mean)。我們所提出一個誤差 倒傳遞的演算法來訓練此喔類神經網路，當實際輸出和所期望的輸出不同的時候,輸出第 L^th層的 GCMACa 參數會被第一個更新，然後誤差會從L^th層往後傳播到L-1^th的隱藏層 來更新 GCMACb 和 GCMACc 的參數，整個學習法則摘要如下：

(1) 更新輸出層的GCMAC_a

∏

=

− −

⋅

⋅

−

=

∂

∂

∂

∂

∂

− ∂

∂ =

− ∂

=

∆

2

1 ó ) ( )

( )) ( ) ˆ( á (

) ( ) ( á á

j

2

i

m y e j s

a s y s Ne y

wj Wj Wj

s y s y

E j Ne

w E w Ne

ji ji

i (4)

其中∆w_j為 GCMACa 中在輸入狀態 s 的情況下，第j個記憶體的修正量，wj_為第j個

實際記憶體的值，α為學習速率，Ne為輸入狀態值 s 所對映的 Hypercube 個數。

2 ) (

2

] 2

1 ó ) ( [

) ( )) ( ) ˆ( á (

) ( ) ( á Ä á

2

ji m ji yi

i

m y j e

w j s a s y s Ne y

m ji W j W j

s y s y

E ji Ne

m E ji Ne

m

ji ji i

σ

⋅ −

=

− −

⋅

⋅

⋅

−

=

∂

∂

∂

∂

∂

− ∂

∂ =

− ∂

=

∏ ⁽⁵⁾

其中∆σ_ji為 GCMACa 中在輸入狀態 s 的情況下，第i個 dimension 和第 j個 hypercube 所對映的半徑修正值，σ_ji為第i個 dimension 和第j個 hypercube 所對映的半徑值，α為 學習速率。

2 ) (

2

] 2

1 ó ) ( [

) ( )) ( ) ˆ( á (

) ( ) ( á Ä á

2

ji m ji yi

i

m y j e

w j s a s y s Ne y

m ji W j W j

s y s y

E ji Ne

m E ji Ne

m

ji ji i

σ

⋅ −

=

− −

⋅

⋅

⋅

−

=

∂

∂

∂

∂

∂

− ∂

∂ =

− ∂

=

∏ ⁽⁶⁾

其中∆m_ji為 GCMACa 中在輸入狀態 s 的情況下，第i個 dimension 和第 j個 hypercube 所對映的的平均值的修正值，m_ji為第i個 dimension 和第j個 hypercube 所對映的平均 值，α為學習速率。

(2) 更新隱藏層中的 GCMACb 和 GCMACc 首先，在隱藏層 GCMACb 的學習法則如下：

] 2

1 ó ) ( [ ) ( ) 1

) ))( ( ( ) ˆ( á (

) 1 )(

)(

1 ) ))( ( ( ) ˆ( á (

1 1

) ( ) ( á á

Ä j

2

∏ ,

=

− −

⋅

∂ ⋅

− ∂

=

∂

∂

∂

∂

∂

− ∂

=

∂

∂

∂

∂

∂

− ∂

∂ =

− ∂

=

i

m s e j s

y a s s y y s Ne y

wj Wj Wj

y y

s s y y s Ne y

wj y y

s y s y

E j Ne

w E w Ne

i j

ji i

(7)

其中∆w_j為 GCMACb 在輸入狀態 s 的情況下，第j個對映的記憶體修正值，wj_為第j

個對映的實際記憶體值，α為學習速率，Ne為輸入狀態值 s 所對映的 Hypercube 個數。

而

1

) ( y s y

∂

∂ 可被推導如下式(10)所示

3 2

2

1 ó ) (

1

1 1

) ( 2 .

] [

) ) ( )) ( ( ) ˆ( á (

ó ) ( ) ( á ó Ä á

2

ji ji i

i

m s j

j

ji j j ji ji

m s

e w

s y a

s s y y s Ne y

W W

y y

s y s y

E Ne E Ne

ji ji i

σ σ

−

⋅

∂ ⋅

⋅∂

−

=

∂

∂

∂

∂

∂

∂

∂

− ∂

∂ =

− ∂

=

∏=

− −

(8)

其中∆σ_ji為 GCMACb 在輸入狀態 s 的情況下，第i個 dimension 和第j個 hypercube 所 對映的半徑值的修正量，σ_ji為第i個 dimension 和第j個 hypercube 對映的半徑值，α為 學習速率。

2 ) ( 2 .

] 2

1 ó ) ( [ ) ( 1

) )) ( ( ) ˆ( á (

1 1

) ( ) ( á Ä á

2

ji mji si

i

m s j e

w js y a

s s y y s Ne y

mji Wj Wj

y y

s y s y

E ji Ne m

E ji Ne m

ji ji i

σ

− =

− −

⋅

∂ ⋅

⋅∂

−

=

∂

∂

∂

∂

∂

∂

∂

− ∂

∂ =

− ∂

=

∏ (9)

其中∆m_ji為 GCMACb 在輸入狀態 s 的情況下，第i個 dimension 和第j個 hypercube 所 對映的平均值修正量，m_ji為第i個 dimension 和第j個 hypercube 對應的平均值，α為 學習速率。

相同的，在第L-1^th層 GCMACc 的學習法則，可經由類似於 GCMACb 中的學習法則推 導出。式子(4)到式子(9)說明了實際值和期望值的誤差量是藉由

1

) ( y s y

∂

∂ 和

2

) ( y s y

∂

∂ 由輸出層倒

傳遞到隱藏層中的 GCMACs 進行參數的修正。而

1

) ( y s y

∂

∂ 和

2

) ( y s y

∂

∂ 可由式(10)和(11)計算之。

( )

2 2 1 2

1

) (

1 ) ( 1

) (

2

ji ji

ji i

mji y

i

m y e Nh

j

wj j s y a

s y

σ

σ − −

⋅





















=

− −

⋅

=

⋅

∂ =

∂ ∑ ∏ ⁽¹⁰⁾

( )

2 2 2 2

1

) (

1 ) ( 2

) (

2

ji ji

ji i

mji y

i

m y e Nh

j

wj j s y a

s y

σ

σ − −

⋅





















=

− −

⋅

=

⋅

∂ =

∂ ∑ ∏ ⁽¹¹⁾

其中w_j為 GCMACa 中第j個對映的記憶體值，σ_ji為第i個 dimension 和第j個 hypercube

由於傳統 CMAC 採用平均的方法對於輸入樣本空間進行切割，使得記憶體無法依據 輸入樣本空間的分佈加以配置[11]，因此本研究提出一個可以依據不同樣本分佈進行學 習空間切割，且依據此一空間切割自動進行記憶體配置的演算法，可以有效地降低記憶 體的需求，並可以自動決定網路的架構。為了達到此一目的，我們首先提出以 Shannon’s entropy measure 來評估學習空間中樣本的分佈，並且為了搜尋最佳的切割點，我們提出 以黃金切割法對於學習空間進行有效地切割，也就是先以黃金切割法對於學習空間進行 切割，然後再以 Shannon’s entropy measure 評估切割點的好壞，使得可以在學習空間中 找到所有的近似最佳切割點，並依此來配置整個 HCMAC 的記憶體，如此可以最節省記 憶體且自動配置的方式達成記憶體的動態配置，達到更佳的學習效果及提昇分類的正確 率。

因為一個二維的 GCMAC 必須依據輸入樣本的分佈被切割成一些區間，並且必須分 別計算這些區間的 Shannon’s entropy，因此我們定義了一個可以計算每一個區間樣本分 佈狀態的 Shannon’s entropy measure 如下所示：

∑=

×

= ^k

i

i Hi X

N X n

H

1

) ( )

( (12)

其中H(X)表示整個輸入樣本空間X的整體 Shannon’s entropy 值，H_i(X)表示第i^th個區 間的 Shannon’s entropy 值，H_i(X)可以經由式(13)計算出來，N為訓練樣本的總數，n_i表 示在第i^th個區間內的樣本數，∑

=

=

n

i

i N

n

1

，且k表示總共切割的區間數。

第i^th個區間的 Shannon’s entropy H_i(X)可以被定義如下：

) ( log ) ( )

( ₂

1

0

j J

j j

i X p x p x

H ∑⁻

=

−

= (13) 其中J 表示在第i^th個區間樣本的類別數，p(x_j)為第i^th個區間中第j^th個類別中的樣本出 現的機率值。

(五) 研究成果

為了證明本計劃提出具自組織能力之 HCMAC 纇神經網路分類器的分類效果，我 們使用 10 個由 UCI [12]上所取得之 benchmark datasets 來進行分類效果的驗證。

(1) Iris Data

在此一實驗中，我們利用Iris data來比較數種不同分類方法與我們所提出的自我組 織 HCMAC 類 神 經 網 路 分 類 器 的 分 類 效 能 。 在 Hisao Ishibuchi 的 研 究 中 ， 已 經 以 leave-one-out的方式驗證了20種分類法在Iris data下的效果，實驗顯示在Iris data上面，自 我組織HCMAC分類器獲得96.8%的測試準確率，其他方法的測試準確率已依據Hisao Ishibuchi的研究報告整理在表(一)[13]之中。在亂數抽樣50%來訓練，剩餘50%用來測試 的處理模式下，我們提出的自我組織HCMAC分類器在Iris data中具有最佳的分類準確 度。

(2) 幾種來自 UCI 的 benchmark datasets 測試

在此一比較實驗中，我們測試了 9 種來自 UCI 的 benchmark datasets 來進一步驗證 本計劃所提出之自我組織 HCMAC 分類器對於不同維度與樣本特性的分類問題的分類 效能。實驗的環境與之前的實驗相同，我們也獨立執行 10 次實驗，一半的原始資料用 來訓練(經由亂數選出)而剩下的資料則用來測試。表(二)與表(三)所示的實驗數據分別為 訓練及測試的結果，經由實驗結果我們發現有兩個 datasets，BP 演算法無論採用何種架 構與參數設定均無法收斂到所指定的均方誤差(MSE)，這兩個 datasets 分別為為 Soy 與 Promoter 的 datasets。此外，在傳統的 CMAC 中，當輸入的維度(dimension)超過 6 時，

記憶體需求會超過負荷以致於學習程序無法在我們使用的平台上執行(Pentium II 350 中 央處理器,128MB 記憶體,8GB 硬碟)，這結果顯示傳統的 CMAC 需要大量的記憶體，從 另一方面來看，HCMAC 與自我組織 HCMAC 的實驗結果是令人振奮的，因為在這些 BP 與 CMAC 沒辦法妥善處理的資料集中，我們提出的方法仍有不錯的分類正確率。

四、結論與討論

本計劃在此一年度的主要成果在於提出一個自我組織 HCMAC 類神經網路分類 器，它包含了兩個模組：一個基於輸入樣本分佈可以自我組織記憶體架構的輸入空間切 割與分析模組，以及一個新提出的 HCMAC 分類器架構。自我組織輸入空間模組是基於 Shannon entropy 運算與黃金切割搜尋法來適當決定輸入空間樣本的切割點，以便完成近 似最佳化的輸入空間切割，達到自動組織 HCMAC 記憶體架構的目的。此外，我們提出 的自我組織 HCMAC 分類器是基於可微分的高斯函數所組成的 GCMAC，並以階層式架 構組成，我們也提出一個類似於誤差倒傳遞的學習法則來訓練此一分類器。HCMAC 學 習架構能夠克服傳統 CMAC 對於解決高維度問題需要大量記憶體空間的問題，實驗結 果顯示自我組織 HCMAC 擁有快速的學習收斂速度，在我們測試的資料集中比起其他的 傳統分類器，自我組織 HCMAC 分類器擁有最佳的分類準確度。再者，每個自我組織 HCMAC 分類器中的 HCMAC 模組都可以獨立被訓練，實驗結果也證明自我組織 HCMAC 分類器在應用於網際網路資訊的探勘上具有相當的潛力，因為他除了可以解決 高維度分類問題之外，並且能夠輕易地在離散與平行處理系統中被實現。

表(一) 不同分類方法在Fisher Iris data [11]上面的分類正確率比較

Linear Quadratic Nearest Bayes ind. Bayes 2^nd Neuro BP Neuro

ODE

98.0 ^a 97.3 ^a 96.0 ^a 93.3 ^a 84.0 ^a 96.7 ^a 97.3 ^a

PVM rule Rule size 2 CART

tree

Perceptron Quadratic Minimum Fast

96.0 ^a 98.0 ^a 95.3 ^a 95.3 ^b 96.7 ^b 96.0 ^b 92.0 ^b

Annealing Nearest c-means Histogram Hierarchical Fuzzy rule

Self-organ

izing

HCMAC

91.3 ^b 96.7 ^b 93.3 ^b 93.3 ^b 95.3 ^b 97.3 ^a 96.8 ^b a 隨機抽樣處理過程的結果(70%的樣本用來訓練，30%用來測試)

b 隨機抽樣處理過程的結果(50%的樣本用來訓練，50%用來測試)

表(二) 不同學習模式的訓練結果 Model

Data set

BP CMAC HCMAC

Self-organiz ing HCMAC

Liver 84.9% 85.5% 91.9% 99.0%

Breast 98.8% * 99.4% 99.4%

Echo 96.9% * 99.0% 99.0%

Lung 98.0% * 99.0% 99.1%

Soy # * 92.3% 92.6%

Promoter # * 92.4% 99.2%

# :表示發散(不能收斂)

* :記憶體超載(超過負荷)

表(三) 不同學習模式的測試結果 Model

Data set

BP CMAC HCMAC

Self-organiz ing HCMAC

Liver 71.0% 58.3% 63.3% 63.5%

Breast 95.1% * 90.8% 95.7%

Echo 90.9% * 89.3% 86.3%

Va-Heart 99.5% * 71.0% 87.0%

Wine 96.6% * 82.7% 83.1%

All-hyper 97.7% * 96.7% 97.3%

Lung 26.6% * 26.6% 53.3%

Soy # * 79.3% 84.6%

Promoter # * 66.0% 77.3%

# :表示發散(不能收斂)

* :記憶體超載(超過負荷)

五、參考文獻

[1] Sahami, M., Using Machine Learning to Improve Information Access, PhD thesis, Department of Computer Science, Stanford University, 1999.

[2] Raymond Kosala and Hendrik Blockeel, “Web Mining Research: A Survey,” ACM SIGKDD, vol.

1, issue 1, pp. 1-15, 2000.

[3] J.S. Albus, “A New Approach to Manipulator Control: The Cerebellar Model Articulation Controller (CMAC),” Journal of Dynamic Systems, Measurement, and Control, Transactions of ASME, pp. 220-227, 1975.

[4] J.S. Albus, “Data Storage in the Cerebellar Model Articulation Controller (CMAC),” Journal of Dynamic Systems, Measurement, and Controller, Transactions of ASME, pp. 228-233, 1975.

[5] F. H. Glanz, W. T. Miller & L. G. Kraft, “An Overview of the CMAC Neural Network,”

Proceedings of 1991 IEEE Neural Networks for Ocean Engineering, 1991, pp. 301-308.

[6] J. Hu & F. Pratt, “Self-organizing CMAC Neural Networks and Adaptive Dynamic Control,”

Proceedings of the 1999 IEEE International Symposium on Intelligent Control/Intelligent Systems and Semiotics, 1999, pp. 259-265.

[7] C.S. Lin & C.K. Li, “A New Neural Network Structure Composed of small CMACs,”

Proceedings of IEEE Conference on Neural Systems, 1996, pp. 1777-1783.

[8] C. E. Shannon, “A Mathematical Theory of Communication,” Bell Systems Technical Journal, vol.

27, pp. 379-423; pp. 623-656, 1948.

[9] M. S. Bazaraa, H. D. Sherali, & C. M. Shetty, Nonlinear Programming Theory and Algorithms, second edition, John Wiley & Sons, Inc., pp. 270-271, 1993.

[10] C.T. Chiang & C.S. Lin., “CMAC with General Basis Functions,” Neural Networks, vol. 9, no. 7, pp. 1199-1211, 1996.

[11] X.M. Gao, C. Wang, & S.J. Ovaska, “A New CMAC Neural Network Model with Adaptive Quantization Input Layer,” 3rd International Conference on Signal Processing, vol. 2, 1996, pp.

1417-1420.

[12] UCI Machine Learning Repository,http://www.ics.uci.edu/~mlearn/MLRepository.html.

[13] H. Ishibuchi, T. Nakashima, & T. Morisawa, “Voting in Fuzzy Rule-based Systems for Pattern Classification Problems,” Fuzzy Sets and Systems, vol. 103, pp. 223-238, 1999.