以資料分佈及特徵權重為基礎的無教導式模糊群聚方法及其圖樣分類應用之研究

行政院國家科學委員會補助專題研究計畫成果報告

※※※※※※※※※※※※※※※※※※※※※※※※※

※ ※

※ 以資料分佈及特徵權重為基礎的無教導式模糊群聚 ※

※ 方法及其圖樣分類應用之研究 ※

※ ※

※※※※※※※※※※※※※※※※※※※※※※※※※

計畫類別：■個別型計畫 □整合型計畫 計畫編號：NSC 94-2213-E-011-063

執行期間： 94 年 8 月 1 日至 95 年 7 月 31 日

計畫主持人：楊英魁 共同主持人：

本成果報告包括以下應繳交之附件：

□赴國外出差或研習心得報告一份

□赴大陸地區出差或研習心得報告一份

□出席國際學術會議心得報告及發表之論文各一份

□國際合作研究計畫國外研究報告書一份

執行單位：國立台灣科技大學

中 華 民 國 96 年 11 月 15 日

行政院國家科學委員會專題研究計畫成果報告

國科會專題研究計畫成果報告撰寫格式說明 Preparation of NSC Project Reports

計畫編號：NSC 94-2213-E-011-063 執行期限：94 年 8 月 1 日至 95 年 7 月 31 日

主持人：楊英魁 國立台灣科技大學 電機工程研究所

一、中文摘要

為了由圖樣的數值資料中萃取出具有 代表性的標準圖樣，本研究利用與資料分 佈間隙相關的距離值進行群聚分析並評估 成效，不必指定群集數，可快速挑選出最 佳的群聚結果及最合理的群集數；不但能 隨著資料分佈的結構獲得整體的最佳解，

而且又能降低所花費的時間複雜度，改善 了一般自組織模糊群聚相關研究的缺點並 增進了效能。另一方面，本研究以統計觀 念計算出訓練資料集合中每一個特徵之權 重，藉以判斷特徵的重要性，使圖樣類別 更易於分辨；並將經由自組織模糊群聚推 理所得到的群集映射為模糊分類規則，進 而建立了模糊規則庫。最後，定義了裁決 函數以進行分類處理，同時將特徵的權重 應用於裁決函數之中，藉以確定資料的分 類，並提高分類正確率，改進了模糊分類 的效能。

關鍵詞：模糊群聚、圖樣分類、資料分佈、

特徵權重

Abstract

To extract standard patterns from a set of sample data, this research proposes an

approach that can appropriately cluster a given data set automatically based on both the data distribution and the distance gaps existing among the data points of a given data set without the need of specifying the number of resultant clusters and setting up subjective parameters. On the other hand, statistical concept is also applied to define weights of pattern features (dimensions) in the training data set so that the weight of a pattern feature is proportional to the contribution the feature can provide to the task of pattern classification. The proposed weight definition not only reduces the dimensionality of feature space so as to speed up the classification process but also increases the accuracy rate of classification result.

Keywords: fuzzy clustering, pattern

classification, data distribution, feature weight

二、緣由與目的

圖 樣 識 別 (pattern recognition) 在 計算機科學(computer science)及資訊工 程(information engineering)中是非常重 要的論題(topic)，具有各式各樣的應用。

電腦式的自動圖樣辨認系統之應用非常廣 泛 ， 諸 如 手 寫 字 體 辨 認 (handwritten character recognition )，X 光影像自動 篩 選 及 分 類 (automatic screening and classification of X-ray images)，語音 辨認及語者確認(speech recognition and speaker identification)，染色體的分析 及分類(analysis and classification of chromosomes )以及人臉辨認(human face recognition)等等。

然而，必須先取得標準圖樣，並根據 標 準 圖 樣 建 立 精 確 的 系 統 模 式 (system model)，才能正確地進行圖樣識別或分 類。而欲從圖樣的數值資料中萃取出標準 圖樣，則必須利用資料分析的方法，萃取 出具有代表性的標準圖樣，才能有助於圖 樣類別的分辨。

群聚分析(clustering analysis)是一 種決定最佳分類的技術，廣泛地被用來組 織及分類資料，在圖樣分類的領域中，群 聚分析扮演著非常重要的角色。當給定了 一組有限的圖樣資料，利用群聚分析，可 以求出若干個能適切地代表圖樣資料相關 特性的群集中心(cluster center)，也就 是標準的圖樣。群聚分析應用在系統模式 的建立也有不錯的成效，因此本研究探討 群聚分析及圖樣識別相關研究的優缺點，

並提出一個藉由分析圖樣資料的特性，能 自動發展出圖樣分類系統的方法。

本研究的主要目標，就是藉由分析輸 入-輸出資料對(data pairs)的特性，並依據

模糊建模的標準程序，自動地發展出一個 模糊分類系統。而自動建構一個無教導式 的模糊圖樣分類系統，必須利用資料分析 的方法，先從圖樣的數值資料中萃取出具 有代表性的標準圖樣，並根據標準圖樣建 立精確的系統模式以及定義出適當的裁決 程序，才能正確且有效率地進行圖樣的識 別 或 分 類 。 由 於 模 糊 群 聚 分 析 (fuzzy clustering analysis)是一種決定最佳分類的 技術，不僅廣泛地被用來組織及分類資 料 ， 同 時 亦 有 益 於 資 料 壓 縮 (data compression)，應用在模糊系統模式的建立 有不錯的成效。因此本研究就是基於資料 分佈的結構以及模糊群聚，發展了一個模 糊分類方法，這個分類方法具有模糊規則 式系統易於理解的優點，並改進了模糊分 類的效能。

三、研究結果與討論

近來有很多經由數值資料產生模糊規 則並自動建模的研究被提出來，就圖樣分 類的問題而言，以往的相關研究會遇到若 干的瓶頸，諸如未考慮資料的結構而直接 對圖樣空間進行均分式地分割、模型複雜 難予理解而且演算法需要甚高的計算成 本、無法處理多維度的分類問題、訓練時 間過長等；本研究針對這些缺失作改善，

提出了一個基於模糊群聚以及資料分佈結 構的模糊分類方法。這個分類方法既簡單 又有效，具有模糊規則式系統易於理解的

優點，能根據輸入-輸出的資料對，自動地 發展出一個模糊分類系統，而且亦改進了 模糊圖樣分類的效能。綜合言之，本研究 的成果可以歸納為下列數點：

[1] 模糊群聚分析是一種決定最佳分類的技 術，不僅廣泛地被用來組織及分類資料，應 用在模糊系統模式的建立有不錯的成效。但是 在自組織模糊群聚的相關研究之中，通常 可以得到整體最佳解的群聚演算法，其時 間複雜度相當的高；而時間複雜度較低的 群聚演算法，所得到的結果往往都是局部 的最佳解。本研究亦改善了這些缺點，並 以自然的方式，快速地求得合理的群集數 及整體的最佳解。

[2] 群集數及群聚結果與資料點的分佈結 構及資料點彼此間的距離遠近程度有著密 不可分的關係，同一個群集裡的各資料 點，彼此之距離較為接近；分別隸屬於不 同群集的資料點，彼此之距離則較為遠 離。而群集與群集之間，存在著較大的間 隙，這些較大的間隙，極有可能就是群集 之間的邊界。與較大間隙有關的距離值，

極有可能就是群集本身的範圍界限，也就 是彼此之間的距離小於等於這個範圍的資 料點，極有可能是同屬於一個群集。本研 究基於上述的觀點，利用與間隙相關的距 離值進行群聚分割並評估成效，快速地挑 選出最佳的群聚結果及最合理的群集數；

不但能隨著資料分佈的結構自然地獲得整 體的最佳解，而且又能大大地降低所花費 的時間複雜度，改善了一般自組織模糊群

聚相關研究的缺點並增進了效能。

[3] 本研究所提出的無教導式模糊圖樣分 類方法，不但具有模糊規則式系統易於理 解的優點，也承襲及發揚模糊群聚可根據 資料的結構對圖樣空間進行適當分割的優 點，利用一個自組織模糊群聚推理網路 (self- organizing fuzzy clustering inference network, SOFCIN)，以自組織 的方式對給定的圖樣特徵空間進行適當的 分割，來得到合理的群集數及群集中心集 合。

[4] 本研究以統計觀念計算出訓練資料集 合中每一個特徵之權重，藉以判斷特徵的 重要性，使圖樣類別更易於分辨；並將經 由自組織模糊群聚推理所得到的群集映射 為模糊分類規則，進而建立了模糊規則 庫。最後，定義了裁決函數以進行分類處 理，同時將特徵的權重應用於裁決函數之 中，藉以確定資料的分類，並提高分類正 確率。

四、重要參考文獻

[1] V. Boskovitz, H. Guterman, “An adaptive neuro-fuzzy system for automatic image segmentation and edge detection, ” IEEE Trans. On Fuzzy Systems, vol. 10, pp. 247 -262 , Apr. 2002.

[2] N. Li, Y. F. Li, “Feature encoding for unsupervised segmentation of color images ” IEEE Trans. On Systems, Man, and Cybernetics, Part B, vol. 33, no. 3, pp. 438 –447, Jun. 2003.

[3] S. Eschrich, K. Jingwei, L.O. Hall, and

D.B. Goldgof, “Fast accurate fuzzy clustering through data reduction” IEEE Trans. On Fuzzy Systems, vol. 11, no. 2 , pp. 262 –270, Apr. 2003.

[4] C. Stutz, T. A. Runkler, “Classification and prediction of road traffic using application-specific fuzzy clustering”

IEEE Trans. On Fuzzy Systems, vol. 10, no. 3 , pp. 297 –308, Jun. 2002.

[5] N. R. Pal, J. C. Bezdek, “On cluster validity for the fuzzy c-means model,”

IEEE Trans. On Fuzzy Systems vol. 3, no.

3, pp. 370-379, Aug. 1995.

[6] A. M. Bensaid, L. O. Hall, J. C. Bezdek, L. P. Clarke, et al. “ Validity-guided (re)clustering with applications to image segmentation, ” IEEE Trans. On Fuzzy Systems, vol. 4, no. 2, pp. 112-123, May 1996.

[7] T. Takagi and M. Sugeno, “ Fuzzy identification of systems and its applications to modeling and control,”

IEEE Trans. on Systems, Man, and Cybernetics, vol. 15, pp. 116-132, Jan./Feb. 1985.

[8] M. Sugeno and T. Yasukawa, “A fuzzy-logic-based approach to qualitative modeling,” IEEE Trans. on Fuzzy Systems, vol. 1, pp. 7-31, Feb.

1993.

[9] S. Abe, and M.-S. Lan, “A method for fuzzy rules extraction directly from numerical data and its application to pattern classification,” IEEE Trans. on Fuzzy Systems, vol. 3, pp. 18-28, Feb.

1995.

[10] P. K. Simpson, “Fuzzy min-max neural networks—Part I: Classification, ” IEEE Trans. on Neural Networks, vol. 3, pp.

776-786, Sep. 1992.

[11] V. Uebele, S. Abe, and M.-S. Lan, “A neural-network-based fuzzy classifier,”

IEEE Trans. on Systems, Man, and Cybernetics, vol. 25, pp. 353-361, Feb.

1995.

[12] S. K. Halgamuge, W. Poechmueller, and M. Glesner, “An alternative approach for generation of membership functions and fuzzy rules based on radial and cubic basic function networks,” International Journal of Approximate Reasoning, vol.

12, no. 3/4, pp. 279-298, Apr./May 1995.

[13] H. Ishibuchi, K. Nozaki, and H. Tanaka,

“Distributed representation of fuzzy rules and its application to pattern classification,” Fuzzy sets and Systems, vol. 52, pp. 21-32, Nov. 1992.

[14] H. Ishibuchi, K. Nozaki, N. Yamamoto, and H. Tanaka, “Selecting fuzzy if-then rules for classification problems using genetic algorithms,” IEEE Trans. on Fuzzy Systems, vol. 3, pp. 260-270, Aug.

1995.

[15] I. H. Suh, J. H. Kim, and C. H. Rhee,

“Convex-set-based fuzzy clustering,”

IEEE Trans. on Fuzzy Systems, vol. 7, no. 3, pp. 271-285, 1999 .

[16] N. Zahid , O. Abouelala, M. Limouri, and A. Essaid, “Unsupervised fuzzy clustering,” Pattern Recognition Letters 20, pp.123-129, 1999 .

[17] H. K. Kwan, and Y. Cai, “A fuzzy neural network and its application to pattern recognition,” IEEE Trans. on Fuzzy Systems, vol. 2, no. 3, pp. 185-193, Aug. 1994.

[18] N. R. Pal, G.. K. Mandal, and E.V.

Kumar, “Comments on A fuzzy neural network and its application to pattern recognition,” IEEE Trans. on Fuzzy Systems, vol. 7, no. 4, pp. 479-480, Aug. 1999.

[19] M. Y. Chen and D. A. Linkens,“A fast fuzzy modelling approach using

clustering neural networks,” IEEE 98 on Fuzzy Systems Proceeding, pp.1088-1093,1998.

[20] H. M. Lee, C. M. Chen, J. M. Chen, and Y. L. Jou “An efficient fuzzy classifier with feature selection based on fuzzy entropy ” IEEE Trans. on Systems, Man, and Cybernetics, Part B, vol. 31, no. 3, pp. 426-432, Jun. 2001.

[21] J.-S. R. Jiang , C.-T. Sun, and E.

Mizutani, Neuro-Fuzzy and Soft Computing Prentice-Hall Inc. , pp.18-19,1997.

[22] S. Lipschutze, Theory and Problems of Probability, McGraw-Hill, Inc., New York, 1968.

[23] G. Castellano and A. M. Fanelli, “A staged approach for generation and compression of fuzzy classification rules,” The Ninth IEEE International Conference on Fuzzy Systems, vol. 1, pp.42-47, May 2000.

[24] K. Nozaki, H. Ishibuchi, and H. Tanaka,

“Adaptive fuzzy rule-based classification systems,” IEEE Trans. on Fuzzy Systems, 4(3):238–250, Aug.

1996.

[25] M. P. Windham, “Cluster validity for the fuzzy c-means clustering algorithm,”

IEEE Trans. on Pattern Analysis and Machine Intelligence, PAMI-4 ,no.4, pp.357-363, July 1982.

7