應用模糊階層式分群及模糊推論技術以作模糊資訊擷取之新方法研究

行政院國家科學委員會專題研究計畫 成果報告

應用模糊階層式分群及模糊推論技術以作模糊資訊擷取之 新方法研究

計畫類別： 個別型計畫

計畫編號： NSC91-2213-E-011-052-

執行期間： 91 年 08 月 01 日至 92 年 07 月 31 日 執行單位： 國立臺灣科技大學資訊工程系

計畫主持人： 陳錫明

報告類型： 精簡報告

處理方式： 本計畫可公開查詢

中 華 民 國 92 年 8 月 11 日

行政院國家科學委員會補助專題研究計畫成果 報告

※※※※※※※※※※※※※※※※※※※※※※※

※※※※

模糊資訊

※

※

※

※

※

※

※

※

Inference Techniques ※

※※※※※※※※※※※※※※※※※※※※※※※

※※※

計畫類別：þ個別型計畫 □整合型計畫 計畫編號：NSC 91－2213－E－011－052 執行期間：91 年 8 月 1 日至 92 年 7 月 31 日

計畫主持人：陳錫明教授

本成果報告包括以下應繳交之附件：

□赴國外出差或研習心得報告一份

□赴大陸地區出差或研習心得報告一份

□出席國際學術會議心得報告及發表之論文各一份

□國際合作研究計畫國外研究報告書一份

執行單位： 國 立 台 灣 科 技 大 學 資 訊 工 程 系

中 華 民 國 九 十 二 年 七 月 三十一 日

應用模糊階層式分群及模糊推論技術以作模糊資訊擷取之 新方法研究

A New Method for Fuzzy Infor mation Retr ieval Based on Hier ar chical Fuzzy Cluster ing and Fuzzy Infer ence Techniques

計畫編號：NSC 91-2213-E-011-052

執行期限：91 年 8 月 1 日至 92 年 7 月 31 日 主持人：陳錫明 國立台灣科技大學資訊工程系 教授

一、 中文摘要

在本計畫中，我們提出一個基於模糊階層式分群及模糊推論技術以建立索引詞相關性的新 方法以作模糊資訊擷取。本計畫可分為三個部份：在第一個部份中，我們提出一個新的模糊階層 式分群演算法以將文件集合中的的文件做分群，並對各個文件群取群中心；在第二個部份中，我 們依據在第一部份所得到的文件群及其群中心來產生模糊邏輯規則，這些模糊邏輯規則可呈現在 文件群中心中所包含的索引詞之間的關聯性；第三個部份中，我們依據所得到的模糊邏輯規則來 擴展使用者查詢，藉此提高使用者對所擷取到的文件的滿意度。在我們所提出的模糊資訊擷取的 新方法中所得到的模糊邏輯規則可表現出索引詞之間可能的四種模糊相關關係(亦即”模糊正相 關”關係、”模糊負相關”關係、”模糊一般化”關係、及”模糊特殊化”關係)。相較於前人所提的方 法所產生的模糊邏輯規則，本計畫中所提的方法能更具智慧及更具彈性的擴展使用者的查詢，而 依擴展後的使用者查詢所擷取到的文件也更能符合使用者的需求。

關鍵詞：模糊資訊擷取系統、相關性機制、使用者查詢擴展、模糊關係、模糊階層式分群、模糊 推論、模糊邏輯規則。

Abstr act

In this project, we present a new method for fuzzy information retrieval based on fuzzy

hierarchical clustering and fuzzy inference techniques. This project consists of three parts. In the first

part, we propose a fuzzy hierarchical clustering algorithm for clustering documents and to get the

cluster center of each cluster. In the second part, we propose a method to generate fuzzy logic rules

based on the document clusters and their cluster centers. In the third part, we apply the generated fuzzy

logic rules to modify the user’s query for query expansion and therefore guide the information retrieval

represent several kinds of fuzzy relationships (i.e., “fuzzy positive association” relationship, “fuzzy negative association” relationship, “fuzzy specialization” relationship, and “fuzzy generalization”

relationship) between index terms. The proposed fuzzy information retrieval method is more intelligent and more flexible than the existing methods due to the fact that it can extend the users’ queries for fuzzy information retrieval in a more intelligent and more flexible manner. The documents retrieved by the fuzzy information retrieval systems with respect to the users’ expanded query will be more satisfying to the users’

requirements.

Keywords: Fuzzy Information Retrieval Systems, Association Mechanism, Query Expansion, Fuzzy Relationships, Fuzzy Hierarchical Clustering, Fuzzy Inference, Fuzzy Logic Rules.

二 、計畫緣由與目的

目前大部份商用的資訊擷取系統都是以布林邏輯(Boolean Logic)為基礎來建構的，並且假設 使用者的需求可精確的用索引詞(Index Terms)來表示。然而，經常使用者查詢會很自然的包含 模糊性在裡面，而在使用者查詢中模糊性的來源是使用者本身可能對其所要擷取的資訊不太清 楚，因此其需求很難被描述的很清楚。所以，基於布林邏輯所建構的資訊擷取系統其使用者可 能需要反覆的查詢並修正其查詢數次後才能真正的找到符合其需求的文件。因為模糊集合理論 (Fuzzy Set Theory)[36] 可以用來描述不精確的資訊，所以目前已經有很多研究將其應用在模糊 資訊擷取系統中，例如參考文獻[1] 、[2] 、[3] 、[7] 、[8] 、[9] 、[12] 、[13] 、[15] 、[16] 、 [17] 、[19] 、[26] 及[32] 等。

將 模 糊 集 合 理 論 應 用 在 資 訊 擷 取 系 統 中 ， 有 一 部 份 是 屬 於 相 關 性 機 制 (Associative Mechanism)的研究。所謂相關性機制的研究是指找出索引詞之間可能的相關性關係，並且依此 相關性關係來針對使用者查詢中所使用的字詞加以修改，也就是將與使用者查詢中所用字詞具 相關性的字詞也加入使用者查詢中，希望藉此可找到較多符合使用者需求的文件。相關性機制 的做法大致上可分為幾種方式，如下所示：

(1) 使用詞典(Thesaurus)的方式(如參考文獻[11] 、[19] 、[23] 、[27] 、[29] 、及[32] 等)，

(2) 使用關聯回饋(Relevance Feedback)的方式(如參考文獻[1] 、及[31] )，

(3) 使用知識庫(Knowledge Base)的方式(如參考文獻[5] 、[7] 、[8] 、[9] 、[22] 、及[34]

等)，

(4) 使用分群法(Clustering)的方式(如參考文獻[15] 及[17] )，

其中使用詞典的方式雖然已經有許多相關的研究，但其效果似乎還有待改善[23] ；使用關聯回 饋的方式雖然已被證實確可增進查詢的效果[31] ，但因為需要使用者參與評估每次文件擷取的 滿意度，所以可能會造成使用者的負擔；而使用知識庫的方式因為需要特定領域的專家(Domain Experts)參與建置知識庫，所以所建置出來的知識庫相對應的只能應用於特定的範圍。因為前面 三種方法都有其缺點存在，所以在本計畫中，我們著重於研究及發展使用分群法來做相關性機制 的方法。

在本計畫中，我們提出一個基於模糊階層式分群及模糊推論技術以作模糊資訊擷取的新方

法。這個新方法可分成三個部份：第一個部份我們提出一個新的楜糊階層式分群演算法以將文件

集合中的的文件做分群，並求取各個文件群之群中心；在第二個部份我們依據在第一個部份中所

得到的文件群及其群中心來產生模糊邏輯規則，這些模糊邏輯規則可呈現在文件群中心中所包含

的索引詞之間的關聯性；第三個部份則依據在第二個部份中所得到的模糊邏輯規則來擴展使用者

查詢，藉此提高使用者對所擷取到的文件的滿意度。在我們所提出的模糊資訊擷取的新方法中所

得到的模糊邏輯規則可表現出索引詞之間可能的四種模糊相關關係(亦即”模糊正相關”關係

(Fuzzy Positive Association Relationship) 、 ” 模 糊 負 相 關 ” 關 係 (Fuzzy Negative Association

Relationship)、”模糊一般化”關係(Fuzzy Generalization Relationship)、及”模糊特殊化”關係(Fuzzy Specialization Relationship))。相較於前人所提的方法所產生的模糊邏輯規則，本計畫所提的方法 能更具智慧及更具彈性的擴展使用者的查詢，而依擴展後的使用者查詢所擷取到的文件，也更能 符合使用者的需求。

三、研究方法及成果

茲將本計畫之研究方法描述如下。在本計畫中，我們先研究模糊集合理論(Fuzzy Set Theory) [36] ，接著我們研究 Kraft 等人在參考文獻[17] 中所提結合模糊分群法(Fuzzy Clustering)及模糊 推論技術以用在模糊資訊擷取系統中的方法。在本計畫中，首先我們提出一個模糊階層式分群演 算法。本計畫所提之模糊階層式分群演算法能自動作分群，不須使用者預先定義分群數，又允許 一個文件同時能屬於多個群。

對於某兩個文件群的相似度的算法，我們是把每個屬於其中某一個文件群之中的文件與每個 屬於另一個文件群之中的文件兩兩配對，然後取所有配對的相似度的最小值當成這兩個文件群的 相似度，而每個文件群的群中心算法為：

) 1 ( ,

1 1

∑

∑

=

=

i ki n

i i ki k

d v

µ µ

其中 v

代表文件群 A

的群中心，μ

代表文件 d

屬文件群 A

的歸屬度， n 為文件群 A

的內所 包含的文件個數，且 d

為屬於文件群 A

的文件。對於每個文件群中心，我們將其中的索引詞依 據其在群中心的權重從高到低加以排序，並挑選在排序中的前 M ( M ≥ 2) 個索引詞。假設索引詞 t

是由代表文件群 A

的群中心所挑選出來的，而索引詞 t

是由代表文件群 A

的群中心所挑選出來 的，則我們讓這兩個索引詞 t

與 t

配對之後的形式為<[ t

, w

], [ t

, w

]>，其中 w

為索引詞 t

在 文件群 A

中心的權重， w

為索引詞 t

在文件群 A

中心的權重，0 ≤ w

≤ 1，且 0 ≤ w

≤ 1，

而索引詞 t

與 t

的配對，依據索引詞 t

所在的文件群 A

與索引詞 t

所在的文件群 A

之間的關係，

我們將其分為四類：

(1) 正相關(Positive Association)：當文件群 A

與文件群 A

相同，即索引詞 t

與 t

是從同一 個文件群中心被挑選出來的，則索引詞 t

與 t

的配對屬於此類。

(2) 負相關(Negative Association)：當文件群 A

與文件群 A

在階層式分群中位於同一階層，

即這兩個文件群會被合併成另一個群，則索引詞 t

與 t

的配對屬於此類。

(3) 一般化(Generalization)：當文件群 A

在階層式分群中位於文件群 A

的下一階層，即文 件群 A

是由合併文件群 A

而來的，則索引詞 t

與 t

的配對屬於此類。

(4) 特殊化(Specialization)：當文件群 A

在階層式分群中位於文件群 A

的上一階層，即文 件群 A

是由合併文件群 A

而來的，則索引詞 t

與 t

的配對屬於此類。

如果相同的索引詞在同一類中被配對多次，但卻給予不同的權重值，則這些配對將會被合併 成一個配對，而索引詞的權重則取在所有配對中索引詞權重的最小值。最後，根據每一類中的索 引詞配對<[ t

, w

], [ t

, w

]>，我們可建立相對應的模糊邏輯規則，其方法如下所示：

情況 1：索引詞 t

與 t

的配對關係屬於正相關(Positive Association)，則可建立如下的兩個模糊邏 輯規則：

], [

]

[ t

≥ w

→ t

≥ w

和

].

[ ]

[ t

≥ w

→ t

≥ w

情況 2：索引詞 t 與 t 的配對關係屬於負相關(Negative Association)，則可建立如下的兩個模糊邏

], [

]

[ t

≥ w

→ t

≥ w

和

].

[ ]

[ t

≥ w

→ t

≥ w

情況 3：索引詞 t

與 t

的配對關係屬於一般化(Generalization)，則可建立如下的模糊邏輯規則：

].

[ ]

[ t

≥ w

→ t

≥ w

情況 4：索引詞 t

與 t

的配對關係屬於特殊化(Specialization)，則可建立如下的模糊邏輯規則：

].

[ ]

[ t

≥ w

→ t

≥ w

在本計畫中，我們所採用的使用者查詢式如下所示：

), , , , ,

( <

>

= d w

w

w

q L

其中 < w

, w

, L , w

> 代表使用者查詢向量，而其中每一個元素 w

，代表使用者希望所擷取到 的文件中包含索引詞 t

的程度，0 ≤ w

≤ 1， s 表示索引詞的數量，而 d 代表使用者希望資訊擷取 系統在觀念階層中搜尋的方向， d ∈[-, N , G , S ]。如果 d = ‘-’，表示使用者不希望改變搜尋的方向。

如果 d = ‘ N ’，表示使用者希望所擷取到的文件能夠包含一些與查詢字具負相關關係的觀念。如 果 d = ‘ G ’，表示使用者希望所擷取到的文件能夠包含一些比查詢字具更廣義關係的觀念。如果 d

= ‘ S ’，表示使用者希望所擷取到的文件能夠包含一些比查詢字具更狹義關係的觀念。而依據所設

定的 d 的值，資訊擷取系統會取相對應類之中的模糊邏輯規則來修改使用者查詢。如果 d = ‘-’，

則選取在”正相關”中的模糊邏輯規則來修改使用者查詢。如果 d = ‘ N ’，則選取在”正相關”中的模 糊邏輯規則加上在”負相關”中的模糊邏輯規則來修改使用者查詢。如果 d = ‘ G ’，則選取在”正相 關”中的模糊邏輯規則加上在”一般化”中的模糊邏輯規則來修改使用者查詢。如果 d = ‘ S ’，則選 取在”正相關”中的模糊邏輯規則加上在”特殊化”中的模糊邏輯規則來修改使用者查詢。

被選取到的模糊邏輯規則將用來修改使用者查詢式中的使用者查詢向量，如果我們使用模糊 邏輯規則 [ t

≥ w

] → [ t

≥ w

] 來修改使用者查詢向量，而此模糊邏輯規則的使用時機為在使用者 查詢向量中 w

≥ w

且 w

≤ w

，則所得到的新的使用者查詢向量大致與原有的使用者查詢式向 量 相 同 ， 除 了 索 引 詞 t

的 強 度 變 為 w

。 假 設 R 為 被 選 取 出 來 的 模 糊 邏 輯 規 則 集 合 ，

} , , , { r

r

r

R = K ，則新的使用者查詢向量將由重覆的運用在 R 中的模糊邏輯規則以修改各個需改

的索引詞的權重，直到沒有索引詞的權重可再被修改為止。新的使用者查詢向量將被用來擷取相 關的文件。

假設修改過後的使用者查詢向量 q 如下所示：

, , , ,

1

>

<

= w

w

w

q L

其中 0 ≤ w

≤ 1。另外我們假設每個文件集合中的文件也可用向量表示，如下所示：

, ,..., ,

1

>

<

=

i

f f f

d

其中 f

表示索引詞 t

在文件 d

中的重要度且 0 ≤ f

≤ 1。則每個文件 d

符合使用者查詢向量 q 的 程度 DS ( d

)可用如下的公式來計算:

, ) , ( )

(

s f w T d

DS

ij qj i

= ∑ (2)

其中 T( w

, f

)為計算相似度的函數，如下所示：

T ( w

, f

) = 1 - | w

- f

|. (3)

在本計畫中，我們提出一個基於模糊階層式分群及模糊推論技術以建立索引詞相關性的新 方法以作模糊資訊擷取。在本計畫中所提的方法能更具智慧及更具彈性的擴展使用者的查詢，而 依擴展後的使用者查詢所擷取到的文件也將更符合使用者的需求。

五、計畫成果自評

本計畫之研究成果目前已有一篇論文發表於科技會議上，另外已有一篇論文投稿於國際期 刊，在理論與實際應用上均有很高的價值。本計畫之研究內容與原計畫相符程度為 100%，也 100%

達成預期目標。

六、參考文獻

[1] A. D. Bimbo and D. Lucarella, “A fuzzy object retrieval system for image understanding,”

Proceedings of the Tenth Annual International Phoenix Conference on Computers and Communications , pp. 835-841, 1991.

[2] G. Bordogna, P. Carrara, and G. Pasi, “Query term weights as constraints in fuzzy information retrieval,” Information Processing and Management , vol. 27, no. 1, pp. 15-26, 1991.

[3] G. Bordogna and G. Pasi, “A user-adaptive neural network supporting a rule-based relevance feedback,” Fuzzy Sets and Systems , vol. 82, no. 2, pp. 201-211, 1996.

[4] G. Bordogna and G. Pasi, “A user-adaptive indexing model of structured documents,” Proceedings of the 10th IEEE International Conference on Fuzzy Systems , Melbourne, Australia, vol. 2, 2001.

[5] H. Chen, “Knowledge-based document retrieval: Framework and design,” Journal of Information Science , vol. 18, pp. 293-314, 1992.

[6] J. Chen and S. Kundu, “A sound and complete fuzzy logic system using Zadeh’s implication operator,” Proceedings of the 9th International Symposium on Methodologies for Intelligent Systems , Zakopane , Poland , pp. 233-242, 1996.

[7] S. M. Chen and J. Y. Wang, “Document retrieval using knowledge-based fuzzy information retrieval techniques,” IEEE Transaction on Systems, Man, and Cybernetics, vol. 25, no. 6, pp. 793-803, 1995.

[8] S. M. Chen, W. H. Hsiao and Y. J. Horng, “A knowledge-based method for fuzzy query processing for document retrieval,” Cybernetics and Systems: An International Journal , vol. 28, no. 1, pp.

99-119, 1997.

[9] S. M. Chen and J. Y. Wang, “A new approach for fuzzy information retrieval,” Proceedings of 1993 National Computer Symposium , Chiayi, Taiwan, R. O. C., vol. 2, pp. 767-774, 1993.

[10] J. H. Chiang and Y. C. Chen, “Hierarchical fuzzy-KNN networks for news documents categorization,” Proceedings of the 10th IEEE International Conference on Fuzzy Systems , Melbourne, Australia, vol. 2, 2001.

[11] U. Guntzer, “Automatic thesaurus construction by machine learning from retrieval sessions”

Information Processing and Management , vol. 25, no. 3, pp. 265-273, 1989.

[12] G. T. Her and J. S. Ke, “A fuzzy information retrieval system model,” Proceedings of 1983 National Computer Symposium , Taiwan, Republic of China, pp. 147-1551, 1983.

[13] Y. J. Horng and S. M. Chen, “Document retrieval based on extended fuzzy concept networks,”

Proceedings of the Fourth National Conference on Defense Management , Taipei, Taiwan, Republic

of China, vol. 2, pp. 1039-1050, 1996.

[14] Y. J. Horng, S. M. Chen, and C. H. Lee, “Automatically constructing multi-relationship fuzzy concept networks in fuzzy information retrieval systems,” Proceedings of the 10th IEEE International Conference on Fuzzy Systems , Melbourne, Australia, vol. 2, 2001.

[15] M. Kamel, B. Hadfield, and M. Ismail, “Fuzzy query processing using clustering techniques,”

Information Processing and Management , vol. 26, no. 2, pp. 279-293, 1990.

[16] D. H. Kraft and D. A. Buell, “Fuzzy sets and generalized Boolean retrieval systems,” International Journal of Man Machine Studies , vol. 19, no. 1, pp. 45-56, 1983.

[17] D. H. Kraft, J. Chen, and A. Mikulcic, “Combining fuzzy clustering and fuzzy inferencing in information retrieval,” Proceedings of the Ninth IEEE International Conference on Fuzzy Systems , San Antonio, Texas, U. S. A., vol. 1, pp. 375-380, 2000.

[18] K. L. Kwok and W. Kuan, “Experiments with document components for indexing and retrieval,”

Information Processing and Management , vol. 24, no. 4, pp. 405-417, 1988.

[19] H. M. Lee, S. K. Lin, and C. W. Huang, “Interactive query expansion based on fuzzy association thesaurus for web information retrieval,” Proceedings of the 10th IEEE International Conference on Fuzzy Systems , Melbourne, Australia, vol. 2, 2001.

[20] A. Leuski, “Evaluating document clustering for interactive information retrieval,” Proceedings of the Tenth International Conference on Information and Knowledge Management , Atlanta, Georgia, U. S. A., pp. 33-40, 2001.

[21] R. M. Losee, “Predicting document retrieval system performance: An expected precision measure,”

Information Processing and Management , vol. 23, no. 6, pp. 529-537, 1987.

[22] D. Lucarella and R. Morara, “FIRST: Fuzzy information retrieval system,” Journal of Information Science, vol.

17, no. 1, pp. 81-91, 1991.

[23] R. Mandala, T. Tokunaga, and H. Tanaka, “Query expansion using heterogeneous thesauri,”

Information Processing and Management , vol. 36, no. 3, pp. 361-378, 2000.

[24] H. Mano and Y. Ogawa, “Selecting expansion terms in automatic query expansion,” Proceedings of the 24th ACM/SIGIR International Conference on International Conference on Research and Development in Information Retrieval , New Orleans, Louisiana, U. S. A., pp. 390-391, 2001.

[25] S. Miyamoto, “Information retrieval based on fuzzy associations,” Fuzzy Sets and Systems , vol. 38, pp. 191-205, 1990.

[26] T. Radechi, “Mathematical model of time effective information retrieval system based on the theory of fuzzy set,” Information Processing and Management , vol. 13, pp. 109-116, 1977.

[27] C. D. Paice, “A thesaural model of information retrieval,” Information Processing and Management , vol. 27, no. 5, pp. 433-447, 1991.

[28] H. Prade and C. Testemale, “The possibility approach to the handling of imprecision in database systems,” A Quarterly Bulletin of the Computer Society of the IEEE Technique Committee on Data Engineering , vol. 12, no. 2, pp. 4-10, 1989.

[29] R. Rada, J. Barlow, and J. Potharst, “Document ranking using an enriched thesaurus,” Journal of Documentation , vol. 47, no. 3, pp. 240-253, 1991.

[30] R. Rousseau, “On relative indexing in fuzzy retrieval systems,” Information Processing and Management , vol. 21, no. 5, pp. 415-417, 1985.

[31] G. Salton and C. Buckley, “Improving retrieval performance by relevance feedback,” Journal of American Society for Information Science , vol. 41, no. 4, pp. 288-297, 1990.

[32] G. W. Strong and M. C. Drott, “A thesaurus for end-user in indexing and retrieval,” Information

Processing and Management , vol. 22, no. 6, pp. 488-492, 1986.

[33] A. Tzvieli, “Representation and access of uncertain relational data,” A Quarterly Bulletin of the Computer Society of the IEEE Technique Committee on Data Engineering , vol. 12, no. 2, pp. 21-28, 1989.

[34] J. Y. Wang and S. M. Chen, “A knowledge-based method for fuzzy information retrieval,”

Proceedings of the First Asian Fuzzy Systems Symposium , Singapore, 1993.

[35] P. Willett, “Recent trends in hierarchic document clustering: a critical review,” Information Processing and Management , vol. 24, no. 5, pp. 577-597, 1988.

[36] L. A. Zadeh, “Fuzzy sets,” Information and Control , vol. 8, pp. 338-353, 1965.

[37] M. Zemankova, “FIIS: A fuzzy intelligent information system,” Data Engineering , vol. 12, no. 2, pp.

11-20, 1989.

[38] M. Zemankova, “FILIP: A fuzzy intelligent information system with learning capabilities,”

Information Sciences , vol. 14, no. 6, pp. 473-486, 1989.