方法驗證

第五章案例研究

5.2 驗證實驗

5.2.2 方法驗證

驗證方面我們利用圖 21、圖 22、圖 23 中的數據並分成查準度(Precision ratio) 和查全率(Recall ratio)兩個部份，每一部分都包含 Kruskal-Wallis (H) Test 和

Wilcoxon Rank Sum Test 兩個方法的驗證。 Kruskal-Wallis (H) Test 為三組資料比對，KEYWORD、QEW 和 SWRL。Wilcoxon Rank Sum Test 為兩兩資料比對，

包括 KEYWORD 和 QEW，KEYWORD 和 SWRL，QEW 和 SWRL 三種組合，

詳細內容如下

5.2.2.1 查準度(Precision ratio)

甲、 Kruskal-Wallis (H) Test

在查準度(Precision ratio)部分，我們使用圖 21、圖 22、圖 23 中的樣本作為依據，包含 KEYWORD、QEW 和 SWRL 三個方法各 20 個，結果如下:

(%) 表 1 K-W(H) TEST 排序(Precision ratio)

表 1PR 之 K-W(H) TEST 排序中我們依 Kruskal-Wallis (H) test 的方法做排序並利用公式來進行計算，我們假設 H0 為三組資料間沒有顯著差異 H1為三組資料間有顯著差異，並以顯著水準α=0.05 來檢定，其結果如下:

K – W =

¹²

𝑁(𝑁+1)

∑

^𝑇_𝑛^𝑗²

𝑗

𝑘𝑘𝑗=1

-3( 𝑁𝑁 +1) = K – W =

¹²

60(60+1)

(

^211.5²

+

⁷²⁴₂₀²

+

^894.5₂₀ ²

)-3(60+1)

= 41.4325

K – W > 𝑋𝑋

_{𝑘𝑘−1,𝑎𝑎}²

= K – W > 𝑋𝑋

_2,0.05²

=

41.4325>5.991 REJECT H0

透過 Kruskal-Wallis (H) test 我們可 REJECT H0，證明在這三組資料中是有顯著差異，而不是隨機造成的。

乙、 Wilcoxon Rank Sum Test

我們再使用 Wilcoxon Rank Sum Test 方法對其兩兩驗證，其結果如下:

表(2)(3)(4) Wilcoxon Rank Sum Test 排序(Precision ratio)

表 2 表 3 表 4

(%) 5.2.2.2 查全率(Recall ratio)

甲、 Kruskal-Wallis (H) Test

接著我們進行查全率(Recall ratio)驗證的部分，一樣是三個方法各取 20 個樣本作為依據，結果如下表:

表 5 K-W(H) TEST 排序(Recall ratio)

表 5 中我們依 Kruskal-Wallis (H) test 的方法做排序並利用公式來進行計算，我們假設 H0為三組資料間沒有顯著差異 H1為三組資料間有顯著差異，結果如下:

K – W >𝑋𝑋_{𝑘𝑘−1,𝑎𝑎}² = K – W >𝑋𝑋_2,0.05²

=

40.8381>5.991 REJECT H0

透過 Kruskal-Wallis (H) test 我們可 REJECT H0，證明在這三組資料中是有顯著差異，而不是隨機造成的。

乙、 Wilcoxon Rank Sum Test

透過 Kruskal-Wallis (H) test 我們可 REJECT H0，我們再使用 Wilcoxon Rank Sum

Test 方法對其兩兩驗證，其結果如下:

表 (6)(7)(8) Wilcoxon Rank Sum Test 排序(Recall ratio)

表 6 表 7 表 8

5.3 實驗討論

綜合以上資料和討論，我們可得知在 QEW 的情況下在查準度(Precision ratio) 和查全率(Recall ratio)上較沒這麼理想，但是加入 SWRL 規則後在查準度

(Precision ratio)和查全率(Recall ratio)上都有較優異的表現，而在驗證方面我們也提出了兩個無母數的分析方法 Kruskal-Wallis (H)和 Wilcoxon Rank Sum Test 來驗證，從上述可得知透過這兩種驗證方法，可以看出無論從三組比較或者是兩兩比較上都可得到他們之間的關係是有顯著差異的，而不是隨機造成的。

第六章結論與未來工作

本研究提出一個基於知識本體的配對機制，利用 Query 擴充的方式，將使用者所輸入的 Query 進行擴充，再加入 SWRL 規則與 Inference Engine 中的 Ontology 做結合產生新的關係，使服務的配對上不受限於單一的關鍵字做搜尋，實驗結果和驗證也證明透過這樣的方法對於配對的查準度和查全率上是有幫助的。未來工作方面我們會建立更完整的服務資訊，建立本體論對映關係，如服務的詳細資訊、圖片等及使用者回饋機制，透過回饋機制來建立更完整服務和 SWRL 規則。而在本研究中 SWRL 規則主要是針對每一個不同的 Query 搜尋結果逐件個別處理的方式加入，但往後當規則變多時我們會以領域和 Built-Ins 這兩項來做分類，將 SWRL 規則做更有系統地彙整，進而從中獲取新的資訊。而目前研發 Protégé 的 Stanford University 團隊也提出線上的本體論編輯系統 WebProtégé，

除了更簡單的編輯系統外還可將所建立好的本體論直接供其他人使用或與其他開發者協作建立更完整的本體論，所以我們往後也將在 WebProtégé 中建立本體論。

參考文獻

[1] M. van Steenderen, "Universal Description, Discovery and Integration," SA Journal of Information Management, vol. 2, 2000.

[2] T. Berners-Lee, J. Hendler, and O. Lassila, "The semantic web,"

Scientific american, vol. 284, pp. 28-37, 2001.

[3] J. Hjelm, Creating the semantic Web with RDF: professional developer's guide: John Wiley & Sons, Inc., 2001.

[4] K. Yeom, J. Park, and M. Moon, "Registry and Discovery of Services with Variability based on 2-level UDDI," in Parallel and Distributed Processing with Applications Workshops (ISPAW), 2011 Ninth IEEE International Symposium on, 2011, pp. 305-310.

[5] H. Mezni, W. Chainbi, and K. Ghedira, "An autonomic registry-based SOA model," in Service-Oriented Computing and Applications (SOCA), 2011 IEEE International Conference on, 2011, pp. 1-4.

[6] K. Tamilarasi and M. Ramakrishnan, "Design of an intelligent search engine-based uddi for web service discovery," in Recent Trends In Information Technology (ICRTIT), 2012 International Conference on, 2012, pp. 520-525.

[7] M. Liu, W. Shen, Q. Hao, J. Yan, and Q. Gao, "A multi-level matching framework for semantic web services in collaborative design," in Computer Supported Cooperative Work in Design, 2008. CSCWD 2008. 12th International Conference on, 2008, pp. 392-398.

[8] S. A. Ludwig, "Fuzzy match score of semantic service match," in Fuzzy Systems, 2008. FUZZ-IEEE 2008.(IEEE World Congress on Computational Intelligence). IEEE International Conference on, 2008, pp.

193-199.

[9] M. A. Kamalabad, F. Mardukhi, N. Nematbakhsh, and M. N.

Dehkordi, "Evaluating the similarity of web service policies using flexible parameter matching," in Measurement, Information and Control (MIC), 2012 International Conference on, 2012, pp. 1000-1005.

[10] K. Kritikos and D. Plexousakis, "Semantic qos-based web service discovery algorithms," in Web Services, 2007. ECOWS'07. Fifth European Conference on, 2007, pp. 181-190.

[11] G. Guo, F. Yu, Z. Chen, and D. Xie, "A four-level matching model

for semantic web service selection based on qos ontology," in Information Science and Engineering (ISISE), 2010 International Symposium on, 2010, pp. 630-634.

[12] A. Zohali and D. K. Zamanifar, "Matching model for semantic web services discovery," Journal of Theoretical and Applied Information Technology, vol. 7, pp. 139-144, 2009.

[13] G. Wang, D. Xu, Y. Qi, and D. Hou, "A semantic match algorithm for web services based on improved semantic distance," in Next Generation Web Services Practices, 2008. NWESP'08. 4th International Conference on, 2008, pp. 101-106.

[14] H. Fan, Z. Wang, and W. Du, "SWRL rule based precondition and effects service matching," in Geoscience and Remote Sensing Symposium (IGARSS), 2012 IEEE International, 2012, pp. 495-498.

[15] G. A. Miller, "WordNet: a lexical database for English,"

Communications of the ACM, vol. 38, pp. 39-41, 1995.

[16] G. A. Miller, R. Beckwith, C. Fellbaum, D. Gross, and K. J. Miller,

"Introduction to wordnet: An on-line lexical database*," International journal of lexicography, vol. 3, pp. 235-244, 1990.

[17] JWI , Java WordNet Interface. Available:

http://projects.csail.mit.edu/jwi/

[18] D. L. McGuinness and F. Van Harmelen, "OWL web ontology language overview," W3C recommendation, vol. 10, p. 2004, 2004.

[19] Protege. Available: http://protege.stanford.edu/

[20] I. Horrocks, P. F. Patel-Schneider, H. Boley, S. Tabet, B. Grosof, and M. Dean, "SWRL: A semantic web rule language combining OWL and RuleML," W3C Member submission, vol. 21, p. 79, 2004.

[21] Chinese WordNet. Available:

http://lope.linguistics.ntu.edu.tw/cwn/

在文檔中基於WordNet與SWRL規則之知識本體配對方法 (頁 47-55)

第五章 案例研究