第五章 系統開發
6.4 系統專家信度驗證
更加龐大時，於比較計算相似度上造成之誤差影響可能更大。
表6.6 回應資訊相似度比對結果
係數 回應 段落 相似度 優先建議序
五 1 0.62767548 2 六 1 0.627677534 1 六 2 0.627677534 1 (0.5, 0.5)
七 1 0.62767548 2 五 1 0.788649752 2
六 1 0.788653101 1 六 2 0.788653101 1 (0.3, 0.7)
七 1 0.788649752 2 五 1 0.720764875 2 六 1 0.720766556 1 六 2 0.720766556 1 (0.7, 0.3)
七 1 0.720764875 2
家之建議解決方案如附錄二中各附表所示。
0 2 4 6 8 10 12 14
回 應 數
988 421 557 583 243 828 420 22 269 463 569 345 656 306 772 565 809 298 830 155 922 861 650 320 317 234 867 701 956 277 842 586 932
案例編號
圖6.1 選取之案例回應數分佈
0 5 10 15 20 25 30 35 40 45 50
段 落 數 量
9 8 8
4 2 1
5 5 7
5 8 3
2 4 3
8 2 8
4 2 0
2 2
2 6 9
4 6 3
5 6 9
3 4 5
6 5 6
3 0 6
7 7 2
5 6 5
8 0 9
2 9 8
8 3 0
1 5 5
9 2 2
8 6 1
6 5 0
3 2 0
3 1 7
2 3 4
8 6 7
7 0 1
9 5 6
2 7 7
8 4 2
5 8 6
9 3 2 案例編號
圖6.2 選取之案例段落數分佈
6.4.1 驗證結果說明
處理後之案例結果，可得出大多系統所建議之解決方案與專家所 建議之解決方案解有相關，取樣案例結果如圖6.3 所示。
14
1
48
1
21%
79%
不符案例 相符案例
圖6.3 案例處理結果比例
於30 個案例中有 26 個案例為系統建議解決方案與專家建議解決 方案有一定相關，佔取樣案例之 79%。且其中有案例 842、861 兩個 案例為專家未提供建議解決方案，透過系統停供了建議之解決方案；
剩餘案例 22、306、583、586、701、867、932 等 7 個案例（詳細資 訊如附表 2.1、附表 2.8、附表 2.18、附表 2.22、附表 2.29 以及附表 2.31)是專家建議決方案則異於系統建議解決方案，占取樣案例的 21%。由表 6.7 之案例資訊可看出，案例之回應數最低為 2 個、段落 4 個；最高到 11 個、段落 48 個。與所有取樣案例之分布相比可發現 回應、段落之數量並非造成系統所建議之解決方案與專家建議解決方 案之主因。將於下小節中探討造成系統與專家建議之解決方案相異之 原因。
表6.7 專家建議決方案不同於系統建議解決方案之回應、段落資料
案例 回應數 段落數
22 3 7
306 8 14
583 2 4
586 7 44
701 9 31
867 6 31
932 11 48
6.4.2 不符案例之原因探討
由驗證之過程中發現主要影響應該是與提問內容的類型有關。也 發現目前之系統只能透過詞庫搜尋相關之關鍵詞，尚無法辨識與提問 關鍵詞有潛在關聯之關鍵詞，如案例306 主題為損害賠償相關，潛藏 相關之語詞有保險、理賠等，但因提問資訊無此詞造成無法檢索出此 相關之內容；在案例320 也出現「制訂」與「訂定」為有相關之關鍵 詞，但依本研究之演算法計算則判讀為不相關。
由案例 22 處理之結果中可看出，因案例資料回應內容較少，因 此系統計算後，只產生一個段落之建議解決方案。與專家所建議之解 決方案相較下，完整度較差；案例345 回應內容較多，經過系統計算 後，產生之建議相似度較高之數個回應段落內容與專家之建議解決方 案內容相比，皆是類似之內容。其他次要相似之內容雖與專家建議解 決方案較無相同點。但與提問資訊以然具有某種程度之相關，仍然可 提供給提問者作為次要之參考。
透過本節之系統專家驗證，可發現系統與專家建議之解決方案 大抵上是相似的。出現相異之情形主要導因於系統演算法之限制，造
成詞庫之比對產生差異，進而影響計算之之相似度。
目前營建工程顧問業來說，同仁每天忙於處理計畫等相關事務，
對於參與KMS 知識活動常常是有心無力。造成參與知識活動時會產 生草草帶過或需要仰賴系統自動化輔助。本研究於本章經過驗證發現 文字探勘技術應用於營建業，雖然完成度尚不完整。但確實是能夠自 動化的輔助，且協助公司同仁在參與知識活動中建立寶貴之經驗。