第 6 章 實驗與結果探討
6.2 回覆最佳答案（best answer）之實驗分析
6.2.1 Yahoo!奇摩 Q&A
圖 6.1 至圖 6.3 顯示的是使用未分類 Yahoo!奇摩資料庫時 INCSS 系統、本系統使 用特徵向量與使用內積法之答案判定演算法(以下簡稱 IP-特徵向量法)以及使用特徵向 量與使用歐基理德法之答案判定演算法(以下簡稱 ED-特徵向量法)三種方法的正確性比 較。圖6.4 至圖 6.6 顯示的是使用分類資料庫時 INCSS 系統與本系統方法間之正確性比 較。以表6.4 總結這三種方法的實驗。
使用未分類Yahoo!奇摩Q&A資料回覆最佳答案之正確率比較 -實驗一(顧客問題類似FAQ問題)
50.0 60.0 70.0 80.0 90.0 100.0
50 100 150 200 250 300 350 400 450 500 550 實驗筆數
正確率(%)
ED-特徵向量法 IP-特徵向量法 INCSS系統
圖6.1：使用未分類 Yahoo!奇摩 Q&A 資料回覆最佳答案之正確率比較 -實驗一（顧客問題類似 FAQ 問題）
使用未分類Yahoo!奇摩Q&A資料回覆最佳答案之正確率比較 -實驗二(顧客問題不似FAQ問題)
50.0 60.0 70.0 80.0 90.0 100.0
50 100 150 200 250 300 350 400 450 500 550 實驗筆數
正確率(%) ED-特徵向量法
IP-特徵向量法 INCSS系統
圖6.2：使用未分類 Yahoo!奇摩 Q&A 資料回覆最佳答案之正確率比較 -實驗二（顧客問題不類似 FAQ 問題）
使用未分類Yahoo!奇摩Q&A資料回覆最佳答案之正確率比較 -實驗三(顧客問題為任意可能問題)
50.0 60.0 70.0 80.0 90.0 100.0
50 100 150 200 250 300 350 400 450 500 550
實驗筆數
正確率(%)
ED-特徵向量法 IP-特徵向量法 INCSS系統
圖6.3：使用未分類 Yahoo!奇摩 Q&A 資料回覆最佳答案之正確率比較 -實驗三（顧客問題為任意可能問題）
使用分類Yahoo!奇摩Q&A資料回覆最佳答案之正確率比較 -實驗一(顧客問題類似FAQ問題)
50.0 60.0 70.0 80.0 90.0 100.0
50 100 150 200 250 300 350 400 450 500 550 實驗筆數
正確率(%)
ED-特徵向量法 IP-特徵向量法 INCSS系統
圖6.4：使用分類 Yahoo!奇摩 Q&A 資料回覆最佳答案之正確率比較 -實驗一（顧客問題類似 FAQ 問題）
使用分類Yahoo!奇摩Q&A資料回覆最佳答案之正確率比較 -實驗二(顧客問題不似FAQ問題)
50.0 60.0 70.0 80.0 90.0 100.0
50 100 150 200 250 300 350 400 450 500 550 實驗筆數
正確率(%)
ED-特徵向量法 IP-特徵向量法 INCSS系統
圖6.5：使用分類 Yahoo!奇摩 Q&A 資料回覆最佳答案之正確率比較 -實驗二（顧客問題不似 FAQ 問題）
使用分類Yahoo!奇摩Q&A資料回覆最佳答案之正確率比較 -實驗三(顧客問題為任意可能問題)
50.0 60.0 70.0 80.0 90.0 100.0
50 100 150 200 250 300 350 400 450 500 550 實驗筆數
正確率(%)
ED-特徵向量法 IP-特徵向量法 INCSS系統
圖6.6：使用分類 Yahoo!奇摩 Q&A 資料回覆最佳答案之正確率比較 -實驗三（顧客問題為任意可能問題）
表6.4：使用 Yahoo!奇摩 Q&A 資料回覆最佳答案實驗之正確率平均值
未分類資料 已分類資料
ED-特徵向量法 IP-特徵向量法 INCSS ED-特徵向量法 IP-特徵向量法 INCSS 實驗一 97.2% 94.4% 77.7% 95.1% 94.4% 84.7%
實驗二 81.1% 80.8% 62.5% 78.8% 81.6% 59.6%
實驗三 88.8% 88.1% 70.5% 88.2% 87.4% 70.3%
平均 89.3% 87.7% 70.2% 87.3% 87.8% 71.5%
由表 6.4 中可以清楚的發現本論文提出的方法不論是特徵向量搭配歐基理德法或 者是搭配內積法都比 INCSS 系統的表現優秀。而觀察圖表發現，特徵向量搭配歐基理 德法或者是搭配內積法兩者之間的正確率在伯仲之間，可以說有相等優秀的結果。另 外，EXP2 的問題即使在資料庫中有答案，但是與資料庫中相對應常見問題的問法不同
（但是可能有部分專業關鍵詞吻合），所以正確率僅約八成左右。
所以，如果顧客問題的答案在資料庫中而且與解答相對應之常見問題的問法類似
（即大部分的專業關鍵詞吻合），其正確率便大大提昇。因此，常見問題資料庫中的數 量增加時，可以預見有更高的正確率。